{"id":"IL-0131","org":"Google Cloud","date":"2024-06-12","docs":[],"title":{"en":"A new kind of GenerateContent request made Vertex AI prediction API servers segfault, and once enough of them restarted at the same time the serving fleet could not carry the load","ko":"새로운 형태의 GenerateContent 요청이 Vertex AI 예측 API 서버에 세그폴트를 일으켰고, 동시에 재시작하는 서버가 늘자 서빙 용량이 모자라 여러 리전에서 오류가 치솟았다."},"domain":["gcp","ai-infra"],"impact":{"scope":"Vertex AI Online Prediction, Dialogflow CX, Agent Assist and Contact Center AI features with generative or LLM functions; some BigQuery generative features","users":"unknown","region":"us-central1, asia-southeast1, europe-west3, europe-west4, us-east1, us-west1, northamerica-northeast1, us-east4"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"A crash that only some requests trigger can stay invisible while load balancers route around the restarting servers. It becomes an outage when the share of such requests grows until too many servers are restarting at once.\n\nHere the cause was known and a fix was rolling out two days before customers were affected, but the progressive rollout had not finished when the triggering traffic increased; Google's follow-up is to investigate early signals of server binary issues in time.","ko":"로드밸런서가 크래시로 내려간 서버를 피해 요청을 보내는 동안에는 고객 영향이 보이지 않는다. 하지만 크래시를 일으키는 요청이 늘면 동시에 빠지는 서버가 늘어 서빙 용량이 부하를 감당하지 못하게 된다. 이번에는 6월 10일에 원인과 수정본이 이미 있었지만 단계적 배포가 끝나기 전에 고객 영향이 시작됐다. 서버 바이너리의 초기 이상 신호는 고객 영향이 없을 때도 운영 상태 분석에서 잡고 제때 조사해야 한다."},"related":[],"sources":[{"url":"https://status.cloud.google.com/incidents/HcNDMn4YeG57exykghT7","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"Beginning 8 June 2024, a new form of request to the Vertex AI GenerateContent API caused intermittent segmentation faults in the Vertex Serving Prediction API servers. A server that crashed restarted, and load balancers sent user queries to other healthy servers until it was back in service, so users saw nothing at first. Google's internal production monitoring alerted engineers on 10 June at 07:35 US/Pacific; they found the cause of the segfault, developed a fix and began rolling it out progressively. The earlier mini incident report described the cause as a bug in a recent change to the Vertex AI online prediction platform that affected the processing of generative requests.\n\nOn 12 June at 12:06 the rate of segfault-triggering traffic increased, and enough servers were offline at the same time that the remaining capacity could no longer serve the load. Vertex AI and the products built on it, Dialogflow CX, Agent Assist and Contact Center AI, returned errors in eight regions. Engineers quickly confirmed it was the same issue found on 10 June and accelerated the rollout already in progress. The rollout completed at 15:59 and fully mitigated the issue after 3 hours 53 minutes.","ko":"2024년 6월 8일부터 새로운 형태의 사용자 요청이 GenerateContent API 를 거쳐 Vertex Serving Prediction API 서버에 간헐적인 세그멘테이션 폴트를 일으켰다. 세그폴트가 난 서버는 재시작했고, 그동안 로드밸런서가 요청을 다른 정상 서버로 보냈다. 이때까지는 고객이 볼 수 있는 영향이 없었다.\n\nGoogle 엔지니어들은 6월 10일 07:35 내부 운영 모니터링으로 이 문제를 알았다. 세그폴트의 원인을 찾아 수정본을 만들었고 단계적으로 배포하기 시작했다.\n\n6월 12일 12:06 세그폴트를 일으키는 트래픽이 늘면서, 동시에 내려가 있는 API 서버가 부하에 비해 서빙 용량이 모자랄 만큼 많아졌다. Vertex Prediction 위에 만든 여러 서비스에서 사용자 요청이 영향을 받았다는 보고가 올라왔다. 엔지니어들은 6월 10일에 찾은 문제와 원인이 같다는 것을 빠르게 확인하고 진행 중이던 배포를 앞당겼다. 배포는 15:59 에 끝났고 장애는 3시간 53분 만에 완전히 완화됐다."},"trigger":{"en":"Starting on 8 June 2024, a new form of user request to the GenerateContent API caused intermittent segmentation faults in the Vertex Serving Prediction API servers; on 12 June the rate of such requests increased.","ko":"6월 8일부터 새로운 형태의 GenerateContent API 요청이 Vertex Serving Prediction API 서버에 간헐적인 세그폴트를 일으켰고, 6월 12일 이런 요청의 비율이 늘었다."},"severity":"unknown","symptoms":["high-error-rate","high-latency","intermittent-timeouts"],"timeline":{"detected_after":null,"resolved_after":"3h 53m"},"date_kind":"incident","detection":{"en":"Internal production monitoring alerted engineers to the segfaults on 10 June 2024 at 07:35 US/Pacific, before any visible customer impact; on 12 June services built on Vertex Prediction reported failing user requests.","ko":"6월 10일 07:35 US/Pacific 에 내부 운영 모니터링이 엔지니어들에게 세그폴트 문제를 알렸다. 이때는 고객 영향이 없었다. 6월 12일 12:06 에는 Vertex Prediction 위에 만든 여러 서비스에서 운영 중인 사용자 요청이 영향을 받았다는 보고가 올라왔다."},"components":["inference-server","cloud-load-balancer"],"root_cause":"software-bug","remediation":[{"text":{"en":"confirmed the new failures came from the same segfault found on 10 June","ko":"6월 12일의 새 장애가 6월 10일에 찾은 세그폴트와 원인이 같다는 것을 확인했다."}},{"text":{"en":"accelerated the rollout of the fix that was already in progress, completed at 15:59 US/Pacific","ko":"이미 진행 중이던 수정본 배포를 앞당겨 15:59 US/Pacific 에 마쳤다."}}],"action_items":[{"text":{"en":"Ensure early signals of server binary issues are captured in production health analysis and investigated in time","ko":"서버 바이너리 문제의 초기 신호를 운영 상태 분석에서 잡아내고 제때 조사하게 한다."}},{"text":{"en":"Ensure release validation of feature changes and updates in production","ko":"기능 변경과 업데이트를 운영에 내보낼 때 릴리스 검증을 거치게 한다."}}],"contributing":["partial-rollout","no-spare-capacity"],"recurrence_of":null,"symptoms_text":{"en":"From 12:06 US/Pacific on 12 June 2024, services built on Vertex AI Prediction began reporting failed user requests in eight regions: us-central1, asia-southeast1, europe-west3, europe-west4, us-east1, us-west1, northamerica-northeast1 and us-east4.\n\nVertex AI Online Prediction showed high latency and elevated 500 and 502 error rates on the Predict, RawPredict, GenerateContent and StreamGenerateContent methods, and some prediction requests failed with \"CANCELLED\" errors. Dialogflow CX Generators, Generative Fallback and ML entities returned elevated \"INTERNAL\" and \"DEADLINE_EXCEEDED\" errors and in some cases timed out. Agent Assist, including (Proactive) Generative Knowledge Assist, and Contact Center AI Insights had elevated error rates in LLM summarization and topic modelling. Some BigQuery generative features also had elevated error rates.\n\nThe status page offered no workaround. At 16:20 Google reported notable recovery and expected us-central1 to be fully mitigated within the hour, with no estimate for other regions; at 17:21 it declared the issue resolved for all affected projects.","ko":"2024년 6월 12일 12:06 US/Pacific 부터 Vertex AI Online Prediction, Dialogflow CX, Agent Assist 에서 여러 리전에 걸쳐 오류율이 올라갔다. 영향을 받은 리전은 us-central1, asia-southeast1, europe-west3, europe-west4, us-east1, us-west1, northamerica-northeast1, us-east4 였다.\n\nVertex AI 에서는 Predict, RawPredict, GenerateContent, StreamGenerateContent 로 예측 작업을 할 때 지연이 커지고 500, 502 오류율이 올라갔다. 일부 고객의 예측 요청은 \"CANCELLED\" 오류로 실패했다. Dialogflow CX 의 Generators, Generative Fallback, ML entities 에서는 \"INTERNAL\" 과 \"DEADLINE_EXCEEDED\" 오류가 늘었고 일부는 타임아웃이 났다.\n\nAgent Assist 의 Generative Knowledge Assist 에서 LLM 요약과 토픽 모델링 기능의 오류율이 올라갔다. Contact Center AI Insights 의 LLM 요약과 LLM 토픽 모델링 기능도 오류율이 올라갔고, 일부 BigQuery 생성형 기능도 오류가 늘었다.\n\n상태 페이지는 14:48 에 Vertex AI Online Prediction 의 간헐적인 50X 오류와 취소된 요청을 처음 알렸고, 15:18 에 Dialogflow CX 와 Agent Assist 로 범위를 넓혔다. 우회 방법은 없었다. 16:20 에는 회복세가 뚜렷하며 us-central1 은 한 시간 안에 완전히 완화될 것으로 본다고 알렸다."},"updated_at":"2026-11-10T00:00:35.193961Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0131","org_slug":"google-cloud"}