{"id":"IL-0406","org":"Google Cloud","date":"2026-02-27","docs":[],"title":{"en":"Vertex AI Gemini API returned 429 and 503 overload errors for all Gemini models on the global endpoint and in US regions","ko":"Vertex AI Gemini API 에서 1시간 58분 동안 모든 Gemini 모델에서 429·503 오류가 늘었다"},"domain":["gcp","ai-infra"],"impact":{"scope":"Vertex AI Gemini API requests to all Gemini models, and downstream Google Cloud Support, Agent Assist, Dialogflow CX and Customer Experience Agent Studio","users":"PayGo customers (mostly 429 Resource Exhausted) and Provisioned Throughput customers (503 Service Unavailable)","region":"Global endpoint, us-central1, us-east4 and other US regions"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.cloud.google.com/incidents/41E5S3mkTGDfkZuJZH5k","kind":"official-status","archived":"https://web.archive.org/web/20261109214728/https://status.cloud.google.com/incidents/41E5S3mkTGDfkZuJZH5k"}],"summary":{"en":"A configuration change to a safety filtering service that supports all Gemini models enabled code paths that, for some specific requests, ended in service disruption and capacity loss for the safety filtering service. Callers of the Vertex AI Gemini API then got overload errors for their queries, 429 for PayGo and 503 for Provisioned Throughput, on the global endpoint and in US regions. Dialogflow CX, Agent Assist, the Google Cloud Support AI agent and Customer Experience Agent Studio, which depend on the Gemini APIs, were affected as well.\n\nGoogle's automated monitoring alerted engineers at 04:54 US/Pacific, 17 minutes after the start. Engineers found the faulty configuration change, rolled back to the previous stable configuration and added capacity to the service to stabilise it. Full restoration was confirmed at 06:35 as the rollback propagated and servers became healthy, 1 hour 58 minutes after the start.","ko":"모든 Gemini 모델이 쓰는 safety filtering 서비스에 설정 변경이 들어갔다. 이 변경으로 특정 요청이 새 코드 경로를 타게 됐고, 이 경로 때문에 결국 safety filtering 서비스가 멈추고 용량을 잃었다. 그 결과 2026년 2월 27일 04:37 US/Pacific 부터 Vertex AI Gemini API 고객의 요청이 과부하 오류로 실패했다. PayGo 고객은 주로 429 Resource Exhausted 를, Provisioned Throughput 고객은 503 Service Unavailable 을 받았다. 영향은 global endpoint 와 US 지역의 Vertex Gemini API, 그리고 Gemini API 를 쓰는 Google Cloud Support, Agent Assist, Dialogflow CX, Customer Experience Agent Studio 까지 번졌다.\n\n자동 모니터링이 04:54 에 엔지니어에게 알렸다. 엔지니어는 잘못된 설정 변경을 찾아 이전의 안정된 설정으로 롤백을 시작했고, 서비스를 안정시키려고 용량도 늘렸다. Provisioned Throughput 고객의 오류는 대부분 06:00 에, PayGo 고객의 오류는 대부분 06:20 에 멈췄다. 롤백이 퍼지고 서버가 정상으로 돌아오면서 06:35 에 완전히 복구됐고, 장애는 1시간 58분 이어졌다."},"trigger":{"en":"A configuration change to the safety filtering service that supports all Gemini models.","ko":"모든 Gemini 모델이 쓰는 safety filtering 서비스에 설정 변경이 들어갔다. 이 변경으로 특정 요청이 새 코드 경로를 타게 됐다."},"severity":"unknown","symptoms":["high-error-rate"],"timeline":{"detected_after":"17m","resolved_after":"1h 58m"},"date_kind":"incident","detection":{"en":"Google's automated monitoring system alerted engineers at 04:54 US/Pacific, and they started investigating at once.","ko":"자동 모니터링 시스템이 2026년 2월 27일 04:54 US/Pacific 에 엔지니어에게 알림을 보냈다. 영향이 시작되고 17분 뒤였다."},"components":["content-safety-filter"],"root_cause":"config-change","remediation":[{"text":{"en":"Rolled back the faulty configuration change to the previous stable configuration","ko":"잘못된 설정 변경을 찾아 이전의 안정된 설정으로 롤백했다."}},{"text":{"en":"Added more capacity to the safety filtering service to stabilise it","ko":"safety filtering 서비스를 안정시키려고 용량을 늘렸다."}}],"action_items":[{"text":{"en":"Reinforce rollout processes with mandatory validation checkpoints","ko":"롤아웃 절차에 반드시 거쳐야 하는 검증 단계를 넣는다."}},{"text":{"en":"Improve alerting to monitor critical dependencies more closely","ko":"중요한 의존 서비스를 더 촘촘히 감시하도록 알림 체계를 고친다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"From 04:37 US/Pacific on 27 February 2026, requests to Vertex AI Gemini API models through the global endpoint and in US regions failed at increased rates with overload errors. PayGo customers mostly got 429 Resource Exhausted, and Provisioned Throughput (PT) customers got 503 Service Unavailable.\n\nEvery Vertex AI Gemini API model was affected, including gemini-2.5-flash, gemini-2.5-flash-lite, gemini-2.5-pro, gemini-3.0-flash-preview, gemini-3.0-pro-preview, gemini-2.0-flash and gemini-2.0-flash-lite, and some users saw elevated error rates for particular models in US regions. Services that rely on the Gemini APIs were hit downstream: Google Cloud Support and its AI agent, Agent Assist, Dialogflow CX and Customer Experience Agent Studio. The global endpoint, us-central1, us-east4 and other US regions were affected.\n\nMost errors stopped at 06:00 for PT customers and at 06:20 for PayGo customers, and full restoration was confirmed at 06:35. The first status update, posted the same morning, gave the window as 04:36 to 06:45 PST.","ko":"2026년 2월 27일 04:37 US/Pacific 부터 Vertex AI Gemini API 를 쓰는 고객의 오류율이 올라갔다. 자동 모니터링이 04:54 에 엔지니어에게 알림을 보냈다.\n\n오류는 요금제에 따라 다르게 나타났다. PayGo 고객은 주로 429 Resource Exhausted 오류를 받았고, Provisioned Throughput 고객은 503 Service Unavailable 오류를 받았다.\n\ngemini-2.5-flash, gemini-2.5-flash-lite, gemini-2.5-pro, gemini-3.0-flash-preview, gemini-3.0-pro-preview, gemini-2.0-flash, gemini-2.0-flash-lite 를 비롯한 모든 Gemini 모델이 영향을 받았다. 영향을 받은 곳은 global endpoint 와 us-central1, us-east4 를 비롯한 US 지역이었고, 일부 사용자는 US 지역의 특정 모델에서 오류율이 높다고 알렸다.\n\nGemini API 에 기대는 Dialogflow CX, Agent Assist, Google Cloud Support AI agent, Customer Experience Agent Studio 도 함께 영향을 받았다.\n\n오류는 한꺼번에 멈추지 않았다. Provisioned Throughput 고객의 오류는 대부분 06:00 에, PayGo 고객의 오류는 대부분 06:20 에 멈췄고, 06:35 에 완전히 복구됐다."},"updated_at":"2026-11-14T12:34:05.690391Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0406","org_slug":"google-cloud"}