{"id":"IL-0132","org":"Google Cloud","date":"2022-06-02","docs":[],"title":{"en":"A faulty resource cleanup process marked Vertex AI prediction endpoints as deleted worldwide, undeploying customers' models and failing predictions for 4 hours 20 minutes","ko":"잘못된 리소스 정리 작업이 Vertex AI 예측 엔드포인트를 전역에서 삭제된 것으로 표시해 고객 모델이 내려가고 예측 요청이 4시간 넘게 실패했다."},"domain":["gcp","ai-infra"],"impact":{"scope":"Vertex AI Online Prediction; customers' deployed models were undeployed from their endpoints, with error rates from 30% up to 100% per region","users":"unknown","region":"Global (19 regions listed)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.cloud.google.com/incidents/XdQANahFJvMuxxkgA34K","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"Google's preliminary analysis found that a faulty resource cleanup process marked Vertex Prediction Endpoints as deleted across all regions. With the endpoints marked deleted, every pre-existing model deployed on them was undeployed, so online prediction requests failed and customers could not simply redeploy because of quota failures. The service recovered fully once the endpoints were restored.\n\nThe mini incident report gives the incident as 10:10 to 14:30 US/Pacific on 2 June 2022, 4 hours 20 minutes. The last status update says the issue was resolved for all users as of 15:21 US/Pacific. The report says the information was preliminary.","ko":"2022-06-02 10:10 부터 14:30 US/Pacific 까지 4시간 20분 동안 Vertex AI Online Prediction 의 오류율이 리전마다 30% 에서 100% 까지 올라갔다. 예비 분석에 따르면 잘못된 리소스 정리 작업이 Vertex 예측 엔드포인트를 전역에서 삭제된 것으로 표시했다. 그 결과 고객이 엔드포인트에 배포해 둔 기존 모델이 모두 내려갔고, 배포된 모델 목록은 비어 보였으며, Predict 요청과 Explain 요청이 실패했다. 모델을 다시 배포하려 해도 할당량 오류가 났다.\n\nGoogle 은 13:58 부터 상태 페이지에 진행 상황을 올렸다. 14:06 에 엔지니어링 팀이 완화 작업을 하고 있다고 알렸고, 14:51 에는 일부 해결됐다고 했다. 엔드포인트가 복구되면서 서비스는 완전히 회복됐다. 상태 페이지는 15:21 기준으로 영향받은 모든 사용자에게 해결됐다고 공지했고, 다음 날 짧은 장애 보고서를 올렸다."},"trigger":{"en":"A faulty resource cleanup process marked Vertex Prediction Endpoints as deleted, globally.","ko":"잘못된 리소스 정리 작업이 Vertex 예측 엔드포인트를 전역에서 삭제된 것으로 표시했다."},"severity":"unknown","symptoms":["high-error-rate","resources-deleted","service-unavailable"],"timeline":{"detected_after":null,"resolved_after":"4h 20m"},"date_kind":"incident","detection":{"en":"The first public status update was posted at 13:58 US/Pacific and gave the start as 10:20 US/Pacific; the later mini incident report gives 10:10.","ko":"Google 은 13:58 US/Pacific 에 상태 페이지에 첫 공지를 올렸고, 이 공지는 문제가 10:20 US/Pacific 에 시작됐다고 적었다. 나중에 나온 짧은 장애 보고서는 시작 시각을 10:10 으로 적었다."},"components":["model-routing"],"root_cause":"software-bug","remediation":[{"text":{"en":"restored the Vertex Prediction Endpoints that had been marked as deleted","ko":"삭제된 것으로 표시된 Vertex 예측 엔드포인트를 복구했고, 서비스가 완전히 회복됐다."}}],"action_items":[],"contributing":["automation-amplified","blast-radius-too-wide"],"recurrence_of":null,"symptoms_text":{"en":"From 10:10 US/Pacific on 2 June 2022, Vertex AI Online Prediction returned errors for 30% up to 100% of requests per region, depending on how each customer used the service.\n\nCustomers found that all their existing models had been undeployed from their Vertex AI Endpoints. Listing the deployed models of an endpoint returned an empty list, Predict and Explain requests failed with runtime exceptions and general errors, and trying to deploy the models again failed with quota errors. Google offered no workaround while the incident lasted.\n\nThe status page entries listed 19 affected regions across Asia, Australia, Europe and North America.","ko":"2022-06-02 10:10 US/Pacific 부터 Vertex AI Online Prediction 의 오류율이 올라갔다. 리전과 사용 패턴에 따라 요청의 30% 에서 100% 가 실패했다.\n\n고객 쪽에서는 Vertex AI Endpoints 에 배포해 둔 기존 모델이 모두 내려가 있었다. 엔드포인트에 배포된 모델 목록을 조회하면 빈 목록이 나왔고, Predict 요청과 Explain 요청은 런타임 예외와 일반 오류로 실패했다. 모델을 다시 배포하려 하면 할당량 오류가 났다.\n\nGoogle 은 13:58 에 상태 페이지에 첫 공지를 올리며 문제가 10:20 부터 시작됐다고 적었고, 쓸 수 있는 우회 방법은 없다고 했다. 영향받은 리전은 asia-east1, asia-east2, asia-northeast1, asia-northeast3, asia-south1, asia-southeast1, australia-southeast1, europe-west1, europe-west2, europe-west3, europe-west4, europe-west6, northamerica-northeast1, northamerica-northeast2, us-central1, us-east1, us-east4, us-west1, us-west2 의 19곳이었다."},"updated_at":"2026-11-09T11:55:49.671808Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0132","org_slug":"google-cloud"}