{"id":"IL-0140","org":"Google Cloud","date":"2022-06-14","docs":[],"title":{"en":"The GKE API in us-central1 returned errors and high latency for 3 hours 19 minutes after an unexpected rise in backend traffic that client retries made worse","ko":"us-central1 의 GKE API 가 지연과 오류를 내면서 고객이 클러스터 상태 확인, 업그레이드, 생성과 삭제를 하지 못했다."},"domain":["kubernetes","gcp"],"impact":{"scope":"GKE API calls via gcloud and the Cloud Console (cluster status, upgrades, viewing workloads, creating and deleting clusters and node pools); Cloud Data Fusion instance creation and deletion; Cloud Logging suggested searches for GKE clusters. Cluster workloads kept running.","users":"unknown","region":"us-central1"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"Client retries against an overloaded management API add to the overload. When the cloud provider's control plane is degraded, running workloads may be fine while cluster operations fail, and the status page offered no workaround beyond advising customers to use another region if they could.","ko":"실패한 요청을 클라이언트가 재시도하면 갑자기 늘어난 트래픽이 더 커진다. 관리형 컨트롤 플레인이 느려져도 클러스터 워크로드는 계속 돌지만, 클러스터를 조회하거나 바꾸는 작업은 막힌다."},"related":[],"sources":[{"url":"https://status.cloud.google.com/incidents/4Sie4sXFPougA2Ku24pT","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"For 3 hours and 19 minutes the GKE API in us-central1 had increased latency and errors. Google's preliminary analysis attributes it to an unexpected increase in backend traffic, made worse by clients retrying failed requests. Engineering mitigated it by scaling up the GKE control plane to handle the extra traffic, and advised customers who could use another region to do so meanwhile.\n\nRunning workloads were not affected; the impact was on cluster management operations through the API and on Cloud Data Fusion and Cloud Logging features that depend on it. The status page gives 06:22 as the incident end and 06:17 as the time the issue was resolved for all affected users.","ko":"us-central1 의 GKE API 가 3시간 19분 동안 지연과 오류를 냈다. 장애는 6월 14일 03:03 에 시작해 06:22 에 끝났고, 시각은 모두 US/Pacific 이다. Google 은 06:17 에 모든 사용자의 문제가 해결됐다고 알렸다.\n\n예비 분석에 따르면 원인은 예상하지 못한 백엔드 트래픽 증가였다. 실패한 요청을 클라이언트들이 다시 시도하면서 부하가 더 커졌다. Google 은 늘어난 트래픽을 감당하도록 GKE 컨트롤 플레인을 증설해 문제를 완화했다."},"trigger":{"en":"An unexpected increase in backend traffic to the GKE API in us-central1.","ko":"GKE 백엔드로 들어오는 트래픽이 예상하지 못하게 늘었다."},"severity":"unknown","symptoms":["high-error-rate","high-latency","control-plane-slow"],"timeline":{"detected_after":null,"resolved_after":"3h 19m"},"date_kind":"incident","detection":null,"components":["gke-control-plane"],"root_cause":"capacity","remediation":[{"text":{"en":"scaled up the GKE control plane to handle the increased traffic","ko":"늘어난 트래픽을 감당하도록 GKE 컨트롤 플레인을 증설했다."}}],"action_items":[],"contributing":["retry-storm"],"recurrence_of":null,"symptoms_text":{"en":"From 03:03 US/Pacific on 14 June 2022, calls to the GKE API in us-central1 through gcloud and the Google Cloud Console were slow and returned errors. Retrying sometimes succeeded.\n\nCluster workloads kept running, but customers could not reliably check cluster status, start upgrades, view workloads, or create and delete clusters and node pools. Cloud Data Fusion instance creation and deletion failed in us-central1, and suggested searches for GKE clusters in Cloud Logging were slow.","ko":"2022년 6월 14일 03:03 US/Pacific 부터 us-central1 의 GKE API 호출이 느려지고 오류를 냈다. gcloud 와 Google Cloud Console 에서 보내는 GKE API 호출이 모두 영향을 받았다.\n\n클러스터 안의 워크로드는 계속 돌았다. 그러나 고객은 클러스터 상태 확인, 업그레이드 실행, 워크로드 조회, 클러스터와 노드 풀의 생성과 삭제 같은 작업을 하지 못할 수 있었다. 상태 페이지는 다시 시도하면 성공할 수도 있다고 안내했고, 우회 방법은 없다고 했다. 다른 리전을 쓸 수 있는 고객에게는 그쪽을 쓰라고 권했다.\n\n영향은 다른 서비스로도 이어졌다. Cloud Data Fusion 에서는 us-central1 의 인스턴스 생성과 삭제가 실패했다. Cloud Logging 에서는 us-central1 GKE 클러스터의 추천 검색이 느려졌다."},"updated_at":"2026-11-09T11:55:50.776206Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0140","org_slug":"google-cloud"}