{"id":"IL-0293","org":"Google Cloud","date":"2023-12-04","docs":[],"title":{"en":"Cloud Bigtable in us-central1 had higher latency and connection errors for about 32 hours from low-rate packet loss","ko":"us-central1 의 Cloud Bigtable 에서 지연과 연결 오류가 32시간 동안 이어졌다"},"domain":["gcp","database","networking"],"impact":{"scope":"About 0.06% of Cloud Bigtable dataplane requests had higher latency and errors; Google Cloud Tasks was also listed as affected","users":"Bigtable customers in us-central1, for longest those running non-replicated clusters","region":"us-central1"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.cloud.google.com/incidents/TzTbUF4sxVhj1mcK9j25","kind":"official-status","archived":"https://web.archive.org/web/20260808061114/https://status.cloud.google.com/incidents/TzTbUF4sxVhj1mcK9j25"}],"summary":{"en":"The root cause was an isolation failure on the machines that ran Cloud Bigtable servers in us-central1, set off by a change, and it showed mainly as a low rate of network packet loss. Automated monitoring detected the problem at 23:35 on 4 December, 3 hours 45 minutes after the 19:50 start, and engineers began investigating.\n\nAt 14:40 on 5 December engineers redirected some traffic away from a subset of the affected machines, which partly mitigated the impact; the report separately gives the partial mitigation as 15 hours after the start. Engineers then identified the change that triggered the isolation failure and rolled it back, and the latency was fully resolved at 03:55 on 6 December, 1 day, 8 hours and 5 minutes after the start. Google said it put controls in place to prevent a recurrence. The status page marked the issue resolved for all affected users at 08:23 on 6 December.","ko":"2023-12-04 19:50 US/Pacific 부터 us-central1 에서 Cloud Bigtable 데이터플레인 요청의 약 0.06% 가 지연 증가와 오류를 겪었다. 근본 원인은 Cloud Bigtable 서버를 돌리는 머신의 격리 실패였고, 주로 낮은 비율의 네트워크 패킷 손실로 나타났다. 자동 모니터링이 23:35 에 처음 잡아내 엔지니어가 바로 조사를 시작했다. 상태 페이지는 처음에 네트워킹 문제로 알렸다가 네트워킹이 원인이 아니라고 바로잡았다. 12월 5일 14:40 에 엔지니어가 영향받은 머신 일부에서 트래픽 일부를 다른 곳으로 돌려 영향을 일부 줄였다. 보고서는 이 부분 완화가 장애 시작 15시간 뒤였다고 적었다. 그 뒤로는 복제되지 않은 클러스터를 쓰는 고객에게 오류와 지연이 가장 오래 남았다. 엔지니어는 격리 문제를 일으킨 변경을 찾아 롤백했다. 12월 6일 03:55 에 지연이 완전히 풀려, 장애는 1일 8시간 5분 만에 완전히 완화됐다. 재발을 막는 통제 장치도 두었다."},"trigger":{"en":"A change that caused an isolation failure on the machines running Cloud Bigtable servers.","ko":"Cloud Bigtable 서버를 돌리는 머신에 들어간 변경 하나 때문에 격리가 실패했다."},"severity":"unknown","symptoms":["high-latency","high-error-rate","packet-loss","intermittent-connection-failures"],"timeline":{"detected_after":"3h 45m","resolved_after":"32h 5m"},"date_kind":"incident","detection":{"en":"Automated monitoring detected the problem at 23:35 US/Pacific on 4 December 2023.","ko":"2023-12-04 23:35 US/Pacific 에 자동 모니터링이 처음 잡아냈고 엔지니어가 바로 조사를 시작했다."},"components":["database"],"root_cause":"deploy-rollout","remediation":[{"text":{"en":"Redirected some traffic away from a subset of the affected machines","ko":"12월 5일 14:40 에 영향받은 머신 일부에서 트래픽 일부를 다른 곳으로 돌려 영향을 일부 줄였다."}},{"text":{"en":"Rolled back the change that triggered the isolation failure","ko":"격리 문제를 일으킨 변경을 찾아 롤백했고, 12월 6일 03:55 에 지연이 완전히 풀렸다."}}],"action_items":[{"text":{"en":"Put controls in place to prevent a recurrence","ko":"같은 장애가 다시 나지 않도록 통제 장치를 둔다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"From 19:50 US/Pacific on 4 December 2023, Cloud Bigtable customers in us-central1 saw higher latency and a low level of connection errors, affecting about 0.06% of Bigtable dataplane requests. Automated monitoring first detected the problem at 23:35.\n\nThe first status updates on 5 December described a Google Cloud Networking issue in us-central1 that affected Bigtable and Google Kubernetes Engine. Later updates said the cause was not Google Cloud Networking and that there was no impact specific to Google Kubernetes Engine. Google Cloud Tasks was also listed as affected.\n\nAfter a partial mitigation on 5 December, the problem was resolved for most customers, but customers running non-replicated Bigtable clusters in us-central1 kept seeing elevated errors and latency until early on 6 December. The status page offered no workaround.","ko":"2023-12-04 19:50 US/Pacific 부터 us-central1 의 Cloud Bigtable 고객이 지연 증가와 낮은 수준의 연결 오류를 겪었다. 데이터플레인 요청의 약 0.06% 가 영향을 받았고, 자동 모니터링이 23:35 에 처음 잡아냈다.\n\n이 장애는 주로 낮은 비율의 네트워크 패킷 손실로 나타났다.\n\n상태 페이지는 12월 5일 07:19 에 처음 Google Cloud Networking 문제로 us-central1 에서 오류와 지연이 늘 수 있다고 알렸고, 07:51 에는 이 네트워킹 문제가 Cloud Bigtable 과 Google Kubernetes Engine 에 영향을 준다고 했다. 09:08 에는 Google Cloud Networking 이 원인이 아니라고 바로잡았다. 09:53 부터 조사는 Cloud Bigtable 과 네트워킹 구성 요소에서 이어졌고, 11:31 에는 Google Kubernetes Engine 에만 해당하는 영향은 없다고 밝혔다.\n\n상태 페이지는 12월 5일 12:52 에 대부분의 고객에게서 문제가 일부 해결됐다고 알렸다. 13:52 부터는 대부분의 고객에게서 해결됐지만, us-central1 에서 복제되지 않은 클러스터를 쓰는 고객은 오류와 지연이 계속될 수 있다고 알렸다. Google Cloud Tasks 도 영향받은 서비스로 올라갔다."},"updated_at":"2026-11-14T12:33:54.797649Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0293","org_slug":"google-cloud"}