{"id":"IL-0154","org":"DigitalOcean","date":"2024-09-25","docs":[],"title":{"en":"Line cards on an SFO3 core router rebooted together and halved backbone capacity, and DOKS nodes whose guest networking did not recover stayed NotReady with degraded API servers until all affected nodes in the SFO3 DOKS fleet were recycled","ko":"SFO3 코어 라우터의 라인 카드가 하드웨어 오류로 한꺼번에 재부팅된 뒤 게스트 네트워킹이 돌아오지 않은 DOKS 노드가 비정상으로 남아, 일부 클러스터의 연결과 컨트롤 플레인 접속이 01:40 UTC까지 불안정했다."},"domain":["kubernetes","networking"],"impact":{"scope":"All SFO3 services had network connectivity problems for 25 minutes; select DOKS clusters had control plane and connectivity problems until 01:40 UTC","users":"Users of DigitalOcean services in SFO3, with longer impact for Managed Kubernetes customers","region":"SFO3"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"A short network fault can leave Kubernetes nodes broken long after the network itself is healthy, when the guest networking on the machines does not recover by itself. Checking node health and the API servers after the network returns, and having automated remediation that is allowed to replace many nodes at once, shortens that tail.","ko":"네트워크가 몇 분 만에 돌아와도 게스트 네트워킹이 회복되지 않은 노드는 사람이 재생성할 때까지 비정상으로 남았다. 리전 전체 서비스는 25분 만에 돌아왔지만 DOKS 는 01:40까지 영향을 받았다. 자동 복구 조치가 이 경우를 처리하지 못해 SFO3 DOKS 전체에서 수동 작업이 필요했다."},"related":[],"sources":[{"url":"https://status.digitalocean.com/incidents/fxvdq88ych5y","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"On September 25, 2024, hardware errors made most of the line cards on one of DigitalOcean's core routers in SFO3 reboot at once. Traffic capacity between the datacenter and the network backbone fell by half and inter-regional traffic was interrupted. The line cards came back within three minutes, routing sessions re-established, and traffic on the router was restored at 22:30 UTC.\n\nA number of machines in the DOKS fleet stayed unhealthy because their guest networking did not recover from the fault. Their clusters' API servers degraded and nodes went NotReady, and engineers had to remediate the nodes by hand across the entire SFO3 DOKS fleet. All affected nodes were recycled and the clusters were operational at 01:40 UTC on September 26, so DOKS users were affected for about three hours longer than users of other services.","ko":"9월 25일 22:21 UTC, SFO3 코어 라우터 한 대에서 하드웨어 오류로 라인 카드 대부분이 동시에 재부팅됐다. 리전 사이 트래픽이 끊기고 백본으로 가는 트래픽이 버려졌으며, 백본을 오가는 데이터센터 트래픽 용량이 절반으로 줄었다. 라인 카드는 22:24에 다시 올라왔고, 22:30에 이 라우터의 트래픽이 돌아왔고, 22:50에 SFO3 컨트롤 플레인 시스템이 모두 다시 연결됐다.\n\nDOKS 는 이보다 오래 영향을 받았다. 하드웨어 장애 뒤 일부 DOKS 머신에서 게스트 네트워킹이 회복되지 않아 머신이 비정상 상태로 남았다. 이 노드 위의 고객 클러스터는 연결 문제를 겪었고 쿠버네티스 컨트롤 플레인에 접속하기 어려웠다. 엔지니어들은 SFO3 DOKS 전체에서 영향받은 노드를 손으로 재생성했고, 9월 26일 01:40에 재생성이 끝나 클러스터가 정상으로 돌아왔다."},"trigger":{"en":"Most of the line cards on one SFO3 core router rebooted at the same time at 22:21 UTC because of hardware errors on the device.","ko":"SFO3 코어 라우터 한 대에서 하드웨어 오류로 라인 카드 대부분이 동시에 재부팅됐다."},"severity":"unknown","symptoms":["node-not-ready","control-plane-unresponsive","intermittent-connection-failures"],"timeline":{"detected_after":null,"resolved_after":"3h 15m"},"date_kind":"incident","detection":null,"components":["kube-apiserver","kubelet"],"root_cause":"dns-network","remediation":[{"text":{"en":"The crashed line cards came back online and traffic on the core router was restored","ko":"죽었던 라인 카드가 모두 빠르게 다시 올라와 네트워크 트래픽이 다시 흐르고 코어 라우터가 정상으로 돌아왔다."}},{"text":{"en":"Manually recycled all affected nodes across the SFO3 DOKS fleet","ko":"SFO3 리전 DOKS 전체에서 영향받은 노드를 손으로 모두 재생성했다."}}],"action_items":[{"text":{"en":"Work with the router vendor's support team to find the root cause of the line card crash","ko":"장비 벤더 지원팀과 함께 라인 카드가 죽은 근본 원인을 찾는다."}},{"text":{"en":"Upgrade software on the core routers in SFO3","ko":"SFO3 리전 코어 라우터의 소프트웨어를 업그레이드한다."}},{"text":{"en":"Raise thresholds for automated remediation so affected nodes are restored without manual action","ko":"자동 복구 조치의 임계값을 높여 사람이 손으로 노드를 복구해야 하는 일을 줄인다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"From 22:25 to 22:50 UTC every DigitalOcean service in the SFO3 region had network connectivity problems, as traffic between the datacenter and the backbone dropped. Traffic through the router was back by 22:30 and SFO3's control plane systems had reconnected by 22:50, and most services recovered then.\n\nManaged Kubernetes (DOKS) clusters in SFO3 did not recover. At 23:07 UTC the DOKS API servers were degraded, and customers had trouble connecting to their clusters' control plane and reaching other services from inside their clusters. At 23:59 some DOKS clusters could no longer be scraped, and several nodes were found in the NotReady state: the guest networking on those machines had not recovered after the network fault. DigitalOcean's first status notice, at 23:34, was about DOKS connectivity; the earlier disruption of every service in the region from 22:25 to 22:50 was identified only later, during that investigation.","ko":"2024년 9월 25일 22:25 UTC부터 SFO3 리전의 DigitalOcean 서비스 전반에서 네트워크 연결 문제가 생겼다. 리전 전체 서비스는 22:50에 회복됐지만 일부 Managed Kubernetes 클러스터는 그 뒤에도 연결이 불안정했다.\n\n일부 고객은 Managed Kubernetes 클러스터에 접속하거나 클러스터에서 다른 서비스로 연결하기 어려웠다. 23:07에 DOKS API 서버가 성능 저하 상태가 됐다. 23:59에는 SFO3 의 일부 DOKS 클러스터에서 지표를 수집할 수 없었고, 여러 노드가 \"not ready\" 상태인 것이 드러났다.\n\n상태 페이지의 첫 공지는 23:34에 DOKS 연결 문제로 올라왔다. DigitalOcean 은 조사 중에 22:25 부터 22:50 까지 리전의 모든 서비스가 연결 문제를 겪은 더 이른 구간이 있었다는 것도 확인했다."},"updated_at":"2026-11-10T00:00:36.417280Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0154","org_slug":"digitalocean"}