{"id":"IL-0342","org":"DigitalOcean","date":"2023-08-09","docs":["https://help.apnic.net/s/article/Resource-Public-Key-Infrastructure-RPKI"],"title":{"en":"DigitalOcean's AMS3, LON1 and SFO2 data centers lost Internet connectivity in repeated waves as edge routers failed","ko":"DigitalOcean 의 AMS3, LON1, SFO2 데이터 센터가 에지 라우터 고장으로 인터넷 연결을 되풀이해 잃었다"},"domain":["networking"],"impact":{"scope":"Internet access for the AMS3, LON1 and SFO2 datacenters: Droplets and Droplet-based services such as Load Balancers, Kubernetes and Database clusters, and event processing on them; latency and connectivity errors on routes between AMS3 and FRA1","users":"unknown","region":"AMS3, LON1, SFO2"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.digitalocean.com/incidents/q4b09b022nmh","kind":"official-status","archived":"https://web.archive.org/web/20260629160823/https://status.digitalocean.com/incidents/q4b09b022nmh"}],"summary":{"en":"Some of DigitalOcean's edge routers ran an operating system version with a bug: when the router received an RPKI-related routing update, its routing process could crash. Each of the AMS3, LON1 and SFO2 sites was connected to the Internet redundantly through several devices, but all of them ran software with the bug, so one trigger took down the entire Internet edge of a site. The routing processes restarted automatically, yet reprocessing and updating the global routing tables took the next few minutes, so each crash became an outage of about 10 to 15 minutes. This happened in three waves on 9 August 2023, the last around 12:15 UTC.\n\nAfter an investigation by the router vendor, DigitalOcean rolled out a software update to the edge routers running the affected version, starting with AMS3, which was stable at 12:27 UTC, followed by SFO2 and LON1, which was stable at 13:29 UTC, and then to the redundant networking equipment so that a failover would not hit the same bug. The emergency upgrade caused additional reachability problems while traffic was shifted off circuits, adding disruptions over a total of 1 to 2 hours. SFO2 was the last site declared stable, at 14:23 UTC. DigitalOcean later upgraded all of its global edge routers.","ko":"2023년 8월 9일 09:55 UTC 부터 AMS3, LON1, SFO2 데이터 센터가 인터넷 연결을 잃었다. 원인은 일부 에지 라우터가 쓰던 운영체제 소프트웨어 버전의 버그였다. 이 버전의 라우터는 RPKI 관련 라우팅 갱신을 받으면 라우팅 프로세스가 죽을 수 있었다. 사이트마다 여러 장비로 인터넷에 이중화돼 있었지만 모든 장비가 버그가 있는 버전을 쓰고 있어서, 버그가 터지자 인터넷 연결 전체가 영향을 받았다. 라우팅 프로세스는 스스로 재시작했지만 전체 라우팅 테이블을 다시 처리하는 데 몇 분이 걸려, 끊길 때마다 10~15분씩 이어졌다. 끊김은 한 시간쯤 간격으로 세 번 왔고, 마지막 끊김은 12:15 UTC 쯤이었다.\n\n장비 업체의 조사 뒤 DigitalOcean 은 문제의 버전을 쓰는 에지 라우터에 소프트웨어 업데이트를 내보냈다. 안정을 되찾는 데 집중한 긴급 업그레이드였다. 회선에서 트래픽을 빼고 에지 라우터가 인터넷에 다시 붙는 동안 1~2시간에 걸쳐 연결 문제가 더 났다. AMS3 는 12:27, LON1 은 13:29, SFO2 는 14:23 에 업그레이드를 마치고 안정됐다. 같은 시간대에 AMS3 와 FRA1 사이 경로의 혼잡도 이 장애로 나빠졌고, 팀은 트래픽을 다시 나눠 성능을 되살렸다. DigitalOcean 은 14:23 UTC 에 문제를 완전히 해결하고 모든 데이터 센터의 네트워크가 안정됐다고 선언했다. 장애 전환에 대비해 이중화 장비에도 같은 수정을 내보냈다."},"trigger":{"en":"The edge routers received an RPKI-related routing update, and the operating system software on them crashed its routing process on that update.","ko":"에지 라우터가 RPKI 관련 라우팅 갱신을 받으면서, 일부 에지 라우터에서 돌던 운영체제 소프트웨어 버전의 버그가 라우팅 프로세스를 죽였다."},"severity":"unknown","symptoms":["network-unreachable","intermittent-timeouts","high-latency"],"timeline":{"detected_after":"1m","resolved_after":"4h 28m"},"date_kind":"incident","detection":null,"components":["bgp"],"root_cause":"software-bug","remediation":[{"text":{"en":"Rolled out a software update to the edge routers running the affected version, site by site","ko":"장비 업체의 조사 뒤 문제의 운영체제 버전을 쓰는 에지 라우터에 소프트웨어 업데이트를 긴급히 내보냈다. 회선에서 트래픽을 빼고 라우터가 인터넷에 다시 붙는 동안 연결 문제가 더 났다."}},{"text":{"en":"Rebalanced traffic on the congested routes between AMS3 and FRA1","ko":"AMS3 와 FRA1 사이 경로의 혼잡을 줄이려고 트래픽을 다시 나눴다."}},{"text":{"en":"Rolled out the fix to the redundant networking equipment so a failover would not hit the bug","ko":"장애 전환이 일어나도 같은 문제를 겪지 않도록 이중화된 네트워크 장비에도 수정을 내보냈다. 14:58 UTC 공지에서 AMS3, LON1, SFO2 의 모든 네트워크 장비를 패치했다고 알렸다."}}],"action_items":[{"text":{"en":"Upgrade all global edge routers to remove the bug","ko":"전 세계 모든 에지 라우터를 버그를 피하는 버전으로 업그레이드했다."}},{"text":{"en":"Bring the network upgrades already done in Asia to Europe and North America","ko":"네트워크의 안정성과 보안을 높이는 네트워크 업그레이드를 진행한다. 아시아는 이미 업그레이드를 마쳤고, 유럽과 북미는 올해 말과 2024년 초에 업그레이드한다."}}],"contributing":["blast-radius-too-wide","manual-action-worsened"],"recurrence_of":null,"symptoms_text":{"en":"From 09:55 UTC on 9 August 2023, DigitalOcean's AMS3, LON1 and SFO2 datacenters lost Internet access in waves of 10 to 15 minutes, about an hour apart. Users saw connectivity issues, latency and timeout errors on Droplets and on Droplet-based services such as Load Balancers, Kubernetes and Database clusters.\n\nEach datacenter had its own pattern. LON1 had total Internet outages from 09:55 to 10:11 and from 11:05 to 11:15, and a third wave from 12:13 to 12:21 that hit 90% of customer traffic. AMS3 had only partial outages, affecting up to 40% or 50% of customer traffic, between 09:50 and 12:27. SFO2 was fully down from 09:55 to 10:11, from 11:48 to 12:27 and from 12:41 to 12:51, with partial outages in between and at 14:21 to 14:23.\n\nEvent processing was affected as well: creating and deleting Droplets, powering them off and on, taking snapshots and similar actions on Droplets and on Droplet-based products were delayed or failed. Separately, congestion appeared on network routes between AMS3 and FRA1, which DigitalOcean describes as a different issue made worse by this one; it brought latency and connectivity errors to services in those regions and on paths through them, including services in LON1, until traffic was rebalanced.\n\nThe routing processes on the edge routers restarted on their own after each crash, but reprocessing the global routing tables took several minutes each time, which set the length of each wave. The emergency software upgrade that ended the crashes itself caused further short outages, as traffic was moved off circuits and the edge routers rejoined the Internet. When DigitalOcean announced that the rollout to the redundant equipment was complete, it also reported a brief period in which SFO2 was affected while traffic reconverged.","ko":"2023년 8월 9일 09:55 UTC 부터 DigitalOcean 의 AMS3, LON1, SFO2 데이터 센터가 인터넷 연결을 잃었다. 끊김은 세 차례 일어났다. 한 번에 10~15분씩 이어졌고, 끊김 사이의 간격은 한 시간쯤이었다.\n\n09:56 에 엔지니어링 팀이 여러 리전의 네트워킹 문제를 조사하기 시작했다.\n\n상태 페이지 타임라인에서 LON1 은 09:55~10:11 과 11:05~11:15 에 인터넷 연결이 완전히 끊겼고, 12:13~12:21 에는 고객 트래픽의 90% 가 영향을 받았다. SFO2 는 09:55~10:11, 11:48~12:27, 12:41~12:51 에 완전히 끊겼고, 11:02~11:14 에는 고객 트래픽의 50% 까지 영향을 받았다. AMS3 는 09:50 부터 12:27 사이 네 번에 걸쳐 고객 트래픽의 40~50% 가 끊기는 부분 장애를 겪었다.\n\n사용자는 Droplet 과 로드 밸런서, Kubernetes, 데이터베이스 클러스터처럼 Droplet 위에서 도는 서비스의 자원을 다룰 때 연결 문제, 지연, 타임아웃 오류를 겪었다. 생성, 삭제, 전원 끄고 켜기, 스냅샷 같은 이벤트 처리도 늦어지거나 오류가 났다.\n\n10:58 에 문제가 완화됐다고 알렸지만 11:00 UTC 부터 같은 문제가 다시 나타났다. 라우팅 프로세스는 스스로 재시작했지만 전체 라우팅 테이블을 다시 처리하고 갱신하는 데 몇 분이 걸려, 끊길 때마다 10~15분씩 이어졌다.\n\nAMS3 와 FRA1 사이 네트워크 경로에도 혼잡이 생겨, 두 리전에 서비스를 둔 사용자와 LON1 을 포함해 두 리전 사이 경로를 지나는 트래픽이 지연과 연결 오류를 겪었다. DigitalOcean 은 이 혼잡이 근본 원인과는 별개지만 이번 장애로 더 나빠졌다고 했다.\n\n긴급 업그레이드 중에도 회선에서 트래픽을 빼고 에지 라우터가 인터넷에 다시 붙는 동안 연결 문제가 더 났다. LON1 은 12:43~12:46 에 트래픽이 다시 수렴하며 조금 손실됐고 12:52~12:57 에 고객 트래픽의 40% 까지 끊겼다. SFO2 는 14:21~14:23 에 고객 트래픽의 50% 까지 끊겼다."},"updated_at":"2026-11-14T12:33:59.737981Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0342","org_slug":"digitalocean"}