{"id":"IL-0563","org":"Linode","date":"2025-03-17","docs":[],"title":{"en":"Linode servers lost connectivity in all data centers as route servers built incomplete BGP route tables","ko":"Linode 의 모든 리전에서 서버에 연결할 수 없게 됐고 Amsterdam 데이터센터는 거의 전부 멈췄다"},"domain":["networking"],"impact":{"scope":"network connectivity to servers in all data centers; in Amsterdam, deploying and booting Linodes and other host-level jobs failed and the data center was nearly fully down; Object Storage and LKE access could fail","users":"unknown","region":"all regions, worst in Amsterdam (NL-AMS)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.linode.com/incidents/78l7qy9m2sn0","kind":"official-status","archived":"https://web.archive.org/web/20250423213050/https://status.linode.com/incidents/78l7qy9m2sn0"}],"summary":{"en":"Akamai Compute was rolling out a release of its internal backend API component. While the rollout was in progress, the API's responses were inconsistent between endpoints, and the route servers that read route data from it built incomplete route tables for BGP. With incomplete routes, connectivity broke in all data centers from about 16:38 UTC, and Amsterdam (NL-AMS) came close to a full outage.\n\nWhen the release concluded at 17:10, the data between endpoints became consistent again and most data centers recovered by themselves. To clear the remaining impact, Linode restarted the route servers in all data centers from about 18:30, in phases with the most affected regions first, and finished at about 21:34. Backend API releases were put on hold until there is a better way to make sure the route data given to route servers is contiguous.","ko":"2025년 3월 17일 16:38 UTC 쯤 Linode 의 여러 데이터센터에서 서버에 연결할 수 없다는 내부 알림이 쏟아졌고, 고객도 여러 제품의 문제를 신고했다. 원인은 진행 중이던 Akamai Compute 내부 백엔드 API 구성 요소의 릴리스였다. 롤아웃이 이어지는 동안 이 API 의 응답이 서로 일치하지 않았고, 라우트 서버가 그 응답으로 불완전한 BGP 경로 테이블을 만들었다. 그 결과 모든 데이터센터에서 연결 문제가 났고, Amsterdam 데이터센터인 NL-AMS 는 거의 전부 멈췄다.\n\n17:10 UTC 에 릴리스가 끝나자 엔드포인트 사이의 데이터가 다시 일치했고 대부분의 데이터센터가 스스로 회복했다. 남은 영향을 없애려고 18:30 UTC 쯤 모든 데이터센터의 라우트 서버를 재시작하기 시작했다. 재시작은 영향이 가장 큰 리전부터 단계적으로 진행했고 21:34 UTC 쯤 끝났다. Linode 는 한동안 시스템을 지켜본 뒤 문제가 해결됐다고 확인했고, 3월 18일 16:24 UTC 에 사고를 해결 상태로 닫았다. 보고서는 조사가 아직 진행 중이라고 밝혔다."},"trigger":{"en":"A release of Akamai Compute's internal backend API component was rolling out, and during the rollout the API gave inconsistent responses to the route servers.","ko":"Akamai Compute 의 내부 백엔드 API 구성 요소를 릴리스하는 중이었다. 롤아웃이 이어지는 동안 이 API 의 응답이 서로 일치하지 않았다."},"severity":"unknown","symptoms":["network-unreachable","service-unavailable"],"timeline":{"detected_after":null,"resolved_after":"4h 56m"},"date_kind":"incident","detection":{"en":"Internal alerts fired across multiple data centers showing servers unreachable for an extended period, and customers reported problems with multiple products at the same time.","ko":"16:38 UTC 쯤 여러 데이터센터에서 서버들에 오랫동안 연결할 수 없다는 내부 알림이 대거 울렸다. 같은 때 고객들도 여러 제품의 문제를 신고하기 시작했다."},"components":["bgp","network-control-plane"],"root_cause":"deploy-rollout","remediation":[{"text":{"en":"Restarted the route servers in all data centers in phases, starting with the most affected regions","ko":"18:30 UTC 쯤부터 모든 데이터센터의 라우트 서버를 영향이 가장 큰 리전부터 단계적으로 재시작했고, 21:34 UTC 쯤 마쳤다."}}],"action_items":[{"text":{"en":"Hold backend API releases until there is a better way to make sure route data for route servers is contiguous","ko":"라우트 서버가 받는 경로 데이터가 끊김 없이 이어지게 할 더 나은 방법을 마련할 때까지 백엔드 API 릴리스를 멈춘다."}}],"contributing":["partial-rollout"],"recurrence_of":null,"symptoms_text":{"en":"At about 16:38 UTC on 17 March 2025, internal alerts fired across multiple Linode data centers because various servers had been unreachable for an extended period. At the same time customers began reporting problems with several products.\n\nNetworking problems showed up in all data centers, and Amsterdam (NL-AMS) was hit hardest. There customers could not deploy new Linodes, boot existing Linodes or run other host-level jobs, and the data center had a near-total outage. Access to services such as Object Storage and Linode Kubernetes Engine (LKE) could also fail.\n\nWhen the release behind the problem finished at 17:10 UTC, most data centers recovered on their own. The remaining impact, worst in Amsterdam, lasted until route servers were restarted region by region between about 18:30 and 21:34 UTC.","ko":"2025년 3월 17일 16:38 UTC 쯤 여러 데이터센터에서 서버들에 오랫동안 연결할 수 없다는 내부 알림이 한꺼번에 울렸다. 같은 때 고객들도 여러 제품에서 문제를 신고하기 시작했다.\n\n모든 데이터센터에서 네트워크 문제가 날 수 있었고, Amsterdam 데이터센터인 NL-AMS 가 가장 크게 영향을 받았다. Amsterdam 에서는 새 Linode 배포, 기존 Linode 부팅, 그 밖의 호스트 단위 작업이 되지 않았고 데이터센터가 거의 전부 멈췄다. Object Storage 와 Linode Kubernetes Engine 인 LKE 에 접근하지 못하는 문제도 있을 수 있었다.\n\n17:10 UTC 에 백엔드 API 릴리스가 끝나자 대부분의 데이터센터는 따로 손대지 않아도 회복했다. 그 뒤에도 영향이 남은 곳이 있었다. 19:20 UTC 에 올라온 상태 페이지 공지는 Amsterdam 사용자가 Linode 배포, 부팅, 사용에서 더 큰 장애를 겪을 수 있다고 알렸다."},"updated_at":"2026-11-14T12:34:21.146330Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0563","org_slug":"linode"}