{"id":"IL-0564","org":"Linode","date":"2025-09-14","docs":[],"title":{"en":"Linode's Miami, Milan and Sao Paulo data centers had packet loss as traffic moved onto congested alternate paths","ko":"Linode 의 Miami, Milan, Sao Paulo 데이터센터에서 패킷 손실로 서비스 성능이 떨어졌다"},"domain":["networking"],"impact":{"scope":"packet loss and performance degradation for services in the US-MIA, IT-MIL and BR-GRU data centers","users":"unknown","region":"US-MIA (Miami), IT-MIL (Milan), BR-GRU (Sao Paulo)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.linode.com/incidents/kbvg7325nc3b","kind":"official-status","archived":"https://web.archive.org/web/20250920002645/https://status.linode.com/incidents/kbvg7325nc3b"}],"summary":{"en":"The routing between Akamai's core router and edge router has a limit on the number of permitted prefixes. A gradual increase in prefixes reached that limit, the safety limit was triggered, and traffic from the data centers moved to alternate paths. The alternate paths became congested, which caused packet loss in Miami and Milan on 14 September and in Sao Paulo on 15 September. No ISP problem was found that contributed. Akamai raised the prefix limit on all the data center routers to end the impact, and said it would raise the thresholds of the sessions between its backbone and the data center ECOR routers and improve its alerting before limits are reached.","ko":"2025년 9월 14일 17:42 UTC 부터 18:43 UTC 까지 Linode 의 Miami 데이터센터 US-MIA 와 Milan 데이터센터 IT-MIL 에서 패킷 손실이 났다. 9월 15일 01:44 UTC 부터 04:22 UTC 까지는 Sao Paulo 데이터센터 BR-GRU 에서 패킷 손실이 났고, 대부분의 경우 고객은 성능 저하를 겪었다. 코어 라우터와 엣지 라우터 사이의 prefix 수가 서서히 늘어 허용된 최대 prefix 수라는 안전 한도에 닿았다. 한도에 닿자 데이터센터의 트래픽이 다른 경로로 옮겨 갔고, 그 경로가 혼잡해져 패킷 손실이 났다. Akamai 는 이 상황에 영향을 준 ISP 쪽 문제는 찾지 못했다고 밝혔다. Akamai 는 모든 데이터센터 라우터의 prefix 한도를 올려 문제를 완화했고, 9월 16일 16:28 UTC 에 사고를 해결 상태로 닫았다. 보고서는 조사가 아직 진행 중이라고 밝혔다."},"trigger":{"en":"A gradual increase in prefixes pushed the routing between the core router and the edge router past the maximum number of permitted prefixes.","ko":"코어 라우터와 엣지 라우터 사이의 prefix 수가 서서히 늘어, 허용된 최대 prefix 수라는 안전 한도를 넘었다."},"severity":"unknown","symptoms":["packet-loss"],"timeline":{"detected_after":null,"resolved_after":"10h 40m"},"date_kind":"incident","detection":null,"components":["bgp","backbone-network"],"root_cause":"capacity","remediation":[{"text":{"en":"Raised the prefix limit on all the data center routers","ko":"모든 데이터센터 라우터의 prefix 한도를 올렸다."}}],"action_items":[{"text":{"en":"Raise the thresholds of the sessions between Akamai's backbone and the data center ECOR routers","ko":"Akamai 백본과 데이터센터 ECOR 라우터 사이 세션의 한도를 올리는 작업을 진행한다."}},{"text":{"en":"Improve the existing alerting and check its severity before limits are reached, with escalation to the right team for immediate action","ko":"기존 알림을 고쳐 한도에 닿기 전에 심각도를 확인하게 하고, 이 알림을 사내 담당 팀에 바로 넘겨 즉시 조치하게 한다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"Customers using Linode's US-MIA (Miami) and IT-MIL (Milan) data centers saw packet loss and brief performance problems on 14 September 2025 from 17:42 to 18:43 UTC. BR-GRU (Sao Paulo) had the same packet loss on 15 September 2025 from 01:44 to 04:22 UTC.\n\nThe status page warned that users might see high packet loss for all services deployed in the affected data centers. How much a customer noticed depended on the products and services they were connected to, and most saw performance degradation.\n\nMiami and Milan were confirmed clear at 20:10 UTC on 14 September and kept under monitoring. The problem then appeared in Sao Paulo from 01:44 UTC on 15 September, while Miami and Milan stayed operational.","ko":"2025년 9월 14일 17:42 UTC 부터 18:43 UTC 까지 Miami 데이터센터 US-MIA 와 Milan 데이터센터 IT-MIL 에서 패킷 손실이 났다. 9월 15일 01:44 UTC 부터 04:22 UTC 까지는 Sao Paulo 데이터센터 BR-GRU 에서 패킷 손실이 났다. 대부분의 경우 고객은 성능 저하를 겪었다.\n\n상태 페이지는 이 데이터센터들에 배포한 모든 서비스에서 패킷 손실이 크게 날 수 있다고 알렸다. 고객이 겪은 영향은 그 시간에 어떤 제품과 서비스에 연결해 있었는지에 따라 달랐다.\n\n9월 14일 20:10 UTC 공지는 Miami 와 Milan 에 더는 영향이 없다고 확인했고, 9월 15일 00:31 UTC 공지까지 재발은 없었다. 그 뒤 03:32 UTC 공지에 Sao Paulo 데이터센터에서 문제가 보인다는 내용이 올라왔다."},"updated_at":"2026-11-14T12:34:21.225390Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0564","org_slug":"linode"}