{"id":"IL-0358","org":"Packet","date":"2019-06-02","docs":[],"title":{"en":"Packet Public Cloud locations had high latency and unreachable paths from routing loops and blackholed traffic","ko":"Packet 공용 클라우드의 여러 리전에서 라우팅 루프와 블랙홀로 연결이 간헐적으로 끊겼다"},"domain":["networking"],"impact":{"scope":"Intermittent loss of connectivity and degraded routing for Packet Public Cloud locations, affecting traffic between specific source and destination address pairs, especially from US datacenters to broadband ISPs; provisioning and deprovisioning in NRT1 and SJC1","users":"unknown","region":"Global Cloud Locations"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.equinixmetal.com/incidents/tp130h5m6px0","kind":"official-status","archived":null}],"summary":{"en":"On 2 June 2019 a trans-continental US backbone link at Zayo, Packet's upstream network provider, failed in hardware and blackholed the IP traffic routed over it. Even after the link was removed from service, traffic kept being blackholed because of lingering control plane problems and stale routes in Zayo's network, which greatly extended the outage. Packet's monitoring alerted at 08:49 UTC on reachability problems across several global locations, and engineers found routing loops and blackholed traffic, with provisioning affected in NRT1 and SJC1. At 12:10 the cause was confirmed as the Zayo outage. Packet's network engineers moved traffic onto an alternative network, removed Zayo from the provider mix and applied route filters, and connectivity began to return; afterwards they tuned specific routing policies to improve latency across the backbone with the new traffic mix. A fix was in place at 13:32 and the incident was resolved at 15:22 UTC.","ko":"2019-06-02 08:49 UTC 에 Packet 의 내부 네트워크 모니터링이 여러 글로벌 데이터센터에서 목적지에 닿지 못하는 문제와 성능 문제를 알렸다. 첫 조사에서 특정 내부 목적지와 인터넷 목적지로 가는 트래픽의 라우팅 루프와 블랙홀이 보였고, 10:13 에 라우팅 문제를 찾았다. 12:10 에 네트워크 엔지니어들은 이것이 상위 네트워크 사업자 Zayo 의 큰 장애 때문임을 확인했다. Zayo 에 따르면 미국 대륙 횡단 백본 링크 하나가 하드웨어 고장을 일으켜 그 링크로 가는 IP 트래픽을 블랙홀로 보냈다. 문제 링크를 서비스에서 뺀 뒤에도 Zayo 네트워크에 남은 제어 플레인 문제와 낡은 경로 때문에 트래픽이 계속 블랙홀로 사라졌고, 그래서 복구가 크게 늦어졌다.\n\nPacket 네트워크 엔지니어링 팀은 트래픽을 다른 네트워크로 옮겨 Zayo 를 상위 사업자 구성에서 빼고, 알맞은 경로 필터를 적용했다. 12:10 부터 트래픽이 다른 경로로 가며 연결이 돌아오기 시작했고, 13:32 에 수정을 적용한 뒤 결과를 지켜봤다. 그 뒤 바뀐 트래픽 구성에서 백본 지연을 줄이도록 특정 라우팅 정책을 다듬었다. 15:22 에 모든 서비스가 정상으로 돌아와 사고를 해결로 닫았다. 그동안 NRT1 과 SJC1 에서는 프로비저닝과 디프로비저닝도 영향을 받았다. Zayo 를 뺀 뒤에도 Zayo 를 쓰는 일부 대형 브로드밴드 네트워크와 셀룰러 네트워크는 연결이 나빴다."},"trigger":{"en":"A trans-continental US backbone link in the network of Packet's upstream provider Zayo had a hardware failure and blackholed IP traffic routed over it.","ko":"Packet 의 상위 네트워크 사업자 Zayo 의 미국 대륙 횡단 백본 링크에 하드웨어 고장이 나서, 그 링크로 라우팅된 IP 트래픽이 블랙홀로 사라졌다."},"severity":"unknown","symptoms":["network-unreachable","packet-loss","high-latency"],"timeline":{"detected_after":"0m","resolved_after":"6h 33m"},"date_kind":"incident","detection":{"en":"Packet's internal network monitoring alerted at 08:49 UTC on reachability issues in several global datacenter locations, and engineers confirmed them at 08:52.","ko":"08:49 UTC 에 모니터링 도구가 Packet 의 여러 글로벌 데이터센터에서 목적지에 닿지 못하는 문제를 알렸다. 08:52 에 엔지니어링 팀이 문제를 확인하고 내부 사고를 만들어 운영 인력과 플랫폼 엔지니어링, 네트워크 엔지니어링의 에스컬레이션 담당자를 불렀다."},"components":["backbone-network","bgp","network-control-plane"],"root_cause":"dependency-failure","remediation":[{"text":{"en":"Migrated traffic to an alternative network and removed Zayo from the provider mix","ko":"트래픽을 다른 네트워크로 옮겨 Zayo 를 상위 사업자 구성에서 뺐다."}},{"text":{"en":"Applied route filters to return service to normal","ko":"알맞은 경로 필터를 적용해 서비스를 정상으로 되돌렸다."}},{"text":{"en":"Optimised specific routing policies to improve latency across the backbone with the new traffic mix","ko":"바뀐 트래픽 구성에 맞춰 특정 라우팅 정책을 다듬어 백본 전반의 지연을 줄였다."}}],"action_items":[{"text":{"en":"Expand internal connectivity monitoring and alerting of on-call operations teams","ko":"내부 연결 모니터링을 넓히고, 당직 운영팀에게 가는 알림을 늘린다."}},{"text":{"en":"Expand network automation and routing so traffic can be balanced across all available backbone paths and an operator can trigger automated re-routes across all Packet datacenters in a major provider incident","ko":"네트워크 자동화와 라우팅 프로토콜 구현을 넓혀 쓸 수 있는 모든 백본 경로로 더 잘 라우팅하고 부하를 나눈다. 큰 사업자 사고가 나면 운영자가 Packet 의 모든 데이터센터에 걸쳐 자동 트래픽 우회를 실행할 수 있게 한다."}},{"text":{"en":"Make Packet's provisioning systems less dependent on third party network providers and inter-datacenter connectivity","ko":"Packet 의 프로비저닝 시스템과 서비스가 외부 네트워크 사업자와 데이터센터 사이 연결에 덜 의존하게 해서 복원력을 높인다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"At about 08:49 UTC on 2 June 2019, Packet's internal network monitoring alerted on serious reachability and performance problems in several of Packet's global datacenter locations. The first investigation found routing loops and traffic being blackholed to specific internal and Internet destinations.\n\nThe damage was uneven. Only traffic between particular, seemingly random pairs of source and destination IP addresses was hit while other customer traffic flowed normally, and delivery from Packet's US datacenters to broadband ISPs suffered the most. Server interface connectivity was never affected. Customers first lost upstream connectivity briefly in some Packet Cloud regions, then for the rest of the outage had poor routing with high latency and some paths that could not be reached at all.\n\nProvisioning was affected too: from 09:18 engineers investigated provisioning and deprovisioning problems in the NRT1 availability zone, and at 10:11 found SJC1 device provisioning affected as well. The routing issue was identified at 10:13, and at 12:10 network engineers confirmed it came from an outage at Packet's upstream network provider Zayo. Even after Zayo was taken out of Packet's provider mix, some large broadband and cellular networks that also depend on Zayo kept degraded connectivity to Packet and to other destinations.","ko":"2019-06-02 08:49 UTC 에 Packet 의 내부 네트워크 모니터링이 여러 글로벌 데이터센터에서 목적지에 닿지 못하는 문제와 성능 문제를 알렸다. 엔지니어들은 08:52 에 이 연결 문제를 확인했다.\n\n첫 조사에서 특정 내부 목적지와 인터넷 목적지로 가는 트래픽이 라우팅 루프에 빠지거나 블랙홀로 사라지는 것이 보였다. 피해는 무작위로 정해진 특정 출발지 IP 와 목적지 IP 쌍 사이의 트래픽에만 났고 다른 고객 트래픽은 멀쩡했다. 서버 인터페이스 연결은 영향을 받지 않았다.\n\n고객은 처음에 특정 리전에서 상위 회선 연결이 잠깐 끊기는 일을 겪었다. 그 뒤 사고 내내 트래픽이 지연이 높은 나쁜 경로로 갔고, 일부 경로는 아예 닿지 않았다. Packet 의 미국 데이터센터에서 브로드밴드 ISP 로 가는 트래픽이 특히 크게 나빠졌다.\n\n09:18 에 엔지니어들은 NRT1 가용 영역의 프로비저닝 영향을 조사하기 시작했고, 10:11 에 SJC1 의 장비 프로비저닝도 영향을 받는 것을 알았다. 상태 페이지에는 NRT1 과 SJC1 데이터센터의 프로비저닝과 디프로비저닝 문제를 조사 중이라는 글이 올라갔다.\n\nPacket 이 Zayo 를 상위 사업자 구성에서 완전히 뺀 뒤에도, Zayo 의 상품과 서비스에 기대는 일부 대형 브로드밴드 네트워크와 셀룰러 네트워크는 Packet 과 다른 목적지로의 연결이 계속 나빴다."},"updated_at":"2026-11-14T12:34:01.190640Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0358","org_slug":"packet"}