{"id":"IL-0228","org":"OVHcloud","date":"2021-10-13","docs":["https://network.status-ovhcloud.com/incidents/rr9361xp0mh4"],"title":{"en":"IPv4 routing across OVHcloud's global network broke after a router change put the full internet routing table into OSPF","ko":"라우터 설정 변경 중 인터넷 전체 라우팅 테이블이 IGP 로 광고돼 OVHcloud 전 세계 네트워크의 IPv4 라우팅이 멈췄다."},"domain":["networking"],"impact":{"scope":"IPv4 routing across OVHcloud's global network and all OVHcloud sites; IPv6 traffic unaffected","users":"unknown","region":"global"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://corporate.ovhcloud.com/en/newsroom/news/network-incident/","kind":"blog","archived":"https://web.archive.org/web/20240914050022/https://corporate.ovhcloud.com/en/newsroom/news/network-incident/"}],"summary":{"en":"OVHcloud runs a global network that is fully meshed, so every router is connected to the others directly or indirectly and constantly exchanges routing information with them. After weeks of rising DDoS attacks, OVHcloud prepared a configuration change to improve its defences; the Change Advisory Board validated it per the Method of Procedures with peer review, and it was announced on 2021-10-12. The change began at 09:05 CET, and BGP isolation and configuration updates went as expected at 09:18 CET. At 09:20 CET the misinterpreted command announced the whole internet routing table into the IGP, which overloaded routers and set off the BGP and OSPF convergence loop.\n\nThe crisis management process started at 09:25 CET. After the rollback failed, a datacentre technician started work in the telecom room at 10:00 CET (3:00 am local time), first disconnecting the optical equipment to isolate connectivity. The faulty router was powered off at 10:18 CET, network convergence took two minutes, and the first services came back at 10:20 CET. With the router, named D2, offline, the network converged, the OSPF tables emptied and traffic returned to the nominal gateways; the crisis ended technically at 10:57 CET. OVHcloud's earlier update at 11:30am the same day gave 9:12am CET for the start of the intervention and 10:15am for isolating the equipment.","ko":"OVHcloud 는 몇 주째 늘어난 DDoS 공격을 막으며 방어 설정을 계속 강화하고 있었다. Change Advisory Board 가 정해진 Method of Procedures 와 동료 검토로 검증한 변경을 2021-10-12 16:28 CET 에 공지했고, 10월 13일 09:05 CET 에 계획대로 시작했다. 09:18 CET 까지 BGP 격리와 설정 업데이트가 예상대로 진행됐다. 09:20 CET 에 미국 Vint Hill 데이터 센터의 라우터가 BGP 경로를 OSPF 로 재분배하는 설정을 조절하려던 명령을 제대로 해석하지 못했고, 인터넷 전체 라우팅 테이블이 OVHcloud IGP 로 광고됐다. OVHcloud 네트워크는 모든 대륙에 걸친 풀 메시 구조라 모든 라우터가 서로 라우팅 정보를 주고받는다. 라우팅 정보가 몰려 OSPF 테이블이 가득 차고 라우터의 RAM 과 CPU 가 과부하에 걸렸다. BGP 와 OSPF 사이에 수렴 루프가 생겨 IPv4 라우팅이 동작하지 않았다. IPv6 트래픽은 영향을 받지 않았다.\n\n팀은 09:21 CET 에 라우터 성능 문제를 감지해 에스컬레이션했고, 변경이 수렴하기를 기다리다가 09:25 CET 에 위기 관리 절차를 시작했다. 09:30 CET 에 롤백 절차가 효과가 없자 장비를 물리적으로 격리하기로 하고 현장 지원을 불렀다. 09:45 CET 에 데이터 센터 팀이 두 번째 우회 계획을 실행하러 통신실로 갔고, 현지 시각 새벽 3시인 10:00 CET 에 기술자가 작업을 시작했다. 10:02 CET 에 광 장비 연결을 끊어 달라고 요청했고, 10:10 CET 에 고장 라우터의 전원을 끄기로 해 10:18 CET 에 껐다. 라우터 D2 가 내려가자 네트워크가 수렴하면서 장비들의 OSPF 테이블이 비고 트래픽이 정상 게이트웨이로 흘렀다. 10:20 CET 에 첫 서비스가 돌아왔고, 10:30 CET 부터 남은 서비스를 되살리려고 연결 안정화를 시작해 10:57 CET 에 기술적으로 위기가 끝났다. 같은 날 오전 11시 30분에 먼저 낸 공지는 작업 시작을 오전 9시 12분 CET, 장비 격리를 오전 10시 15분으로 적었다."},"trigger":{"en":"A planned change to a router in the Vint Hill datacentre in the United States, meant to strengthen anti-DDoS protection, included a command to regulate the redistribution of BGP into OSPF, and the router did not interpret that command correctly.","ko":"늘어나는 DDoS 공격에 맞서 방어 설정을 강화하려고 미국 Vint Hill 데이터 센터의 라우터에 계획된 변경을 하던 중이었다. 이때 라우터가 BGP 경로를 OSPF 로 재분배하는 설정을 조절하려던 명령을 제대로 해석하지 못했다."},"severity":"unknown","symptoms":["network-unreachable","service-unavailable"],"timeline":{"detected_after":"1m","resolved_after":"1h 37m"},"date_kind":"incident","detection":{"en":"At 09:21 CET the team detected a problem with the router's performance and started the escalation process.","ko":"변경 작업 중이던 09:21 CET 에 팀이 라우터 성능 문제를 감지하고 곧바로 에스컬레이션 절차를 시작했다."},"components":["igp-routing","bgp","backbone-network"],"root_cause":"config-change","remediation":[{"text":{"en":"Disconnected the optical equipment to isolate the router's connectivity","ko":"연결을 격리해 서비스를 최대한 빨리 되살리려고, 10:02 CET 에 데이터 센터 기술자에게 광 장비 연결을 먼저 끊어 달라고 요청했다."}},{"text":{"en":"Powered off the faulty router","ko":"10:10 CET 에 고장 라우터의 전원을 끄기로 했고, 10:18 CET 에 장비를 껐다. 네트워크가 수렴하는 데 2분이 걸렸고 10:20 CET 에 첫 서비스가 돌아왔다."}},{"text":{"en":"Stabilised connectivity to restore the remaining services","ko":"10:30 CET 부터 남은 서비스를 모두 되살리려고 연결 안정화 작업을 시작했다. 10:57 CET 에 기술적으로 위기가 끝났다."}}],"action_items":[{"text":{"en":"Re-evaluate the change procedure for this type of equipment, which applies the command line natively","ko":"명령줄을 그대로 적용하는 이 종류의 장비에서 변경 절차를 다시 평가한다."}},{"text":{"en":"Strengthen the related change process","ko":"평가 결과에 맞춰 관련 변경 절차를 강화한다."}}],"contributing":["revert-did-not-restore","blast-radius-too-wide"],"recurrence_of":null,"symptoms_text":{"en":"At 09:20 CET on 13 October 2021, during a planned change on a router, IPv4 traffic across OVHcloud's whole network stopped being routed, while all IPv6 traffic stayed reachable. The team detected a problem with the router's performance at 09:21 CET and escalated at once.\n\nThe entire internet routing table had been announced into OVHcloud's IGP. With the OSPF table full, routers' RAM and CPU were overloaded and some routers became unstable, and a convergence loop between BGP and OSPF made IPv4 routing inoperable, so IPv4 traffic could not be processed correctly on any OVHcloud site.\n\nThe rollback procedure did not work, so at 09:30 CET the team decided to isolate the equipment physically and called for on-site support.\n\nAfter the faulty router was switched off, the first services came back at 10:20 CET, and the crisis ended from a technical point of view at 10:57 CET.","ko":"2021-10-13 09:20 CET 에 네트워크 설정을 바꾸던 중 문제가 생겼고, 09:21 CET 에 팀이 라우터 성능 문제를 감지해 곧바로 에스컬레이션했다. IPv6 트래픽은 계속 정상으로 오갔다.\n\n인터넷 전체 라우팅 테이블이 OVHcloud IGP 로 광고되면서 라우팅 정보가 한꺼번에 몰려 일부 라우터가 불안정해졌다. OSPF 테이블이 가득 차 라우터의 RAM 과 CPU 가 과부하에 걸렸다. BGP 와 OSPF 사이에 수렴 루프가 생겨 IPv4 라우팅이 동작하지 않았고, OVHcloud 의 모든 사이트에서 IPv4 트래픽을 제대로 처리하지 못했다.\n\n팀은 먼저 롤백 절차를 시도했지만 09:30 CET 에 롤백이 효과가 없었다. 그래서 문제 장비를 물리적으로 격리하기로 하고 현장 지원을 불렀다.\n\n고장 라우터를 끈 뒤 10:20 CET 에 첫 서비스가 돌아왔고, 10:57 CET 에 기술적으로는 위기가 끝났다."},"updated_at":"2026-11-14T05:53:44.603983Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0228","org_slug":"ovhcloud"}