{"id":"IL-0348","org":"Scaleway","date":"2025-03-10","docs":[],"title":{"en":"Scaleway's FR-PAR region lost public internet connectivity when one 100 Gbps backbone link was saturated","ko":"FR-PAR 리전의 모든 제품에서 공용 인터넷 연결이 끊기고 여러 제품이 오래 불안정했다"},"domain":["networking"],"impact":{"scope":"Public internet connectivity for all products in FR-PAR, with DNS, Object Storage, Kubernetes Kapsule, Instances, Transactional Email, Dedibox servers in DC5 and Elastic Metal in FR-PAR-2 affected; VPC and Dedibox RPN were not affected","users":"unknown","region":"FR-PAR (fr-par-1, fr-par-2, fr-par-3 and DC5)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.scaleway.com/incidents/162zw5zd9x8r","kind":"official-status","archived":"https://web.archive.org/web/20260407224114/https://status.scaleway.com/incidents/162zw5zd9x8r"}],"summary":{"en":"On 10 March 2025 Scaleway's network team was connecting a new data center to its backbone in the FR-PAR region. A mistake in a router configuration made during that deployment sent more than 1 Tbps of traffic between OpCore DC3 and DC5 over a single 100 Gbps link at 16:23 UTC. The link saturated, most internet traffic was effectively blackholed, and public internet connectivity between FR-PAR-2 and the rest of the region was severely disrupted. The error was detected quickly and rolled back within four minutes; the correct configuration was in place and the network had converged by 16:27 UTC.\n\nThe network outage lasted five minutes, but rollback and switchover mechanisms in other products had activated against a zone that was entirely cut off, and their back and forth kept the network congested and many products unstable for longer. Object Storage, a regional product, stopped replicating between zones during the outage; a bug in its software let replication run without a rate limit afterwards, which saturated links and kept the service degraded until about 16:50 UTC. DNS recovered at 17:20 UTC, Instances at 17:10 UTC, and Object Storage and Kubernetes Kapsule at 18:00 UTC according to the product list.","ko":"2025-03-10 Scaleway 네트워크 팀은 FR-PAR 리전 백본에 새 데이터 센터를 연결하고 있었다. 16:23 UTC 에 사람이 라우터 구성을 잘못 넣어 OpCore DC3 와 DC5 사이의 1Tbps 넘는 트래픽이 100Gbps 링크 하나로 돌아갔다. 링크가 포화되어 인터넷 트래픽 대부분이 버려졌고, FR-PAR-2 가용 영역과 나머지 PAR 리전 사이의 공용 인터넷 연결이 심하게 끊겼다. 실수는 빨리 발견되어 4분 안에 롤백됐고, 16:27 UTC 에 올바른 구성이 돌아오며 네트워크도 수렴해 안정됐다.\n\n다른 제품들은 롤백과 전환 장치가 켜지면서 부작용을 겪었다. FR-PAR-2 전체의 연결이 끊겨 이 장치들은 성공하지 못했고, 보호 장치가 켜졌다 꺼지기를 되풀이하며 망이 혼잡해져 여러 제품이 불안정했다. 제품에 따라 정상으로 돌아오기까지 몇 분에서 수십 분이 걸렸다. Object Storage 는 소프트웨어 버그로 가용 영역 사이 복제에 속도 제한이 없어서, 연결이 돌아오자 복제 트래픽이 링크를 채웠다. 그 결과 약 25분 동안 리전 전체에서 Object Storage 가 오작동했고 16:50 UTC 무렵 정상으로 돌아왔다. 고객 데이터 손실은 없었다."},"trigger":{"en":"While Scaleway's network team connected a new data center to the FR-PAR backbone, a human mistake in a router configuration rerouted more than 1 Tbps of traffic between OpCore DC3 and DC5 through a single 100 Gbps link.","ko":"Scaleway 네트워크 팀이 FR-PAR 리전 백본에 새 데이터 센터를 붙이던 중 라우터 구성을 잘못 넣었다. 이 실수로 OpCore DC3 와 DC5 사이의 1Tbps 넘는 트래픽이 100Gbps 링크 하나로 돌아갔다."},"severity":"unknown","symptoms":["packet-loss","service-unavailable","high-latency"],"timeline":{"detected_after":null,"resolved_after":"1h 38m"},"date_kind":"incident","detection":{"en":"The router configuration error was detected quickly and rolled back within four minutes.","ko":"라우터 구성 실수는 빨리 발견되어 4분 안에 롤백됐다."},"components":["backbone-network","object-storage","dns-server"],"root_cause":"human-operation","remediation":[{"text":{"en":"Rolled back the router configuration, restoring the correct configuration at 16:27 UTC","ko":"잘못 넣은 라우터 구성을 4분 안에 롤백해 16:27 UTC 에 올바른 구성을 되돌렸다."}}],"action_items":[{"text":{"en":"Harden the peer review and production communication process for changes","ko":"변경 관리를 고쳐 동료 검토와 운영 공지 절차를 강화한다."}},{"text":{"en":"Add failsafes and tests before network configuration is applied at backbone level","ko":"백본 수준의 네트워크 구성을 적용하기 전에 안전장치와 시험을 더 거치도록 운영 절차를 고친다."}},{"text":{"en":"Deploy the fix for the Object Storage synchronisation software issue","ko":"Object Storage 동기화 소프트웨어의 문제를 찾아 수정을 만들고 시험했으며, 이 수정을 배포하고 있다."}}],"contributing":["automation-amplified"],"recurrence_of":null,"symptoms_text":{"en":"On 10 March 2025 at 16:22 UTC, public internet connectivity in Scaleway's FR-PAR region broke for all products. Most internet traffic between the FR-PAR-2 availability zone and the rest of the PAR region was blackholed for about five minutes, while VPC traffic and Dedibox RPN kept working.\n\nProducts stayed broken for different lengths of time: authoritative and cache DNS from 16:23 to 17:20 UTC, Object Storage from 16:23 to 18:00 UTC, Kubernetes Kapsule from 16:23 to 18:00 UTC, virtual Instances from 16:23 to 17:10 UTC, and Transactional Email, Dedibox dedicated servers in DC5 and Elastic Metal in FR-PAR-2 from 16:23 to 16:27 UTC. A status page update posted at 18:19 CET said public connectivity in PAR2/DC5 was almost fully blackholed between 17:22 and 17:28.\n\nRecovery took from minutes to tens of minutes after connectivity returned at 16:27 UTC. Rollback and switchover mechanisms in other products activated, but because the whole FR-PAR-2 zone was cut off they could not succeed, and their going back and forth heavily congested the network and made many products unstable. In Object Storage, replication between availability zones stopped during the outage and then ran without a rate limit once connectivity came back, saturating some links and causing latency and packet drops; the service was severely degraded across FR-PAR for about 25 minutes, until about 16:50 UTC. No customer data was lost.","ko":"2025-03-10 16:23 UTC 무렵 FR-PAR 리전의 모든 제품에서 공용 인터넷 연결이 크게 흔들렸다. 인터넷 트래픽 대부분이 사실상 버려졌고, FR-PAR-2 가용 영역과 나머지 PAR 리전 사이의 공용 인터넷 연결이 심하게 끊겼다.\n\n끊긴 것은 공용 인터넷 연결뿐이었다. VPC 통신은 FR-PAR-1 과 FR-PAR-2 안에서도, PAR1, PAR2, PAR3 사이에서도 영향이 없었고, Dedibox RPN 도 영향이 없었다.\n\n연결은 4분 만에 돌아왔지만 제품마다 정상으로 돌아오기까지 몇 분에서 수십 분이 더 걸렸다. Transactional Email, DC5 의 Dedibox 전용 서버, FR-PAR-2 의 Elastic Metal 은 16:23 부터 16:27 UTC 까지, Virtual Instances 는 17:10 UTC 까지, DNS 권한 서버와 캐시는 17:20 UTC 까지, Object Storage 와 Kubernetes Kapsule 은 18:00 UTC 까지 영향을 받았다.\n\n롤백과 전환 장치가 켜졌지만 FR-PAR-2 가용 영역 전체의 연결이 끊긴 탓에 성공하지 못했다. 네트워크가 내려간 것은 아니었다. 보호 장치가 켜졌다 꺼지기를 되풀이하면서 망이 심하게 혼잡해졌고, 이 때문에 여러 제품이 불안정해졌다.\n\nObject Storage 는 연결이 끊긴 동안 가용 영역 사이 복제가 멈췄다. 연결이 돌아오자 속도 제한 없이 몰린 복제 트래픽이 일부 링크를 채워 지연과 패킷 손실을 냈고, FR-PAR 리전 전체에서 16:50 UTC 무렵까지 약 25분 동안 Object Storage 가 심하게 오작동했다. 고객 데이터 손실은 없었다."},"updated_at":"2026-11-14T12:34:00.282581Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0348","org_slug":"scaleway"}