{"id":"IL-0267","org":"Wikimedia Foundation","date":"2023-01-10","docs":["https://phabricator.wikimedia.org/T327265","https://phabricator.wikimedia.org/T322529","https://phabricator.wikimedia.org/T230835","https://www.wikimediastatus.net/incidents/h3kkhqf88msr"],"title":{"en":"Wikimedia's eqsin cache site went unreachable when both of its transport links to the core data centers were down","ko":"싱가포르 캐시 거점 eqsin 의 전송 회선 두 개가 함께 끊겨 BGP 가 내려가고 eqsin 의 호스트에 닿을 수 없게 됐다"},"domain":["networking"],"impact":{"scope":"Users normally directed to eqsin could read only Wikipedia pages already cached in eqsin","users":"users in Asia, mostly in the APAC region, for about 11 to 41 minutes","region":"APAC (eqsin)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"The site was depooled quickly, and \"depool first, investigate later\" was the right attitude. A flood of host-down alerts usually means a network problem. eqsin stayed too long on a single working transport link, SREs did not catch that the downtime of the two transport links overlapped, and the provider's planned maintenance was not recorded in a task or reminder.","ko":"eqsin 을 DNS 에서 빨리 뺀 것이 잘됐고, 먼저 빼고 나중에 조사한다는 태도가 맞았다. 잘못된 것은 세 가지였다. eqsin 이 너무 오래 전송 회선 하나로만 버텼다. 두 전송 회선이 겹쳐서 내려가는 것을 SRE 들이 잡지 못했다. 공급사의 계획 작업이 작업 티켓이나 알림으로 남지 않았다. 알림은 맞게 울렸지만 IRC 에서 감당하기 어려울 만큼 많았다."},"related":[],"sources":[{"url":"https://wikitech.wikimedia.org/wiki/Incidents/2023-01-10_eqsin_network_outage","kind":"runbook","archived":"https://web.archive.org/web/20260413230857/https://wikitech.wikimedia.org/wiki/Incidents/2023-01-10_eqsin_network_outage"}],"summary":{"en":"Wikimedia's eqsin site reaches the core data centers over two transport links. One of them had been out for a long time because of a fiber cut, so eqsin was running on a single link. The transport provider's planned work PWIC225900, announced by Arelion on 22 December 2022 with a reminder on 9 January, started its service window at 16:00 UTC on 10 January and took down the remaining link. The maintenance was not tracked in a task or reminder, and SREs did not catch that the two link outages overlapped.\n\nAt 16:37 and 16:44 Icinga reported the BGP sessions on cr3-eqsin and cr2-eqsin as CRITICAL, and from 16:45 the eqsin hosts, routers and load balancer addresses went DOWN with 100% packet loss, setting off a flood of alerts and three simultaneous pages. At 16:48 eqsin was depooled from DNS, following an existing runbook, so users were sent elsewhere once their DNS resolvers picked up the change; until then they could only read pages already cached in eqsin. The hosts came back from 16:55, and eqsin was later repooled. Users in Asia were affected for about 11 to 41 minutes; the incident record runs from 16:00 to 20:57.","ko":"eqsin 은 전송 회선 두 개로 코어 데이터센터에 이어져 있었다. 그중 하나는 T322529 에 기록된 광케이블 절단으로 오래 끊겨 있었다. 전송 회선 공급사 Arelion 은 2022년 12월 22일에 계획 작업 PWIC225900 을 알렸고 작업 전날 다시 알렸다. 하지만 이 공급사 계획 작업은 작업 티켓이나 알림으로 남지 않았고, SRE 들은 두 회선이 겹쳐서 끊기는 것을 미리 잡지 못했다.\n\n2023년 1월 10일 16시 00분 UTC 에 작업 시간이 시작되며 남은 회선도 내려갔다. 16시 37분 cr3-eqsin, 16시 44분 cr2-eqsin 의 BGP 상태가 CRITICAL 로 떴고, 16시 45분부터 eqsin 의 호스트와 로드 밸런서가 잇달아 DOWN 으로 떴다. 16시 48분에 SRE 가 eqsin 을 DNS 에서 뺐다. 평소 eqsin 으로 가던 사용자, 주로 APAC 지역 사용자는 약 11분 동안 eqsin 에 캐시된 Wikipedia 페이지만 읽을 수 있었다. 사용자 DNS 리졸버가 이를 반영하는 데 걸리는 시간 때문에 영향이 길게는 30분 더 이어졌다. 사고 기록은 아시아 사용자가 약 11분에서 41분 동안 영향을 받았다고 적었다. 16시 55분부터 호스트들이 회복됐고, 이후 eqsin 을 다시 DNS 에 넣었다. 사고는 20시 57분에 끝난 것으로 기록됐다."},"trigger":{"en":"Planned maintenance by the transport provider took down eqsin's second transport link while the first was still down from a long fiber cut.","ko":"eqsin 을 코어 데이터센터에 잇는 전송 회선 두 개 중 하나는 오래 이어진 광케이블 절단으로 끊겨 있었다. 남은 하나가 전송 회선 공급사 Arelion 의 계획 작업 PWIC225900 으로 내려갔다."},"severity":"unknown","symptoms":["network-unreachable"],"timeline":{"detected_after":null,"resolved_after":"4h 57m"},"date_kind":"incident","detection":{"en":"Automated monitoring: Icinga BGP status alerts for cr3-eqsin at 16:37 and cr2-eqsin at 16:44, followed by a flood of host-down alerts and three pages at the same time.","ko":"자동 모니터링이 먼저 잡았다. 16시 37분 UTC 에 Icinga 가 cr3-eqsin 의 BGP 상태 CRITICAL 을 알렸고, 이어서 cr2-eqsin 의 BGP 상태와 eqsin 호스트들의 DOWN 알림이 울렸다. 호출 알림 세 건이 동시에 울렸고 그중 두 건이 batphone 으로 올라갔다."},"components":["backbone-network","bgp","cdn"],"root_cause":"dependency-failure","remediation":[{"text":{"en":"Depooled eqsin from DNS","ko":"16시 48분 UTC 에 eqsin 을 DNS 에서 뺐다."}},{"text":{"en":"Repooled eqsin","ko":"나중에 eqsin 을 다시 DNS 에 넣었다."}}],"action_items":[{"text":{"en":"Create a backup GRE tunnel for eqsin (T327265)","ko":"백업 GRE 터널을 만든다. 작업은 T327265 이다."}},{"text":{"en":"Ensure the long-down transport link comes back up properly once it is fixed (T322529)","ko":"오래 끊겨 있던 전송 회선이 수리된 뒤 제대로 다시 올라오는지 확인한다. 작업은 T322529 이다."}},{"text":{"en":"Automatically parse maintenance notifications and alert on conflicting maintenance (T230835)","ko":"공급사의 점검 알림을 자동으로 읽어 들여 점검 일정이 서로 겹치면 알린다. 작업은 T230835 이다."}}],"contributing":["single-point-of-failure","early-signal-ignored"],"recurrence_of":null,"symptoms_text":{"en":"On 10 January 2023 at 16:37 UTC Icinga reported \"BGP status on cr3-eqsin is CRITICAL: BGP CRITICAL - AS1299/IPv6: Active - Telia, AS1299/IPv4: Active - Telia\", and from 16:45 the hosts in Wikimedia's eqsin site went DOWN with \"PING CRITICAL - Packet loss = 100%\". Users normally directed to eqsin, mostly in the APAC region, could only read Wikipedia pages already cached in eqsin.\n\nAt 16:44 a second BGP alert followed: \"BGP status on cr2-eqsin is CRITICAL: BGP CRITICAL - No response from remote host 103.102.166.130\". Between 16:45 and 16:47 host-down alerts arrived for bast5002, doh5001, prometheus5001, ncredir5001, netflow5002, cr2-eqsin, durum5002, cr3-eqsin, ncredir5002, durum5001, install5001, doh5002, upload-lb.eqsin.wikimedia.org and text-lb.eqsin.wikimedia.org, and from 16:49 to 16:50 for the IPv6 checks of cr2-eqsin, mr1-eqsin, cr3-eqsin and ripe-atlas-eqsin. The alert volume was hard to handle on IRC: three pages fired at the same time and two of them escalated to batphone.\n\neqsin is connected to the core data centers by two transport links. One had been down for a long time from a fiber cut (T322529), and the other went down in a planned maintenance by the transport provider. Arelion had announced planned work PWIC225900 on 22 December and sent a reminder on 9 January, and its service window started at 16:00, but the maintenance was not in a task or reminder and SREs did not notice that it overlapped with the other link's outage.\n\nHosts recovered with \"PING OK - Packet loss = 0%\" from 16:55, and \"OSPF status on cr1-codfw is OK\" followed at 16:57. The user impact lasted about 11 minutes plus the time users' DNS resolvers took to pick up the depool of eqsin, with a long tail of up to 30 minutes.","ko":"16시 37분 UTC 에 Icinga 가 cr3-eqsin 의 BGP 상태가 CRITICAL 이라고 알렸고, 몇 분 뒤 eqsin 의 호스트들이 한꺼번에 DOWN 으로 떴다. 호출 알림 세 건이 동시에 울렸고 그중 두 건은 batphone 으로 올라갔다.\n\n첫 알림은 \"PROBLEM - BGP status on cr3-eqsin is CRITICAL: BGP CRITICAL - AS1299/IPv6: Active - Telia, AS1299/IPv4: Active - Telia\" 였다. 16시 44분에는 \"PROBLEM - BGP status on cr2-eqsin is CRITICAL: BGP CRITICAL - No response from remote host 103.102.166.130\" 이 이어졌다.\n\n16시 45분부터 16시 47분 사이에 bast5002, doh5001, prometheus5001, ncredir5001, netflow5002, cr2-eqsin, durum5002, cr3-eqsin, ncredir5002, durum5001, install5001, doh5002, upload-lb.eqsin.wikimedia.org, text-lb.eqsin.wikimedia.org 가 차례로 \"is DOWN: PING CRITICAL - Packet loss = 100%\" 로 떴다. 16시 49분과 16시 50분에는 cr2-eqsin, mr1-eqsin, cr3-eqsin, ripe-atlas-eqsin 의 IPv6 도 같은 알림을 냈다. 알림이 IRC 에서 감당하기 어려울 만큼 쏟아졌다. 호스트 다운 알림이 이렇게 몰리면 대개 네트워크 문제다.\n\n평소 eqsin 으로 가던 사용자, 주로 APAC 지역 사용자는 약 11분 동안 eqsin 에 이미 캐시된 Wikipedia 페이지만 읽을 수 있었다. 사용자의 DNS 리졸버가 eqsin 이 빠진 것을 반영하기까지 시간이 더 걸려 영향은 길게는 30분 더 이어졌다. 16시 55분부터 호스트들에 \"PING OK - Packet loss = 0%\" 와 함께 RECOVERY 알림이 떴다."},"updated_at":"2026-11-14T12:33:51.860537Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0267","org_slug":"wikimedia-foundation"}