{"id":"IL-0344","org":"Linode","date":"2023-02-11","docs":[],"title":{"en":"Linode's US-West data centers in Fremont and Santa Clara lost connectivity as the fibre circuits between them failed","ko":"Linode US-West 의 Fremont 와 Santa Clara 데이터 센터가 인터넷 연결과 두 사이트 사이 연결을 잃었다"},"domain":["networking"],"impact":{"scope":"Internet connectivity for customers in the Fremont and Santa Clara data centers and connectivity between the two sites; customers could not reach their Linodes and could have trouble provisioning, powering down or rebooting services","users":"unknown","region":"US-West (Fremont and Santa Clara)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.linode.com/incidents/gh22stjx5xw6","kind":"official-status","archived":null}],"summary":{"en":"Linode's Fremont and Santa Clara data centers in the US-West region are linked by a geographically diverse, redundant pair of multi-fiber circuits, the A-side and the B-side, which connect border routers and core switches at the two sites and carry peer Linode traffic and shared internet transit. On 11 February 2023 one A-side link failed, and early on 12 February the whole B-side circuit failed, leaving traffic on the A-side core switch links with reduced performance. An attempt at 8:45 UTC to stabilise the network by removing internet traffic from the Santa Clara border routers took Santa Clara offline until it was reverted at 10:13 UTC.\n\nWhen the cause of the A-side link failure could not be found, the issue was escalated to the hardware vendor. During the vendor's troubleshooting, a non-intrusive command triggered a rare bug that failed all A-side links and severed the two data centers. The vendor advised that a code upgrade of both circuits was needed; the emergency upgrades were completed at 16:25 UTC, and traffic was back on the A-side path by 17:29 UTC. The B-side was restored at 18:30 UTC on 14 February after work with the hardware vendor and the fiber provider; the fault was a unidirectional loss of light on an intermediate segment of the circuit. The postmortem says another outage hit the two data centers on 21 February but does not describe it.","ko":"Linode 의 Santa Clara 와 Fremont 데이터 센터는 지리적으로 다른 길로 놓인 이중화된 다중 광섬유 회선 한 쌍, A 쪽과 B 쪽으로 이어진다. 이 회선은 두 사이트의 보더 라우터와 코어 스위치를 이어 Linode 피어 트래픽을 나르고 사이트 사이에 인터넷 트랜짓을 나눈다. 2023년 2월 11일 17:45 UTC 에 A 쪽에서 두 보더 라우터를 잇던 링크 하나가 끊겼고, 인터넷 트래픽은 B 쪽으로 돌았다. 이런 고장은 비교적 흔해 대응 팀이 조사와 수리를 시작했다. 2월 12일 2:45 UTC 에 B 쪽 회선 전체가 끊겨 보더 라우터끼리 고립됐다. 트래픽은 A 쪽 코어 스위치 사이 링크로 흘렀지만 성능이 떨어졌다.\n\n8:45 UTC 에 네트워크 엔지니어가 네트워크를 안정시키려고 Santa Clara 의 보더 라우터에서 인터넷 트래픽을 모두 뺐고, 이 변경으로 Santa Clara 고객의 인터넷 연결이 끊겼다. 10:13 UTC 에 변경을 되돌려 서비스를 살린 뒤 A 쪽과 B 쪽 회선 복구에 들어갔다. A 쪽 링크 고장의 원인이 보이지 않아 하드웨어 업체에 지원 건을 열었다. 업체와 함께 조사하던 중, 시스템에 영향을 주지 않는 명령 하나가 드문 버그를 건드려 A 쪽 링크가 모두 끊겼다. 두 데이터 센터 사이 연결이 완전히 잘려 두 곳 모두 서비스가 나빠지거나 멈췄다.\n\n네트워크 엔지니어들은 버그를 피하고 연결을 살리려면 두 회선의 코드를 업그레이드해야 한다는 안내를 받고 긴급 업그레이드를 했다. 업그레이드는 16:25 UTC 에 끝나 연결이 돌아왔고, 17:29 UTC 까지 트래픽이 A 쪽 경로로 돌아왔다. B 쪽은 하드웨어 업체와 광섬유 제공자가 함께 고장 지점을 찾았다. 원인은 두 데이터 센터를 잇는 회선 중간 구간의 한 방향 광 손실이었다. 2월 14일 18:30 UTC 에 B 쪽 경로가 살아나 두 사이트 사이 이중화가 모두 돌아왔다."},"trigger":{"en":"A single link of the A-side fibre circuit between Fremont and Santa Clara went down on 11 February, the whole B-side circuit followed on 12 February, and during troubleshooting with the hardware vendor a non-intrusive command triggered a rare bug that took down all A-side links.","ko":"2월 11일 17:45 UTC 에 US-West 두 데이터 센터를 잇는 A 쪽 다중 광섬유 회선의 링크 하나가 끊겼고, 2월 12일 2:45 UTC 에 이중화 짝인 B 쪽 회선 전체가 끊겼다. 하드웨어 업체와 함께 원인을 조사하던 중에는 시스템에 영향을 주지 않는 명령 하나가 드문 버그를 건드려 A 쪽 링크가 모두 끊겼다."},"severity":"unknown","symptoms":["network-unreachable"],"timeline":{"detected_after":null,"resolved_after":"23h 44m"},"date_kind":"incident","detection":{"en":"The response team began investigating when the A-side link went down on 11 February. The status page opened at 10:22 UTC on 12 February to investigate reports of connectivity issues in the US-West region.","ko":"2월 12일 10:22 UTC 상태 페이지에 US-West 리전의 연결 문제 신고를 조사 중이라는 공지가 올라왔다. 12:52 UTC 에는 연결 문제 신고가 더 들어와 다시 살펴보기 시작했다."},"components":["backbone-network","network-link"],"root_cause":"software-bug","remediation":[{"text":{"en":"Reverted the change that removed internet traffic from the Santa Clara border routers","ko":"2월 12일 10:13 UTC, Santa Clara 보더 라우터에서 인터넷 트래픽을 모두 뺀 변경을 되돌려 서비스를 살렸다."}},{"text":{"en":"Performed an emergency code upgrade of both circuits, restoring connectivity between the sites","ko":"버그를 피하려고 두 회선의 코드를 긴급히 업그레이드했다. 업그레이드는 16:25 UTC 에 끝나 연결이 돌아왔고, 17:29 UTC 까지 트래픽이 A 쪽 경로로 돌아왔다."}},{"text":{"en":"Restored the B-side path with the hardware vendor and fiber provider, regaining full redundancy","ko":"하드웨어 업체, 광섬유 제공자와 함께 B 쪽 고장 지점을 찾아, 2월 14일 18:30 UTC 에 B 쪽 경로를 살리고 US-West 두 사이트 사이 이중화를 모두 되찾았다."}}],"action_items":[],"contributing":["overlapping-failures","manual-action-worsened"],"recurrence_of":null,"symptoms_text":{"en":"On 12 February 2023, customers in Linode's US-West region could not reach their Linodes. Santa Clara customers lost Internet connectivity after a change made at 8:45 UTC until it was reverted at 10:13 UTC, and later in the day the connection between the Fremont and Santa Clara data centers was cut completely, leaving both with degraded service or a full outage until 16:25 UTC; customers could also have trouble provisioning, powering down or rebooting services.\n\nThe trouble built up over several hours. At 17:45 UTC on 11 February one link in the A-side multi-fiber bundle between the two sites went down, and internet traffic moved to the B-side with no visible customer impact. At 2:45 UTC on 12 February the whole B-side circuit went down, isolating the border routers of the two sites from each other; traffic still flowed over the A-side links between the core switches, but network performance was suboptimal.\n\nTwo actions taken during the response caused the outages. Removing all internet traffic from the Santa Clara border routers at 8:45 UTC cut Internet connectivity for Santa Clara customers, although this was not seen right away, and the change was reverted at 10:13 UTC. While troubleshooting the failed A-side link with the hardware vendor, a non-intrusive command set off a rare bug that brought down every A-side link.","ko":"2023년 2월 12일 Linode US-West 리전의 고객이 자기 Linode 에 접속하지 못했다. 상태 페이지는 10:22 UTC 에 US-West 의 연결 문제 신고를 조사 중이라고 알렸고, 12:52 에 다시 연결 문제 신고가 들어왔다고 알렸다.\n\n전날 2월 11일 17:45 UTC 에 두 데이터 센터를 잇는 A 쪽 다중 광섬유 회선의 링크 하나가 끊겼을 때는 인터넷 트래픽이 B 쪽 링크로 돌아가 고객 영향이 바로 보이지 않았다. 2월 12일 2:45 UTC 에 B 쪽 회선 전체가 끊기자 보더 라우터들이 서로 고립됐다. 고객 인터넷 트래픽은 A 쪽 코어 스위치 사이 링크로 계속 흘렀지만 네트워크 성능이 떨어졌다.\n\n2월 12일 8:45 UTC 에 Santa Clara 의 보더 라우터에서 인터넷 트래픽을 모두 빼는 변경을 했다. 그 뒤 Santa Clara 고객의 인터넷 연결이 끊겼지만, 이 사실은 바로 드러나지 않았다. 10:13 UTC 에 변경을 되돌리자 서비스가 돌아왔다.\n\n그 뒤 A 쪽 링크를 장비 업체와 함께 조사하던 중 A 쪽 링크가 모두 끊겨 두 데이터 센터 사이 연결이 완전히 잘렸다. 두 데이터 센터 모두 서비스가 나빠지거나 완전히 멈췄다. 고객은 Linode 접속 문제와 함께 프로비저닝, 전원 끄기, 재부팅 같은 작업에도 어려움을 겪을 수 있었다."},"updated_at":"2026-11-14T12:33:59.911412Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0344","org_slug":"linode"}