{"id":"IL-0221","org":"Meta","date":"2021-10-04","docs":[],"title":{"en":"A backbone maintenance command disconnected all Facebook data centers, and its DNS servers withdrew their BGP routes","ko":"유지보수 명령이 Facebook 백본 네트워크의 연결을 모두 끊어 데이터 센터와 DNS 서버가 인터넷에서 닿지 않게 됐다."},"domain":["networking"],"impact":{"scope":"All of Facebook's platforms: data centers disconnected from each other and from the internet, and Facebook's DNS servers unreachable from the rest of the internet","users":"unknown","region":"global"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"The hardening that protects Facebook's data centers against unauthorized access slowed recovery from an outage caused by Facebook's own error, and the author judges that tradeoff worth keeping. Storm drills prepared the teams to bring load back safely, although no drill had yet simulated the global backbone going offline.","ko":"무단 접근을 막으려고 강화한 보안이, 공격이 아니라 스스로 낸 실수에서 비롯된 장애의 복구를 늦췄다. Meta 는 드문 사고에서 복구가 느려지더라도 평소의 보안을 크게 높이는 편이 낫다고 봤다. 서비스, 데이터 센터, 리전 전체를 내리는 storm 훈련이 부하를 다시 올리는 데 도움이 됐지만, 전 세계 백본이 끊기는 상황은 훈련해 본 적이 없었다."},"related":[],"sources":[{"url":"https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/","kind":"blog","archived":"https://web.archive.org/web/20261107235028/https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/"}],"summary":{"en":"Facebook's backbone is the fiber network that connects all of its computing facilities: large data centers that store data and run the heavy computation, and smaller facilities that connect the backbone to the internet. Engineers often take part of the backbone offline for maintenance. In one such routine job a command meant to assess global backbone capacity took down every backbone connection. Facebook's systems audit commands like this to stop such mistakes, but a bug in the audit tool kept it from stopping this one. The smaller facilities also answer DNS queries, and their authoritative name servers withdraw their BGP advertisements when they cannot reach the data centers, so the loss of the backbone made the DNS servers unreachable even though they were working.\n\nNormal and out-of-band network access to the data centers was down, and the total loss of DNS broke many internal tools used to investigate outages. Engineers went onsite to the data centers to debug and restart systems; activating the secure access protocols to get them in and able to work took extra time. After they confirmed the problem they brought the backbone back online, and services came back with it. Turning everything on at once risked a new round of crashes from a surge in traffic: individual data centers showed dips in power usage of tens of megawatts, and reversing such a dip suddenly could endanger electrical systems and caches. Using experience from storm drills, in which a service, data center or whole region is taken offline on purpose, the teams brought load back carefully and services returned without further systemwide failures.","ko":"2021-10-04 에 Facebook 의 전 세계 백본 네트워크 용량을 관리하는 시스템에서 장애가 시작됐다. 백본은 Facebook 의 모든 데이터 센터를 잇는 수만 마일 길이의 광섬유 네트워크다. 엔지니어들은 광섬유 수리, 용량 증설, 라우터 소프트웨어 업데이트를 위해 백본 일부를 자주 내린다. 이런 일상적인 유지보수 작업 중에 전 세계 백본 용량의 가용성을 평가하려는 명령이 백본의 모든 연결을 끊었다. 명령을 검사하는 감사 도구는 버그 때문에 이 명령을 막지 못했다. 데이터 센터 사이와 인터넷 쪽의 서버 연결이 모두 끊겼다.\n\nDNS 질의에 답하는 일은 작은 시설들이 맡는다. 이 시설의 DNS 서버는 데이터 센터와 통신하지 못하면 네트워크가 비정상이라고 보고 권한 있는 네임 서버 주소의 BGP 광고를 끈다. 백본 전체가 빠지자 모든 시설이 스스로 비정상이라고 판단해 BGP 광고를 거둬들였다. DNS 서버는 동작하고 있었지만 인터넷에서 닿지 않았고, 인터넷의 다른 곳에서는 누구도 Facebook 서버를 찾을 수 없었다.\n\n네트워크가 끊겨 평소 방법으로는 데이터 센터에 들어갈 수 없었고, DNS 가 사라져 조사와 복구에 쓰던 내부 도구도 상당수가 망가졌다. 팀은 엔지니어를 데이터 센터 현장에 보냈다. 시설은 물리 보안과 시스템 보안 수준이 높아 들어가기 어려웠다. 안에서도 하드웨어와 라우터를 쉽게 바꿀 수 없게 만들어져 있어, 보안 접근 절차를 거치는 데 시간이 더 걸렸다. 현장에서 문제를 확인한 뒤 백본을 다시 올렸고, 백본이 돌아오자 서비스도 함께 돌아왔다. 데이터 센터의 전력 사용량이 수십 메가와트 떨어진 상태여서 서비스를 한꺼번에 켜면 트래픽이 몰려 다시 무너질 수 있었다. 팀은 서비스, 데이터 센터, 리전 전체를 일부러 내려 보는 storm 훈련을 오래 해 왔다. 그 경험을 살려 늘어나는 부하를 조심스럽게 관리하며 서비스를 올렸고, 그 뒤 시스템 전체에 걸친 장애는 더 일어나지 않았다."},"trigger":{"en":"During routine maintenance of the backbone, a command was issued to assess the availability of global backbone capacity, and it unintentionally took down all connections in the backbone network.","ko":"일상적인 유지보수 작업 중에 전 세계 백본 용량의 가용성을 평가하려고 내린 명령이 의도치 않게 백본 네트워크의 모든 연결을 끊었다. 이런 명령을 검사해 실수를 막는 감사 도구가 버그 때문에 이 명령을 멈추지 못했다."},"severity":"unknown","symptoms":["service-unavailable","dns-resolution-failures","network-unreachable"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":null,"components":["backbone-network","bgp","dns-server"],"root_cause":"human-operation","remediation":[{"text":{"en":"Sent engineers onsite to the data centers to debug the issue and restart systems","ko":"주 네트워크 접근과 out-of-band 접근이 모두 끊겨, 팀은 엔지니어를 데이터 센터 현장에 보내 문제를 디버깅하고 시스템을 다시 시작하게 했다."}},{"text":{"en":"Brought the backbone network back online across the data center regions","ko":"보안 접근 절차를 거쳐 현장 인력이 서버를 다룰 수 있게 된 뒤 문제를 확인하고 백본을 다시 온라인으로 올렸다."}},{"text":{"en":"Brought services back gradually, managing the rising load to avoid crashes from a traffic surge","ko":"storm 훈련에서 얻은 경험을 살려 서비스를 다시 켜면서 늘어나는 부하를 조심스럽게 관리했다."}}],"action_items":[{"text":{"en":"Find ways to simulate the global backbone being taken offline in storm drills","ko":"전 세계 백본이 끊기는 상황을 storm 훈련으로 시뮬레이션할 방법을 찾는다."}},{"text":{"en":"Strengthen testing, drills and overall resilience","ko":"테스트와 훈련, 전반적인 복원력을 강화해 이런 사고가 최대한 드물게 일어나게 한다."}}],"contributing":["automation-amplified","circular-dependency","limited-debug-access"],"recurrence_of":null,"symptoms_text":{"en":"On 4 October 2021 Facebook's platforms went down worldwide: every connection in Facebook's global backbone network was lost, and the data centers were cut off from each other and from the internet. The rest of the internet could no longer find Facebook's servers, because Facebook's authoritative DNS servers had become unreachable.\n\nThe DNS servers were still running. They sit in the smaller facilities that connect the backbone to the internet, and they stop advertising their well-known IP addresses over BGP when they cannot reach the data centers. With the whole backbone out of operation, every one of these locations declared itself unhealthy and withdrew its BGP advertisements.\n\nResponders could not reach the data centers by the normal means because their networks were down, and the out-of-band network access was down as well. The total loss of DNS also broke many of the internal tools normally used to investigate and fix such outages. Engineers were sent onsite, where the physical and system security of the facilities, and routers built to be hard to modify even with physical access, made it slow to start work.\n\nOnce backbone connectivity was restored, individual data centers were reporting dips in power usage in the range of tens of megawatts. Reversing such a dip suddenly could put everything from electrical systems to caches at risk, and turning all services back on at once could cause a new round of crashes from a surge in traffic.","ko":"Facebook 데이터 센터 사이의 서버 연결과 데이터 센터와 인터넷 사이의 서버 연결이 한꺼번에 완전히 끊겼다. DNS 서버는 동작하고 있었지만 인터넷에서 닿지 않아 누구도 Facebook 서버를 찾을 수 없었다. 백본이 통째로 빠지자 DNS 서버가 있는 작은 시설들이 스스로 비정상이라고 판단해 BGP 광고를 거둬들였기 때문이다.\n\n엔지니어들은 네트워크가 내려가 평소 쓰던 방법으로 데이터 센터에 접근할 수 없었다. 주 네트워크를 통한 접근과, 관리용 별도 네트워크를 통한 out-of-band 접근이 모두 끊겼다. DNS 가 통째로 사라지면서 이런 장애를 조사하고 해결할 때 쓰던 내부 도구도 상당수가 망가졌다. 팀은 엔지니어를 현장에 보냈지만 작업을 시작하기까지 시간이 걸렸다. 시설의 물리 보안과 시스템 보안 수준이 높았고, 라우터도 물리적으로 접근해도 바꾸기 어렵게 만들어져 있었다.\n\n백본 연결을 되살린 뒤 데이터 센터들은 전력 사용량이 수십 메가와트가량 떨어졌다고 보고했다. 이렇게 떨어진 전력 사용량이 갑자기 되돌아오면 전기 설비부터 캐시까지 모두 위험해질 수 있었고, 서비스를 한꺼번에 켜면 트래픽이 몰려 다시 무너질 수 있었다."},"updated_at":"2026-11-14T05:53:43.466393Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0221","org_slug":"meta"}