{"id":"IL-0562","org":"Linode","date":"2022-12-13","docs":[],"title":{"en":"Most Linodes in Linode's Dallas data center had intermittent latency and reachability loss from broadcast storms","ko":"Linode Dallas 데이터센터의 Linode 대부분이 간헐적으로 느려지고 연결이 끊겼다"},"domain":["networking"],"impact":{"scope":"Linodes in the Dallas data center had intermittent latency and reachability loss; Cloud Manager and the Linode API could be hard to reach","users":"about 80-90% of the Linodes in the Dallas data center","region":"US-Central (Dallas)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.linode.com/incidents/n7yt1l21qtyz","kind":"official-status","archived":"https://web.archive.org/web/20221222034345/https://status.linode.com/incidents/n7yt1l21qtyz"}],"summary":{"en":"In Linode's Dallas data center, broadcast traffic grew until it affected the hypervisors. Most of it came from ARP requests that got no answer, and each unanswered request led to more broadcasts, so the traffic cascaded and amplified into broadcast storms. The broadcast traffic caused intermittent latency and reachability loss for about 80-90% of the Linodes in the data center. The underlying cause of the storms was still under investigation when the postmortem was posted, with the other recent incidents in the Dallas data center taken into account.\n\nAt about 04:20 UTC a filter that stemmed the broadcasts was deployed to the fleet. With the broadcasts stemmed, the hosts regained CPU cycles and answered ARP requests consistently, the network recovered, and alerts cleared in bulk by 04:32. After more monitoring the incident was resolved at 06:45. The filter was first a temporary measure; it was tested further and made permanent on 13 December 2022 at 18:35 UTC.","ko":"2022년 12월 13일 0:05 UTC 쯤 Linode 의 Dallas 데이터센터에 접속할 수 없다는 알림이 울렸다. 0:10 에 사고로 등록하고 대응팀이 조사를 시작했다. 영향 범위를 다 파악한 0:27 에 상태 페이지에 공지를 올렸다. 0:55 쯤 대량의 브로드캐스트 트래픽이 하이퍼바이저에 영향을 주어 이 데이터센터 Linode 의 약 80-90% 가 간헐적인 지연과 연결 끊김을 겪는다는 것을 확인했다. 브로드캐스트의 대부분은 응답을 받지 못한 ARP 요청이었고, 이 요청이 연쇄로 브로드캐스트를 키웠다.\n\n4:20 UTC 쯤 팀은 이 브로드캐스트를 막는 필터를 전체 호스트에 배포했다. 호스트가 CPU 여유를 되찾아 ARP 요청에 꾸준히 응답하게 되자 네트워크가 회복해 안정됐고, 4:32 UTC 까지 알림이 한꺼번에 풀렸다. 더 지켜본 뒤 6:45 UTC 에 사고를 해결 상태로 닫았다. 처음 넣은 필터는 임시 조치였고, 더 시험한 뒤 12월 13일 18:35 UTC 에 영구 적용을 마쳤다. 보고서를 올린 시점에도 근본 원인은 조사 중이었고, Linode 는 최근 Dallas 데이터센터에서 난 다른 사고들도 함께 보고 있다고 밝혔다."},"trigger":null,"severity":"unknown","symptoms":["intermittent-connection-failures","high-latency","intermittent-timeouts"],"timeline":{"detected_after":null,"resolved_after":"4h 27m"},"date_kind":"incident","detection":{"en":"Monitoring systems alerted on reachability problems in the Dallas data center at about 00:05 UTC, and an incident was raised at 00:10.","ko":"0:05 UTC 쯤 모니터링 시스템이 Dallas 데이터센터에 접속할 수 없는 문제를 잡아 알림을 냈다. 0:10 에 사고로 등록했다."},"components":["network-switch"],"root_cause":"dns-network","remediation":[{"text":{"en":"Deployed a filter to the fleet that stemmed the broadcasts, so hosts regained CPU and answered ARP requests","ko":"4:20 UTC 쯤 브로드캐스트를 막는 필터를 전체 호스트에 배포했다."}},{"text":{"en":"Tested the temporary filter further and made it permanent","ko":"임시 조치였던 필터를 더 시험한 뒤 12월 13일 18:35 UTC 에 영구 적용했다."}}],"action_items":[{"text":{"en":"Find the root cause of the broadcast storms, taking the other recent Dallas incidents into account","ko":"최근 Dallas 데이터센터에서 난 다른 사고들까지 함께 보며 이 문제의 근본 원인을 계속 조사한다."}},{"text":{"en":"Put processes in place to keep the infrastructure stable while upgrades are applied to the active network","ko":"운영 중인 네트워크에 인프라 업그레이드를 적용하는 동안 인프라가 계속 안정적으로 동작하도록 절차를 마련한다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"At about 00:05 UTC, Linode's monitoring systems alerted on reachability problems in the Dallas data center. About 80-90% of the Linodes there had intermittent latency and lost reachability from time to time.\n\nThe status page warned that users might see connection timeouts and errors for all services deployed in the Dallas data center, and might have trouble reaching Cloud Manager and the Linode API.\n\nBy 00:55 the responders found a large amount of broadcast traffic hitting the hypervisors, most of it from ARP requests that went unanswered and set off more broadcasts. Finding the broadcast storms did not end the instability: the team still had to find what was behind them and a way to stop them, and the network stayed unstable until about 04:20.","ko":"2022년 12월 13일 0:05 UTC 쯤 모니터링 시스템이 Dallas 데이터센터에 접속할 수 없는 문제를 잡아 알림을 냈다. 이 데이터센터 Linode 의 약 80-90% 에서 지연이 간헐적으로 늘고 연결이 끊겼다.\n\n상태 페이지는 Dallas 데이터센터에 배포한 모든 서비스에서 연결 타임아웃과 오류가 날 수 있고, Cloud Manager 와 Linode API 에 연결하는 데도 문제가 있을 수 있다고 알렸다.\n\n0:55 쯤 대응팀은 대량의 브로드캐스트 트래픽이 하이퍼바이저에 영향을 주고 있다는 것을 확인했다. 더 조사해 보니 브로드캐스트의 대부분은 응답을 받지 못한 ARP 요청이었고, 이 요청이 연쇄로 브로드캐스트를 키우고 있었다. 브로드캐스트 스토름이 네트워크를 불안정하게 만든다는 것을 알아낸 뒤에도, 스토름이 생긴 원인과 이를 막을 방법은 따로 찾아야 했다."},"updated_at":"2026-11-14T12:34:21.036846Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0562","org_slug":"linode"}