{"id":"IL-0339","org":"Microsoft Azure","date":"2024-07-30","docs":[],"title":{"en":"Azure Front Door and Azure CDN users saw intermittent connection errors, timeouts and latency spikes for hours","ko":"Azure Front Door 와 Azure CDN 을 쓰는 Microsoft 서비스에 여러 리전에서 연결 오류, 타임아웃, 지연 급증이 났다"},"domain":["azure","networking"],"impact":{"scope":"Microsoft services that use Azure Front Door and Azure CDN, and downstream services including the Azure portal and a subset of Microsoft 365 and Microsoft Purview services","users":"a subset of customers; from 13:58 to 19:43 UTC a smaller set","region":"multiple regions; congestion at one site in Europe"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://azure.status.microsoft/en-us/status/history/?trackingId=KTY1-HW8","kind":"official-status","archived":"https://web.archive.org/web/20260809142102/https://azure.status.microsoft/en-us/status/history/?trackingId=KTY1-HW8"}],"summary":{"en":"Azure Front Door is Microsoft's platform for web acceleration, global load balancing and content delivery, running in nearly 200 locations. AFD and Azure CDN have their own DDoS defences and also rely on the Azure network DDoS protection service for network-layer attacks. Between 10:15 and 10:45 UTC on 30 July 2024, a TCP SYN flood hit several AFD and CDN sites and was mitigated automatically. At about 11:45 UTC, as the DDoS protection service disengaged and default routing to AFD resumed, the network control plane could not reach one site in Europe because of a local power outage, so routes there could not be updated and traffic inside Europe kept flowing to AFD through the DDoS protection service. On its own this would not have hurt customers, and it was unrelated to the attack.\n\nA separate latent network configuration issue, however, routed traffic from outside Europe to the DDoS protection system inside Europe. The extra traffic congested that site and caused high latency and connection failures across several regions. Engineers confirmed the congestion at 12:55 UTC and rerouted traffic, which removed most of the impact by 13:58 UTC. The remaining isolated failures came from a device in Europe that did not obey the network control plane and kept attracting traffic; because the device was not reachable, engineers began removing it from the network safely at 17:50 UTC, finished at 19:32 UTC, and confirmed availability back at pre-incident levels at 19:43 UTC.","ko":"Azure Front Door 는 Azure 리전 안의 데이터 센터와 에지 사이트를 합쳐 전 세계 200곳 가까이에서 도는 Microsoft 의 웹 가속, 글로벌 로드 밸런싱, 콘텐츠 전송 플랫폼이다. Azure Front Door 와 Azure CDN 은 네트워크 계층 공격을 막는 데 Azure 네트워크 DDoS 보호 서비스를 쓴다. 2024년 7월 30일 10시 15분부터 10시 45분 UTC 까지 여러 사이트에 들어온 TCP SYN flood 공격은 이 서비스가 자동으로 막았고 고객 영향은 작았다. Microsoft 는 하루 평균 1,700건의 DDoS 공격을 자동으로 막는다고 했다.\n\n11시 45분쯤 DDoS 보호 서비스는 공격 완화를 끝내고, 트래픽을 Azure Front Door 로 바로 보내는 기본 경로로 되돌리고 있었다. 이때 유럽의 한 사이트는 지역 정전으로 네트워크 컨트롤 플레인이 실패해 경로를 바꾸지 못했다. 그래서 유럽 안의 트래픽은 계속 DDoS 보호 서비스를 거쳐 Azure Front Door 로 갔다. 이것만으로는 영향이 없었겠지만, 이와 관계없이 숨어 있던 네트워크 설정 문제 때문에 유럽 밖의 트래픽까지 유럽의 DDoS 보호 시스템으로 갔다. 그 결과 국지적인 혼잡이 생겨 여러 리전에서 높은 지연과 연결 실패가 났다.\n\n엔지니어는 12시 55분에 혼잡을 확인하고 표준 플레이북대로 트래픽 경로를 바꿨고, 13시 58분에 영향 대부분이 사라졌다. 엔지니어는 남은 연결 실패를 조사하던 16시 15분에 유럽의 장비 하나가 네트워크 컨트롤 플레인의 명령을 제대로 따르지 않는 것을 찾았다. 이 장비는 트래픽을 그만 끌어들이라는 지시를 받은 뒤에도 계속 끌어들였다. 명령을 다시 내려도 그 장비에 닿지 않자 엔지니어는 17시 50분부터 장비를 네트워크에서 안전하게 빼기 시작해 19시 32분에 마쳤다. 19시 43분에 가용성이 장애 전 수준으로 돌아온 것을 확인했다."},"trigger":{"en":"Around 11:45 UTC the Azure network DDoS protection service was disengaging after a routine DDoS mitigation and returning traffic to its default routing to AFD, but the routes at one site in Europe could not be updated because the network control plane could not reach that site during a local power outage.","ko":"Azure 네트워크 DDoS 보호 서비스가 TCP SYN flood DDoS 공격을 자동으로 막은 뒤 트래픽을 Azure Front Door 로 직접 돌려보내려 했다. 그런데 유럽의 한 사이트에서는 지역 정전으로 네트워크 컨트롤 플레인이 실패해 그 사이트의 경로를 바꾸지 못했다."},"severity":"unknown","symptoms":["intermittent-connection-failures","intermittent-timeouts","high-latency","packet-loss"],"timeline":{"detected_after":"2m","resolved_after":"7h 58m"},"date_kind":"incident","detection":{"en":"The Azure Portal team detected service degradation at 11:47 UTC and began to investigate. At 12:10 UTC network monitoring correlated the Portal incident to a network issue at one site in Europe, and networking engineers joined.","ko":"장애가 시작되고 2분 뒤인 11시 47분 UTC 에 Azure Portal 팀이 서비스 성능 저하를 알아채고 조사를 시작했다. 12시 10분에 네트워크 모니터링이 이 포털 장애를 유럽의 한 사이트에서 난 네트워크 문제와 연결 지었다."},"components":["cdn","ddos-protection","network-control-plane","datacenter-facility"],"root_cause":"config-change","remediation":[{"text":{"en":"Rerouted traffic under the standard congestion playbook, which removed most of the impact by 13:58 UTC","ko":"12시 55분 UTC 에 국지적인 혼잡을 확인하고, 트래픽 경로 변경을 포함한 혼잡 완화용 표준 플레이북을 실행했다. 13시 58분에 영향 대부분이 사라졌다."}},{"text":{"en":"Ordered the network control plane to reissue its commands to the misbehaving device, which could not be reached","ko":"16시 58분, 네트워크 컨트롤 플레인이 명령을 다시 내리게 했지만 문제의 장비에는 명령이 닿지 않았다."}},{"text":{"en":"Removed the device that kept attracting traffic from the network and scanned the network for other issues","ko":"17시 50분부터 문제의 장비를 네트워크에서 안전하게 빼면서 다른 문제가 없는지 네트워크를 훑었다. 장비는 19시 32분에 다 뺐다."}}],"action_items":[{"text":{"en":"Add the missing configuration on network devices so a DDoS mitigation issue in one geography cannot spread to another","ko":"한 지역의 DDoS 완화 문제가 다른 지역으로 번지지 않도록, 네트워크 장비에 빠져 있던 설정을 넣었다. 이 일은 끝났다."}},{"text":{"en":"Improve validation and monitoring in the Azure network to detect invalid configurations","ko":"잘못된 설정을 찾아내도록 Azure 네트워크의 기존 검증과 모니터링을 강화한다. 2024년 11월에 끝낼 예정이다."}},{"text":{"en":"Improve monitoring for when the DDoS protection service is unreachable from the control plane but still serving traffic","ko":"DDoS 보호 서비스가 컨트롤 플레인에서 닿지 않는데도 트래픽을 계속 받는 상황을 잡아내도록 모니터링을 개선한다. 2024년 11월에 끝낼 예정이다."}}],"contributing":["overlapping-failures","blast-radius-too-wide","monitoring-blind-spot"],"recurrence_of":null,"symptoms_text":{"en":"From 11:45 UTC on 30 July 2024, a subset of customers got intermittent connection errors, timeouts and latency spikes when connecting to Microsoft services that use Azure Front Door (AFD) and Azure Content Delivery Network (CDN). The Azure Portal team saw the first service degradation at 11:47 UTC.\n\nThe trouble reached services downstream of AFD and CDN, including the Azure portal and a subset of Microsoft 365 and Microsoft Purview services, and customers in multiple regions saw high latency and connectivity failures. At 12:10 UTC Microsoft's network monitoring tied the Portal incident to a network issue at one site in Europe, and at 12:55 UTC engineers confirmed local congestion there, with packet loss for AFD frontends.\n\nRerouting traffic under the standard congestion playbook removed most of the impact by 13:58 UTC, but a smaller set of customers kept seeing a low rate of connection timeouts until 19:43 UTC. While chasing these isolated failures, engineers found at 16:15 UTC a device in Europe that kept attracting traffic after the network control plane had told it to stop. Asking the control plane to reissue its commands at 16:58 UTC did not help, because the device could not be reached.\n\nEarlier that day, between 10:15 and 10:45 UTC, a volumetric TCP SYN flood DDoS attack hit several AFD and CDN sites and was mitigated automatically with little customer impact. During that mitigation the DDoS protection sent SYN authentication challenges, and a small subset of customers whose applications had no retry logic may have seen connection failures.","ko":"2024년 7월 30일 11시 45분 UTC 부터 Azure Front Door 와 Azure CDN 을 거치는 Microsoft 서비스에 접속하던 일부 고객이 간헐적인 연결 오류, 타임아웃, 지연 급증을 겪었다. 11시 47분에 Azure Portal 팀이 먼저 서비스 성능 저하를 알아챘다.\n\nAzure Front Door 와 CDN 에 기대는 다른 서비스도 영향을 받았다. Azure Portal 과 Microsoft 365 의 일부 서비스, Microsoft Purview 의 일부 서비스가 여기에 포함됐다. 13시 13분 UTC 에는 Microsoft 서비스 전반에 연결 문제가 있다는 신고를 조사 중이며 Azure 서비스에 접속할 때 타임아웃이 날 수 있다는 공지가 나갔다.\n\n12시 10분에 네트워크 모니터링이 포털 장애를 유럽의 한 사이트에서 난 네트워크 문제와 연결 지었다. 12시 55분에 엔지니어가 그 사이트의 국지적인 혼잡을 확인했다. 혼잡 때문에 여러 리전의 고객이 높은 지연과 연결 실패를 겪었다.\n\n13시 58분에 트래픽 경로를 바꾸자 영향 대부분이 사라졌다. 그 뒤에도 더 적은 고객에게 낮은 비율의 연결 타임아웃이 19시 43분까지 이어졌다. 재시도 로직이 제대로 없는 애플리케이션에서는 연결 실패가 드문드문 났을 수 있다.\n\n앞서 10시 15분부터 10시 45분 UTC 까지 여러 Azure Front Door 와 CDN 사이트에 대량의 분산 TCP SYN flood DDoS 공격이 들어왔다. 자동 DDoS 완화가 SYN 인증 챌린지를 보내는 동안 재시도 로직이 없는 애플리케이션을 쓰는 소수 고객은 연결 실패를 겪었을 수 있었다."},"updated_at":"2026-11-14T12:33:59.447587Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0339","org_slug":"microsoft-azure"}