{"id":"IL-0341","org":"Cloudflare","date":"2025-08-21","docs":[],"title":{"en":"Traffic between Cloudflare and AWS us-east-1 had high latency, packet loss and origin failures for almost four hours","ko":"Cloudflare 와 AWS us-east-1 사이 링크가 혼잡해져 그 리전에 오리진을 둔 고객이 높은 지연과 패킷 손실을 겪었다"},"domain":["networking","aws"],"impact":{"scope":"traffic between Cloudflare and AWS us-east-1, including requests to customer origins hosted there","users":"customers with origins in AWS us-east-1 and users connecting to or from Cloudflare via servers in AWS us-east-1","region":"AWS us-east-1 and Cloudflare's Ashburn (IAD) location"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"Cloudflare concludes that it must isolate customers better so that no single customer can take over shared network resources and degrade the platform for others, and that its network needs enough capacity to meet demand. It describes the outage as the result of insufficient network congestion management during an unusual high-traffic event.","ko":"Cloudflare 는 이 사고로 한 고객의 사용 방식이 나머지 생태계를 해치지 못하게 막는 안전장치가 더 필요하다는 것이 드러났다고 했다. 어느 한 고객이 공유 자원을 독차지해 다른 고객의 안정성을 해치지 못하도록 고객 격리를 더 잘 설계해야 하고, 수요를 감당할 만큼 네트워크 인프라 용량을 늘려야 한다는 것을 핵심 교훈으로 꼽았다. 결론에서는 드물게 트래픽이 몰린 상황에서 네트워크 혼잡 관리가 모자라 장애가 났다고 했다."},"related":[],"sources":[{"url":"https://blog.cloudflare.com/cloudflare-incident-on-august-21-2025/","kind":"blog","archived":null}],"summary":{"en":"Most Cloudflare customers run their own origin servers and put Cloudflare in front of them as a reverse proxy that serves cached content where it can. Responses from cache travel over Cloudflare's internal Data Center Interconnect (DCI) links through a series of network equipment to its edge routers. On 21 August 2025 a single customer in AWS us-east-1 began requesting large amounts of cached content at 16:27 UTC, and the response traffic saturated all direct peering connections between Cloudflare and AWS. One of the direct peering links was already running at half capacity because of an earlier failure, and the DCI that connects Cloudflare's edge routers to an offsite interconnection switch was due for a capacity upgrade.\n\nTo ease the congestion, AWS withdrew some BGP advertisements to Cloudflare over the congested links from 16:37 UTC, which pushed traffic onto further peering links through the offsite switch; those links saturated as well and from 17:22 UTC more traffic was dropped. Cloudflare raised an incident for customer impact in Ashburn (IAD) at 17:45 UTC and worked with AWS on manual traffic actions. Rate limiting the customer that caused the surge reduced the congestion at 19:05 UTC, and further traffic engineering by the network team ended it at 19:27 UTC. The impact was substantially reduced by 19:38 UTC, with intermittent latency increases continuing after that. At Cloudflare's request AWS began reverting the BGP withdrawals at 19:45 UTC and finished restoring the prefix announcements over the IAD PNIs at 20:07 UTC, and the impact ended at 20:18 UTC. Cloudflare states the event was network congestion, not an attack or a BGP hijack.","ko":"Cloudflare 는 캐시에 있는 콘텐츠로 응답할 때, 응답 트래픽을 내부 Data Center Interconnect 링크와 여러 네트워크 장비를 거쳐 에지 라우터로 보낸다. 2025년 8월 21일 16:27 UTC 쯤 한 고객이 AWS us-east-1 에서 Cloudflare 캐시의 객체를 대량으로 요청했고, 그 응답이 Cloudflare 와 AWS 사이의 직접 피어링 연결을 모두 채웠다. 공격이나 BGP 하이재킹이 아니라 네트워크 혼잡이었다.\n\n16:37 에 AWS 가 혼잡을 덜려고 혼잡한 링크 일부에서 Cloudflare 쪽 BGP 광고를 거둬들였다. 그러자 트래픽이 별도 사이트의 네트워크 상호 연결 스위치를 거쳐 Cloudflare 에 닿는 다른 피어링 링크로 옮겨 갔고, 이 링크도 꽉 차 성능이 크게 떨어졌다. 직접 피어링 링크 하나는 앞서 난 고장으로 용량의 절반으로만 돌고 있었고, 에지 라우터와 그 별도 사이트 스위치를 잇는 DCI 는 용량 증설을 앞두고 있었다. 이 두 가지가 피해를 키웠다.\n\nCloudflare 장애 대응 팀은 AWS 와 함께 대응했다. 19:05 에 트래픽 급증을 일으킨 고객에 속도 제한을 걸자 혼잡이 줄었고, 19:27 에 네트워크 팀의 추가 트래픽 엔지니어링으로 혼잡이 풀렸다. 영향은 19:38 까지 크게 줄었고, 그 뒤에도 지연이 간헐적으로 늘었다. 19:45 부터 Cloudflare 의 요청으로 AWS 가 BGP 광고 철회를 되돌려 20:07 에 마쳤고, 영향은 20:18 에 끝났다."},"trigger":{"en":"At about 16:27 UTC a single customer began sending many requests from AWS us-east-1 to Cloudflare for objects in Cloudflare's cache, doubling the total traffic from Cloudflare to AWS.","ko":"16:27 UTC 쯤 한 고객이 AWS us-east-1 에서 Cloudflare 캐시에 있는 객체를 대량으로 요청하기 시작했다. 그 응답 트래픽이 Cloudflare 에서 AWS 로 가는 전체 트래픽을 두 배로 늘렸다."},"severity":"unknown","symptoms":["packet-loss","high-latency","intermittent-timeouts"],"timeline":{"detected_after":"17m","resolved_after":"3h 51m"},"date_kind":"incident","detection":{"en":"Cloudflare's network team was alerted to internal congestion in Ashburn (IAD) at 16:44 UTC, and an incident was raised for customer impact at 17:45 UTC.","ko":"장애가 시작되고 17분 뒤인 16:44 UTC 에 Cloudflare 네트워크 팀이 애시번 IAD 의 내부 혼잡 알림을 받았다. 17:45 에는 애시번 IAD 의 고객 영향을 이유로 장애가 선언됐다."},"components":["interconnect","bgp","cdn"],"root_cause":"capacity","remediation":[{"text":{"en":"Rate limited the single customer whose traffic caused the surge","ko":"19:05 UTC 에 트래픽 급증을 일으킨 고객 하나에 속도 제한을 걸어 혼잡을 줄였다."}},{"text":{"en":"Took further traffic engineering actions that fully resolved the congestion","ko":"네트워크 팀이 트래픽 엔지니어링 조치를 더 해 19:27 에 혼잡을 완전히 풀었다."}},{"text":{"en":"Asked AWS to revert its BGP prefix withdrawals, which AWS finished at 20:07 UTC","ko":"19:45 부터 Cloudflare 의 요청에 따라 AWS 가 BGP 광고 철회를 되돌렸고, 20:07 에 IAD PNI 로 Cloudflare 에 보내는 BGP 프리픽스 광고를 정상으로 돌려놓았다."}}],"action_items":[{"text":{"en":"Build a mechanism to deprioritise a customer's traffic when it congests the network enough to affect others","ko":"한 고객의 트래픽이 다른 고객에게 영향을 줄 만큼 네트워크를 혼잡하게 만들기 시작하면 그 트래픽의 우선순위를 골라서 낮추는 장치를 만든다."}},{"text":{"en":"Speed up the Data Center Interconnect upgrades to add network capacity","ko":"Data Center Interconnect 증설을 앞당겨 네트워크 용량을 지금보다 크게 늘린다."}},{"text":{"en":"Work with AWS so the two companies' BGP traffic engineering actions do not conflict","ko":"AWS 와 함께 양쪽의 BGP 트래픽 엔지니어링 조치가 앞으로 서로 부딪치지 않게 한다."}},{"text":{"en":"Build a traffic management system that gives each customer a network resource budget and automates the manual actions used here","ko":"고객마다 네트워크 자원을 나눠 예산을 정하고, 예산을 넘긴 고객의 트래픽이 다른 고객의 서비스를 떨어뜨리지 못하게 하는 새 트래픽 관리 시스템을 만든다. 이 시스템은 이번에 손으로 한 혼잡 대응 조치 상당수도 자동화한다."}}],"contributing":["no-spare-capacity","manual-action-worsened","blast-radius-too-wide"],"recurrence_of":null,"symptoms_text":{"en":"From 16:27 UTC on 21 August 2025, users connecting to Cloudflare from servers in AWS us-east-1, or receiving connections from Cloudflare there, saw high latency, packet loss and failures to reach origins. Cloudflare's network team was alerted to internal congestion in Ashburn (IAD) at 16:44 UTC.\n\nThe links between Cloudflare and AWS us-east-1 were saturated, router queues grew and Cloudflare's Ashburn edge routers dropped high-priority packets for the whole period. For customers this showed as latency, loss that ended in timeouts, or low throughput. Cloudflare's latency Service Level Objectives, which imitate customer requests back to their origins, showed the share of requests within the latency target falling below an acceptable level in step with the packet drops. Global Cloudflare services and traffic outside the path to AWS us-east-1 were not affected.\n\nThe congestion got worse after it began. At 16:37 UTC AWS started withdrawing prefixes from Cloudflare on the congested Private Network Interconnect (PNI) BGP sessions to steer traffic elsewhere; the withdrawals moved traffic to other peering links behind an offsite network interconnection switch, which then saturated too, and from 17:22 UTC more traffic was dropped. Cloudflare's network team could not simply move traffic to uncongested paths, because the withdrawn AWS prefixes were no longer available there. After the congestion ended, both sides spent time putting the prefix announcements back, so customer latency recovered later than the packet drops did.","ko":"2025년 8월 21일 16:27 UTC 부터 AWS us-east-1 에 오리진을 둔 고객과, us-east-1 의 서버를 거쳐 Cloudflare 와 트래픽을 주고받는 사용자에게 높은 지연, 패킷 손실, 오리진 연결 실패가 났다. 16:44 에 Cloudflare 네트워크 팀이 애시번 IAD 의 내부 혼잡 알림을 받았다.\n\n혼잡 때문에 라우터의 네트워크 큐가 크게 불어나 패킷을 버리기 시작했다. 애시번 에지 라우터는 장애 내내 우선순위가 높은 패킷까지 꾸준히 버렸다. 고객이 겪은 것은 주로 지연, 손실에 따른 타임아웃, 낮은 처리량이었다.\n\nCloudflare 는 고객 요청을 흉내 내 오리진까지 가용성과 지연을 재는 지연 SLO 를 두고 있다. 장애 동안 이 지연 SLO 지표는 패킷 손실과 같은 흐름으로 허용 수준을 벗어났다.\n\n16:37 부터 AWS 가 혼잡한 PNI, 곧 Private Network Interconnect 의 BGP 세션에서 Cloudflare 쪽으로 광고하던 프리픽스를 거둬들였다. 세션별 광고 프리픽스 수 그래프에 움푹 꺼진 곳이 보였다. 그 때문에 혼잡하지 않은 경로에서도 AWS 프리픽스가 보이지 않아 Cloudflare 가 쓸 대응 수단이 줄었다. 17:22 에는 프리픽스 철회로 버려지는 트래픽이 더 늘었다.\n\n19:27 에 혼잡이 풀린 뒤에도, AWS 와 Cloudflare 가 바꿔 둔 프리픽스 광고를 되돌리는 동안 지연은 길게 이어졌다. 패킷 손실이 먼저 끝나고 고객 지연은 20:18 에야 돌아왔다. Cloudflare 의 전 세계 서비스는 영향을 받지 않았고, 성능 저하는 Cloudflare 와 AWS us-east-1 사이 트래픽에 그쳤다."},"updated_at":"2026-11-14T12:33:59.655160Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0341","org_slug":"cloudflare"}