{"id":"IL-0555","org":"Sentry","date":"2024-10-21","docs":[],"title":{"en":"Sentry's ingestion edge regions backlogged one after another and rejected traffic in three incidents in October 2024","ko":"한 수집 리전에 밀린 트래픽이 다른 엣지 리전으로 번져 Sentry US 의 이벤트 수집이 트래픽을 거부했다"},"domain":["networking"],"impact":{"scope":"Sentry US event ingestion (errors, transactions, attachments, profiles, replays, spans, cron monitoring): backlogs and rejected traffic; no data ingested in US SaaS from 9:42 to 10:06 AM PT on 21 October 2024","users":"unknown","region":"US"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.sentry.io/incidents/tft6bj7h9yg8","kind":"official-status","archived":"https://web.archive.org/web/20250522132533/https://status.sentry.io/incidents/tft6bj7h9yg8"}],"summary":{"en":"Sentry had three incidents, on 4, 16 and 21 October 2024, with the same root causes and different triggers. Each began with a backlog in one ingestion region of the edge; traffic shifted from that region to others, which also backlogged and rejected traffic, so the failure cascaded and affected customers in the US region. The most severe part of each incident came from a scaling flaw in the edge design. The edge autoscaled on the CPU load of the ingestion servers, which was too slow to detect impact; a slowdown that showed as iowait instead of CPU caused no scaling at all, and in some cases autoscaling took the wrong action entirely. On 21 October data could not be ingested in US SaaS from 9:42 to 10:06 AM PT.\n\nSentry had already seen the edge scaling problem in prior incidents and says these three are related to incidents earlier in October. Work on it had been under way for weeks: Sentry added more, smaller edge regions, changed the autoscaling rules to use stronger signals than CPU load, and slowed scale-down so that iowait backlogs would not trigger it. Sentry reports that these changes have already brought a large increase in stability and in the speed of recovery.","ko":"2024년 10월 4일, 16일, 21일에 Sentry 는 근본 원인이 같은 사고를 세 번 겪었다. 계기는 사고마다 달랐지만 장애가 번지는 순서는 같았다. 수집 리전 하나에 밀린 트래픽이 늘었고, 그 리전에서 빠져나간 트래픽이 다른 리전으로 옮겨 갔으며, 트래픽을 받은 리전에도 트래픽이 밀려 쌓이면서 그 리전이 트래픽을 거부했다. 10월 21일에는 US SaaS 에서 오전 9시 42분부터 10시 6분 PT까지 데이터를 수집하지 못했다.\n\n영향이 가장 컸던 부분의 근본 원인은 엣지 설계의 확장 결함이었다. 엣지는 수집에 관여하는 서버들의 CPU 부하를 기준으로 오토스케일링했는데, CPU 로는 영향을 알아채는 데 시간이 너무 걸렸다. 트래픽이 느려지거나 옮겨 갈 때 오토스케일링은 너무 늦게 반응하거나 아예 잘못된 방향으로 확장했다. 느려짐이 CPU 가 아니라 iowait 로 나타나면 확장은 전혀 일어나지 않았다. 이 확장 실패가 연쇄적으로 번져 US 리전의 고객에게 영향을 주었다.\n\nSentry 는 앞선 사고들에서 이 문제를 발견했고 몇 주 전부터 개선 작업을 하고 있었다. 엣지 리전을 더 작게 여러 개로 나누고, 오토스케일링 규칙의 신호를 바꾸고, 축소 속도를 늦춘 뒤 안정성과 회복 속도가 크게 나아졌다고 밝혔다."},"trigger":{"en":"In each of the three incidents an ingestion region saw an increase in backlogged traffic; the trigger was different each time.","ko":"세 사고는 계기가 각각 달랐지만, 세 번 모두 수집 리전 하나에서 밀린 트래픽이 늘어나면서 시작했다."},"severity":"unknown","symptoms":["high-error-rate","service-unavailable","autoscaler-misbehaving"],"timeline":{"detected_after":null,"resolved_after":"24m"},"date_kind":"incident","detection":null,"components":["cdn","capacity-manager"],"root_cause":"capacity","remediation":[],"action_items":[{"text":{"en":"Create more, smaller edge regions to reduce the chance of cascading failures, adding one region each in South America, North America and Europe","ko":"연쇄 장애의 가능성을 줄이려고 엣지 리전을 더 작게 더 많이 만들었다. 남아메리카에 첫 리전을 열고, 북아메리카와 유럽에는 하나씩이던 리전을 둘로 늘려 모두 세 리전을 더했다."}},{"text":{"en":"Change the autoscaling rules to use stronger signals than CPU load","ko":"오토스케일링 규칙이 원래의 CPU 부하 지표보다 더 강한 신호를 잡도록 바꿨다."}},{"text":{"en":"Scale down more slowly so that iowait-based backlogs do not trigger scale-down events","ko":"iowait 때문에 요청이 밀릴 때 축소가 일어나지 않도록 축소 속도를 낮췄다."}},{"text":{"en":"Improve the metrics the edge produces to refine the autoscaling rules and their sensitivity","ko":"오토스케일링 규칙과 민감도를 더 다듬을 수 있도록 엣지가 내는 지표를 개선한다."}}],"contributing":["automation-amplified","blast-radius-too-wide"],"recurrence_of":null,"symptoms_text":{"en":"On 21 October 2024 Sentry could not ingest data in US SaaS from 9:42 AM to 10:06 AM PT, and the status page reported elevated errors for ingestion. The same failure had also happened on 4 and 16 October.\n\nIn each incident one ingestion region of Sentry's edge built up a backlog of traffic. Traffic moved off that region to other regions, which then backlogged too and rejected traffic, and the impact reached customers in the US region. Each incident lasted only a few minutes, but cleanup and impact visible to customers went on longer.\n\nAutoscaling of the edge did not absorb the backlog: it reacted too slowly or performed the wrong scaling action. The edge scaled on the CPU load of the ingestion servers, which detected the impact too late, and when the slowdown showed up as iowait instead of CPU the edge did not scale at all; backlogs caused by iowait could even set off scale-down events.","ko":"2024년 10월 4일, 16일, 21일에 Sentry 의 이벤트 수집에서 오류가 늘었다. 수집 리전 하나에 밀린 트래픽이 쌓였고, 그 리전에서 빠져나간 트래픽을 받은 다른 리전에도 트래픽이 밀려 쌓이면서 트래픽이 거부됐다.\n\n10월 21일에는 US SaaS 에서 오전 9시 42분부터 10시 6분 PT까지 데이터를 전혀 수집하지 못했다. 영향은 US 의 오류, 트랜잭션, 첨부 파일, 프로파일, 리플레이, 스팬 수집과 크론 모니터링에 미쳤다.\n\n사고마다 실제 장애는 몇 분이었지만 정리 작업과 고객이 보는 영향은 그보다 길게 이어졌다. 세 사고는 10월 초에 있었던 다른 사고들과도 관련이 있었다."},"updated_at":"2026-11-14T12:34:20.489429Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0555","org_slug":"sentry"}