{"id":"IL-0543","org":"Twingate","date":"2025-05-28","docs":[],"title":{"en":"Twingate API traffic piled onto one backend behind the global load balancer, failing core services for 29 minutes","ko":"Twingate 의 인증과 관리 서비스 전반이 29분 동안 오류를 내며 멈췄다"},"domain":["networking"],"impact":{"scope":"Control plane services (authentication, MFA, authorization, Connector Heartbeat) and management plane services (Identity Provider Sync, Public API, Admin Console, Real-Time Updates, Client Log Upload, 3rd Party Integrations, network and DNS filtering dashboards)","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.twingate.com/incidents/d57tmhvs1c5x","kind":"official-status","archived":null}],"summary":{"en":"On 28 May 2025 Twingate rolled out an update to the routing rules of its global load balancer. One new routing rule was given priority by mistake, and it sent most API traffic to a single backend. That backend service was overwhelmed and error rates rose across the API. The lower environments had not shown the problem because they carry less traffic.\n\nThe incident was detected three minutes after it began and a rollback started at 20:52 UTC. The automated rollback stalled at 21:05 UTC because infrastructure tooling it needed also depended on the affected components. At 21:09 UTC engineers applied a manual fix with local tooling, and all services had recovered by 21:14 UTC, 29 minutes after the start.","ko":"2025년 5월 28일 Twingate 는 글로벌 로드 밸런서의 라우팅 규칙을 바꾸는 롤아웃을 했다. 이 롤아웃에 들어간 새 라우팅 규칙이 의도치 않게 높은 우선순위를 받아 API 트래픽 대부분이 백엔드 하나로 향했다. 이 백엔드 서비스는 몰린 트래픽을 감당하지 못했고 API 실패가 넓게 퍼졌다. 하위 환경은 트래픽이 적어 이 문제를 드러내지 못했다.\n\n20:45 UTC 에 시작된 장애는 20:48 UTC 에 감지됐고, 20:52 UTC 에 롤백을 시작했다. 21:05 UTC 에 자동 롤백 과정이 지연됐다. 복구에 쓰는 인프라가 영향을 받은 구성 요소에 기대고 있었기 때문이다. 21:09 UTC 에 엔지니어들이 로컬 도구로 직접 고쳤고, 21:14 UTC 에 서비스가 모두 복구됐다. 장애는 약 29분 이어졌다."},"trigger":{"en":"A rollout that updated the routing rules of Twingate's global load balancer.","ko":"글로벌 로드 밸런서의 라우팅 규칙을 바꾸는 롤아웃에서 새 라우팅 규칙이 의도치 않게 높은 우선순위를 받았다."},"severity":"unknown","symptoms":["requests-misrouted","uneven-load","high-error-rate"],"timeline":{"detected_after":"3m","resolved_after":"29m"},"date_kind":"incident","detection":{"en":"The incident was detected at 20:48 UTC, three minutes after API traffic was first misrouted, and triage began.","ko":"장애가 시작되고 3분 뒤인 20:48 UTC 에 감지됐고, 엔지니어들이 원인 파악과 초기 대응을 시작했다."},"components":["cloud-load-balancer"],"root_cause":"config-change","remediation":[{"text":{"en":"Started a rollback of the routing change at 20:52 UTC; the automated rollback stalled on infrastructure dependencies","ko":"20:52 UTC 에 라우팅 변경의 롤백을 시작했지만, 복구에 쓰는 인프라가 영향을 받은 구성 요소에 기대고 있어서 21:05 UTC 에 자동 롤백 과정이 지연됐다."}},{"text":{"en":"Applied a manual fix with local tooling at 21:09 UTC, which restored service by 21:14 UTC","ko":"21:09 UTC 에 엔지니어들이 로컬 도구로 직접 고쳤고, 21:14 UTC 에 서비스가 모두 복구됐다."}}],"action_items":[{"text":{"en":"Correct the routing rule","ko":"라우팅 규칙을 바로잡았다."}},{"text":{"en":"Add alerts that detect backend traffic anomalies in lower environments","ko":"하위 환경에서 백엔드 트래픽 이상을 감지하는 알림을 더했다."}},{"text":{"en":"Improve resource scaling thresholds","ko":"리소스 스케일링 임계값을 조정했다."}},{"text":{"en":"Decouple infrastructure tooling from service dependencies so recovery has faster options","ko":"복구 수단을 더 빨리 쓸 수 있도록 인프라 도구가 서비스에 기대지 않게 떼어 낸다."}},{"text":{"en":"Introduce backend sharding to isolate customer workloads and reduce the impact of incidents","ko":"백엔드 샤딩을 도입해 고객 워크로드를 서로 격리하고 장애의 영향을 줄인다."}}],"contributing":["staging-not-representative","circular-dependency"],"recurrence_of":null,"symptoms_text":{"en":"At 20:45 UTC on 28 May 2025, most of Twingate's API traffic started going to a single backend service, which was overwhelmed and returned elevated error rates, so API calls failed widely across core services.\n\nThe failures reached the control plane services (Authentication for Enterprise and Social, Multi-Factor Authentication, Authorization, Connector Heartbeat) and the management plane services (Identity Provider Sync, Public API, Admin Console, Real-Time Updates, Client Log Upload, 3rd Party Integrations, Network Dashboards, DNS Filtering Dashboards). The incident was detected at 20:48 UTC and a rollback started at 20:52 UTC, but the automated rollback ran into delays at 21:05 UTC because infrastructure it depended on also relied on the affected components.","ko":"2025년 5월 28일 20:45 UTC 부터 Twingate 의 여러 핵심 서비스에서 API 요청이 넓게 실패하고 오류율이 올라갔다. 장애는 3분 뒤인 20:48 UTC 에 감지됐다.\n\nAPI 트래픽 대부분이 백엔드 하나로 향했고, 그 백엔드 서비스가 몰린 트래픽을 감당하지 못했다. 영향을 받은 것은 컨트롤 플레인의 Authentication Enterprise 와 Social, MFA, Authorization, Connector Heartbeat 였고, 관리 플레인의 Identity Provider Sync, Public API, Admin Console, Real-Time Updates, Client Log Upload, 3rd Party Integrations, Network Dashboards, DNS Filtering Dashboards 였다.\n\n20:52 UTC 에 롤백을 시작했지만 21:05 UTC 에 자동 롤백 과정이 지연됐다. 복구에 쓰는 인프라가 영향을 받은 구성 요소에 기대고 있었기 때문이다."},"updated_at":"2026-11-14T12:34:18.845675Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0543","org_slug":"twingate"}