{"id":"IL-0559","org":"PubNub","date":"2025-10-20","docs":[],"title":{"en":"PubNub services degraded in US-East during an AWS outage in the IAD region, and failover load then degraded US-West","ko":"AWS 의 IAD 리전 장애 때 PubNub 의 기존 연결이 오래 저하됐고 US-West 로 몰린 부하가 두 번째 저하를 일으켰다"},"domain":["aws","networking"],"impact":{"scope":"Multiple PubNub services, including Publish/Subscribe, Presence and Access Manager, and the North America Points of Presence: higher error rates and latency, intermittent Presence availability","users":"unknown","region":"IAD (US-East), SJC (US-West), HND (AP-Northeast)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.pubnub.com/incidents/4vl9wztw0cbn","kind":"official-status","archived":"https://web.archive.org/web/20251107055424/https://status.pubnub.com/incidents/4vl9wztw0cbn"}],"summary":{"en":"On 20 October 2025 an infrastructure outage at AWS in the IAD region raised error levels across multiple PubNub services from 07:06 UTC. PubNub started its regional failover procedures and moved new connections to other regions. Existing connections for some services stayed degraded because some failover processes had undefined steps and some tools were slow to reach during the provider issue. To restore service, engineers reset established connections by hand, moved Presence traffic to Frankfurt (EU-Central) and added infrastructure in other regions to take the traffic, and errors were mitigated by 09:20 UTC.\n\nLater in the day the additional regional load in US-West set off a new wave of latency and errors there, reported from 12:40 UTC. PubNub isolated the US-East region again and scaled up balancer capacity in US-West, and services were stable by 13:20 UTC. AWS reported full restoration at 22:35 UTC; after checking that US-East was stable, PubNub finished rebalancing traffic by 23:48 UTC and declared the incident resolved.","ko":"2025년 10월 20일 07시 6분 UTC에 PubNub 모니터링이 IAD 리전, 즉 US-East 의 여러 서비스에서 오류가 늘었다고 알렸다. PubNub 은 원인이 이 리전에서 AWS 에 난 광범위한 인프라 장애라는 것을 빨리 알아냈다. 리전 장애 조치 절차를 시작해 새 연결을 다른 리전으로 돌렸다. 그러나 일부 장애 조치 과정에 정해 두지 않은 단계가 있었고 사업자 장애 때문에 일부 도구에 접근하는 것도 늦어져 일부 서비스의 기존 연결이 예상보다 오래 저하됐다. 엔지니어들은 맺어진 연결을 손으로 초기화하고, Presence 트래픽을 EU-Central 의 Frankfurt 로 돌리고, 다른 리전에 인프라를 더 띄워 트래픽을 받아 냈다. 09시 20분까지 오류가 줄었다.\n\n같은 날 이후에 US-West 에 몰린 리전 부하가 새로운 서비스 저하를 일으켰다. 상태 페이지는 12시 40분부터 US-West 의 여러 서비스에서 지연과 오류가 늘었다고 적었다. PubNub 은 US-East 리전을 다시 떼어 내고 US-West 의 로드 밸런서 용량을 늘렸고, 13시 20분까지 서비스가 안정됐다. 사업자는 22시 35분에 서비스가 완전히 복구됐다고 알렸다. 그 뒤 PubNub 은 US-East 의 안정을 확인하고 23시 48분까지 트래픽 재분배를 마쳐 장애를 종료했다. 장애 중에는 인벤토리 도구와 DNS 이름 해석 문제 같은 내부 도구의 문제가 복구를 더 어렵게 했다."},"trigger":{"en":"A broad infrastructure outage at AWS, PubNub's cloud provider, in the IAD (US-East) region.","ko":"IAD 리전에서 클라우드 사업자인 AWS 에 광범위한 인프라 장애가 났다."},"severity":"unknown","symptoms":["high-error-rate","high-latency"],"timeline":{"detected_after":null,"resolved_after":"16h 42m"},"date_kind":"incident","detection":{"en":"PubNub's monitoring systems alerted at 07:06 UTC on raised error levels across multiple services in IAD.","ko":"07시 6분 UTC에 모니터링 시스템이 IAD 리전의 여러 서비스에서 오류가 늘었다는 알림을 냈다."},"components":[],"root_cause":"cloud-provider","remediation":[{"text":{"en":"Started regional failover procedures and re-routed new connections to other regions","ko":"리전 장애 조치 절차를 시작해 새 연결을 다른 리전으로 돌렸다."}},{"text":{"en":"Reset established connections by hand","ko":"이미 맺어진 연결을 손으로 초기화했다."}},{"text":{"en":"Re-routed Presence traffic to Frankfurt (EU-Central)","ko":"Presence 트래픽을 EU-Central 의 Frankfurt 로 돌렸다."}},{"text":{"en":"Brought on additional infrastructure in other regions to absorb traffic","ko":"다른 리전에 인프라를 더 띄워 옮겨 온 트래픽을 받아 냈다."}},{"text":{"en":"Isolated the US-East region again when the second wave hit US-West","ko":"US-West 에 두 번째 저하가 오자 US-East 리전을 다시 떼어 냈다."}},{"text":{"en":"Scaled up balancer capacity in US-West","ko":"US-West 의 로드 밸런서 용량을 늘렸다."}},{"text":{"en":"Rebalanced traffic after AWS restored service and US-East was confirmed stable","ko":"사업자가 복구를 알린 뒤 US-East 의 안정을 확인하고 23시 48분까지 트래픽 재분배를 마쳤다."}}],"action_items":[{"text":{"en":"Consolidate and centralise regional failover procedures so they are complete and immediately accessible for all production services","ko":"모든 운영 서비스의 리전 장애 조치 절차를 한곳에 모아, 바로 찾아 쓸 수 있고 빠진 단계가 없게 한다."}},{"text":{"en":"Fill gaps in process documentation for newer services before they are fully adopted into production","ko":"새 서비스의 절차 문서에 빠진 곳을 메워, 운영에 완전히 들이기 전에 장애 조치 준비를 마친다."}},{"text":{"en":"Fix internal tooling problems, including inventory and DNS resolution, that made mitigation harder","ko":"장애 중 복구를 어렵게 한 인벤토리 도구와 DNS 이름 해석 문제를 포함해 내부 도구의 문제를 살펴 고친다."}}],"contributing":["no-runbook","circular-dependency","no-spare-capacity"],"recurrence_of":null,"symptoms_text":{"en":"At 07:06 UTC on 20 October 2025, PubNub's monitoring alerted on raised error levels across multiple services in the IAD (US-East) region. Customers could see higher error rates and latency, and Presence was intermittently unavailable in IAD, SJC (US-West) and HND (AP-Northeast).\n\nPubNub failed over regionally and re-routed new connections to other regions, but connections that were already open stayed degraded for some services for longer than expected. Some failover processes had undefined steps, some tools were slow to reach because of the provider's outage, and internal tooling had inventory and DNS resolution problems that made mitigation harder.\n\nErrors were mitigated by 09:20 UTC. From 12:40 UTC the status page reported increased latency and errors for multiple services in US-West, a second wave caused by additional regional load there, and services were stable again at 13:20 UTC.","ko":"2025년 10월 20일 07시 6분 UTC에 모니터링 시스템이 IAD 리전, 즉 US-East 의 여러 PubNub 서비스에서 오류가 늘었다는 알림을 냈다. 일부 고객은 오류율과 지연이 오르는 것을 겪었다.\n\nIAD, SJC, HND 리전에 걸쳐 Presence 서비스를 간헐적으로 쓸 수 없었다. SJC 는 US-West, HND 는 AP-Northeast 리전이다.\n\nPubNub 은 새 연결을 다른 리전으로 돌렸지만 일부 서비스의 기존 연결은 예상보다 오래 저하된 채 남았다. 오류는 09시 20분까지 줄었다.\n\n같은 날 12시 40분부터 US-West 리전의 여러 서비스에서 지연과 오류가 다시 늘었다. 상태 페이지는 그 뒤 미국의 Points of Presence 에서 지연이 조금 높을 수 있다고 알렸다. 영향은 Publish/Subscribe, Presence, Access Manager 서비스와 북아메리카 Points of Presence 에 미쳤다."},"updated_at":"2026-11-14T12:34:20.796622Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0559","org_slug":"pubnub"}