{"id":"IL-0560","org":"PubNub","date":"2026-08-25","docs":[],"title":{"en":"Some PubNub messages in the US East point of presence were misrouted with no error and not delivered right away","ko":"PubNub US East PoP 의 한 가용 영역에서 일부 메시지가 오류 없이 엉뚱한 곳으로 라우팅돼 구독자에게 바로 전달되지 않았다"},"domain":["networking"],"impact":{"scope":"Publish/Subscribe in one availability zone of the US East point of presence: a very small subset of messages was not immediately delivered to subscribers in the same region; no message data was lost","users":"No customers reported impact","region":"US East point of presence, one availability zone"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.pubnub.com/incidents/cz6q37z3s1d5","kind":"official-status","archived":null}],"summary":{"en":"During planned internal load testing, PubNub took a group of internal routing servers out of service. Because of a configuration flaw, their network addresses were not fully retired, and the publishing layer kept them in its cache. One of those addresses was later reassigned to an unrelated internal component that answered normally on the same protocol and port. The publishing layer saw what looked like a successful response and got no error, so messages sent to that address were routed incorrectly. At 12:10 UTC on 25 August 2026 internal monitoring alerted that a very small subset of messages in one availability zone of the US East point of presence might not have been delivered right away to subscribers in the same region; all messages were persisted normally in the PubNub Persistence service, so no message data was lost. After the affected servers were identified, a rolling restart cleared the outdated addresses at 13:25 UTC, and at 22:00 UTC the same day a fix that makes sure outdated internal routing addresses are retired correctly was deployed to all publishing servers worldwide.","ko":"계획된 내부 부하 테스트 중에 PubNub 은 내부 라우팅 서버 한 묶음을 서비스에서 뺐다. 설정 결함 때문에 이 서버들의 네트워크 주소가 완전히 회수되지 않았고 게시 계층에 캐시된 채 남았다. 대부분은 문제가 되지 않았지만, 그중 한 주소가 나중에 관계없는 내부 구성 요소에 다시 배정됐고 그 구성 요소가 같은 프로토콜과 포트로 정상 응답했다. 응답이 성공으로 보였기 때문에 게시 계층은 오류를 받지 못했고, 그 주소로 보낸 메시지는 잘못 라우팅됐다. 2026년 8월 25일 12시 10분 UTC에 내부 모니터링이 US East PoP 의 한 가용 영역에서 아주 적은 수의 메시지가 같은 리전의 구독자에게 바로 전달되지 않았을 수 있다고 알렸다. PubNub 은 영향받은 서버를 찾아 롤링 재시작으로 낡은 주소를 지웠고 13시 25분에 정리가 끝났다. 메시지는 모두 PubNub Persistence 서비스에 저장돼 잃어버린 데이터는 없었다. 원인을 확인한 뒤 같은 날 22시에 낡은 내부 라우팅 주소를 제대로 회수하는 수정을 전 세계의 모든 게시 서버에 배포했다."},"trigger":{"en":"During planned internal load testing, a group of internal routing servers was removed from service.","ko":"계획된 내부 부하 테스트 중에 내부 라우팅 서버 한 묶음을 서비스에서 뺐다."},"severity":"unknown","symptoms":["requests-misrouted","inconsistent-reads"],"timeline":{"detected_after":null,"resolved_after":"1h 15m"},"date_kind":"incident","detection":{"en":"PubNub's internal monitoring alerted at 12:10 UTC; synthetic monitoring then confirmed that no more messages were being missed.","ko":"12시 10분 UTC에 내부 모니터링이 알림을 냈다. 장애를 줄인 뒤 합성 모니터링이 정상으로 돌아왔고 놓친 메시지가 더는 잡히지 않았다."},"components":["service-discovery"],"root_cause":"config-change","remediation":[{"text":{"en":"Performed a rolling restart of the affected servers to clear the outdated routing addresses","ko":"영향받은 서버를 찾아 롤링 재시작으로 낡은 라우팅 주소를 지웠다. 13시 25분에 낡은 주소가 모두 정리됐다."}}],"action_items":[{"text":{"en":"Deploy a fix to all publishing servers worldwide so that outdated internal routing addresses are retired correctly","ko":"낡은 내부 라우팅 주소를 제대로 회수하는 수정을 2026년 8월 25일 22시 UTC에 전 세계의 모든 게시 서버에 배포했다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"At 12:10 UTC on 25 August 2026, PubNub's internal monitoring alerted that a very small subset of messages in one availability zone of the US East point of presence might not have been delivered right away to subscribers in the same region. Publish and Subscribe calls returned no errors, even though some messages did not appear in the responses.\n\nMessages were still persisted normally in the PubNub Persistence service, so no message data was lost, and no other region, availability zone or PubNub service was affected. When the issue was mitigated at 13:55 UTC, the status page said it was believed to be related to a monitoring failure; the later investigation found misrouted messages. Synthetic monitoring returned to normal and detected no missed messages.","ko":"2026년 8월 25일 화요일 12시 10분 UTC에 내부 모니터링이 PubNub US East PoP 의 한 가용 영역에서 아주 적은 수의 메시지가 같은 리전의 구독자에게 바로 전달되지 않았을 수 있다는 알림을 냈다.\n\n상태 페이지는 12시 15분부터 US East PoP 의 Publish and Subscribe 서비스에서 일부 메시지가 호출 결과에 나타나지 않는다고 알렸다. 메시지가 제대로 돌아오지 않는데도 서비스는 오류를 내지 않았다.\n\n모든 메시지는 PubNub Persistence 서비스에 정상으로 저장돼 잃어버린 메시지 데이터는 없었다. 다른 리전이나 가용 영역을 오가는 트래픽과 다른 PubNub 서비스는 영향을 받지 않았고, 영향을 신고한 고객도 없었다.\n\n13시 55분에 장애를 줄인 뒤 상태 페이지는 이 장애가 모니터링 실패와 관련됐다고 보고 있다고 적었다. 사후 분석에서 원인은 라우팅 주소 문제로 밝혀졌다."},"updated_at":"2026-11-14T12:34:20.887052Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0560","org_slug":"pubnub"}