{"id":"IL-0558","org":"PubNub","date":"2025-06-27","docs":[],"title":{"en":"New PubNub instance types in FRA hit connectivity limits, and Pub/Sub, History and Presence saw intermittent errors","ko":"새 인스턴스 유형이 네트워크 연결 한도에 걸려 PubNub FRA 리전의 Pub/Sub, History, Presence 에서 간헐적으로 오류와 지연이 늘었다"},"domain":["networking"],"impact":{"scope":"Pub/Sub, History and Presence in the FRA region (European Points of Presence): intermittent increases in latency and errors","users":"unknown","region":"FRA (Europe)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.pubnub.com/incidents/20fn87h2hnyq","kind":"official-status","archived":"https://web.archive.org/web/20260117124832/https://status.pubnub.com/incidents/20fn87h2hnyq"}],"summary":{"en":"PubNub tunes each of its servers with many OS and kernel level settings. To get access to more cloud server capacity across its regions, PubNub recently began running its services on a more varied set of instance types. One setting that PubNub specified explicitly, which controls limits on network connectivity, was being silently overridden by PubNub's upstream load balancers, so the new instance types reached their connectivity limits. From 27 June 2025 this showed as intermittent latency and errors in Pub/Sub, History and Presence in the FRA region, and misleading early errors lengthened the investigation. Once the cause was found, on 30 June, the affected services were configured to run on other instance types and more capacity was launched.","ko":"PubNub 은 여러 리전에서 클라우드 서버 용량을 더 확보하려고 서비스가 도는 인스턴스 유형을 다양하게 늘렸다. PubNub 은 서버마다 성능을 맞추려고 OS와 커널 수준 설정을 많이 만들어 두었고, 그중 네트워크 연결 한도를 정하는 설정은 명시적으로 지정해 왔다. 그러나 인스턴스 유형이 다양해지자 상위 로드 밸런서가 이 설정을 아무 표시 없이 덮어썼고, 새 인스턴스 유형들이 연결 한도에 닿았다. 2025년 6월 27일 08시 15분 UTC부터 FRA 리전의 Pub/Sub, History, Presence 에서 지연과 오류가 간헐적으로 늘었다. 처음 본 오류들이 조사를 엉뚱한 방향으로 이끌어 원인을 찾는 데 오래 걸렸고, 6월 30일에 원인을 찾은 뒤 영향받은 서비스를 다른 인스턴스 유형에서 돌게 하고 용량을 더 띄워 장애를 줄였다."},"trigger":{"en":"PubNub introduced new instance types to its system to get access to more cloud server capacity across its regions.","ko":"여러 리전에서 클라우드 서버 용량을 더 확보하려고 PubNub 이 시스템에 새 인스턴스 유형들을 들였다."},"severity":"unknown","symptoms":["high-latency","high-error-rate"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":null,"components":["cloud-load-balancer"],"root_cause":"capacity","remediation":[{"text":{"en":"Configured the affected services to run on other instance types","ko":"영향받은 서비스가 다른 인스턴스 유형에서 돌도록 설정했다."}},{"text":{"en":"Launched more capacity","ko":"용량을 더 띄웠다."}}],"action_items":[{"text":{"en":"Make the new instance types emit metrics on OS thresholds and limits, so approaching or exceeding a limit is detected on any instance type","ko":"새 인스턴스 유형들이 OS 임계값과 한도를 보여 주는 지표를 내도록 바꿨다. 이제 인스턴스 유형과 상관없이 한도에 가까워지거나 넘는 것을 알아챌 수 있다."}},{"text":{"en":"Scale ahead of demand and route traffic according to instance type","ko":"이 지표로 미리 확장하고, 인스턴스 유형에 맞게 트래픽을 제대로 라우팅한다."}}],"contributing":["partial-rollout","assumption-unverified","monitoring-blind-spot"],"recurrence_of":null,"symptoms_text":{"en":"From 08:15 UTC on Friday 27 June 2025, PubNub's Pub/Sub, History and Presence services showed occasional, intermittent increases in latency and server errors in the Europe (FRA) region.\n\nThe errors seen first pointed the investigation in the wrong directions, so finding the cause took longer than PubNub aims for. A fix on 27 June was followed by monitoring, and the status page marked the incident resolved at 10:38 UTC that day, but the root cause was identified and corrected only on Monday 30 June.","ko":"2025년 6월 27일 금요일 08시 15분 UTC쯤부터 PubNub 유럽 리전의 Pub/Sub, History, Presence 세 서비스에서 지연과 서버 오류가 간헐적으로 늘었다.\n\n영향은 유럽 Points of Presence 에 나타났다. 근본 원인은 6월 30일 월요일에야 찾아 바로잡았다.\n\n처음 마주친 오류들이 조사를 엉뚱한 방향으로 이끌어서 조사가 평소보다 오래 걸렸다."},"updated_at":"2026-11-14T12:34:20.723106Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0558","org_slug":"pubnub"}