{"id":"IL-0118","org":"OpenAI","date":"2024-11-25","docs":[],"title":{"en":"A global change to Kubernetes namespace labels made the networking layer recompute metadata and overwhelmed the control planes of three of OpenAI's largest GPU clusters","ko":"쿠버네티스 네임스페이스 라벨을 전역으로 바꾸자 네트워크 계층이 메타데이터를 다시 계산하면서 가장 큰 GPU 클러스터들 가운데 세 곳의 컨트롤 플레인이 과부하에 빠졌고, ChatGPT 와 API 가 타임아웃과 503 오류를 냈다."},"domain":["kubernetes","ai-infra"],"impact":{"scope":"ChatGPT (Free, Paid, Enterprise and Search) and the API, worst for gpt-4-turbo-preview, gpt-4-o125-preview and text-embedding-3-large; three of the largest GPU clusters","users":"ChatGPT error rates peaked at 13% for Paid and 23% for Enterprise","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.openai.com/incidents/01JMYB4BYHJWDV9A51ZPA86YBQ/write-up","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"A global change to Kubernetes namespace labels, without anyone intending it, made the networking layer recompute metadata. The small clusters handled this safely, but in three of the largest GPU clusters the recomputation overwhelmed the Kubernetes control plane. That led to cascading failures, high latency and elevated error rates across several OpenAI products.\n\nOpenAI first reduced the impact by moving workloads out of the affected clusters by hand, which the unresponsive control planes made harder. After the root cause was found, OpenAI worked with its cloud provider to scale up the number of control plane nodes while scaling down the number of data plane nodes, which let the control planes recover. Some major workloads have since moved back into those clusters with additional protections.","ko":"2024년 11월 25일 태평양 시각 오전 10시 15분부터 OpenAI 의 API 와 ChatGPT 트래픽 상당 부분이 타임아웃과 503 오류로 실패했다. 원인은 쿠버네티스 네임스페이스 라벨을 전역으로 바꾼 변경이었다. 이 변경으로 네트워크 계층이 의도치 않게 메타데이터를 다시 계산했다. 변경은 작은 클러스터에는 문제없이 배포됐지만, 가장 큰 GPU 클러스터들 가운데 세 곳에서는 컨트롤 플레인을 과부하에 빠뜨렸다. 그 결과 연쇄 장애와 큰 지연이 생겼고 여러 OpenAI 제품의 오류율이 올라갔다.\n\n팀은 영향받은 클러스터에서 워크로드를 손으로 빼내 영향을 줄였다. 컨트롤 플레인이 응답하지 않아 이 작업도 쉽지 않았다. 근본 원인을 찾은 뒤에는 클라우드 업체와 함께 컨트롤 플레인 노드 수를 늘리면서 동시에 데이터 플레인 노드 수를 줄였다. 그러자 컨트롤 플레인이 회복됐다. 팀은 이후 주요 워크로드 일부를 추가 보호 장치를 둔 채 이 클러스터들로 되돌렸다."},"trigger":{"en":"A global change to Kubernetes namespace labels caused the networking layer to recompute metadata. The change had rolled out to the small clusters without problems.","ko":"쿠버네티스 네임스페이스 라벨을 전역으로 바꿨고, 이 변경 때문에 네트워크 계층이 의도치 않게 메타데이터를 다시 계산했다."},"severity":"unknown","symptoms":["high-error-rate","high-latency","control-plane-unresponsive"],"timeline":{"detected_after":null,"resolved_after":"3h 5m"},"date_kind":"incident","detection":null,"components":["kube-apiserver"],"root_cause":"config-change","remediation":[{"text":{"en":"moved workloads out of the impacted clusters by hand","ko":"영향받은 클러스터에서 워크로드를 손으로 빼냈다. 컨트롤 플레인이 응답하지 않아 이 작업이 더 복잡했다."}},{"text":{"en":"with the cloud provider, scaled up the number of control plane nodes while scaling down the number of data plane nodes, which let the control planes recover","ko":"클라우드 업체와 함께 컨트롤 플레인 노드 수를 늘리고 동시에 데이터 플레인 노드 수를 줄여 컨트롤 플레인을 회복시켰다."}}],"action_items":[{"text":{"en":"Lock namespace changes so this incident cannot recur","ko":"같은 장애가 다시 나지 않도록 네임스페이스 변경을 잠갔다."}},{"text":{"en":"Freeze certain types of infrastructure deploys","ko":"일부 종류의 인프라 배포를 동결했다."}},{"text":{"en":"Allowlist identities to prevent a recurrence of this class of incidents","ko":"같은 종류의 장애가 반복되지 않도록 신원을 허용 목록으로 관리한다."}},{"text":{"en":"Improve the GPU load balancing logic so traffic is re-routed automatically and more effectively when possible","ko":"가능한 경우에는 트래픽이 자동으로 다른 곳으로 더 잘 옮겨 가도록 GPU 로드 밸런싱 로직을 고친다."}},{"text":{"en":"Improve change management for fleet-wide infrastructure changes","ko":"플릿 전체에 걸친 인프라 변경을 관리하는 방식을 개선한다."}}],"contributing":["blast-radius-too-wide","limited-debug-access"],"recurrence_of":null,"symptoms_text":{"en":"From 10:15 am PT on 25 November 2024 a large share of both API and ChatGPT traffic failed with timeouts and 503 errors.\n\nChatGPT was degraded for Paid and Enterprise users from 10:15 am to 12 pm, with error rates peaking at 13% for Paid and 23% for Enterprise; Free users saw degraded performance until 1:20 pm. Search in ChatGPT was disabled between 11:15 am and 12:05 pm. In the API, gpt-4-turbo-preview, gpt-4-o125-preview and text-embedding-3-large were hit hardest, with higher latency and error rates until as late as 1 pm.\n\nThe control planes of three of the largest GPU clusters were unresponsive, which made moving workloads out of those clusters by hand more complicated.","ko":"2024년 11월 25일 태평양 시각 오전 10시 15분부터 API 와 ChatGPT 트래픽의 상당 부분이 타임아웃과 503 오류로 실패했다.\n\nChatGPT 의 유료 사용자와 Enterprise 사용자는 10시 15분부터 12시까지 성능 저하를 겪었다. 오류율은 유료에서 13%, Enterprise 에서 23% 까지 치솟았다. 무료 사용자는 오후 1시 20분까지 성능 저하가 이어졌다. ChatGPT 의 검색 기능은 오전 11시 15분부터 낮 12시 5분까지 꺼져 있었다.\n\nAPI 에서는 gpt-4-turbo-preview, gpt-4-o125-preview, text-embedding-3-large 모델의 영향이 가장 컸다. 이 모델들을 쓰는 클라이언트는 오전 10시 15분부터 늦게는 오후 1시까지 높은 지연과 오류율을 겪었다.\n\n영향받은 대형 클러스터의 컨트롤 플레인이 응답하지 않아, 워크로드를 손으로 옮기는 작업도 더 복잡해졌다."},"updated_at":"2026-11-10T00:00:34.246004Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0118","org_slug":"openai"}