{"id":"IL-0117","org":"OpenAI","date":"2024-08-16","docs":[],"title":{"en":"A scheduled maintenance and an ingress upgrade on OpenAI's user-facing clusters caused a networking control plane regression that briefly broke the data plane, and the services that restarted then overwhelmed a backend persistence store with a heavy first-start query","ko":"인그레스 업그레이드가 네트워크 컨트롤 플레인 회귀를 일으켜 데이터 플레인이 잠깐 끊겼고, 한꺼번에 재시작한 서비스들이 백엔드 저장소에 과부하를 일으켜 OpenAI API 오류가 늘었다"},"domain":["networking"],"impact":{"scope":"OpenAI primary API: lower success rates for ChatGPT conversations, login and account creation affected, in two waves of 44 and 15 minutes","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"A brief connectivity loss turned into a long outage because recovery itself was expensive: the services that restarted overwhelmed one backend persistence store with a heavy first-start query. Keeping costly queries off startup paths shortens recovery, and staged rollouts with longer soak time limit how many systems an infrastructure regression reaches before it is caught.","ko":"짧은 연결 끊김이 긴 장애로 번진 것은 복구 자체가 무거웠기 때문이었다. 다시 뜨는 서비스들이 무거운 초기화 쿼리로 백엔드 저장소 하나에 과부하를 주었다. 시작 경로에서 비용이 큰 쿼리를 빼면 복구가 짧아진다. 인프라 변경을 단계적으로 내보내고 관찰 기간을 길게 두면 회귀가 잡히기 전에 영향을 받는 시스템 수를 줄일 수 있다."},"related":[],"sources":[{"url":"https://status.openai.com/incidents/01JMYB4QKS6C5AQVW4069X4T8T/write-up","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"OpenAI attributes the incident to a combination of factors. A scheduled maintenance and an upgrade to the ingress of the user-facing clusters introduced a regression in the networking control plane, which caused a short outage of the data plane. Because of the momentary loss of connectivity, a set of services became unhealthy and were restarted automatically.\n\nThe restarts took much longer than expected. Each service ran a heavy query on first start, and so many services starting together overwhelmed a backend persistence store, which then needed extra time to catch up and recover.\n\nAfterwards OpenAI mitigated the control plane regression and checked that control plane restarts no longer disturb the data plane, removed the expensive query from critical startup paths, and changed configuration so that the networking control plane affects the clusters' ability to handle traffic less.","ko":"2024년 8월 16일 태평양 시간 오전 11시 38분부터 오후 1시 16분까지 OpenAI 기본 API 의 안정성이 크게 떨어졌다. ChatGPT 대화 성공률이 낮아졌고 로그인과 계정 생성이 영향을 받았다. 장애는 44분과 15분, 두 번에 걸쳐 일어났다.\n\n원인은 여러 요인이 겹친 것이었다. 예정된 유지 보수와 사용자 요청을 받는 클러스터의 인그레스 업그레이드가 함께 진행되면서 네트워크 컨트롤 플레인에 회귀가 생겼다. 회귀는 전에는 정상이던 동작이 새 변경으로 깨진 것을 말한다. 이 회귀 때문에 데이터 플레인이 잠깐 멈췄다. 연결이 잠깐 끊긴 탓에 일부 서비스가 비정상 상태가 되었고 자동으로 재시작됐다.\n\n재시작은 예상보다 훨씬 오래 걸렸다. 다시 뜨는 서비스들이 무거운 초기화 쿼리로 백엔드 저장소에 과부하를 주었기 때문이다. 백엔드 저장소가 밀린 요청을 따라잡고 회복하는 데 시간이 더 필요했다."},"trigger":{"en":"A scheduled maintenance combined with an upgrade to the ingress of OpenAI's user-facing clusters.","ko":"예정된 유지 보수와 함께 OpenAI 의 사용자 요청을 받는 클러스터에서 인그레스를 업그레이드했다."},"severity":"unknown","symptoms":["high-error-rate","database-overloaded"],"timeline":{"detected_after":null,"resolved_after":"1h38m"},"date_kind":"incident","detection":null,"components":["ingress","database"],"root_cause":"upgrade-breaking-change","remediation":[],"action_items":[{"text":{"en":"Mitigate the networking control plane regression and validate that control plane restarts do not interfere with the clusters' data plane","ko":"네트워크 컨트롤 플레인 회귀를 완화했고, 컨트롤 플레인을 재시작해도 클러스터의 데이터 플레인에 영향이 없음을 확인했다."}},{"text":{"en":"Change service software to start faster and remove the first-start query, relieving the persistence layer","ko":"서비스 시작 시간을 줄이고 초기화 쿼리를 없애는 소프트웨어 변경을 넣어, 저장 계층의 부담을 덜고 서비스 시작과 재시작을 빠르게 했다."}},{"text":{"en":"Deploy configuration changes that optimise the networking control plane's effect on the clusters' ability to handle traffic","ko":"네트워크 컨트롤 플레인이 클러스터의 트래픽 처리 능력에 주는 영향을 줄이는 설정 변경을 배포했다."}},{"text":{"en":"Remove the expensive database query from critical startup paths","ko":"중요한 시작 경로에서 비용이 큰 데이터베이스 쿼리를 뺐다."}},{"text":{"en":"Add monitoring and alerting for networking control plane issues","ko":"네트워크 컨트롤 플레인 관련 문제를 잡는 모니터링과 알림을 추가했다."}},{"text":{"en":"Introduce staged rollouts with longer soak time for infrastructure changes","ko":"인프라 변경에 단계적 롤아웃과 더 긴 관찰 기간을 도입해, 회귀를 최대한 일찍 잡고 영향을 받는 시스템과 사용자를 줄인다."}},{"text":{"en":"Audit systems for other slow queries that may affect service start time","ko":"서비스 시작 시간에 영향을 줄 수 있는 다른 느린 쿼리가 있는지 시스템을 점검한다."}}],"contributing":["no-staged-rollout","automation-amplified"],"recurrence_of":null,"symptoms_text":{"en":"On August 16, 2024 from 11:38 AM to 1:16 PM PT, the OpenAI primary API was unreliable: ChatGPT conversations succeeded less often, and logging in and creating accounts were affected. The status page called it elevated error rates for ChatGPT and the Platform API. The incident came in two waves, of 44 and 15 minutes.\n\nUnderneath, connectivity was lost for a moment, a set of services became unhealthy and were restarted automatically, and the restarts took much longer than expected because the starting services overwhelmed a backend persistence store with a heavy query they ran on first start.","ko":"2024년 8월 16일 태평양 시간 오전 11시 38분부터 오후 1시 16분까지 OpenAI 기본 API 의 안정성이 크게 떨어졌다. ChatGPT 대화의 성공률이 낮아졌고 로그인과 계정 생성도 영향을 받았다. 장애는 두 번에 걸쳐 일어났고, 각각 44분과 15분 동안 이어졌다.\n\n사용자 요청을 받는 클러스터의 네트워크 연결이 잠깐 끊긴 뒤 일부 서비스가 비정상 상태가 되었고 자동으로 재시작됐다. 재시작은 예상보다 훨씬 오래 걸렸다. 다시 뜨는 서비스들이 무거운 초기화 쿼리를 백엔드 저장소에 보냈고, 저장소가 이를 버티지 못했다."},"updated_at":"2026-11-10T00:00:34.185867Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0117","org_slug":"openai"}