{"id":"IL-0119","org":"OpenAI","date":"2025-01-23","docs":[],"title":{"en":"ChatGPT web service pods crash-looped on failing health checks after a Cosmos DB failure, leaving too few healthy pods to serve the web layer","ko":"Cosmos DB 장애 뒤 ChatGPT 웹 서비스 파드가 헬스 체크 실패로 크래시 루프에 빠져 chatgpt.com 과 일부 API 의 오류율이 높아졌다."},"domain":["kubernetes","azure"],"impact":{"scope":"chatgpt.com and a small number of APIs returned elevated error rates","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"The database came back at 4:25am PT, yet users saw errors until 7:08am PT: the web tier's own health checks kept removing pods after the dependency had recovered. The planned changes target the web tier's behaviour under failure, with concurrency control and load shedding, rather than the database alone.","ko":"OpenAI 는 웹 시스템이 실패할 때 한꺼번에 무너지지 않고 단계적으로 기능을 줄이며 버텨야 한다고 결론지었다. DB 계층도 서비스 제공자의 장애를 견딜 수 있어야 한다고 보았다. OpenAI 는 장애가 길어지면 사용자의 제품과 사업, 생활에 영향을 준다고 인정했다. 그리고 이 두 가지 예방 조치를 우선 처리하겠다고 밝혔다."},"related":[],"sources":[{"url":"https://status.openai.com/incidents/01JMYB40J9DVR9D13RJN1W5SWV/write-up","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"ChatGPT depends on Cosmos DB from an external service provider. When Cosmos DB failed, chatgpt.com and a few APIs started returning errors. The provider recovered the affected databases at 4:25am PT, but errors went on for another 2 hours 43 minutes.\n\nThe second, longer part came from the web tier. The health checks of the web service pods failed, so the pods were marked unhealthy and crash-looped, and not enough pods were left to serve every request to the web layer. OpenAI at first attributed this to users retrying requests. Service recovered after OpenAI changed the web server's health checking logic, and the write-up gives 7:08am PT as the end of impact.","ko":"태평양 시간 오전 3시 30분부터 오전 7시 8분까지 chatgpt.com 과 일부 API 의 오류율이 높았다. 첫 원인은 ChatGPT 가 쓰는 Cosmos DB 의 장애였다. 서비스 제공자가 오전 4시 25분에 영향을 받은 DB 를 복구했다.\n\nDB 가 돌아온 뒤에도 두 번째 문제가 이어졌다. 웹 서비스 파드의 헬스 체크가 실패하면서 파드가 비정상으로 표시됐고, 파드는 크래시 루프에 빠졌다. 그 결과 웹 계층으로 오는 요청을 모두 처리할 만큼 자원이 남지 않았다. 당시 OpenAI 는 이 상황을 사용자 재시도 탓으로 보았다. 웹 서버의 헬스 체크 로직을 고친 뒤에 서비스가 회복됐다."},"trigger":{"en":"A failure of Cosmos DB in ChatGPT, at OpenAI's service provider.","ko":"ChatGPT 가 쓰는 Cosmos DB 에서 장애가 났다."},"severity":"unknown","symptoms":["high-error-rate","crash-loop","readiness-probe-failures"],"timeline":{"detected_after":null,"resolved_after":"3h 38m"},"date_kind":"incident","detection":null,"components":["database"],"root_cause":"cloud-provider","remediation":[{"text":{"en":"the service provider recovered the affected Cosmos DB databases at 4:25am PT","ko":"서비스 제공자가 태평양 시간 오전 4시 25분에 영향을 받은 Cosmos DB 를 복구했다."}},{"text":{"en":"fixed the web server's health checking logic, which ended the pod crash loop","ko":"웹 서버의 헬스 체크 로직을 고쳤다."}}],"action_items":[{"text":{"en":"Change the web systems to degrade more gracefully when they fail, including concurrency control and better load shedding","ko":"웹 시스템이 실패할 때 단계적으로 기능을 줄이며 버티도록 동시성 제어와 로드 셰딩을 강화한다."}},{"text":{"en":"Make the database layer more resilient to service provider outages (described as already underway)","ko":"DB 계층이 서비스 제공자의 장애를 더 잘 견디도록 하는 대규모 작업을 이미 진행하고 있다."}}],"contributing":["probe-depends-on-dependency"],"recurrence_of":null,"symptoms_text":{"en":"From 3:30am to 7:08am PT, chatgpt.com and a small number of OpenAI APIs returned elevated error rates. The status page classed the incident as a full outage.\n\nThe errors had two causes in sequence. First, Cosmos DB, the database behind ChatGPT, failed; the service provider brought the affected databases back at 4:25am PT. Errors continued after that, because the ChatGPT web service pods were crash-looping: their health checks failed, the pods were marked unhealthy, and the pods that remained could not handle all requests reaching the web layer.\n\nWhile this was happening, OpenAI believed the unhealthy pods were caused by users retrying their requests. The pods recovered only after a fix to the web server's health checking logic.","ko":"태평양 시간 오전 3시 30분부터 chatgpt.com 과 일부 API 에서 오류율이 높아졌다. 상태 페이지는 이 장애를 전면 장애로 표시했다.\n\n첫 번째 문제는 ChatGPT 가 쓰는 Cosmos DB 의 장애였다. 서비스 제공자가 오전 4시 25분에 DB 를 복구했지만 오류는 오전 7시 8분까지 이어졌다.\n\n두 번째 문제는 웹 계층에서 나타났다. 웹 서비스 파드의 헬스 체크가 실패했고, 파드가 비정상으로 표시되면서 크래시 루프를 반복했다. 남은 파드로는 웹 계층으로 들어오는 요청을 모두 처리할 수 없었다. 당시 OpenAI 는 이 현상이 사용자들의 재시도 때문이라고 판단했다."},"updated_at":"2026-11-10T00:00:34.425967Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0119","org_slug":"openai"}