{"id":"IL-0122","org":"OpenAI","date":"2025-07-15","docs":[],"title":{"en":"An invalid value in a configuration shared by several ChatGPT services put pods into crash loops and raised error rates","ko":"여러 핵심 서비스가 함께 읽는 설정에 잘못된 값이 들어가 ChatGPT 파드가 크래시 루프에 빠졌다"},"domain":["kubernetes"],"impact":{"scope":"ChatGPT conversations","users":"a small percentage of ChatGPT users","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.openai.com/incidents/01K08JJK77JF5D2NN636SDY9WD/write-up","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"An OpenAI engineer applied a configuration change with an invalid value to a core service. The same value was read by several services, which widened the impact, and it propagated quickly. New server instances failed on restart, pods entered crash loops, and error rates of ChatGPT conversations rose for a small share of users for about 55 minutes.\n\nOpenAI reverted the value to the correct one and started a rolling restart of the affected pods to force them to resynchronise faster; full availability returned at 8:38 PM PDT.","ko":"2025-07-15 오후 7:43 부터 8:38 PDT 까지 약 55분 동안 ChatGPT 의 가용성이 떨어졌다. 내부 엔지니어가 핵심 서비스가 쓰는 설정에 잘못된 값을 넣었다. 이 값은 여러 서비스가 함께 읽었기 때문에 영향 범위가 넓어졌다. 잘못된 값은 빠르게 퍼졌고, 새 서버 인스턴스가 재시작할 때 실패하면서 파드가 크래시 루프에 빠졌다. 그 결과 일부 ChatGPT 사용자의 오류율이 올라갔다.\n\nOpenAI 는 잘못된 설정을 찾아 올바른 값으로 되돌렸다. 이어 영향받은 파드를 롤링 재시작해 복구를 앞당겼고, 오후 8:38 에 가용성이 완전히 돌아왔다.\n\nOpenAI 는 중요한 설정 변경에 더 강한 안전장치를 두고, 서비스끼리 함께 쓰는 설정을 나누고, 배포 안전장치를 강화하겠다고 밝혔다."},"trigger":{"en":"An internal engineer applied a configuration change that contained an invalid value.","ko":"내부 엔지니어가 잘못된 값이 든 설정 변경을 적용했다."},"severity":"unknown","symptoms":["crash-loop","high-error-rate"],"timeline":{"detected_after":null,"resolved_after":"55m"},"date_kind":"incident","detection":null,"components":[],"root_cause":"config-change","remediation":[{"text":{"en":"reverted the configuration to the correct value","ko":"잘못된 설정 값을 올바른 값으로 되돌렸다."}},{"text":{"en":"started a rolling restart of the affected pods to force them to resynchronise","ko":"영향받은 파드를 롤링 재시작해 곧바로 다시 동기화되게 했다."}}],"action_items":[{"text":{"en":"Roll out future critical configuration changes for the service to a single cluster first, with automated health guards that stop the rollout if availability drops","ko":"중요한 설정 변경에 더 강한 안전장치를 둔다. 앞으로 이 서비스의 중요한 설정 변경은 클러스터 하나에 먼저 배포하고, 가용성이 떨어지면 자동 헬스 가드가 다음 배포를 멈춘다."}},{"text":{"en":"Move to a service-specific configuration value instead of one shared between services","ko":"여러 서비스가 함께 쓰는 설정을 서비스별 설정 값으로 나눠 서비스 사이의 의존 위험을 줄인다."}},{"text":{"en":"Improve deployment safeguards","ko":"배포 안전장치를 강화한다."}}],"contributing":["blast-radius-too-wide","no-staged-rollout"],"recurrence_of":null,"symptoms_text":{"en":"From 7:43 PM to 8:38 PM PDT on July 15, 2025, a small percentage of ChatGPT users saw more errors in their conversations.\n\nNew server instances of a core service failed whenever they restarted. As the invalid configuration value spread, pods went into crash loops.","ko":"2025-07-15 오후 7:43 PDT 부터 일부 사용자의 ChatGPT 대화에서 오류율이 올라갔다. 상태 페이지는 이 장애를 성능 저하로 표시했다.\n\n새 서버 인스턴스가 재시작할 때 뜨지 못했고, 파드가 크래시 루프에 빠졌다. 잘못된 설정 값은 빠르게 퍼졌고, 이 값을 읽는 서비스가 여러 개라 영향 범위가 넓어졌다."},"updated_at":"2026-11-10T00:00:34.622912Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0122","org_slug":"openai"}