{"id":"IL-0121","org":"OpenAI","date":"2025-07-09","docs":[],"title":{"en":"A faulty code change to a control plane cluster meant for low-priority workloads degraded the production inference workloads it also managed","ko":"우선순위 낮은 워크로드를 관리하는 컨트롤 플레인 클러스터에 잘못된 코드가 배포되어, 그 클러스터가 함께 관리하던 운영 추론 워크로드가 망가졌다"},"domain":["ai-infra"],"impact":{"scope":"gpt-4.1-mini API success rates degraded for about 20 minutes; ChatGPT search error rates raised for about 35 minutes","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.openai.com/incidents/01JZRHJ2E5V5PXDBF0HZFV48HV/write-up","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"OpenAI deployed a faulty code change to a control plane cluster that mainly manages low-priority workloads. That cluster was also managing some production inference workloads, so the change degraded certain API model endpoints and reduced the availability of ChatGPT search. OpenAI rolled the change back to restore normal operation.\n\nAfterwards OpenAI added safeguards that keep production inference workloads from being managed by that control plane cluster and strengthened testing for high-impact control plane changes. It is moving all existing production inference workloads under the production control plane cluster and building a circuit breaker meant to stop large-scale unintended changes.","ko":"2025-07-09 오후 2:10 부터 3:05 PDT 사이에 잘못된 코드 변경이 컨트롤 플레인 클러스터에 배포되었다. 이 클러스터는 주로 우선순위 낮은 워크로드를 관리했지만, 일부 운영 추론 워크로드도 함께 관리하고 있었다. 그래서 일부 API 모델 엔드포인트의 성능이 떨어지고 ChatGPT 검색의 가용성이 줄었다.\n\nOpenAI 는 잘못된 코드 변경을 빠르게 롤백해 정상으로 되돌렸다. 그 뒤 운영 추론 워크로드가 이 클러스터에서 관리되지 않게 막는 안전장치를 더했고, 영향이 큰 컨트롤 플레인 변경의 배포 테스트를 강화했다. 운영 추론 워크로드를 모두 운영용 컨트롤 플레인 클러스터로 옮기는 일과 서킷 브레이커를 만드는 일은 진행 중이다."},"trigger":{"en":"A faulty code change was deployed to a control plane cluster whose main job is managing low-priority workloads.","ko":"잘못된 코드 변경이 주로 우선순위 낮은 워크로드를 관리하는 컨트롤 플레인 클러스터에 배포되었다."},"severity":"unknown","symptoms":["high-error-rate"],"timeline":{"detected_after":null,"resolved_after":"55m"},"date_kind":"incident","detection":null,"components":[],"root_cause":"deploy-rollout","remediation":[{"text":{"en":"rolled back the faulty code change","ko":"잘못된 코드 변경을 롤백했다."}}],"action_items":[{"text":{"en":"Add safeguards that prevent production inference workloads from being managed by the low-priority control plane cluster","ko":"운영 추론 워크로드가 이 컨트롤 플레인 클러스터에서 관리되지 않도록 막는 안전장치를 더했다."}},{"text":{"en":"Strengthen testing for deploying high-impact control plane changes","ko":"영향이 큰 컨트롤 플레인 변경을 배포할 때 쓰는 테스트를 강화했다."}},{"text":{"en":"Move all existing production inference workloads under the production control plane cluster","ko":"기존 운영 추론 워크로드를 모두 운영용 컨트롤 플레인 클러스터가 관리하도록 옮긴다."}},{"text":{"en":"Build a circuit breaker that stops large-scale unintended changes","ko":"의도하지 않은 대규모 변경이 서비스에 일어나지 않게 막는 서킷 브레이커를 만든다."}}],"contributing":["blast-radius-too-wide","no-safeguard-on-destructive-change"],"recurrence_of":null,"symptoms_text":{"en":"Between 2:10 PM and 3:05 PM PDT on July 9, 2025, success rates of the gpt-4.1-mini model in the API dropped for about 20 minutes, and ChatGPT search returned many more errors than usual for about 35 minutes.","ko":"2025-07-09 오후 2:10 PDT 부터 gpt-4.1-mini 모델의 API 성공률이 떨어지고 ChatGPT 검색의 오류율이 크게 올랐다.\n\ngpt-4.1-mini API 성공률 저하는 약 20분, ChatGPT 검색의 오류율 상승은 약 35분 이어졌다. 상태 페이지는 이 장애를 부분 장애로 표시했다."},"updated_at":"2026-11-10T00:00:34.557596Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0121","org_slug":"openai"}