{"id":"IL-0124","org":"OpenAI","date":"2026-03-04","docs":[],"title":{"en":"Capacity changes queued while a circuit breaker was engaged ran all at once when it was released, taking multiple OpenAI inference engines out of service and raising API error rates","ko":"서킷 브레이커가 풀리자 낡은 상태를 근거로 쌓여 있던 용량 조정이 한꺼번에 실행돼 여러 추론 엔진이 동시에 빠졌고, OpenAI API 의 오류율과 지연 시간이 올랐다."},"domain":["ai-infra"],"impact":{"scope":"API traffic for several text and code models (gpt-4.1, gpt-4.1-mini, gpt-4o-mini, gpt-5-series models, OpenAI o3, Codex models) and some Codex traffic","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"Pausing one automated system does not stop the systems that feed it. Changes queued during the pause reflect the state at the time they were queued, and releasing the queue all at once applies those stale decisions together. The fixes OpenAI names are detecting state drift, making circuit breaker status visible, and preventing large batches from executing after a long pause.","ko":"실행을 멈춘 동안에도 작업을 큐에 쌓는 자동화는 멈춤이 풀리는 순간 낡은 상태를 근거로 한 변경을 한꺼번에 쏟아낼 수 있다. 서킷 브레이커가 무엇을 멈춰 두었는지, 풀릴 때 무엇이 실행될지 눈으로 확인할 수 있어야 한다. 긴 멈춤 뒤에 쌓인 작업이 대량으로 한 번에 실행되지 않게 막아야 한다."},"related":[],"sources":[{"url":"https://status.openai.com/incidents/01KJXQDJ6P1CG5YNXKZRY2H6RX/write-up","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"OpenAI allocates compute capacity to its models through automated infrastructure management systems. A protective circuit breaker had paused certain scheduling operations. While the pause lasted, the automated capacity management systems kept queuing adjustments, and those adjustments were based on system state that had since become outdated.\n\nWhen the circuit breaker was released, the queued changes all ran at once. The batch of capacity reassignments removed multiple inference engines from service at the same time, which reduced available capacity, and API error rates and latency rose for about 30 minutes. Engineers identified the capacity imbalance and reassigned infrastructure to the affected models by hand; as engines came back online, error rates returned to normal by 4:56 PM PST.","ko":"모델에 컴퓨팅 용량을 나눠 주는 자동 인프라 관리 시스템들이 서로 맞물리면서 장애가 났다. 보호용 서킷 브레이커가 앞서 일부 스케줄링 작업을 멈춰 두었는데, 그동안에도 자동 용량 관리 시스템은 이미 낡은 시스템 상태를 근거로 조정 작업을 계속 큐에 쌓았다.\n\n나중에 서킷 브레이커가 풀리자 쌓여 있던 변경이 동시에 실행됐다. 이 갑작스러운 용량 재배치로 여러 추론 엔진이 한꺼번에 서비스에서 빠졌고, 쓸 수 있는 용량이 줄어 오류율이 올랐다. 엔지니어들은 용량 불균형을 빠르게 찾아내 영향을 받은 모델에 인프라 자원을 손으로 다시 배정했다. 엔진이 다시 올라오고 재배정되면서 오후 4시 56분 PST 에 오류율이 정상으로 돌아왔다."},"trigger":{"en":"A protective circuit breaker that had paused some scheduling operations was released, and the infrastructure actions queued during the pause were executed at the same time.","ko":"보호용 서킷 브레이커가 일부 스케줄링 작업을 멈춰 둔 사이에 인프라 작업이 큐에 쌓였고, 서킷 브레이커가 풀리자 이 작업이 한꺼번에 실행됐다."},"severity":"unknown","symptoms":["high-error-rate","high-latency"],"timeline":{"detected_after":null,"resolved_after":"30m"},"date_kind":"incident","detection":null,"components":["capacity-manager"],"root_cause":"software-bug","remediation":[{"text":{"en":"manually reassigned infrastructure resources to the affected models","ko":"엔지니어들이 영향을 받은 모델에 인프라 자원을 손으로 다시 배정했다."}},{"text":{"en":"brought the removed inference engines back online and reassigned them until error rates returned to normal","ko":"추론 엔진을 다시 올리고 모델에 재배정해 서비스를 되살렸다."}}],"action_items":[{"text":{"en":"Improve safeguards in the automated capacity management systems so they detect and respond to state drift","ko":"자동 용량 관리 시스템이 실제 상태와 어긋났을 때 이를 더 잘 감지하고 대응하도록 보호 장치를 보강한다."}},{"text":{"en":"Improve observability of circuit breakers and scheduling systems so their status and effects are easier to identify","ko":"서킷 브레이커와 스케줄링 시스템의 상태와 그 영향을 쉽게 알아볼 수 있도록 관측성을 높인다."}},{"text":{"en":"Add safeguards so queued actions cannot run in large batches after long pauses","ko":"오래 멈췄다가 풀린 뒤 큐에 쌓인 작업이 대량으로 한꺼번에 실행되지 않도록 보호 장치를 더한다."}},{"text":{"en":"Improve monitoring and alerting around capacity reconciliation problems","ko":"용량 조정이 실제 상태와 어긋나는 문제를 잡아내도록 모니터링과 알림을 개선한다."}}],"contributing":["automation-amplified","delayed-effect-change","no-safeguard-on-destructive-change","monitoring-blind-spot"],"recurrence_of":null,"symptoms_text":{"en":"Between about 4:26 PM and 4:56 PM PST on 4 March 2026, some OpenAI API requests to several models failed or took longer than usual, and some Codex traffic was affected too. The overall API success rate dropped temporarily.\n\nThe impact differed by model. Affected models included gpt-4.1, gpt-4.1-mini, gpt-4o-mini, the gpt-5 series, OpenAI o3 and the Codex models; GPT-4o mini was the most affected major model.","ko":"2026년 3월 4일 오후 4시 26분 PST 무렵부터 약 30분 동안 여러 모델의 API 요청에서 오류율과 지연 시간이 올랐다. 영향은 주로 API 트래픽에 나타났고, Codex 트래픽 일부도 영향을 받았다.\n\n전체 API 성공률이 잠시 떨어졌고, 오류율은 모델마다 달랐다. 영향을 받은 모델은 gpt-4.1, gpt-4.1-mini, gpt-4o-mini, gpt-5 계열 모델, OpenAI o3, Codex 모델을 비롯한 여러 텍스트 모델과 코드 모델이었다. 주요 모델 가운데 GPT-4o mini 가 가장 크게 영향을 받았다."},"updated_at":"2026-11-10T00:00:34.739693Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0124","org_slug":"openai"}