{"id":"IL-0235","org":"Microsoft Azure","date":"2026-03-09","docs":["https://aka.ms/air/8GCS-858","https://azure.microsoft.com/blog/enterprise-trust-in-azure-openai-service-strengthened-with-data-zones","https://learn.microsoft.com/azure/ai-services/openai/how-to/business-continuity-disaster-recovery","https://learn.microsoft.com/azure/architecture/patterns/retry"],"title":{"en":"Azure OpenAI GPT-5.2 returned HTTP 400 in seven regions after a configuration update the model engine did not support","ko":"Azure OpenAI Service 의 GPT-5.2 모델 요청이 일곱 개 리전에서 HTTP 400 과 HTTP 429 오류로 실패했다"},"domain":["ai-infra","azure"],"impact":{"scope":"Azure OpenAI Service requests to the GPT-5.2 model returned HTTP 400 and HTTP 429 errors; other GPT models were unaffected","users":"unknown","region":"Australia East, Central US, East US 2, Korea Central, Norway East, Sweden Central and UK South"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://azure.status.microsoft/en-us/status/history/?trackingId=8GCS-858","kind":"official-status","archived":null}],"summary":{"en":"Azure OpenAI Service processes customer requests on model engines deployed in many Azure regions, with traffic routing systems deciding where each request goes; depending on the deployment type (Global, Data Zone or Regional), a request may be routed to other regions within a defined geography. An update to the GPT-5.2 model introduced a configuration change that the deployed engine code did not support, so requests routed to engines with the mismatch could not be processed and failed with HTTP 400. The update followed Safe Deployment Practices, which roll out region by region in stages, but the early stages had too few backend model instances for the problem to show, and the rollout had reached the whole fleet before customer impact was recognised. Customer impact began at 23:20 UTC on 9 March and was detected at 00:19 UTC on 10 March, after which teams began investigating and building a hotfix.\n\nAt 03:18 UTC the team decided that a rollback would mitigate faster than a hotfix and began rolling back the impacted model. During recovery an unrelated problem in the internal capacity telemetry fed incomplete regional capacity data to routing, which sent too much traffic to a limited set of regions and kept intermittent HTTP 429 errors going; this was identified at 10:55 UTC. The rollback finished in all affected regions at 18:00 UTC, full capacity information was restored and traffic distribution returned to normal at 19:30 UTC, and the service was declared fully restored at 19:32 UTC on 10 March 2026.","ko":"Azure OpenAI Service 는 여러 Azure 리전에 배포된 모델 엔진과 트래픽 라우팅 시스템으로 고객 요청을 처리한다. GPT-5.2 모델 업데이트가 효율과 복원력을 높이려고 일부 기능 설정을 켰지만, 운영 중인 모델 엔진 버전은 이 설정을 지원하지 않았다. 요청이 이 불일치가 있는 엔진으로 가면 서비스가 요청을 제대로 처리하지 못했다. 업데이트는 Safe Deployment Practices 에 따라 리전별로 단계를 나눠 배포되었지만, 앞 단계에는 문제가 드러날 만큼 백엔드 모델 인스턴스가 많지 않았다. 그래서 고객 영향을 알아채기 전에 업데이트가 전체에 배포되었다.\n\n2026-03-09 23:20 UTC 에 고객 영향이 시작되었다. 일곱 개 리전에서 GPT-5.2 요청이 HTTP 400 과 HTTP 429 오류로 실패했다. 모니터링은 클라이언트 쪽 오류만 보고 서비스 쪽 HTTP 400 이상은 보지 않아 초기 감지와 대응이 늦었다. 3월 10일 00:19 UTC 에 서비스 모니터링이 문제를 잡았고, 팀은 조사와 핫픽스 개발을 시작했다. 03:18 UTC 에 팀은 롤백이 더 빠르다고 보고 영향받은 모델을 롤백하기 시작했다.\n\n복구 중에 두 번째 문제가 드러났다. Azure OpenAI 는 내부 텔레메트리로 리전별 실시간 용량을 파악해 트래픽을 보낸다. 그런데 첫 문제와 상관없는 텔레메트리 시스템 문제로 불완전한 용량 정보가 쓰였다. 10:55 UTC 에 팀은 트래픽 경로가 불완전한 데이터로 정해지고 있다는 것을 확인했다. 트래픽이 일부 리전에 몰려 그 리전의 자원이 부족해졌다. 그래서 롤백이 진행되고 다른 리전이 요청을 받을 수 있는데도 일부 고객은 HTTP 429 실패를 간헐적으로 겪었다. 12:40 UTC 에 자원 제약을 찾아 조사했고, 18:00 UTC 에 모든 영향 리전에서 롤백을 마쳤다. 19:30 UTC 에 리전 전체의 용량 정보가 돌아와 트래픽 분산이 정상이 되었고, 19:32 UTC 에 모니터링으로 안정을 확인한 뒤 완전 복구를 선언했다."},"trigger":{"en":"An update to the Azure OpenAI GPT-5.2 model enabled feature settings meant to improve service efficiency and resilience. The model engine version running in production did not yet support those settings. The update was rolled out to the whole fleet in stages under Safe Deployment Practices.","ko":"Azure OpenAI 의 GPT-5.2 모델 업데이트에 든 구성 변경이 운영 중인 모델 엔진 코드 버전과 맞지 않았다. 업데이트가 효율과 복원력을 높이려고 일부 기능 설정을 켰는데, 배포된 엔진 버전은 그 설정을 아직 지원하지 않았다."},"severity":"unknown","symptoms":["high-error-rate","uneven-load"],"timeline":{"detected_after":"59m","resolved_after":"20h 12m"},"date_kind":"incident","detection":{"en":"Service monitoring detected the issue at 00:19 UTC on 10 March, about an hour after impact began. Detection was late because monitoring was set up for client-side HTTP 400 errors and not for service-side anomalies.","ko":"3월 10일 00:19 UTC 에 서비스 모니터링이 문제를 잡았다. 고객 영향이 시작되고 약 1시간 뒤였다. 모니터링은 클라이언트 쪽 오류만 보고 서비스 쪽 HTTP 400 이상은 보지 않아 초기 감지가 늦었다."},"components":["inference-server","model-routing"],"root_cause":"config-change","remediation":[{"text":{"en":"Rolled back the GPT-5.2 configuration in all affected regions instead of waiting for a hotfix","ko":"롤백이 핫픽스보다 빨리 완화할 수 있다고 판단하고 03:18 UTC 에 영향받은 모델의 롤백을 시작했다. 18:00 UTC 에 모든 영향 리전에서 롤백을 마쳤다."}},{"text":{"en":"Completed the routing updates and restored full regional capacity information so traffic was spread normally again","ko":"19:30 UTC 에 리전 전체의 용량 정보를 되살려 트래픽 분산을 정상으로 돌렸다."}}],"action_items":[{"text":{"en":"Train engineers on the operating procedures, including which scenarios can be rolled back quickly","ko":"비슷한 문제를 더 빨리 완화하도록 엔지니어에게 운영 절차 교육을 더 했다. 교육에는 어떤 상황에서 빠르게 롤백할 수 있는지가 들어갔다."}},{"text":{"en":"Store a cached known-good version of the traffic routing details for when the capacity service cannot provide current data","ko":"의존 서비스가 리전 용량의 최신 정보를 주지 못할 때를 대비해, 검증된 트래픽 라우팅 정보를 캐시에 저장해 두게 했다."}},{"text":{"en":"Set thresholds for service-side HTTP 400 errors in monitoring","ko":"서비스 쪽 오류에 임계값을 두어 HTTP 400 오류 모니터링을 개선했다."}},{"text":{"en":"Improve anomaly detection on HTTP 4xx errors to alert on unusual error rates below the usual thresholds","ko":"평소 임계값에 닿지 않는 비정상 오류율에도 알림이 가도록 HTTP 4xx 오류의 이상 탐지를 개선한다. 2026년 4월에 마칠 예정이다."}},{"text":{"en":"Add signals to the deployment systems so problematic rollouts stop automatically","ko":"배포 시스템에 신호를 더 넣어 문제가 있는 배포를 자동으로 멈추게 한다. 2026년 5월에 마칠 예정이다."}},{"text":{"en":"Make sure early rollout stages have enough backend model instances to catch such problems","ko":"Safe Deployment Practices 의 앞 단계에 백엔드 모델 인스턴스가 충분히 있게 해 이런 문제를 더 일찍 잡는다. 2026년 6월에 마칠 예정이다."}}],"contributing":["staging-not-representative","monitoring-blind-spot","overlapping-failures"],"recurrence_of":null,"symptoms_text":{"en":"From 23:20 UTC on 9 March 2026 Azure OpenAI Service customers received HTTP 400 and HTTP 429 error responses for the GPT-5.2 model in Australia East, Central US, East US 2, Korea Central, Norway East, Sweden Central and UK South. All other GPT models kept working.\n\nThe HTTP 400 errors went unnoticed for about an hour. HTTP 400 responses occur in normal use, and the service monitoring watched only for client-side errors caused by bad parameters in user requests, not for anomalies on the service side. The issue was detected through service monitoring at 00:19 UTC on 10 March.\n\nWhile the rollback was under way, HTTP 429 errors continued intermittently for some customers. An unrelated fault in the internal telemetry that reports real-time capacity per region left the traffic routing system with incomplete capacity data, so a disproportionate share of traffic went to a few available regions and put them under resource pressure, while other regions could have taken requests. This was found at 10:55 UTC and the resource constraints were investigated from 12:40 UTC.","ko":"2026-03-09 23:20 UTC 부터 Azure OpenAI Service 고객의 GPT-5.2 모델 요청이 HTTP 400 과 HTTP 429 오류로 실패했다. 다른 GPT 모델은 영향을 받지 않았다. 영향을 받은 리전은 Australia East, Central US, East US 2, Korea Central, Norway East, Sweden Central, UK South 였다.\n\nHTTP 400 은 평소 서비스에서도 나는 응답이어서 처음에는 이상 징후로 잡히지 않았다. 모니터링은 요청 매개변수가 잘못되어 생기는 클라이언트 쪽 오류만 보도록 되어 있었고 서비스 쪽 이상은 보지 않았다. 서비스 모니터링이 문제를 잡은 것은 3월 10일 00:19 UTC 였다.\n\n구성 변경을 롤백하는 동안에도 일부 고객은 HTTP 429 오류로 요청이 간헐적으로 실패했다. 다른 리전이 요청을 받을 수 있었는데도 트래픽이 몇몇 리전에 몰려 그 리전들의 자원이 모자랐다.\n\n팀은 처음에 핫픽스를 만들기 시작했다. 그러다 03:18 UTC 에 롤백이 핫픽스보다 빨리 완화할 수 있다고 판단해 영향받은 모델을 롤백하기 시작했다."},"updated_at":"2026-11-14T05:53:45.422056Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0235","org_slug":"microsoft-azure"}