{"id":"IL-0116","org":"OpenAI","date":"2023-01-25","docs":[],"title":{"en":"A CNI configuration change incompatible with a hardware variant that exists only in production cut network connectivity in an OpenAI GPU cluster and took text-davinci-003 fully down","ko":"CNI 설정 변경이 스테이징에 없던 하드웨어 종류와 호환되지 않아 GPU 클러스터 하나의 워크로드가 네트워크 연결을 잃었고, text-davinci-003 모델이 완전히 멈췄다."},"domain":["kubernetes","networking","ai-infra"],"impact":{"scope":"text-davinci-003 fully down; one GPU cluster","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"A change that had been deployed to other clusters over 24 hours and deemed safe still broke a cluster with different hardware, so staging needs every hardware configuration that production has.","ko":"변경을 스테이징에서 충분히 시험해도, 운영에만 있는 하드웨어 종류가 스테이징에 없으면 문제를 잡지 못한다. 다른 클러스터에 24시간 동안 배포돼 안전하다고 본 변경도, 하드웨어가 다른 클러스터에서는 깨졌다."},"related":[],"sources":[{"url":"https://status.openai.com/incidents/01JMYB7GTZZXJM6X2YNSDZ8KGT/write-up","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"OpenAI uses all the GPU capacity it can get, so its clusters run on several hardware and networking configurations, and each needs its own CNI configuration. A change to that configuration was fully tested in staging, but staging lacked one hardware variant that exists only in production. The change was incompatible with servers of that variant, and their workloads lost network connectivity when the change reached the GPU cluster that had them. At 4:53 pm Pacific on 25 January 2023 this became a major outage of that GPU cluster and a full outage of the text-davinci-003 model.\n\nIt took almost an hour to trace the connectivity loss to the CNI change. The same change had been deployed to other clusters over the previous 24 hours and had been deemed safe. Once a fix was in place, 80% of traffic returned immediately. Bringing the rest back took about three more hours, because known network and storage bottlenecks limit how many models can be loaded onto GPUs at once and because faulty hardware had to be identified and removed.","ko":"2023년 1월 25일 태평양 시각 오후 4시 53분, OpenAI 의 GPU 클러스터 하나에서 큰 장애가 나 text-davinci-003 모델이 완전히 멈췄다. 원인은 CNI 설정 변경이었다. CNI 는 클러스터에서 도는 컨테이너에 네트워크 연결을 제공하는 컨테이너 네트워크 인터페이스 플러그인이다. OpenAI 는 쓸 수 있는 GPU 용량을 모두 쓰려고 여러 하드웨어와 네트워크 구성을 지원한다. 구성마다 CNI 설정이 다르다.\n\n이 변경은 배포 전에 스테이징 환경에서 충분히 시험했다. 그러나 스테이징에는 운영에만 있는 특정 하드웨어 종류가 없었다. 변경은 그 서버들과 호환되지 않았고, 그 서버의 워크로드가 네트워크 연결을 잃었다. 팀은 이 변경이 지난 24시간 동안 다른 클러스터에 배포돼 있었기 때문에 안전하다고 여겼다. 그러나 하드웨어가 다른 클러스터에 배포되자 문제가 드러났다.\n\n원인을 찾은 뒤 수정을 적용하자 트래픽의 80% 가 바로 돌아왔고, 용량의 80% 는 약 한 시간 만에 복구됐다. 그 뒤 3시간 동안은 모델 배포 문제가 남았다. 네트워크와 스토리지 인프라의 병목 때문에 GPU 에 한꺼번에 다시 올릴 수 있는 모델 수가 제한됐다. 오동작하는 하드웨어도 찾아 빼내야 했다. 용량은 약 4시간 만에 완전히 안정됐다."},"trigger":{"en":"A configuration change to the CNI (Container Network Interface) plugins, which provide network connectivity to containers, was deployed to a GPU cluster that contained a hardware variant the staging environment did not have.","ko":"컨테이너에 네트워크 연결을 제공하는 CNI 플러그인의 설정을 바꿨고, 이 변경이 운영에만 있는 하드웨어 종류를 쓰는 클러스터에 배포됐다."},"severity":"unknown","symptoms":["service-unavailable","throughput-degraded"],"timeline":{"detected_after":null,"resolved_after":"4h"},"date_kind":"incident","detection":{"en":"Engineers immediately identified the problem as network connectivity, but it took nearly an hour to identify CNI as the cause.","ko":"엔지니어들은 네트워크 연결 문제임을 곧바로 알아봤지만, CNI 가 원인임을 밝히는 데 거의 한 시간이 걸렸다."},"components":["cni-plugin"],"root_cause":"config-change","remediation":[{"text":{"en":"put a fix for the CNI configuration change in place, which restored 80% of traffic immediately","ko":"CNI 를 원인으로 찾은 뒤 수정을 적용해 트래픽의 80% 를 바로 되살렸다."}},{"text":{"en":"deployed models back onto GPUs over about three more hours until capacity was fully stable","ko":"이후 약 3시간에 걸쳐 모델을 GPU 에 다시 올려 용량을 완전히 안정시켰다."}}],"action_items":[{"text":{"en":"Make staging environments contain every type of hardware configuration so they better represent production","ko":"스테이징 환경에 가능한 모든 하드웨어 구성을 갖춰 운영 환경과 더 가깝게 만든다."}},{"text":{"en":"Monitor and alert on the health of the CNI system directly","ko":"CNI 시스템 자체의 상태를 직접 모니터링하고 알림을 걸어 장애가 더 잘 보이게 한다."}},{"text":{"en":"Fix the network and storage bottlenecks that limit how quickly many replicas of a model can be deployed","ko":"모델 복제본을 빠르게 대량으로 배포하지 못하게 막는 네트워크와 스토리지 인프라의 병목을 고친다."}}],"contributing":["staging-not-representative","monitoring-blind-spot"],"recurrence_of":null,"symptoms_text":{"en":"At 4:53 pm Pacific on 25 January 2023 one of OpenAI's GPU clusters had a major outage, and the text-davinci-003 model went fully down.\n\nEngineers saw at once that workloads on the cluster had lost network connectivity, but it took nearly an hour to find a CNI configuration change as the cause. The change had been deployed to other clusters over the previous 24 hours and was considered safe.\n\nAfter the fix, 80% of capacity came back within about an hour of the start. Reliability stayed impaired for about three more hours while models were deployed back onto GPUs: known bottlenecks in network and storage infrastructure limited how many models could be loaded at a time, and misbehaving hardware had to be found and taken out of operation. Capacity was fully stable after about four hours.","ko":"2023년 1월 25일 태평양 시각 오후 4시 53분, GPU 클러스터 하나에 큰 장애가 나서 text-davinci-003 모델이 완전히 멈췄다.\n\n엔지니어들은 네트워크 연결 문제임을 바로 알아봤다. 하지만 원인이 CNI 임을 찾아내기까지 거의 한 시간이 걸렸다. 같은 CNI 변경이 지난 24시간 동안 다른 클러스터에 배포돼 있었기 때문에 팀은 이 변경을 안전하다고 여겼다.\n\n수정을 적용하자 트래픽의 80% 는 바로 돌아왔다. 네트워크와 서버가 다시 살아난 뒤에도 3시간 동안은 모델 배포 문제 때문에 서비스가 불안정했다. 네트워크와 스토리지 인프라의 병목 때문에 GPU 에 한 번에 다시 올릴 수 있는 모델 수가 제한됐다. 오동작하는 하드웨어도 찾아 빼내야 했다."},"updated_at":"2026-11-10T00:00:34.119766Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0116","org_slug":"openai"}