{"id":"IL-0120","org":"OpenAI","date":"2025-06-09","docs":[],"title":{"en":"A daily scheduled OS update restarted systemd-networkd on cloud-hosted GPU nodes, which conflicted with OpenAI's networking agent and removed all routes, cutting capacity for ChatGPT and the API","ko":"클라우드 GPU 서버의 정기 OS 업데이트가 systemd-networkd 를 재시작해 자체 네트워크 에이전트와 충돌했고, 많은 GPU 노드의 라우트가 모두 지워져 ChatGPT 와 API 의 오류율이 크게 올랐다."},"domain":["ai-infra","networking"],"impact":{"scope":"ChatGPT and the API; a significant number of cloud-hosted GPU nodes lost network connectivity","users":"ChatGPT users saw error rates peaking at about 35 percent; API availability dropped to 75 percent, with error rates peaking at about 25 percent","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"An unattended operating system update that restarts systemd-networkd can wipe the routes another networking agent manages, and it hits every node that takes the update at about the same time. Without break-glass tooling to restore connectivity, nodes that lost their network had to be re-imaged, which stretched recovery over many hours.","ko":"호스트 OS 의 자동 업데이트가 네트워크 관리 서비스를 재시작하면, 같은 노드에서 라우트를 관리하는 다른 에이전트와 충돌해 노드 전체가 네트워크를 잃을 수 있다. 매일 도는 업데이트는 모든 노드에 거의 같은 시각에 적용된다. 네트워크가 끊긴 노드를 빠르게 되살릴 비상 도구가 없으면 노드를 다시 이미징할 수밖에 없고 복구가 길어진다."},"related":[],"sources":[{"url":"https://status.openai.com/incidents/01JXCAW3K3JAE0EP56AEZ7CBG3/write-up","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"OpenAI's cloud-hosted GPU virtual machines ran an automatic daily operating system update. On 9 June the update restarted the network management service systemd-networkd on many nodes. systemd-networkd conflicted with a networking agent OpenAI runs on its production nodes, and all routes were removed from the affected nodes, so they lost network connectivity. The lost GPU capacity caused errors of up to about 35 percent for ChatGPT and dropped API availability to 75 percent.\n\nEngineers started re-imaging the affected VMs at 2:00 AM PDT and deployed recovery automation at 6:49 AM to restart the remaining impacted nodes. Capacity came back gradually between 8:00 AM and 3:00 PM PDT. OpenAI says there was no break-glass tooling to restore network connectivity on the affected nodes quickly, which made recovery take longer, and additional measures were needed to bring nodes back online. The incident was marked mitigated at 3:00 PM PDT on 10 June.","ko":"6월 9일 오후 11시 36분 PDT 에 클라우드에서 운영하는 GPU 서버의 호스트 OS 정기 업데이트가 상당수의 GPU 노드에서 네트워크 연결을 끊었다. 매일 예약된 시스템 업데이트가 systemd-networkd 를 재시작했고, 이 재시작이 OpenAI 가 운영 노드에서 돌리는 네트워크 에이전트와 충돌했다. 그 결과 영향받은 노드에서 라우트가 모두 지워졌고, 노드는 네트워크를 잃었다.\n\nGPU 용량이 줄면서 ChatGPT 사용자의 오류율은 최고 약 35%, API 사용자의 오류율은 최고 약 25% 까지 올랐다. 팀은 영향받은 GPU 노드를 대규모로 다시 이미징하고 백그라운드 업데이트를 멈췄다. 노드의 네트워크를 빠르게 되살릴 비상 도구가 없어서 복구가 길어졌다. 6월 10일 오전 9시 40분에 API 의 주요 모델이 모두 정상으로 돌아왔고, 낮 12시 30분에 API 가 완전히 회복됐으며, 오후 3시에 모든 시스템이 복구됐다."},"trigger":{"en":"A routine daily scheduled update of the host operating system on the cloud-hosted GPU servers restarted systemd-networkd on the affected nodes.","ko":"매일 예약된 호스트 OS 업데이트가 영향받은 노드에서 네트워크 관리 서비스인 systemd-networkd 를 의도치 않게 재시작했다."},"severity":"unknown","symptoms":["high-error-rate","gpu-unavailable"],"timeline":{"detected_after":"0m","resolved_after":"15h 24m"},"date_kind":"incident","detection":{"en":"Alerts fired immediately across multiple services when the infrastructure began losing network connectivity at 11:36 PM PDT, and the engineering team was escalated to at once.","ko":"장애가 시작된 6월 9일 오후 11시 36분 PDT 에 인프라가 네트워크를 잃기 시작하면서 여러 서비스의 알림이 바로 울렸고, 상황은 즉시 엔지니어링 팀에 에스컬레이션됐다."},"components":["systemd-networkd","node-image"],"root_cause":"upgrade-breaking-change","remediation":[{"text":{"en":"re-imaged the affected GPU virtual machines","ko":"6월 10일 오전 2시부터 영향받은 GPU VM 을 대규모로 다시 이미징했다."}},{"text":{"en":"deployed recovery automation to restart the remaining impacted nodes","ko":"6월 10일 오전 6시 49분에 복구 자동화를 배포해 아직 영향받은 상태인 나머지 노드를 재시작했다."}},{"text":{"en":"halted the background update mechanisms on the GPU VMs","ko":"백그라운드에서 도는 업데이트를 멈췄다."}}],"action_items":[{"text":{"en":"Disable automatic daily updates on GPU VMs so updates run in a controlled, scheduled way","ko":"GPU VM 의 매일 자동 업데이트를 끄고, 업데이트는 직접 정한 일정에 맞춰서만 하도록 바꿨다."}},{"text":{"en":"Update system configurations to prevent conflicts between systemd-networkd and the networking service","ko":"systemd-networkd 와 자체 네트워크 서비스가 충돌하지 않도록 시스템 설정을 고쳤다."}},{"text":{"en":"Audit VM configurations across the fleet to find and reduce similar risks","ko":"전체 VM 설정을 감사해 비슷한 위험을 찾아 줄인다."}},{"text":{"en":"Improve recovery speed for critical infrastructure such as GPU VMs and clusters","ko":"GPU VM 과 클러스터 같은 핵심 인프라의 복구 속도를 높이는 작업에 우선순위를 둔다."}},{"text":{"en":"Run regular disaster recovery drills","ko":"대응 능력을 높이려고 재해 복구 훈련을 정기적으로 계획한다."}}],"contributing":["no-staged-rollout","limited-debug-access"],"recurrence_of":null,"symptoms_text":{"en":"At 11:36 PM PDT on 9 June, alerts fired across multiple OpenAI services as a large number of cloud-hosted GPU nodes lost network connectivity, and the engineering team was escalated to immediately. Losing those nodes cut the capacity available to serve ChatGPT and the API.\n\nBy 01:45 AM PDT on 10 June errors stood at about 5 percent while capacity was rebalanced. The worst period was from 2:00 AM to 8:00 AM PDT: ChatGPT error rates peaked at about 35 percent, and API availability dropped to 75 percent, with API error rates peaking at about 25 percent.\n\nMost major API models were fully working again by 9:40 AM PDT, the API was fully recovered at 12:30 PM, and all affected systems were restored by 3:00 PM PDT.","ko":"6월 9일 오후 11시 36분 PDT 에 여러 서비스에서 동시에 알림이 울렸다. 인프라가 네트워크 연결을 잃기 시작했고, 상황은 바로 엔지니어링 팀에 에스컬레이션됐다.\n\n상당수의 클라우드 GPU 노드가 네트워크를 잃으면서 서비스가 쓸 수 있는 용량이 줄었다. 6월 10일 오전 1시 45분에는 용량을 다시 배분하는 동안 오류율이 약 5% 에 머물렀다.\n\n영향이 가장 컸던 때는 6월 10일 오전 2시부터 오전 8시 PDT 사이였다. ChatGPT 의 오류율은 최고 약 35% 까지 올랐고, API 의 오류율은 최고 약 25% 였으며 가용성은 75% 까지 떨어졌다."},"updated_at":"2026-11-10T00:00:34.497868Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0120","org_slug":"openai"}