{"id":"IL-0160","org":"Linode","date":"2026-03-04","docs":[],"title":{"en":"A repaired legacy GPU monitoring script sent a firmware query that triggers a race condition in the GPU System Processor of NVIDIA RTX 4000 Ada GPUs, locking up GPU Linodes and LKE worker nodes in several regions","ko":"고쳐서 다시 돌린 레거시 GPU 모니터링 스크립트의 펌웨어 조회가 GSP 레이스 컨디션을 일으켜 Linode 의 RTX 4000 Ada GPU 가 잠기고 LKE 워커 노드의 GPU 작업이 멈췄다"},"domain":["kubernetes","ai-infra"],"impact":{"scope":"all Linodes using NVIDIA RTX 4000 Ada GPUs, including LKE worker nodes; GPU workloads and Vulkan initialisation failed; some LKE clusters in Osaka had control plane connectivity problems","users":"unknown","region":"multiple regions including Osaka (osa1), Seattle (sea1) and Chicago (ord1); LKE in US-ORD, US-SEA, JP-OSA and SG-SIN-2"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"A monitoring script can take down the hardware it watches. A fix meant only to restore a missing metric brought back a firmware query written for an earlier GPU generation, and on the RTX 4000 Ada architecture that query against an active GPU triggers a lockup. The script ran across the GPU fleet, so every Linode with this GPU was affected in several regions, and the investigation first suspected a regression in the host hypervisor or the GPU firmware.","ko":"모니터링 스크립트가 자기가 지켜보는 하드웨어를 멈출 수 있다. 빠진 지표 하나를 되살리려던 수정이 이전 세대 GPU 용으로 쓴 펌웨어 조회까지 되살렸다. RTX 4000 Ada 아키텍처에서는 동작 중인 GPU 에 이 조회를 보내면 GPU 가 잠긴다. 스크립트가 모든 GPU 에서 돌았기 때문에 여러 리전에서 이 GPU 를 쓰는 모든 Linode 가 영향을 받았다. 엔지니어들은 처음에 호스트 하이퍼바이저나 GPU 펌웨어의 회귀를 의심했다."},"related":[],"sources":[{"url":"https://status.linode.com/incidents/r5jvg6gb0hvh","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"During a routine improvement effort, Linode teams found a broken legacy GPU monitoring script that had stopped reporting correct metrics, and repaired it to restore a missing metric on internal observability dashboards. The script had been written for an earlier GPU generation and sent a firmware inspection query, something the scope of the fix did not make obvious. On the RTX 4000 Ada architecture, that kind of query against an active GPU triggers a race condition in the GPU System Processor (GSP), and the GPU goes into a protective lockup state in which running workloads can no longer use it.\n\nThe lockups began at about 21:00 UTC on March 4, 2026. At first they seemed limited to LKE worker nodes, but Linode later confirmed that all Linodes with RTX 4000 Ada GPUs were affected. A first fix did not hold and the problem came back in several regions. Linode disabled the monitoring script across the GPU fleet and rebooted the nodes, and the issue was fully mitigated at about 17:16 UTC on March 5. The postmortem notes that the investigation was still ongoing when it was posted.","ko":"2026년 3월 4일 21:00 UTC 무렵부터 NVIDIA RTX 4000 Ada GPU 를 쓰는 Linode 에서 GPU 가 잠기는 문제가 생겼다. 처음에는 LKE 워커 노드에만 생긴 문제로 보였지만, 이 하드웨어를 쓰는 모든 Linode 가 영향을 받았다. 일반 컴퓨트 인스턴스와 다른 GPU 인스턴스는 영향이 없었다. 영향을 받은 LKE 는 US-ORD 시카고, US-SEA 시애틀, JP-OSA 오사카, SG-SIN-2 싱가포르 2 리전이었다.\n\nLinode 의 담당 전문가들은 먼저 최근 소프트웨어 릴리스를 원인 후보에서 뺐다. 그 뒤 얼마 전 배포한 텔레메트리 스크립트로 원인을 좁혔다. 일상적인 시스템 개선 작업 중에 팀은 내부 관측 대시보드에서 빠진 지표를 되살리려고 고장 난 레거시 GPU 모니터링 스크립트를 고쳤다. 이전 세대 GPU 용으로 쓴 이 스크립트는 펌웨어 검사 쿼리를 보내고 있었다. 스크립트를 고치는 작업에서는 이 쿼리를 미처 보지 못했다. RTX 4000 Ada 아키텍처에서는 동작 중인 GPU 에 이런 종류의 쿼리를 보내면 GPU System Processor, 곧 GSP 에서 레이스 컨디션이 생긴다. 그러면 GPU 가 스스로를 지키려고 잠금 상태로 들어가고, 돌고 있던 작업은 GPU 를 쓸 수 없게 된다. Linode 는 모든 GPU 에서 이 스크립트를 끄고 노드를 재부팅했다. 3월 5일 17:16 UTC 무렵 영향이 완전히 완화됐다."},"trigger":{"en":"Deployment of a repaired legacy GPU monitoring script, fixed during a routine improvement effort to restore a missing metric on internal observability dashboards.","ko":"내부 관측 대시보드에서 빠진 지표를 되살리려고 고장 난 레거시 GPU 모니터링 스크립트를 고쳐 배포했다."},"severity":"unknown","symptoms":["gpu-unavailable","control-plane-unresponsive"],"timeline":{"detected_after":"5h7m","resolved_after":"20h16m"},"date_kind":"incident","detection":{"en":"Customers saw the lockups from about 21:00 UTC; the first status post went up at 02:07 UTC on March 5, about 5 hours after the lockups began.","ko":"고객은 21:00 UTC 무렵부터 잠김을 겪었고, 상태 페이지 첫 공지는 약 5시간 뒤인 3월 5일 02:07 UTC 에 올라왔다. 처음에는 LKE 워커 노드에서만 생기는 문제로 보였다."},"components":["telemetry-agent","gpu-driver"],"root_cause":"deploy-rollout","remediation":[{"text":{"en":"Disabled the monitoring script across the GPU fleet","ko":"모든 GPU 에서 문제의 모니터링 스크립트를 껐다."}},{"text":{"en":"Rebooted the affected nodes","ko":"영향을 받은 노드를 재부팅했다."}}],"action_items":[{"text":{"en":"Take improvement and prevention measures to stop a recurrence; the postmortem does not list them","ko":"재발을 막을 개선 조치와 예방 조치를 마련한다."}}],"contributing":["review-missed","assumption-unverified"],"recurrence_of":null,"symptoms_text":{"en":"From about 21:00 UTC on March 4, 2026, customers using Linodes backed by NVIDIA RTX 4000 Ada GPUs saw the GPUs lock up. At first the problem seemed limited to worker nodes of the Linode Kubernetes Engine (LKE); later Linode confirmed that every Linode with this hardware was affected, while Standard Compute and other GPU instances were not.\n\nThe first status update, at 02:07 UTC on March 5, described a critical issue on RTX 4000 Ada GPU nodes in several regions, including Osaka (osa1), Seattle (sea1) and Chicago (ord1). Affected GPU nodes could report an unrecoverable error state, so Vulkan initialisation and GPU-accelerated workloads failed. Some LKE clusters in Osaka also had control plane connectivity problems, with API requests timing out or returning errors.\n\nThe investigation first looked at a possible regression in the host hypervisor or the GPU firmware and ruled out recent software releases. A fix was reported at 07:34 UTC, but at 10:50 UTC the problem returned across multiple regions. The actual cause was identified at 16:23 UTC.","ko":"2026년 3월 4일 21:00 UTC 무렵부터 NVIDIA RTX 4000 Ada GPU 를 쓰는 Linode 인스턴스가 잠기기 시작했다. 처음에는 Linode Kubernetes Engine 의 워커 노드만 겪는 문제로 보였지만, 나중에 이 하드웨어를 쓰는 모든 Linode 가 영향을 받은 것으로 확인됐다. 일반 컴퓨트 인스턴스와 RTX 4000 이 아닌 GPU 인스턴스는 영향이 없었다.\n\n3월 5일 02:07 UTC 첫 공지에 따르면 오사카 osa1, 시애틀 sea1, 시카고 ord1 을 포함한 여러 리전의 RTX 4000 Ada GPU 노드가 복구할 수 없는 오류 상태를 보고했다. 이 때문에 Vulkan 초기화와 GPU 가속 작업이 실패했다. 오사카 리전의 일부 LKE 클러스터는 컨트롤 플레인 연결 문제를 겪었고, API 요청이 타임아웃되거나 오류를 냈다. 엔지니어들은 처음에 호스트 하이퍼바이저나 GPU 펌웨어의 회귀를 의심했다.\n\n07:34 UTC 에 수정을 적용하고 지켜보는 단계로 넘어갔지만, 10:50 UTC 에 여러 리전에서 같은 문제가 다시 생겼다는 공지가 올라왔다. 16:23 UTC 에 원인을 찾았다는 공지가 나왔고, 17:01 UTC 에 서비스를 바로잡았다는 공지가 이어졌다."},"updated_at":"2026-11-10T00:00:36.751067Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0160","org_slug":"linode"}