{"id":"IL-0021","org":"Google Cloud","date":"2024-03-12","docs":["https://cloud.google.com/compute/docs/gpus/gpu-regions-zones"],"title":{"en":"GKE GPU nodes on Container-Optimized OS could not download NVIDIA drivers (403 Forbidden) and came up without working GPUs","ko":"GKE 의 COS 노드가 NVIDIA GPU 드라이버를 403 Forbidden 으로 받지 못해 새로 만든 GPU 노드를 쓸 수 없었다"},"domain":["kubernetes","gcp","ai-infra"],"impact":{"scope":"Newly created or recreated GKE GPU nodes on COS milestone 105 or later with T4, L4, H100 80GB or A100 GPUs installing driver R525 or later; some nodes became unavailable","users":"unknown","region":"All GPU regions and zones"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"The status page report states no lessons or follow-up actions.","ko":"상태 페이지 보고서는 교훈이나 후속 조치를 적지 않았다."},"related":[],"sources":[{"url":"https://status.cloud.google.com/incidents/aRSt8sTQLKMTVgdbbK6P","kind":"official-status","license":"unknown","archived":"http://web.archive.org/web/20261103073710/https://status.cloud.google.com/incidents/aRSt8sTQLKMTVgdbbK6P"}],"summary":{"en":"GKE nodes on Container-Optimized OS download the NVIDIA GPU driver from a storage bucket owned by the partner that supplies the drivers. On 12 March 2024 access to that bucket failed. Every affected GPU node that was created or recreated got a 403 Forbidden on the driver download and ended up without a working driver, for 6 hours 55 minutes, from 08:00 to 14:55 US/Pacific. The root cause in the final mini incident report comes from a preliminary analysis.\n\nAutomatic node recreation attempts the GPU driver download again, so to limit the impact Google halted automatic node recreations until the issue was mitigated, and worked with the partner to resolve the underlying access problem. Other GKE features kept working normally. After the fix, customers who had disabled auto-repair might need to recreate or restart the affected nodes themselves to get working GPUs back.","ko":"2024-03-12 US/Pacific 08:00 부터 14:55 까지 6시간 55분 동안 GKE 에서 Container-Optimized OS 용 NVIDIA GPU 드라이버 일부를 내려받지 못했다. 다운로드가 실패한 GPU 노드는 드라이버가 작동하지 않았고, 일부는 쓸 수 없는 상태가 됐다. 영향을 받은 것은 T4, L4, H100 80GB, A100 GPU 와 COS milestone 105 이상, 드라이버 R525 이상을 쓰는 노드였다.\n\n예비 분석으로는 드라이버 다운로드에 필요한 스토리지 버킷에 접근할 수 없게 되면서 장애가 났다. 이 버킷은 GPU 드라이버를 공급하는 Google 의 파트너가 갖고 있었다. Google 은 장애 중에 GPU 드라이버 다운로드를 시도하는 자동 노드 재생성을 멈춰 영향을 줄였고, 파트너와 함께 근본 문제를 풀었다. 다른 GKE 기능은 정상으로 돌았다.\n\nGoogle 은 15:39 공지에서 문제가 15:09 에 해결됐다고 알렸다. 자동 복구를 끈 고객은 GPU 를 다시 쓰려면 영향받은 노드를 다시 만들거나 재시작해야 할 수도 있었다."},"trigger":null,"severity":"unknown","symptoms":["gpu-unavailable","node-not-ready"],"timeline":{"detected_after":null,"resolved_after":"6h 55m"},"date_kind":"incident","detection":{"en":"The report does not say how Google detected the issue. Affected users saw \"Failed to download GPU driver installer, status: 403 Forbidden\" on the GPU node when installing the driver.","ko":"보고서는 Google 이 장애를 어떻게 알아챘는지 적지 않았다. GKE 사용자는 GPU 노드에서 드라이버를 설치할 때 \"Failed to download GPU driver installer, status: 403 Forbidden\" 오류를 보고 이 장애를 알아볼 수 있었다."},"components":["gpu-driver","node-image","node-pool"],"root_cause":"dependency-failure","remediation":[{"text":{"en":"Halted automatic node recreations, which attempt GPU driver downloads, until the issue was mitigated","ko":"GPU 드라이버 다운로드를 시도하는 자동 노드 재생성을 멈췄다."}},{"text":{"en":"Worked with the driver partner to resolve access to the driver download bucket","ko":"드라이버를 공급하는 파트너와 함께 스토리지 버킷 접근 문제를 해결했다."}}],"action_items":[],"contributing":["automation-amplified"],"recurrence_of":null,"symptoms_text":{"en":"From 08:00 US/Pacific on 12 March 2024, GKE GPU nodes running Container-Optimized OS (COS) that were newly created or recreated came up with GPU drivers that did not work, so workloads that used the GPUs could not run. GKE showed elevated errors.\n\nOn the GPU node, installing the driver failed with the message \"Failed to download GPU driver installer, status: 403 Forbidden\". In some cases the failed download left the node unavailable.\n\nOnly some combinations were hit: T4, L4, H100 80GB and A100 GPUs on COS milestone 105 or later, installing GPU driver versions R525 and above, in all GPU regions and zones. Driver downloads for P4, P100, V100 and K80 GPUs kept working. Google had no workaround other than to avoid recreating existing GPU nodes.","ko":"2024-03-12 US/Pacific 08:00 부터 GKE 에서 Container-Optimized OS 를 쓰는 GPU 노드가 일부 NVIDIA GPU 드라이버를 받지 못했다. 새로 만들거나 다시 만든 노드는 GPU 드라이버가 작동하지 않았고, 그 드라이버를 쓰는 워크로드가 돌지 못했다.\n\nGPU 노드에서 드라이버를 설치할 때 \"Failed to download GPU driver installer, status: 403 Forbidden\" 오류가 났다. 일부 노드는 아예 쓸 수 없는 상태가 됐다.\n\n영향은 T4, L4, H100 80GB, A100 GPU 를 COS milestone 105 이상에서 쓰면서 R525 이상의 드라이버를 설치하려던 노드에 한정됐다. P4, P100, V100, K80 의 드라이버 다운로드는 정상이었다. GPU 를 제공하는 모든 리전과 존이 영향을 받았다.\n\n자동 노드 재생성은 GPU 드라이버 다운로드를 시도하기 때문에, 다시 만들어진 노드에서도 같은 오류가 났다. 장애 중에는 우회 방법이 없었다. Google 은 기존 GPU 노드를 다시 만들지 않으면 영향을 줄일 수 있다고 안내했다."},"updated_at":"2026-11-08T19:10:27.964085Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0021","org_slug":"google-cloud"}