{"id":"IL-0425","org":"Linode","date":"2026-06-23","docs":[],"title":{"en":"GPU Linodes in all regions failed to boot intermittently when several started at once after a global software deployment","ko":"GPU Linode 여러 대가 동시에 부팅하면 모든 리전에서 간헐적으로 부팅에 실패했다"},"domain":["ai-infra"],"impact":{"scope":"GPU Linodes that booted at the same time as other GPU Linodes failed to boot intermittently, causing local disruption or higher error rates, mostly during automated node recycling and scaling events","users":"unknown","region":"All regions (the status page lists 43)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"The conflict only happens when many GPU servers start at once under heavy load, which the standard pre-release testing did not reproduce; testing needs hardware that can simulate concurrent GPU workloads before an update reaches production.","ko":"이 충돌은 여러 GPU 서버가 무거운 부하로 동시에 시작할 때만 나타나서 표준 출시 전 테스트로는 잡히지 않았다. Linode 는 여러 하드웨어에 동시에 걸리는 부하를 출시 전에 그대로 재현하려면 개발 클라우드에 GPU 전용 테스트 하드웨어가 있어야 한다고 봤다."},"related":[],"sources":[{"url":"https://status.linode.com/incidents/1h0hwggm668b","kind":"official-status","archived":"https://web.archive.org/web/20260717143713/https://status.linode.com/incidents/1h0hwggm668b"}],"summary":{"en":"After a global software deployment, Linode found on June 23, 2026 that GPU Linodes were failing to boot from time to time. The investigation showed that the software update made GPU servers that started at exactly the same time block one another from loading, and the platform did not retry the boot automatically. The conflict only appears under heavy, simultaneous load, so Linode's standard pre-release testing did not catch it. On June 24 at 20:32 UTC Linode deployed a hotfix directly to every active GPU host in its fleet, and after a day of monitoring without further boot failures the incident was closed on June 25. The postmortem, posted on June 26, says the investigation was still ongoing.","ko":"2026년 6월 23일, Linode 는 전 세계에 걸친 소프트웨어 배포 뒤 GPU Linode 에서만 간헐적으로 부팅이 실패하는 문제를 확인했다. 영향은 여러 GPU Linode 가 동시에 부팅하려던 경우로 한정됐다. 장애가 이어지는 동안 고객은 특히 자동 노드 재활용과 스케일링 이벤트 중에 국지적인 중단이나 오류율 상승을 겪었을 수 있었다. 상태 페이지는 모든 리전을 영향 범위로 적었다.\n\n조사해 보니 최근 소프트웨어 업데이트 때문에 여러 GPU 서버가 정확히 같은 순간에 시작하면 서로의 로딩을 막았고, 시스템은 자동으로 재시도하지 않았다. 이 상호작용은 무거운 부하가 동시에 몰릴 때만 일어나서 표준 출시 전 테스트에서 잡히지 않았다.\n\n상태 페이지는 2026-06-24 18:53 UTC 에 조사를 시작했다고 알렸고 20:00 UTC 에 조사가 이어진다고 갱신했다. Linode 는 6월 24일 20:32 UTC 에 운영 중인 모든 GPU 호스트에 핫픽스를 직접 배포해 문제를 바로잡았고, 21:12 UTC 부터 상태를 지켜봤다. 추가 부팅 실패가 보이지 않자 6월 25일 19:29 UTC 에 해결로 닫았고, 6월 26일 18:14 UTC 에 포스트모템을 올렸다. 전면적인 수정은 다음 한 주에 걸쳐 전 세계에 배포할 소프트웨어 릴리스에 넣었다."},"trigger":{"en":"A global software deployment introduced a conflict that showed up when several GPU servers started at exactly the same moment.","ko":"전 세계에 걸친 소프트웨어 배포가 계기였다. 이 배포에 담긴 최근 소프트웨어 업데이트 때문에 여러 GPU 서버가 정확히 같은 순간에 시작하면 서로 충돌했다."},"severity":"unknown","symptoms":["gpu-unavailable","high-error-rate"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":null,"components":[],"root_cause":"deploy-rollout","remediation":[{"text":{"en":"Deployed a hotfix directly to all active GPU hosts in the fleet at 20:32 UTC on June 24, 2026","ko":"2026년 6월 24일 20:32 UTC 에 운영 중인 모든 GPU 호스트에 핫픽스를 직접 배포했고, 그 뒤 영향받은 시스템은 정상으로 돌아왔다."}}],"action_items":[{"text":{"en":"Ship a full fix in the next software release, rolling out globally over the following week","ko":"전면적인 수정을 다음 소프트웨어 릴리스에 넣었고, 이 릴리스를 다음 한 주에 걸쳐 전 세계에 배포한다."}},{"text":{"en":"Procure dedicated GPU testing hardware for the development cloud so concurrent GPU workloads are simulated before updates reach production","ko":"개발 클라우드에 둘 GPU 전용 테스트 하드웨어를 먼저 들여 테스트 범위를 넓힌다. 업데이트가 프로덕션에 나가기 전에 여러 하드웨어에 동시에 걸리는 부하를 그대로 재현해 시험한다."}}],"contributing":["staging-not-representative"],"recurrence_of":null,"symptoms_text":{"en":"On June 23, 2026, Linode identified intermittent boot failures on GPU Linodes in all regions. Only instances that booted at the same time as other GPU Linodes were affected, and customers could see local disruption or higher error rates, mostly during automated node recycling and scaling events. The Linode status page posted the issue as an emerging service issue on June 24 at 18:53 UTC, posted an update at 20:00 UTC, moved to monitoring at 21:12 UTC after the fix at 20:32 UTC, and marked the incident resolved on June 25 at 19:29 UTC after no further boot failures were seen.","ko":"모든 리전에서 GPU Linode 가 간헐적으로 부팅에 실패했다. 여러 GPU Linode 가 동시에 부팅하려 할 때만 실패했고, 고객에게는 국지적인 중단이나 오류율 상승으로 나타났다.\n\n실패는 특히 자동 노드 재활용과 스케일링 이벤트 중에 드러났다.\n\n상태 페이지는 2026-06-24 18:53 UTC 에 \"Emerging Service Issue - GPU Instances - All Regions\" 라는 제목으로 GPU 인스턴스의 간헐적인 부팅 실패를 조사한다고 처음 알렸다. 20:00 UTC 갱신에서도 원인을 계속 조사하고 있었다."},"updated_at":"2026-11-14T12:34:07.534896Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0425","org_slug":"linode"}