{"id":"IL-0419","org":"IBM","date":"2025-01-13","docs":["https://github.com/IBM/autopilot"],"title":{"en":"A Granite-20B training job on IBM's Vela ran almost 3x slower because one node's power card fault throttled its GPUs","ko":"Vela 에서 GPU 768개로 돌던 Granite-20B 학습 작업의 스텝 시간이 거의 3배로 늘었다"},"domain":["ai-infra"],"impact":{"scope":"A Granite-20B training job on 768 GPUs ran with an almost 3x longer step time","users":"The team running the Granite-20B training job","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"In distributed training, a drop in the performance of a single node reduces the performance of the whole job until the slow node is identified and removed or fixed and the job restarts on healthy nodes. Alerts and health checks that locate such nodes let site reliability engineers tell users about infrastructure problems before the users notice them, and cut the time to find the root cause by over 2x.","ko":"수백, 수천 개의 GPU 를 함께 쓰는 분산 학습에서는 노드 한 대의 성능만 떨어져도 작업 전체의 성능이 떨어진다. 그 상태는 느린 노드를 찾아 빼거나 고치기 전까지 이어진다. 호스트를 죽이지 않는 미묘한 하드웨어 고장도 작업을 실패시키거나 느리게 만들 수 있어서, IBM 은 로그 기반 경보와 Autopilot 의 주기 검사로 이런 노드를 먼저 찾는다. 이런 기능 덕분에 IBM 의 SRE 는 사용자가 신고하면 디버깅하던 방식에서 사용자가 알기 전에 먼저 알리는 방식으로 바뀌었고, 근본 원인을 찾는 시간을 2배 넘게 줄였다."},"related":[],"sources":[{"url":"https://arxiv.org/abs/2407.05467","kind":"paper","archived":"https://web.archive.org/web/20260723054418/https://arxiv.org/abs/2407.05467"}],"summary":{"en":"Vela is IBM's AI supercomputer built into IBM Cloud, online since 2022 and roughly doubled a year later, with nodes of eight 80GB A100 GPUs linked by NVLink and NVSwitch, provided as virtual machines and run under Red Hat OpenShift for training and inference. Racks are rated for 20kW from each of two redundant power distribution units and each GPU server draws up to 6kW, so full power redundancy allows three servers per rack. To fit six, IBM and its partners built a power brake: when a power supply unit fails, updated server firmware throttles the server to 3.2kW within about 2 seconds, taking each GPU from roughly 400W to 150W, and because healthy PDU circuit breakers tolerate power surges of up to 5 seconds, this lets IBM overcommit the power available to each rack safely; after testing, IBM doubled Vela's GPU density in 2023 this way.\n\nThe paper, a technical report by IBM Research and IBM Infrastructure, describes failures seen over two years of training models on Vela, which slowed jobs by a few percent up to over 3x or crashed them. It groups a node's power feed failure with failed GPUs, HBM memory corruption, PCI-E link failures and network port failures as subtle hardware failures that usually do not crash the host but can slow or fail the application. In the Granite-20B case, one node with a power card issue applied this throttling and slowed a 768-GPU job almost 3 times until the node was found by debugging all 96 nodes. IBM keeps about 10% of nodes as a buffer pool so a job can always restart with the same number of GPUs, added alerts based on host VM logs, application logs and host BMC logs after these cases, and its Autopilot health tool has a check that flags nodes with an active power break from nvidia-smi counters on a Grafana dashboard without intensive tests.","ko":"Vela 는 IBM Cloud 안에 구축된 IBM 의 AI 슈퍼컴퓨터이고, 노드마다 80GB A100 GPU 8개가 있다. 일반 클라우드 랙은 이중화된 PDU 두 개가 각각 20kW 를 공급해서, 전원 이중화를 지키면 최대 6kW 를 쓰는 GPU 서버를 세 대만 둘 수 있다. IBM 은 랙에 서버 여섯 대를 두려고 협력사와 power brake 기능을 만들었다. PSU 가 고장 나면 업데이트한 서버 펌웨어가 약 2초 안에 power brake 를 걸어 서버를 3.2kW 로 낮추고, 각 GPU 는 약 400W 에서 150W 로 떨어진다. 정상 PDU 의 차단기는 5초까지의 전력 급증을 견디므로 랙의 전력을 안전하게 초과 할당할 수 있었다. IBM 은 2023년에 이 방식으로 같은 공간에서 Vela 의 GPU 밀도를 두 배로 늘렸다.\n\n한 번은 GPU 768개, 노드 96대로 돌던 Granite-20B 학습 작업의 스텝 시간이 갑자기 거의 3배로 늘었다. 노드 96대를 모두 디버깅한 끝에 한 노드의 전원 카드 문제를 찾았다. 그 노드는 GPU 와 정상 PSU 를 보호하려고 스스로 전력 소비를 낮춰 다른 노드보다 약 3배 느리게 계산했다. 작업 전체가 그 노드의 속도로 느려졌다. 분산 학습에서는 노드 한 대의 성능만 떨어져도 작업 전체가 느려진다. 그 상태는 느린 노드를 찾아 작업에서 빼거나 고치고, 새 노드로 작업을 다시 시작할 때까지 이어진다. IBM 은 이런 경우를 위해 인프라 계층에 경보를 더했다. 또 nvidia-smi 의 GPU 카운터로 전원 문제가 있는 노드를 찾는 검사를 Autopilot 에 넣고, 그 결과를 Grafana 대시보드에 표시했다. Autopilot 은 IBM Research 가 만들어 공개한 관측 도구로, GPU 노드마다 데몬으로 돌며 헬스 체크를 한다."},"trigger":{"en":"A power card issue in one of the job's 96 nodes made the node throttle its GPUs from about 400W to roughly 150W.","ko":"작업에 속한 노드 96대 가운데 한 대의 전원 카드에 문제가 생겼다."},"severity":"unknown","symptoms":["throughput-degraded"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"published","detection":{"en":"The team noticed the sudden rise in step time and debugged all 96 nodes of the job to find the node with the power card issue.","ko":"학습 팀은 스텝 시간이 거의 3배로 늘어난 것을 알아챘다. 이 고장은 호스트를 죽이지 않고 작업을 느리게만 만드는 종류였다. 팀은 작업이 쓰던 노드 96대를 모두 디버깅해서 원인 노드를 찾았다."},"components":["server-power-supply"],"root_cause":"hardware-failure","remediation":[{"text":{"en":"Debugged all 96 nodes of the job and found the node with the power card issue","ko":"작업이 쓰던 노드 96대를 모두 디버깅해 전원 카드 문제로 전력을 낮춘 노드 한 대를 찾았다."}}],"action_items":[{"text":{"en":"Add alerts at the infrastructure layer based on host VM logs, application logs and host BMC logs to find problem nodes quickly","ko":"AI 연구자와 시스템 관리자가 문제 노드를 빨리 찾고 버퍼 노드로 작업을 빨리 다시 시작할 수 있도록 인프라 계층에 경보를 더한다. 경보는 호스트 VM 로그, 애플리케이션 로그, 호스트 BMC 로그의 메시지로 만든다."}},{"text":{"en":"Flag nodes with an active power break slowdown from nvidia-smi GPU counters in Autopilot and the Grafana dashboard","ko":"nvidia-smi 의 power break slowdown 같은 GPU 카운터로 전원 문제가 있는 노드를 찾는 검사를 Autopilot 에 넣고, Grafana 대시보드에 표시한다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"A Granite-20B training job running on 768 GPUs on IBM's Vela AI cluster suddenly showed a step time almost 3 times longer than before.\n\nThe team had to debug all 96 nodes of the job to find the cause. One node had a power card issue, and the node had throttled its power consumption on its own to protect its GPUs and its healthy power supply unit. Vela's power throttling takes each GPU from about 400W to roughly 150W, so that node computed about 3 times slower than the others and dragged down the performance of the whole job. IBM's Autopilot health checks identify nodes with this kind of power problem from the GPU counters that nvidia-smi reports, such as power break slowdown.","ko":"Vela 에서 GPU 768개로 Granite-20B 를 학습하던 중 스텝 시간이 갑자기 거의 3배로 늘었고, 팀이 이 성능 저하를 알아챘다.\n\n팀은 이 작업이 쓰던 노드 96대를 모두 디버깅한 끝에 노드 한 대에서 전원 카드 문제를 찾았다. 이 노드는 GPU 와 정상 PSU 를 보호하려고 스스로 전력 소비를 낮췄다. GPU 전력이 400W 에서 약 150W 로 떨어져 이 노드는 다른 노드보다 약 3배 느리게 계산했다. 노드 한 대가 느려지자 작업 전체가 그 노드의 속도로 느려졌다.\n\n서버의 전원 문제는 GPU 스로틀링으로 나타나 GPU 계산 능력을 크게 떨어뜨렸다. 이 상태는 nvidia-smi 가 보여 주는 power break slowdown 같은 GPU 카운터에서 확인할 수 있었다."},"updated_at":"2026-11-14T12:34:06.978484Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0419","org_slug":"ibm"}