{"id":"IL-0238","org":"DeepSeek","date":"2024-08-31","docs":["https://docs.nvidia.com/deploy/xid-errors/"],"title":{"en":"Xid 74 NVLink errors led the GPU faults and InfiniBand flash cuts failed tasks on DeepSeek's 10,000-GPU A100 cluster","ko":"PCIe A100 1만 장 규모의 Fire-Flyer 2 학습 클러스터에서 GPU Xid 오류와 InfiniBand 링크의 순간 끊김으로 학습 작업이 끊기고 실패했다"},"domain":["ai-infra"],"impact":{"scope":"Training tasks on the Fire-Flyer 2 cluster were interrupted or failed, losing up to 5 minutes of progress per interruption; undetected memory errors caused gradnorm spikes, loss explosions and non-convergence; cluster utilization fell","users":"DeepSeek-AI model training","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"The best way to keep devices stable is to find problems before they happen, which is why the validator runs weekly. GPU ECC faults far outnumber CPU ones and need to be handled quickly so that performance and accuracy are not affected. Software-looking Xid errors such as illegal memory access may come from corrupted memory, so hardware faults should be considered once software bugs are ruled out. Whether to install NVLink should depend on actual need because of its drawbacks.","ko":"장치를 안정되게 하려면 문제가 터지기 전에 찾는 것이 가장 좋다. 하드웨어 장애를 빨리 찾아 분류하는 것이 클러스터 노드의 가동률과 사용률을 높이는 핵심이다. 애플리케이션의 성능과 정확도를 지키려면 GPU ECC 오류를 곧바로 처리해야 한다.\n\nXid 74 는 되풀이되는 오류를 스트레스 테스트로 걸러 내는 것 말고는 막을 방법이 마땅치 않다. 소프트웨어 쪽 Xid 오류도 메모리 데이터 손상에서 생길 수 있으므로, 소프트웨어 버그가 아니라면 하드웨어 고장을 의심해야 한다. NVLink 는 단점도 있으므로 실제로 필요할 때 설치해야 한다."},"related":[],"sources":[{"url":"https://arxiv.org/abs/2408.14158","kind":"paper","archived":"https://web.archive.org/web/20261106160040/https://arxiv.org/abs/2408.14158"}],"summary":{"en":"Fire-Flyer 2 is DeepSeek's deep learning training cluster: about 1,250 GPU nodes, each with 8 NVIDIA PCIe A100 40GB GPUs and a single 200Gbps Mellanox ConnectX-6 InfiniBand NIC, and nearly 200 storage servers, on a two-zone two-layer fat-tree InfiniBand network that carries both computation and storage traffic. When LLM training arrived, DeepSeek added an NVLink Bridge between pairs of PCIe GPUs for tensor parallelism. The paper reports a year of hardware failure data from this cluster. Xid 74, the most common error at 42.57% of all Xid errors, occurs mainly on the NVLink Bridge; its high rate comes from the inherent fault rate of the NVLink Bridge connectors multiplied by thousands of GPUs, and apart from stress testing to weed out GPUs that keep repeating the error there is no good way to prevent it. The paper compares this with another study that found NVLink failures to be 52.42% (54 of 103) of failures.\n\nFor GPU memory ECC errors (Xid 63, 64, 94, 95), the row remapping of the A100 means most cases are cleared by resetting the GPU. Uncorrectable failures (Xid 44, 48, 61, 62, 69, 79) are reported to the user application and need a GPU reset or node reboot, and Xid 119 needs a fieldiag test and in most cases an RMA. Errors that ECC did not catch were the hardest: they produced gradnorm spikes, loss explosions and non-convergence. InfiniBand flash cuts broke communication and failed multi-node tasks at random times. To limit the cost of these failures, a checkpoint manager saves model parameters and optimizer state to the 3FS file system about every 5 minutes, so an interruption loses at most the last 5 minutes of training, and a validator runs weekly on every node, checking link speed and status, CPU and memory, each byte of GPU memory, GEMM at full memory, NVLink bandwidth through an intra-node allreduce and storage bandwidth, and removes faulty nodes from scheduling. Diagnosis tools such as hostping are integrated as well, but finding the root cause of hardware failures is still hard work for the operations team.","ko":"DeepSeek-AI 는 PCIe A100 GPU 1만 장으로 Fire-Flyer 2 학습 클러스터를 지었다. 노드마다 PCIe A100 여덟 장과 200Gbps InfiniBand NIC 한 장이 CPU 에 바로 연결되어 있고, LLM 학습을 위해 PCIe 카드 사이에 NVLink Bridge 를 더했다. DeepSeek-AI 가 낸 논문의 VII-C 절은 이 클러스터의 지난 1년 하드웨어 장애 통계를 실었다.\n\nXid 오류는 NVIDIA 드라이버가 운영체제 로그에 남기는 GPU 오류 메시지다. 지난 1년 동안 12970건이 났고, NVLink 오류인 Xid 74 가 42.57% 로 가장 많았다. Xid 74 는 주로 두 GPU 를 잇는 NVLink Bridge 에서 났고, 발생 빈도가 다른 하드웨어 장애보다 몇 자릿수 높았다. 커넥터 자체의 고장률이 수천 장의 GPU 로 커진 결과였다. 되풀이되는 오류를 스트레스 테스트로 걸러 내는 것 말고는 막을 방법이 마땅치 않았다. 잘못된 메모리 접근인 Xid 43 이 33.48% 였다. 이런 소프트웨어 쪽 오류도 메모리 데이터 손상에서 생길 수 있었다. GPU 메모리 ECC 오류는 약 2% 였고, 여섯 달 동안 CPU 메모리 ECC 오류보다 훨씬 많았다. 실제로 ECC 가 잡지 못한 계산 오류와 GPU 메모리 오류 때문에 모델의 gradnorm 이 치솟고 손실이 폭발하며 수렴하지 않은 일이 있었다.\n\n네트워크 장비 고장도 하드웨어 문제에서 큰 몫을 차지했다. InfiniBand 링크 장애는 Xid 74 를 뺀 하드웨어 장애의 30% 였다. 링크가 순간적으로 끊기면 애플리케이션 통신이 끊기고 작업이 실패하기도 했다. 작업 대부분이 여러 노드에서 돌아 한 노드의 문제가 많은 노드에 번졌고 클러스터 사용률이 떨어졌다. 이 장애는 운영 기간 내내 아무 때나 났다.\n\nDeepSeek-AI 는 장애를 줄이고 견디려고 두 장치를 두었다. 체크포인트 관리자는 파라미터와 옵티마이저 상태를 GPU 에서 CPU 메모리로 비동기로 옮긴 뒤, 보통 5분마다 3FS 에 몇 초 만에 저장했다. 그래서 학습이 끊겨도 마지막 5분의 진행만 잃었다. validator 는 매주 노드를 검사해 고장 난 노드를 스케줄링에서 뺐다. 검사 항목은 하드웨어 주파수, 링크 속도, 링크 상태, CPU 부하 시험, 메모리 대역폭, GPU 메모리의 바이트별 검사, GPU 메모리를 가득 채운 GEMM, NVLink 대역폭을 보는 노드 안 allreduce, 스토리지 대역폭이었다. 그래도 운영 팀에게 하드웨어 장애의 근본 원인을 찾기는 여전히 어려웠다."},"trigger":null,"severity":"unknown","symptoms":["gpu-unavailable","link-flapping","training-job-failed","training-divergence"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"published","detection":{"en":"Xid errors were read from the NVIDIA driver's messages in the kernel or event log. A validator run weekly by the automatic operations system tested every node, and diagnosis tools such as hostping were integrated into the platform.","ko":"Xid 오류는 NVIDIA 드라이버가 운영체제의 커널 로그나 이벤트 로그에 남긴 메시지로 잡았다. 플랫폼의 자동 운영 시스템은 매주 노드에서 validator 를 돌려 하드웨어 이상을 찾았다. ECC 가 잡지 못한 계산 오류와 GPU 메모리 오류는 모델의 gradnorm 급등과 손실 폭발로 드러났다."},"components":["gpu-hardware","infiniband"],"root_cause":"hardware-failure","remediation":[{"text":{"en":"Reset the GPU to clear most GPU memory ECC errors, relying on A100 row remapping","ko":"메모리 ECC 오류인 Xid 63, Xid 64, Xid 94, Xid 95 는 A100 의 row remapping 기술 덕에 대부분 GPU 를 리셋하는 것만으로 풀었다."}},{"text":{"en":"Reset the GPU or rebooted the node after uncorrectable GPU errors","ko":"고칠 수 없는 GPU 오류인 Xid 44, Xid 48, Xid 61, Xid 62, Xid 69, Xid 79 는 GPU 리셋이나 노드 재부팅으로 지웠다."}},{"text":{"en":"Ran a fieldiag test after Xid 119 and sent most such GPUs for RMA","ko":"GPU GSP 모듈이 실패한 Xid 119 가 난 GPU 는 fieldiag 테스트를 거쳐 대부분 RMA 로 보냈다."}},{"text":{"en":"Removed nodes that failed the weekly validator from the scheduling platform","ko":"자동 운영 시스템이 매주 노드에서 validator 를 돌려 고장 난 노드를 스케줄링 플랫폼에서 뺐다."}},{"text":{"en":"Resumed interrupted training from checkpoints saved about every 5 minutes","ko":"하드웨어 장애로 끊긴 학습은 보통 5분마다 비동기로 저장한 체크포인트에서 이어 돌렸고, 그래서 마지막 5분의 진행만 잃었다."}}],"action_items":[],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"On DeepSeek's Fire-Flyer 2 training cluster of 10,000 PCIe A100 GPUs, Xid 74 NVLink errors, which occur mainly on the NVLink Bridge between pairs of GPUs, were the most common GPU Xid error and occurred several orders of magnitude more often than other hardware faults. InfiniBand link flash cuts disrupted application communication and sometimes failed training tasks, and computational and GPU memory errors that ECC did not detect caused gradnorm spikes, loss explosions and even non-convergence of models.\n\nThe Xid errors come from the NVIDIA driver and are logged in the kernel or event log of the operating system. Over one year the cluster logged 12970 of them: xid_74 5521 (42.57%), xid_43 4342 (33.48%), xid_31 2487 (19.18%), xid_45 240 (1.85%) and xid_13 45 (0.35%); the GPU memory ECC errors xid_63 245 (1.89%), xid_64 2, xid_94 13 and xid_95 17; the uncorrectable failures xid_44 1, xid_48 2, xid_61 13, xid_62 3, xid_69 1 and xid_79 37; and one xid_119, a failed GPU GSP module. Xid 13, 31, 43 and 45 point to illegal memory access or illegal instructions in user code, Xid 43 being illegal memory access, but they can also come from corrupted memory data.\n\nInfiniBand link failures made up 30% of hardware faults when Xid 74 is left out. From October 2023 to March 2024 the cluster recorded 89 network flash cuts, 54 CPU memory ECC errors and 120 xid_63, 15 xid_79, 7 xid_94, 6 xid_95 and 1 xid_64 GPU errors, 292 in total; GPU ECC faults clearly outnumbered CPU ones. The daily record of InfiniBand flash cuts from April 2023 to March 2024 shows them scattered randomly across the whole period, with up to 10 on a single day (2023/5/28, 2023/7/7 and 2023/7/12). Because most tasks span many nodes, a flash cut on one node affected many others and lowered cluster utilization.","ko":"DeepSeek-AI 의 Fire-Flyer 2 학습 클러스터에서 NVIDIA 드라이버가 운영체제의 커널 로그나 이벤트 로그에 GPU Xid 오류를 남겼다. 지난 1년 동안 Xid 오류는 12970건이었고, 그중 NVLink 오류인 Xid 74 가 5521건으로 42.57% 였다. InfiniBand 링크가 순간적으로 끊겨 애플리케이션 통신이 끊기고 작업이 실패하기도 했다.\n\nXid 74 는 NVLink 오류를 뜻하며, PCIe A100 에서는 주로 두 GPU 를 잇는 NVLink Bridge 에서 났다. 발생 빈도가 다른 하드웨어 장애보다 몇 자릿수 높았다. 커넥터 자체의 고장률에 수천 장의 GPU 가 곱해진 결과였다.\n\n소프트웨어 쪽 Xid 오류도 많았다. Xid 43 이 4342건으로 33.48%, Xid 31 이 2487건으로 19.18%, Xid 45 가 240건, Xid 13 이 45건이었다. 이 오류들은 사용자 코드의 잘못된 메모리 접근이나 명령을 가리킬 수 있지만, 메모리 데이터 손상에서 생길 수도 있다.\n\nGPU 메모리 ECC 오류인 Xid 63, Xid 64, Xid 94, Xid 95 는 전체의 약 2% 였다. 2023년 10월부터 2024년 3월까지 여섯 달 동안 GPU 메모리 관련 Xid 오류는 CPU 메모리 ECC 오류 54건보다 훨씬 많았다. 고칠 수 없는 GPU 오류인 Xid 44, Xid 48, Xid 61, Xid 62, Xid 69, Xid 79 는 사용자 애플리케이션에도 보고되었다. GPU GSP 모듈이 실패했다는 Xid 119 도 1건 있었다.\n\nECC 가 잡지 못한 계산 오류와 GPU 메모리 오류는 로그가 아니라 학습 자체에서 드러났다. 모델의 gradnorm 이 치솟고 손실이 폭발했으며, 끝내 수렴하지 않기도 했다.\n\nInfiniBand 링크 장애는 Xid 74 를 뺀 하드웨어 장애의 30% 를 차지했다. 2023년 4월부터 2024년 3월까지 날짜별 기록을 보면 순간 끊김은 클러스터 운영 기간 내내 아무 때나 났다. 가장 많은 날은 하루 10건으로, 2023-05-28, 2023-07-07, 2023-07-12 이었다. 작업 대부분이 여러 노드에서 돌기 때문에 한 노드의 링크 문제가 다른 많은 노드에 영향을 주었고 클러스터 사용률이 떨어졌다."},"updated_at":"2026-11-14T05:53:45.716188Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0238","org_slug":"deepseek"}