{"id":"IL-0481","org":"Infrawaves","date":"2026-06-01","docs":[],"title":{"en":"RoCEv2 GIDs changed after RNIC port flaps, collapsing the communication collective and crashing LLM training jobs","ko":"RoCEv2 학습 클러스터에서 RNIC 포트가 플랩한 뒤 GID 가 바뀌어 집합 통신이 깨지고 LLM 학습 작업에 크래시가 났다"},"domain":["ai-infra","networking"],"impact":{"scope":"LLM training jobs: the communication collective collapsed and the training job crashed","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"Host networking configuration is critical to the reliability of the collective communication library. In RoCEv2 a GID is expected to stay fixed after initialisation, but an IP configuration method that briefly drops the address when an RNIC port goes down can change it and bring down the training job. Changing the IP configuration method avoided the GID shift without the compatibility risks that driver-level patches carry in virtualised networks.","ko":"네트워크 설정은 VCCL 의 신뢰성을 좌우한다. RoCEv2 환경에서는 포트가 내려가도 IP 주소를 유지하는 방법으로 IP 주소를 설정해야 GID 가 바뀌지 않는다. GID 가 올라가는 것을 막는 드라이버 패치는 가상화 네트워크에서 호환성 문제를 일으킬 위험이 있었다. 그래서 Infrawaves 는 가볍고 믿을 만한 대안으로 IP 설정 방법을 바꿨다."},"related":[],"sources":[{"url":"https://arxiv.org/abs/2510.00991","kind":"paper","archived":"https://web.archive.org/web/20261009020014/https://arxiv.org/abs/2510.00991"}],"summary":{"en":"Infrawaves builds and operates large GPU training clusters and runs VCCL, its collective communication library built on NCCL, in them. RNIC port downs are frequent in these clusters, and the paper says about half of the short link flaps recover within seconds. When the IP addresses were configured through NetworkManager, an RNIC port going down made the port lose its IP address for a short time. When the address returned, the port's RoCEv2 GID number had been incremented, and that change collapsed the communication collective and crashed the LLM training job.\n\nDriver-level patches can stop the GID from being incremented, but the authors note that they bring compatibility risks in virtualised networks. Infrawaves instead changed how IP addresses are configured. Ubuntu has two basic methods, NetworkManager and the Networking service; with the Networking service the IP address stays in place when the port goes down, so there is no temporary loss and the GID number does not change. The paper adds that other Linux distributions can use a similar approach.","ko":"Infrawaves 는 대규모 GPU 학습 클러스터를 구축하고 운영하는 회사다. 이 회사는 NCCL 을 바탕으로 만든 집합 통신 라이브러리 VCCL 을 자사 클러스터에 배포했다. 이 클러스터에서는 RNIC 포트가 자주 내려가고, 논문에 따르면 짧은 링크 플랩의 절반쯤은 몇 초 안에 회복된다. 논문은 VCCL 을 배포하며 얻은 교훈 가운데 하나로 RoCEv2 환경에서 GID 가 바뀐 장애를 다룬다. GID 는 초기화한 뒤에는 바뀌지 않아야 하는 값이다. 그런데 운영체제의 기본 네트워크 관리자인 NetworkManager 로 IP 주소를 설정하면, RNIC 포트가 플랩한 뒤 원래 IP 주소를 다시 받아도 GID 가 하나 올라갔다. 포트가 내려간 동안 IP 주소가 잠깐 사라졌기 때문이다. 예측할 수 없게 바뀐 GID 때문에 집합 통신이 무너졌고 LLM 학습 작업에 크래시가 났다.\n\n드라이버 수준의 패치로도 GID 가 올라가는 것을 막을 수 있다. 하지만 논문은 이 패치가 가상화 네트워크에서 호환성 문제를 일으킬 위험이 있다고 적었다. Infrawaves 는 드라이버 패치 대신 IP 주소를 설정하는 방법을 바꿨다. Ubuntu 에는 NetworkManager 와 Networking 서비스라는 두 가지 기본 IP 설정 방법이 있다. Networking 서비스로 IP 주소를 설정하자 포트가 내려가도 IP 주소가 사라지지 않았고 GID 숫자도 바뀌지 않았다. 논문은 다른 Linux 배포판도 비슷한 방법으로 IP 주소를 설정할 수 있다고 적었다."},"trigger":{"en":"Ports of the RDMA network cards (RNICs) on the GPU servers flapped and were briefly down.","ko":"장애는 RNIC 포트 플랩에서 시작됐다. 운영체제의 기본 네트워크 관리자인 NetworkManager 로 IP 주소를 설정한 서버에서는 포트가 내려간 동안 포트의 IP 주소가 잠깐 사라졌다. 원래 주소가 다시 돌아왔을 때 GID 는 하나 올라가 있었다."},"severity":"unknown","symptoms":["link-flapping","training-job-failed"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"published","detection":null,"components":["network-link","infiniband","nccl","host-routing"],"root_cause":"software-bug","remediation":[{"text":{"en":"Configured the IP addresses with the Ubuntu Networking service instead of NetworkManager, so a port down no longer removed the address or changed the GID","ko":"Infrawaves 는 Ubuntu 에서 RNIC 포트의 IP 주소를 NetworkManager 대신 Networking 서비스로 설정하도록 바꿨다. 그러자 포트가 내려가도 IP 주소가 그대로 남았고 GID 가 바뀌지 않았다."}}],"action_items":[],"contributing":["default-config-unchanged"],"recurrence_of":null,"symptoms_text":{"en":"In Infrawaves' RoCEv2 GPU training clusters, LLM training jobs crashed because their communication collective collapsed after an RNIC port flapped. The Global Identifier (GID) of the RDMA network card's port, which in RoCEv2 is expected to stay the same after initialisation, had changed: with the default OS network manager, NetworkManager, the port briefly lost its IP address while it was down, and the GID number was incremented even though the original IP address came back. The paper describes the GID shift as non-deterministic.","ko":"Infrawaves 가 운영하는 RoCEv2 GPU 학습 클러스터에서 RNIC 포트가 잠깐 내려갔다 다시 올라오는 플랩이 생긴 뒤 집합 통신이 무너지고 LLM 학습 작업에 크래시가 났다. RNIC 는 RDMA 를 지원하는 네트워크 카드다.\n\n원인을 따라가 보니 포트의 Global Identifier, 줄여서 GID 가 바뀌어 있었다. RoCEv2 환경에서 GID 는 초기화한 뒤에는 바뀌지 않아야 하는 값이다. 포트가 플랩하는 동안 포트의 IP 주소가 잠깐 사라졌다. 포트가 원래 주소를 다시 받았는데도 GID 숫자는 하나 올라가 있었다. GID 가 언제 바뀔지는 예측할 수 없었다."},"updated_at":"2026-11-14T12:34:12.714177Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0481","org_slug":"infrawaves"}