[{"id":"IL-0239","title":{"en":"LLM pretraining jobs on Shanghai AI Laboratory's A100 clusters kept failing midway, mostly from NVLink and GPU errors","ko":"LLM 개발 클러스터 Acme 의 Seren 과 Kalos 에서 사전 학습 작업이 하드웨어, 네트워크, 프레임워크 오류로 자주 실패해 학습 진행을 잃었다"},"org":"Shanghai AI Laboratory","org_slug":"shanghai-ai-laboratory","date":"2024-04-03","severity":"unknown","root_cause":"hardware-failure","url":"https://benchlet.com/incidentlib/app/cases/IL-0239","shared_components":["datacenter-facility"]}]