[{"id":"IL-0125","title":{"en":"A GPU died about once a week during a 176B-parameter training run, and sometimes the job hung instead of exiting, so SLURM never restarted it","ko":"Jean Zay 에서 진행한 176B 다국어 모델 학습에서 GPU 가 고장 나도 학습 작업이 끝나지 않고 멈춰 버려 SLURM 이 작업을 자동으로 재시작하지 못했다."},"org":"BigScience","org_slug":"bigscience","date":"2022-05-18","severity":"unknown","root_cause":"hardware-failure","url":"https://benchlet.com/incidentlib/app/cases/IL-0125","shared_components":["nccl","pytorch"]}]