[{"id":"IL-0129","title":{"en":"Throughput of the 384-GPU SmolLM3 pretraining run collapsed because shared WekaFS storage evicted dataset shards to S3, then kept dropping on local NVMe because the nanotron dataloader built an index that grew with the step count","ko":"SmolLM3 사전 학습에서 공유 Weka 스토리지가 데이터셋 샤드를 S3 로 내보내고 Nanotron 데이터로더의 인덱스가 스텝마다 커지면서, 학습을 시작한 지 몇 시간 만에 처리량이 거듭 급락했다."},"org":"Hugging Face","org_slug":"hugging-face","date":"2025-10-30","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0129","shared_components":["shared-filesystem"]}]