{"id":"IL-0484","org":"MIT CSAIL","date":"2025-09-08","docs":[],"title":{"en":"Slurm 24.05 to 25.05 upgrade broke GPU configuration on MIT CSAIL's cluster, and a failed downgrade kept it down","ko":"Slurm 업그레이드 뒤 GPU 설정이 맞지 않고 다운그레이드도 실패해 MIT CSAIL 공용 GPU 클러스터가 수요일 아침까지 멈췄다"},"domain":["ai-infra","database"],"impact":{"scope":"Shared Slurm GPU compute cluster out of normal service from the planned maintenance on Monday until Wednesday morning","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"The downgrade exposed flaws in the deployment and testing process: the deployment service could not reinstall every compute node at once, and the upgrade plan did not allow a simple downgrade or a working restore of the controller and database from backup.","ko":"다운그레이드 과정에서 겪은 두 가지 큰 어려움은 배포 절차와 테스트 절차의 결함을 드러냈다. 모든 노드의 OS 재설치는 배포 서비스의 용량을 넘었고, 업그레이드 계획에서 놓친 부분 때문에 단순 다운그레이드와 백업 복원으로는 되돌릴 수 없었다."},"related":[],"sources":[{"url":"https://tig.csail.mit.edu/shared-computing/slurm/post-mortem-sep2025","kind":"blog","archived":null}],"summary":{"en":"On Monday, September 8, the Infrastructure Group took the CSAIL Slurm cluster down for a planned day of major software changes, including the multi-step upgrade from Slurm 24.05 to 25.05. Upgrading Slurm's database component took a long time, so the usual reboots and driver updates finished late in the evening. On Tuesday morning the team found that the upgraded packages lacked a feature needed for correct GPU configuration and chose to downgrade to the previous known-working version. Reaching a known state required an OS reinstall on all compute nodes, which exceeded the capacity of the deployment service and left most systems in an intermediate state that needed individual attention. Because of an oversight in the upgrade plan, downgrading the controller and database was not enough and the restore from backup did not succeed, so the team re-deployed the cluster from scratch on a clean database, and the scheduler was operating normally again by Wednesday morning.","ko":"MIT CSAIL 인프라 그룹은 9월 8일 월요일에 클러스터 소프트웨어를 크게 바꾸려고 하루 종일 서비스를 멈추는 점검을 계획했다. 여기에는 Slurm 24.05를 Slurm 25.05로 올리는 업그레이드가 들어 있었고, 이 업그레이드는 여러 단계를 거쳐야 했다. Slurm 데이터베이스 구성 요소의 업그레이드가 오래 걸려, 평소의 재부팅과 드라이버 업데이트는 밤늦게야 끝났다.\n\n인프라 그룹은 화요일 아침에 업그레이드한 Slurm 패키지가 올바른 GPU 설정에 필요한 기능 없이 컴파일되었다는 것을 알았다. 인프라 그룹은 서비스를 가장 빨리 되살리는 방법으로, 이전에 잘 돌던 버전으로 다운그레이드하기로 했다. 알려진 상태로 돌아가려면 모든 컴퓨트 노드에 OS를 다시 설치해야 했는데, 이 작업이 배포 서비스의 용량을 넘어 시스템 대부분이 중간 상태로 남았다. 같은 때 업그레이드 계획에서 놓친 부분 때문에 컨트롤러와 데이터베이스를 단순히 다운그레이드해서는 되지 않았고, 백업에서 복원하는 데도 실패했다. 인프라 그룹은 깨끗한 데이터베이스 위에 클러스터를 처음부터 다시 배포했고, 수요일 아침에 스케줄러가 정상으로 돌아왔다."},"trigger":{"en":"The upgrade from Slurm 24.05 to Slurm 25.05 on September 8 installed packages that were not compiled with a feature required for correct GPU configuration.","ko":"9월 8일 월요일의 계획된 점검에서 Slurm 24.05를 Slurm 25.05로 올렸고, 새 패키지가 GPU 설정에 필요한 기능 없이 컴파일되어 있었다."},"severity":"unknown","symptoms":["upgrade-stuck","service-unavailable"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":{"en":"On the Tuesday morning after the maintenance day, the team discovered that the upgraded Slurm packages were not compiled with the feature needed for GPU configuration.","ko":"인프라 그룹은 점검 다음 날인 화요일 아침에 업그레이드한 Slurm 패키지가 GPU 설정에 필요한 기능 없이 컴파일되었다는 것을 발견했다."},"components":["slurm","database-backup"],"root_cause":"upgrade-breaking-change","remediation":[{"text":{"en":"Downgraded Slurm to the previous known-working version","ko":"이전에 잘 돌던 Slurm 버전으로 다운그레이드했다."}},{"text":{"en":"Reinstalled the OS on all compute nodes and handled the nodes left in an intermediate state one by one","ko":"알려진 상태로 돌아가려고 모든 컴퓨트 노드에 OS를 다시 설치했고, 배포 서비스가 감당하지 못해 중간 상태로 남은 시스템은 하나씩 손봤다."}},{"text":{"en":"Re-deployed the cluster from scratch on a clean database","ko":"단순 다운그레이드와 백업 복원이 실패하자 깨끗한 데이터베이스 위에 클러스터를 처음부터 다시 배포했다."}}],"action_items":[{"text":{"en":"Improve the testing and deployment processes based on the lessons of the outage","ko":"이번 장애에서 배운 것을 바탕으로 테스트와 배포 절차를 개선한다."}}],"contributing":["revert-did-not-restore","backup-unverified"],"recurrence_of":null,"symptoms_text":{"en":"After a planned full day of downtime on Monday, September 8, 2025, to upgrade the MIT CSAIL Slurm compute cluster from Slurm 24.05 to Slurm 25.05, the Infrastructure Group found on Tuesday morning that the upgraded Slurm packages had been built without a feature the cluster needs for correct GPU configuration. The cluster did not return to normal operation until Wednesday morning, after a downgrade failed and the cluster was rebuilt.","ko":"9월 8일 월요일의 계획된 점검에서 Slurm 24.05를 25.05로 올렸다. 화요일 아침에 업그레이드한 Slurm 패키지가 올바른 GPU 설정에 필요한 기능 없이 컴파일된 것이 드러났다. 클러스터는 정상 서비스로 돌아오지 못했다.\n\n이전 버전으로 다운그레이드하려고 모든 컴퓨트 노드에 OS를 다시 설치하자, 그 작업량이 배포 서비스가 감당할 수 있는 양을 넘었다. 시스템 대부분이 설치가 끝나지 않은 중간 상태로 남아 하나씩 손봐야 했다.\n\n컨트롤러와 데이터베이스를 단순히 다운그레이드하는 것으로는 되돌아가지 않았고, 백업에서 복원하는 것도 실패했다. 스케줄러는 수요일 아침에야 정상으로 돌아왔다."},"updated_at":"2026-11-14T12:34:12.960069Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0484","org_slug":"mit-csail"}