{"id":"IL-0423","org":"Paperspace","date":"2024-06-16","docs":[],"title":{"en":"A core switch failure in Paperspace's NY2 region cut VMs off their network file system and left them read-only","ko":"NY2 리전의 Gradient 노트북과 Core VM 이 읽기 전용 모드에 빠져 다음 날까지 쓸 수 없었다"},"domain":["ai-infra","networking"],"impact":{"scope":"A large number of VMs in NY2, including Gradient notebooks and Core VMs, went read-only and unavailable; Gradient kept degraded performance during recovery","users":"Paperspace Gradient and Core customers in NY2","region":"NY2"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.paperspace.com/incidents/fjxf8t1x1tzf","kind":"official-status","archived":null}],"summary":{"en":"Paperspace's postmortem names a core switch failure in NY2 as the root cause. The failure caused a spike in traffic that hurt network performance, and the virtual machines, which reside on a Network File System, went into Read-Only mode when they lost network access to it. Paperspace restored network connectivity to the affected VMs by 18:20 UTC on 16 June, returned the VMs to Read-Write (RW) mode between 5:58 and 12:23 UTC on 17 June, and by 12:24 UTC the VMs and customer network access were available again. Paperspace said it is working on a network redesign and new equipment to prevent this kind of failure.","ko":"2024년 6월 16일 NY2 리전의 코어 스위치가 고장 나 트래픽이 급증했고 네트워크 성능이 떨어졌다. 가상 머신은 자신이 올라가 있는 네트워크 파일 시스템에 닿지 못하자 읽기 전용 모드로 들어갔다. 그래서 UTC 10:30 무렵부터 고객은 Gradient 노트북과 Core VM 에서 쓰기 작업을 할 수 없었다. 같은 날 UTC 18:20 에 영향받은 가상 머신의 네트워크 연결이 돌아왔지만 가상 머신은 읽기 전용 모드에 머물렀다. 6월 17일 UTC 5:58 부터 12:23 사이에 가상 머신을 읽기-쓰기 모드로 되돌렸고, 12:24 에 고객이 가상 머신에 다시 접근할 수 있게 되었다. 회복하는 동안 Core 가 먼저 고쳐졌고 Gradient 는 성능 저하가 이어졌다. Paperspace 는 재발을 막으려고 네트워크를 다시 설계하고 새 장비를 설치하는 작업을 진행하고 있다고 밝혔다."},"trigger":{"en":"A core switch in NY2 failed, and the resulting spike in traffic degraded network performance.","ko":"NY2 리전의 코어 스위치가 고장 났다."},"severity":"unknown","symptoms":["storage-disconnected","network-unreachable","service-unavailable"],"timeline":{"detected_after":null,"resolved_after":"1d 1h 54m"},"date_kind":"incident","detection":null,"components":["shared-filesystem"],"root_cause":"dns-network","remediation":[{"text":{"en":"Restored network connectivity to the affected VMs by 18:20 UTC on 16 June","ko":"6월 16일 UTC 18:20 까지 영향받은 가상 머신의 네트워크 연결을 되살렸다."}},{"text":{"en":"Returned the affected VMs from Read-Only to Read-Write mode between 5:58 and 12:23 UTC on 17 June","ko":"6월 17일 UTC 5:58 부터 12:23 사이에 영향받은 가상 머신을 읽기 전용 모드에서 읽기-쓰기 모드로 되돌렸다."}}],"action_items":[{"text":{"en":"Redesign the network","ko":"네트워크를 다시 설계한다."}},{"text":{"en":"Install new equipment","ko":"새 장비를 설치한다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"On 16 June 2024, from around 10:30 UTC, users could not interact with Gradient notebooks and Core VMs in Paperspace's NY2 region. A large number of virtual machines lost network access to the Network File System they resided on and went into Read-Only (RO) mode, so customers could not write to them. Network connectivity came back by 18:20 UTC, but the affected VMs stayed unavailable in RO mode until the next day, and after Core was fixed the Gradient platform still ran with degraded performance while it recovered.","ko":"2024년 6월 16일 UTC 10:30 무렵부터 NY2 리전의 가상 머신 다수가 읽기 전용 모드로 바뀌었고, 고객은 그 가상 머신에서 쓰기 작업을 전혀 할 수 없었다. 상태 페이지의 첫 공지는 네트워크 문제로 사용자가 NY2 의 Gradient 노트북과 Core VM 을 쓰지 못하고 있으며, 그 문제를 조사하고 있다고 알렸다.\n\n상태 페이지는 EDT 기준 6월 16일 07:16 에 조사를 시작했다고 알린 뒤 08:13, 08:22, 11:23, 15:03 에 조사를 이어 가고 있다는 공지만 냈다. 17:55 에야 원인이 NY2 의 네트워크 문제라고 밝히고, 수정을 적용하고 있다고 알렸다.\n\n같은 날 UTC 18:20 에 네트워크 연결은 돌아왔지만 가상 머신은 여전히 읽기 전용 모드여서 쓸 수 없었다. 가상 머신은 6월 17일 UTC 5:58 부터 12:23 사이에 읽기-쓰기 모드로 돌아왔다.\n\nEDT 기준 6월 16일 20:11 에 Paperspace 는 여러 수정을 적용하고 결과를 지켜보고 있다고 알렸다. Core 는 이미 고쳐졌지만 Gradient 플랫폼은 회복에 시간이 걸려 성능 저하가 이어졌다."},"updated_at":"2026-11-14T12:34:07.340729Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0423","org_slug":"paperspace"}