{"id":"IL-0349","org":"IONOS Cloud","date":"2026-01-15","docs":[],"title":{"en":"IONOS Private Cloud in Berlin lost management access, storage and VM internet routing after a VLAN change","ko":"Berlin 의 VMware 기반 Private Cloud 에서 관리망과 스토리지, 외부 라우팅이 함께 끊겼다"},"domain":["networking"],"impact":{"scope":"VMware-based Private Clouds: management VPN access, traffic to and from VMs, internal storage clusters, VMs and Edge Nodes in read-only mode, and external routing through NSX Edge Nodes","users":"unknown","region":"Berlin (Location DE/TXL)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.ionos.cloud/incidents/hgt9fqjj7vvm","kind":"official-status","archived":null}],"summary":{"en":"IONOS Cloud planned a maintenance on 15 January 2026 to introduce a new VLAN on the management devices in Berlin. The command that was run overwrote the existing VLANs on the trunk between the core and management devices instead of appending the new one, leaving only the new VLAN active. Access to several management interfaces was lost, the internal storage clusters that had interfaces on those management devices were disconnected, several VMs and Edge Nodes went read-only, and the NSX Edge Nodes lost external routing, cutting the VMs off from the internet. Restarting the affected services near the end of recovery caused a brief second outage. The status page reported the impact at 08:21 UTC, a fix and monitoring at 08:37 UTC and resolution at 09:25 UTC. IONOS planned an audit of the management device architecture for better segmentation and safeguards against unintended VLAN changes.","ko":"2026-01-15 IONOS Cloud 는 Berlin 의 관리 장비에 새 VLAN 을 넣는 계획된 정비를 하고 있었다. 명령을 실행하는 과정에서 사람이 실수해, 새 VLAN 을 덧붙이는 대신 코어 장비와 관리 장비 사이 트렁크의 기존 VLAN 을 덮어썼고 새 VLAN 하나만 살아 남았다. 지워진 VLAN 때문에 Berlin 리전의 여러 관리 인터페이스에 접근할 수 없게 됐다. 이 관리 장비에는 내부 스토리지 클러스터의 인터페이스도 있어서 스토리지 클러스터의 연결이 끊겼고, 여러 VM 과 Edge Node 가 데이터 손상을 막으려고 읽기 전용 모드로 들어갔다. 가상 네트워크와 물리 환경을 잇는 NSX Edge Node 도 영향을 받아 외부 라우팅이 사라졌고, VM 의 인터넷 연결도 끊겼다.\n\nIONOS Cloud 는 08:21 UTC 에 상태 페이지에 Private Cloud 네트워크 장애를 알렸다. 08:37 UTC 에는 수정을 적용하고 지켜보는 중이라고 올렸고, 09:25 UTC 에 사고를 해결로 닫았다. 복구 막바지에 영향을 받은 서비스를 재시작하면서 짧은 2차 장애가 났다."},"trigger":{"en":"During a planned maintenance window to add a new VLAN to the management devices, a human error in the command replaced the existing VLANs on the trunk between the core and management devices instead of adding to them, so only the new VLAN stayed active.","ko":"계획된 정비 시간에 작업자가 관리 장비에 새 VLAN 을 더하는 명령을 잘못 실행했다. 코어 장비와 관리 장비 사이 트렁크의 기존 VLAN 이 덮어써지고 새 VLAN 하나만 남았다."},"severity":"unknown","symptoms":["network-unreachable","storage-disconnected"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":null,"components":["network-switch","interconnect"],"root_cause":"human-operation","remediation":[{"text":{"en":"Restarted the affected storage services in the final stage of recovery, which caused a brief second outage","ko":"복구 막바지에 영향을 받은 서비스를 재시작했다. 이 재시작으로 짧은 2차 장애가 났다."}}],"action_items":[{"text":{"en":"Audit the management device architecture to segment it better (target Q3 2026)","ko":"관리 장비가 더 잘 분리되도록 구조 전체를 감사한다. 목표 시점은 2026년 3분기다."}},{"text":{"en":"Evaluate and implement ways to prevent unintended VLAN changes, such as improved configuration safeguards or automation scripts (target Q1 2026)","ko":"구성 안전장치나 자동화 스크립트 같은 방법으로 의도하지 않은 VLAN 변경을 막는 방안을 검토하고 적용한다. 목표 시점은 2026년 1분기다."}}],"contributing":["blast-radius-too-wide","no-safeguard-on-destructive-change"],"recurrence_of":null,"symptoms_text":{"en":"On 15 January 2026, network services for VMware-based Private Clouds in IONOS Cloud's Berlin location stopped working: customers lost management VPN access and traffic to and from their virtual machines. Inside IONOS, several management interfaces in the Berlin region could no longer be reached.\n\nThe loss spread from the management network to what depended on it. Internal storage clusters whose interfaces sat on the affected management devices were disconnected, and several VMs and Edge Nodes switched to read-only mode to protect their data. The NSX Edge Nodes, which connect the virtual networks to the physical network, lost external routing, so the VMs lost their internet connectivity. Late in the recovery, restarting the affected storage services caused a second, brief outage.","ko":"Berlin 의 VMware 기반 Private Cloud 에서 관리 VPN 접속과 개별 VM 을 오가는 트래픽이 모두 끊겼다.\n\nBerlin 리전의 여러 관리 인터페이스에 접근할 수 없었다. 내부 스토리지 클러스터의 연결이 끊겨, 여러 VM 과 Edge Node 가 데이터 손상을 막으려고 읽기 전용 모드로 들어갔다.\n\n가상 네트워크와 물리 환경을 잇는 NSX Edge Node 가 영향을 받아 외부 라우팅이 사라졌고, VM 이 인터넷과 통신하지 못했다. 복구 막바지에 영향을 받은 서비스를 재시작하자 짧은 2차 장애가 났다."},"updated_at":"2026-11-14T12:34:00.374418Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0349","org_slug":"ionos-cloud"}