{"id":"IL-0501","org":"2i2c","date":"2022-08-30","docs":["https://bugs.launchpad.net/ubuntu/+source/systemd/+bug/1988119","https://bugs.launchpad.net/ubuntu/+source/systemd/+bug/1988119/comments/3","https://github.com/2i2c-org/infrastructure/issues/1067","https://github.com/2i2c-org/infrastructure/issues/1709","https://github.com/2i2c-org/infrastructure/issues/1716"],"title":{"en":"Every node of the UToronto Kubernetes cluster on Azure went NotReady and the JupyterHub became unreachable","ko":"Azure 가 배포한 Ubuntu 18.04 업데이트로 UToronto AKS 클러스터의 모든 노드에서 네트워크가 끊겨 허브에 접속할 수 없었다"},"domain":["kubernetes","azure","networking"],"impact":{"scope":"UToronto JupyterHub (jupyter.utoronto.ca) was unreachable; all nodes of its Kubernetes cluster were NotReady","users":"all UToronto JupyterHub users","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"Once the cause was known, a single action brought the hub back quickly. The team had no documented way to SSH into its Kubernetes nodes, and the customer's representative saw the Azure advisory and pointed it out on the support ticket, which saved a lot of time.","ko":"원인을 찾고 나서는 바로 복구할 수 있었다. 쿠버네티스 클러스터의 노드에 SSH 로 들어가는 방법이 문서로 없었다. 2i2c 는 클러스터 업그레이드를 아직 하지 않아 그 선택지가 남아 있었던 것과, 고객 쪽 담당자가 Azure 공지를 보고 알려 준 것이 운이 좋았다고 적었다."},"related":[],"sources":[{"url":"https://github.com/2i2c-org/incident-reports/blob/main/reports/2022-08-30-utoronto-inaccessible.pdf","kind":"github","archived":null}],"summary":{"en":"Microsoft Azure rolled out an Ubuntu update to all Ubuntu 18.04 nodes. Hundreds of such updates normally apply automatically without 2i2c noticing, but this one triggered a systemd bug, Ubuntu bug 1988119, which the Microsoft advisory described as a DHCP bug causing DNS errors after the upgrade to systemd 237-3ubuntu10.54. Networking failed on every existing node of the UToronto Kubernetes cluster, all nodes went NotReady, and the hub was down from 11:15 AM to 12:13 PM Pacific time on 30 August 2022, 58 minutes in all.\n\nAccording to the Ubuntu bug report, a reboot would have fixed the nodes. The nodes were not listed on the Azure Portal VMs page, and an upgrade of the cluster's Kubernetes version was already due and would replace every node, so at 11:53 AM the team started an upgrade of the cluster's Kubernetes and node versions as the fastest way to get fresh nodes. The upgrade retired all old nodes and brought up new working ones, and at 12:14 PM the hub was back online.","ko":"Microsoft Azure 는 2022년 8월 30일 모든 Ubuntu 18.04 노드에 Ubuntu 업데이트를 배포했다. 이런 업데이트는 보통 자동으로 수백 번 적용돼도 아무도 알아채지 못하지만, 이번에는 Launchpad 의 systemd 버그 1988119 가 드러났다. Azure 공지에 따르면 systemd 237-3ubuntu10.54 로 올라간 VM 에서 DNS 오류가 났고, 2i2c 는 이것을 재부팅만 하면 고쳐지는 DHCP 버그로 기록했다. UToronto AKS 클러스터의 기존 노드 전부에서 네트워크가 끊겨 허브 전체가 내려갔다.\n\n태평양 시간 오전 11:15 에 접속 불가 신고가 들어왔고, 오전 11:25 에 고객 쪽 담당자가 Azure 공지를 Freshdesk 티켓으로 전해 주었다. 오전 11:41 에 모든 노드가 NotReady 인 것을 봤고, 노드 이미지 버전 라벨을 보고 공지와 관련이 있을 가능성이 크다고 판단했다. 노드가 Azure Portal 에 보이지 않아 직접 재부팅할 수 없었다. 마침 클러스터 업그레이드를 해야 하던 참이었다. 업그레이드는 기존 노드를 내리고 새 노드로 바꾸므로, 오전 11:53 에 쿠버네티스 버전과 노드 버전 업그레이드를 시작했다. 오후 12:14 에 업그레이드가 끝나 새 노드가 옛 노드를 대신했고 허브가 돌아왔다. 영향 시간은 58분이었다."},"trigger":{"en":"Microsoft Azure rolled out an Ubuntu update to all Ubuntu 18.04 nodes, which triggered a systemd bug that broke networking.","ko":"Microsoft Azure 가 모든 Ubuntu 18.04 노드에 Ubuntu 업데이트를 자동으로 배포했고, 이 업데이트가 systemd 버그 1988119 를 드러내 노드의 네트워크를 끊었다."},"severity":"unknown","symptoms":["service-unavailable","node-not-ready"],"timeline":{"detected_after":null,"resolved_after":"58m"},"date_kind":"incident","detection":{"en":"The outage was reported at 11:15 AM through 2i2c's Freshdesk support desk because jupyter.utoronto.ca was not responding. At 11:25 AM the customer's representative forwarded the Microsoft advisory on the same ticket, which pointed the team to the cause.","ko":"Freshdesk 티켓으로 jupyter.utoronto.ca 가 응답하지 않는다는 신고가 들어왔다."},"components":["node-image"],"root_cause":"upgrade-breaking-change","remediation":[{"text":{"en":"Started an upgrade of the cluster's Kubernetes and node versions, which replaced all old nodes with new working ones","ko":"노드를 Azure Portal 의 VM 페이지에서 찾을 수 없어서, 재부팅 대신 클러스터의 쿠버네티스 버전과 노드 버전 업그레이드를 시작했다. 업그레이드가 옛 노드를 모두 내리고 새 노드로 바꾸면서 허브가 돌아왔다."}}],"action_items":[{"text":{"en":"Document how to SSH into the Kubernetes nodes","ko":"쿠버네티스 노드에 SSH 로 들어가는 방법을 문서로 남긴다."}},{"text":{"en":"Find a way to be notified of Azure advisories","ko":"Azure 공지를 알림으로 받아 볼 방법을 찾는다."}}],"contributing":["limited-debug-access"],"recurrence_of":null,"symptoms_text":{"en":"On 30 August 2022 at 11:15 AM Pacific time, the UToronto JupyterHub at jupyter.utoronto.ca stopped responding and users could not reach it at all. The outage was reported through 2i2c's support desk.\n\nAt 11:41 AM `kubectl get node` showed every node of the cluster in NotReady, for example \"aks-core-34239724-vmss000000 NotReady agent 273d v1.20.7\" and \"aks-nbdefault-34239724-vmss000010 NotReady agent 193d v1.20.7\". Networking had failed on all existing Kubernetes nodes.\n\nAt 11:25 AM the customer forwarded a Microsoft advisory: from about 06:00 UTC that day, Azure customers running Ubuntu 18.04 VMs recently upgraded to systemd version 237-3ubuntu10.54 had reported DNS errors when reaching their resources, a bug tracked as Ubuntu bug 1988119, with rebooting the VM to get a fresh DHCP lease and new DNS resolvers as a possible workaround. The `kubernetes.azure.com/node-image-version` label on each NotReady node showed an Ubuntu version affected by the advisory. The nodes did not appear on the Azure Portal VMs page, so the nodes could not simply be rebooted there, and the team had no documented way to SSH into its Kubernetes nodes.","ko":"jupyter.utoronto.ca 가 응답하지 않았고 사용자는 UToronto JupyterHub 에 아예 접속하지 못했다. 신고는 Freshdesk 티켓으로 들어왔다.\n\nkubectl get node 를 보니 클러스터의 노드 다섯 대가 모두 NotReady 였다. 출력은 aks-core-34239724-vmss000000 NotReady agent 273d v1.20.7 같은 줄이었다.\n\nNotReady 노드 하나를 kubectl get node -o yaml <node-name> 으로 보니 kubernetes.azure.com/node-image-version 라벨이 Microsoft 공지에 나온 영향받는 Ubuntu 버전을 가리켰다. 공지는 systemd 237-3ubuntu10.54 로 올라간 Ubuntu 18.04 VM 에서 DNS 오류가 난다고 했다.\n\n공지가 제시한 우회책은 VM 을 재부팅해 DHCP 임대와 DNS 리졸버를 새로 받는 것이었지만, 노드가 Azure Portal 의 VM 페이지에 보이지 않았다. 쿠버네티스 노드에 SSH 로 들어가는 방법도 문서로 정리돼 있지 않았다."},"updated_at":"2026-11-14T12:34:14.659814Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0501","org_slug":"2i2c"}