{"id":"IL-0162","org":"Linode","date":"2025-04-01","docs":[],"title":{"en":"LKE users could not reach their cluster control planes or the LKE Dashboard because an earlier database update made the internal LKE DNS service hang","ko":"데이터베이스 업데이트 뒤 LKE 내부 DNS 서비스가 멈춰 사용자가 LKE 클러스터 컨트롤 플레인과 LKE 대시보드에 접속하지 못했다"},"domain":["kubernetes","networking"],"impact":{"scope":"external access to LKE cluster control planes and the LKE Dashboard; internal cluster services not affected","users":"unknown","region":"LKE in US-East (Newark), US-Central (Dallas), US-West (Fremont), US-Southeast (Atlanta), US-IAD (Washington), US-ORD (Chicago), CA-Central (Toronto), EU-West (London), EU-Central (Frankfurt), FR-PAR (Paris), AP-South (Singapore), AP-Northeast (Tokyo 2), AP-West (Mumbai), AP-Southeast (Sydney), SE-STO (Stockholm), US-SEA (Seattle), JP-OSA (Osaka), IN-MAA (Chennai), ID-CGK (Jakarta)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"A change to a database that the DNS service depends on can make the DNS service hang, which here cut off external access to the clusters and the LKE Dashboard while services inside the clusters kept working. The DNS service should recover by itself from transient failures of its dependencies, and changes to dependent systems need to be coordinated.","ko":"DNS 서비스가 의존하는 데이터베이스를 바꾸면 DNS 서비스가 멈출 수 있고, 그러면 클러스터 안은 멀쩡해도 사용자는 컨트롤 플레인에 닿지 못한다. Linode 는 DNS 서비스가 의존하는 시스템과 잠깐 연결이 끊겨도 회복할 수 있어야 하고, 서로 의존하는 시스템의 변경은 함께 조율해야 한다고 정리했다."},"related":[],"sources":[{"url":"https://status.linode.com/incidents/g3wq4typg8td","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"External access to LKE clusters and the LKE Dashboard failed because of a DNS resolution problem. Linode traced it to an internal dependency of the LKE DNS system: an earlier update to a database made the DNS service hang, and the DNS servers associated with the LKE Dashboard stopped responding. Internal cluster services were not affected.\n\nThe cause was identified at 22:29 UTC. Linode restarted the affected DNS services, which restored access, and reported the issue corrected at 23:03 UTC. After monitoring for stability, the incident was marked resolved at 01:09 UTC on 3 April 2025.","ko":"2025년 4월 1일 LKE 사용자들이 클러스터에 연결하지 못했다. 클러스터 내부 서비스는 정상이었지만, DNS 이름 해석 문제로 LKE 대시보드와 외부 접근이 막혔다.\n\n원인은 LKE DNS 시스템이 기대는 내부 의존성에 있었다. 앞서 한 데이터베이스 업데이트 때문에 DNS 서비스가 멈췄고, LKE 대시보드와 연결된 DNS 서버가 응답하지 않게 됐다. 원인을 찾은 뒤 영향받은 DNS 서비스를 재시작하자 기능이 모두 돌아왔다. Linode 는 시스템이 안정적인지 지켜본 뒤 4월 3일 장애를 해결됨으로 닫았고, 4월 24일 사후 보고서를 올렸다."},"trigger":{"en":"An earlier update to a database that the LKE DNS system depends on caused the DNS service to hang.","ko":"앞서 진행한 데이터베이스 업데이트 때문에 LKE DNS 서비스가 멈췄다."},"severity":"unknown","symptoms":["dns-resolution-failures","control-plane-unresponsive"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":{"en":"The first status update, at 20:28 UTC on 1 April, said Linode was investigating and that users might have difficulty connecting to their cluster control plane. At 21:33 UTC Linode said the issue affected DNS functionality within LKE, and at 22:29 UTC that it had identified the underlying cause.","ko":"Linode 는 20시 28분 UTC 상태 페이지에 사용자가 클러스터 컨트롤 플레인에 연결하기 어려울 수 있다고 알리고 조사를 시작했다. 21시 33분 문제를 LKE 의 DNS 기능으로 좁혔고, 22시 29분 근본 원인을 찾았다."},"components":["dns-server","database"],"root_cause":"dependency-failure","remediation":[{"text":{"en":"restarted the affected LKE DNS services","ko":"영향받은 LKE DNS 서비스를 재시작해 클러스터와 LKE 대시보드 접근을 되살렸다."}}],"action_items":[{"text":{"en":"Improve how the DNS services recover from transient connectivity failures to their dependencies","ko":"DNS 서비스가 의존하는 시스템과 잠깐 연결이 끊겨도 스스로 회복하도록 개선한다."}},{"text":{"en":"Improve monitoring to detect similar problems sooner","ko":"비슷한 문제를 더 빨리 찾도록 모니터링을 강화한다."}},{"text":{"en":"Update the deployment process to better coordinate changes between dependent systems","ko":"서로 의존하는 시스템 사이의 변경을 더 잘 조율하도록 배포 절차를 고친다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"On 1 April 2025 users of Linode Kubernetes Engine (LKE) began having trouble connecting to their clusters' control planes, and the LKE Dashboard was affected as well. Services inside the clusters kept working. The first status update was posted at 20:28 UTC; at 21:33 UTC Linode said it was investigating an issue with DNS functionality within LKE.","ko":"2025년 4월 1일 Linode Kubernetes Engine, 줄여서 LKE 의 사용자들이 자기 클러스터에 연결하지 못하기 시작했다. 외부에서 클러스터 컨트롤 플레인과 LKE 대시보드에 접근할 수 없었다.\n\n클러스터 안의 서비스는 계속 정상으로 동작했다. 문제는 DNS 이름 해석에 있었다.\n\n20시 28분 UTC Linode 가 상태 페이지에 조사 중이라고 처음 알렸고, 21시 33분 문제를 LKE 의 DNS 기능으로 좁혔다. 22시 29분 원인을 찾았고, 23시 03분 문제를 바로잡은 뒤 지켜보는 단계로 넘어갔다. 영향은 US-East 의 Newark 부터 ID-CGK 의 Jakarta 까지 LKE 리전 19곳에 걸쳤다."},"updated_at":"2026-11-10T00:00:36.808656Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0162","org_slug":"linode"}