{"id":"IL-0157","org":"Linode","date":"2025-03-05","docs":[],"title":{"en":"After a release, new nodes could not join Linode Kubernetes Engine clusters with IP ACL enabled, so autoscaling failed on about 20 to 25 clusters","ko":"IP ACL 을 켠 LKE 클러스터에 새 노드가 붙지 못해 오토스케일링이 실패했다"},"domain":["kubernetes"],"impact":{"scope":"LKE clusters with IP ACL enabled: new nodes could not join and autoscaling failed, with service disruptions for some customers","users":"about 20-25 clusters across various regions","region":"US-IAD (Washington), US-ORD (Chicago), US-SEA (Seattle), IN-MAA (Chennai)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"The defect hit only clusters with IP ACL enabled, and it showed when the autoscaler tried to add nodes. Restarting the gateway pods did not hold; rolling back the release ended the incident.","ko":"결함은 IP ACL 을 켠 클러스터에서만 문제를 일으켰고, autoscaler 가 노드를 추가하려 할 때 드러났다. 게이트웨이 파드 재시작은 효과가 오래가지 않았고, 릴리스를 롤백하자 장애가 끝났다."},"related":[],"sources":[{"url":"https://status.linode.com/incidents/v5gmz6wzn55y","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"Akamai traced the failure to the latest software release deployment. A software defect in that release kept new nodes from joining LKE clusters that had IP ACL enabled, so the cluster autoscaler on those clusters could not add nodes. Restarting the gateway pods helped only for a short time. Akamai rolled back the release, the rollback was complete on all affected clusters at about 15:00 UTC, and the incident was marked resolved at 15:12 UTC. The postmortem, posted on 2025-03-12, says Akamai was still investigating the root cause.","ko":"LKE 는 Akamai 의 관리형 Kubernetes 서비스인 Linode Kubernetes Engine 이다. 2025-03-05 01:00 UTC 무렵부터 LKE 에서 IP ACL 을 켠 클러스터에 새 노드가 붙지 못했다. 새 노드가 붙지 못하니 autoscaler 기능도 제대로 동작하지 않았고, 여러 리전의 약 20~25개 클러스터가 영향을 받았다. Akamai 가 조사해 보니 문제는 가장 최근 소프트웨어 릴리스 배포에서 시작됐다.\n\n게이트웨이 파드 재시작은 잠깐만 효과가 있었다. 추가 분석에서 근본 원인이 소프트웨어 결함으로 밝혀졌고, Akamai 는 릴리스를 롤백했다. 영향받은 모든 클러스터에서 롤백은 15:00 UTC 무렵 끝났다.\n\n상태 페이지에는 06:49 UTC 에 조사 중이라는 공지가 올라왔다. 08:58 에는 문제를 바로잡고 지켜보는 중이라는 공지가, 15:12 에는 해결 공지가 올라왔다. 사후 보고서는 03-12 에 게시됐고 조사가 계속되고 있다고 밝혔다."},"trigger":{"en":"Akamai deployed the latest LKE software release.","ko":"가장 최근에 배포한 LKE 소프트웨어 릴리스에 결함이 있었다."},"severity":"unknown","symptoms":["autoscaler-scale-up-failed","service-unavailable"],"timeline":{"detected_after":null,"resolved_after":"14h"},"date_kind":"incident","detection":{"en":"Customers began having problems at about 01:00 UTC, and the first status post, at 06:49 UTC, said the team was investigating an LKE autoscaling problem when IP ACL is turned on.","ko":"고객 쪽 문제는 01:00 UTC 무렵 시작됐고, 상태 페이지의 첫 조사 공지는 06:49 UTC 에 올라왔다."},"components":["cluster-autoscaler"],"root_cause":"software-bug","remediation":[{"text":{"en":"restarted the gateway pods, which gave only short-term relief","ko":"임시 조치로 게이트웨이 파드를 재시작했지만 잠깐만 효과가 있었다."}},{"text":{"en":"rolled back the release on all affected clusters","ko":"문제가 된 소프트웨어 릴리스를 롤백했고, 15:00 UTC 무렵 영향받은 모든 클러스터에서 롤백을 마쳤다."}}],"action_items":[{"text":{"en":"Continue investigating the root cause and take preventive actions","ko":"근본 원인을 계속 조사하고 알맞은 재발 방지 조치를 한다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"From about 01:00 UTC on 2025-03-05, Linode Kubernetes Engine (LKE) clusters with IP ACL enabled failed to autoscale: new nodes could not join the cluster, and some customers had service disruptions. About 20 to 25 clusters in several regions around the world were affected; the status page lists the US-IAD (Washington), US-ORD (Chicago), US-SEA (Seattle) and IN-MAA (Chennai) LKE components.\n\nRestarting the gateway pods was tried as a temporary mitigation and gave only short-term relief.","ko":"2025-03-05 01:00 UTC 무렵부터 일부 고객의 LKE 클러스터가 IP ACL 을 켠 상태에서 오토스케일링에 실패했고, 서비스 장애로 이어졌다.\n\n새 노드가 IP ACL 을 켠 LKE 클러스터에 붙지 못해 autoscaler 가 제대로 동작하지 못했다. 영향받은 클러스터는 여러 리전에 걸쳐 약 20~25개였고, 상태 페이지는 US-IAD, US-ORD, US-SEA, IN-MAA 리전을 영향 범위로 적었다.\n\nAkamai 는 임시 조치로 게이트웨이 파드를 재시작했지만 효과는 잠깐뿐이었다."},"updated_at":"2026-11-10T00:00:36.501526Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0157","org_slug":"linode"}