{"id":"IL-0156","org":"Linode","date":"2025-09-24","docs":[],"title":{"en":"Revoking old certificates after a rotation left a certificate key mismatch between API endpoints and the cluster controller, and LKE cluster management and autoscaling in Atlanta returned 5xx errors","ko":"인증서 교체 뒤 옛 인증서를 폐기하자 애틀랜타 LKE 의 클러스터 관리와 오토스케일링이 5xx 오류로 실패했다."},"domain":["kubernetes"],"impact":{"scope":"LKE cluster management (node pool changes, scaling, creating and deleting clusters) and autoscaling for clusters on the affected cluster controller; running workloads were not affected","users":"LKE customers in US-Southeast (Atlanta)","region":"US-Southeast (Atlanta)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.linode.com/incidents/6hf9dt235wj0","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"The certificates on LKE cluster controllers were about to expire and were rotated on 23 September 2025. As part of the follow-up work after that rollout, the old certificates on the associated controllers were revoked at 02:29 UTC on 24 September, and the impact began right after. The investigation found a certificate key mismatch between the API endpoints and the cluster controller, which led to the 5xx errors on cluster management requests and the impact on autoscaling.\n\nLinode deployed a fix and then restarted the API endpoints; the impact ended at 06:54 UTC, about four and a half hours after the revocation. The status page moved to monitoring at 07:23 and marked the incident resolved at 08:05. In the postmortem posted at 17:18 UTC, Akamai's subject matter experts were still investigating the root cause.","ko":"2025년 9월 23일 Linode 는 클러스터 컨트롤러의 만료가 다가온 인증서를 교체했다. 교체 후속 작업으로 9월 24일 02:29 UTC 에 관련 컨트롤러의 옛 인증서를 폐기했고, 그 직후부터 애틀랜타 LKE 의 클러스터 관리와 오토스케일링이 5xx 오류로 실패했다. 조사해 보니 API 엔드포인트와 클러스터 컨트롤러 사이에 인증서 키가 맞지 않았다. Akamai 는 근본 원인을 계속 조사하고 있다.\n\n상태 페이지에는 04:31 UTC 에 조사 시작, 05:42 에 조사 계속, 06:28 에 원인을 찾아 수정 중이라는 공지가 올라왔다. Linode 는 수정을 배포하고 API 엔드포인트를 재시작해 06:54 UTC 에 영향을 완화했고, 07:23 에 모니터링 단계로 넘어가 08:05 에 해결로 닫았다. 실행 중인 워크로드는 내내 영향이 없었다."},"trigger":{"en":"Old certificates on the LKE cluster controllers were revoked at 02:29 UTC on 24 September 2025, after the expiring certificates had been rotated on 23 September.","ko":"9월 23일 클러스터 컨트롤러의 만료가 다가온 인증서를 교체한 뒤, 후속 작업으로 9월 24일 02:29 UTC 에 관련 컨트롤러의 옛 인증서를 폐기했다."},"severity":"unknown","symptoms":["high-error-rate","autoscaler-misbehaving"],"timeline":{"detected_after":null,"resolved_after":"4h 25m"},"date_kind":"incident","detection":null,"components":["managed-control-plane","cluster-autoscaler"],"root_cause":"certificate-expiry","remediation":[{"text":{"en":"deployed a fix for the certificate key mismatch","ko":"문제를 고치는 수정을 배포했다."}},{"text":{"en":"restarted the API endpoints","ko":"API 엔드포인트를 재시작했다."}}],"action_items":[{"text":{"en":"Continue investigating the root cause and take preventive actions","ko":"Akamai 전문가들이 근본 원인을 계속 조사하고 알맞은 예방 조치를 한다."}}],"contributing":["delayed-effect-change"],"recurrence_of":null,"symptoms_text":{"en":"From about 02:29 UTC on 24 September 2025, customers of Linode Kubernetes Engine (LKE) in US-Southeast (Atlanta) could not manage their clusters, and autoscaling was impacted. Internal logs showed 5xx errors whenever customers tried to manage LKE clusters associated with the affected cluster controller.\n\nOnly cluster management was affected: changing node pools, scaling, and creating or deleting clusters. Running customer workloads kept working.\n\nThe status page opened the incident at 04:31 UTC as an emerging issue under investigation, posted another update at 05:42, and reported the root cause identified at 06:28.","ko":"2025년 9월 24일 02:29 UTC 무렵부터 US-Southeast 애틀랜타의 LKE 오토스케일링이 영향을 받았고 고객은 클러스터를 관리할 수 없었다. 노드 풀 수정, 스케일링, 클러스터 생성과 삭제가 막혔다. 실행 중인 고객 워크로드는 영향을 받지 않았다.\n\n내부 로그에는 고객이 해당 클러스터 컨트롤러에 묶인 LKE 클러스터를 관리하려 할 때마다 5xx 오류가 찍혔다. 상태 페이지에는 04:31 UTC 에 애틀랜타 LKE 서비스 문제를 조사 중이라는 첫 공지가 올라왔다."},"updated_at":"2026-11-10T00:00:36.458681Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0156","org_slug":"linode"}