{"id":"IL-0161","org":"Linode","date":"2024-04-22","docs":[],"title":{"en":"A faulty earlier API update made new LKE cluster provisioning in Toronto time out for three days, leaving clusters with no node pools or the wrong number of nodes","ko":"앞선 API 업데이트가 의도대로 동작하지 않아 토론토 데이터센터에서 새 LKE 클러스터 프로비저닝이 타임아웃으로 사흘 넘게 실패했다."},"domain":["kubernetes"],"impact":{"scope":"Provisioning of new LKE clusters and their node pools, mostly on one backend resource in the Toronto data center; rarely in other data centers","users":"unknown","region":"Toronto data center"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"The fault was in an earlier API change, not in the infrastructure that showed it, but most failures concentrated on one backend resource in one data center. Taking that resource out of provisioning limited the impact while the root cause was found, which took three days.","ko":"원인은 오류가 드러난 인프라가 아니라 앞서 배포한 API 업데이트에 있었다. 그런데도 실패는 대부분 한 데이터센터의 백엔드 자원 하나에 몰렸다. 그 자원을 새 클러스터 프로비저닝에서 빼서, 근본 원인을 찾는 데 걸린 사흘 동안 고객 영향을 줄였다."},"related":[],"sources":[{"url":"https://status.linode.com/incidents/wwdps0jh93vg","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"From 22 April 2024, new LKE clusters in the Toronto data center failed to provision. Clusters were created without node pools, or with the wrong number of nodes, and the Cloud Manager timed out when customers created them. The cause was an earlier API update that did not work as intended and led to timeouts during provisioning.\n\nAt 17:32 UTC on 22 April the team narrowed the problem down to a specific section of infrastructure in Toronto. At 15:03 UTC on 23 April that infrastructure was taken out of use for new LKE clusters, to stop further customer impact while the investigation continued. A fix for the root cause went in at about 16:45 UTC on 25 April, and by 18:05 UTC cluster creation was confirmed to be fully restored. The disabled infrastructure was then put back into use, and after a period of monitoring the incident was closed at 17:09 UTC on 26 April.","ko":"2024년 4월 22일 14:05 UTC 쯤 Linode 팀은 토론토 데이터센터에서 새 LKE 클러스터가 프로비저닝되지 않는 것을 발견했다. 새로 만든 클러스터에 노드 풀이 없거나 노드 수가 틀렸고, 고객은 Cloud Manager 에서 클러스터를 만든 뒤 타임아웃 오류를 받았다. 같은 날 17:32 UTC 에 팀은 문제를 토론토 데이터센터의 특정 인프라 구역으로 좁혔다.\n\n4월 23일 15:03 UTC 에 문제가 된 인프라를 새 LKE 클러스터 프로비저닝에서 빼고 원인 조사를 이어 갔다. 조사해 보니 앞서 배포한 API 업데이트가 의도대로 동작하지 않아 새 클러스터를 프로비저닝할 때 타임아웃이 나고 있었다. 4월 25일 16:45 UTC 쯤 수정을 적용했고, 18:05 UTC 에 새 클러스터 생성이 완전히 돌아온 것을 확인했다. 수정 뒤 빼 두었던 인프라를 다시 넣었고, 4월 26일 17:09 UTC 에 장애를 해결로 닫았다."},"trigger":{"en":"A previous update to the API did not work as intended and caused timeouts when new LKE clusters were provisioned.","ko":"앞서 배포한 API 업데이트가 의도대로 동작하지 않았고, 새 LKE 클러스터를 프로비저닝할 때 타임아웃을 일으켰다."},"severity":"unknown","symptoms":["cluster-creation-stuck","intermittent-timeouts"],"timeline":{"detected_after":null,"resolved_after":"3d 4h"},"date_kind":"incident","detection":{"en":"Linode's team noticed new LKE clusters failing to provision in the Toronto data center at about 14:05 UTC on 22 April 2024.","ko":"2024년 4월 22일 14:05 UTC 쯤 Linode 팀이 토론토 데이터센터에서 새 LKE 클러스터가 프로비저닝되지 않는 것을 알아채고 조사를 시작했다."},"components":["node-pool"],"root_cause":"software-bug","remediation":[{"text":{"en":"disabled the affected section of Toronto infrastructure from provisioning new LKE clusters","ko":"4월 23일 15:03 UTC 에 문제가 된 토론토 데이터센터의 인프라를 새 LKE 클러스터 프로비저닝에 쓰지 않도록 껐다."}},{"text":{"en":"implemented a fix for the faulty API update","ko":"4월 25일 16:45 UTC 쯤 의도대로 동작하지 않던 API 업데이트를 바로잡는 수정을 적용했고, 18:05 UTC 에 새 클러스터 생성이 완전히 돌아온 것을 확인했다."}},{"text":{"en":"put the disabled infrastructure back into use after the fix","ko":"수정을 적용한 뒤 잠시 빼 두었던 인프라를 다시 프로비저닝에 넣었다."}}],"action_items":[],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"At about 14:05 UTC on 22 April 2024, Linode's team noticed that new LKE clusters were failing to provision in the Toronto data center.\n\nA customer who created a new LKE cluster saw a timeout in the Cloud Manager. After refreshing the Cloud Manager, the new cluster was listed but had no node pools. Other newly provisioned clusters had an incorrect number of nodes in their pool, or no nodes at all.\n\nThe errors happened mostly in one distinct section of the infrastructure, a specific backend resource in the Toronto data center. Much more rarely, the same errors appeared in other data centers.","ko":"2024년 4월 22일 14:05 UTC 쯤 토론토 데이터센터에서 새 LKE 클러스터가 프로비저닝되지 않았다.\n\n고객이 Cloud Manager 에서 새 LKE 클러스터를 만들면 타임아웃이 났다. Cloud Manager 를 새로 고치면 클러스터는 만들어져 있었지만 노드 풀이 없었다. 노드 풀에 노드 수가 잘못 들어가거나 노드가 아예 없는 클러스터도 있었다.\n\n오류는 토론토 데이터센터의 특정 백엔드 자원에서 훨씬 자주 났다. 다른 데이터센터에서도 나타났지만 빈도는 매우 낮았다."},"updated_at":"2026-11-09T11:55:53.785058Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0161","org_slug":"linode"}