{"id":"IL-0017","org":"UK Ministry of Justice","date":"2023-07-21","docs":[],"title":{"en":"AWS VPC CNI stopped allocating pod IP addresses on six nodes of the live cluster, leaving new pods in ContainerCreating","ko":"live 클러스터 노드 6대에서 VPC CNI 가 IP 주소를 할당하지 못해 새 파드가 ContainerCreating 에 멈췄다"},"domain":["kubernetes","aws"],"impact":{"scope":"Six nodes on the live cluster could not start new pods; availability of Cloud Platform applications may have been degraded or at increased risk of failure","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"The write-up states no lessons beyond its review action, which is to add a check that IP address allocation works.","ko":"이 글은 교훈을 따로 적지 않았다. 후속 조치로는 IP 주소 할당이 제대로 되는지 확인하는 점검을 추가한다는 것 하나만 적었다."},"related":[],"sources":[{"url":"https://runbooks.cloud-platform.service.justice.gov.uk/incidents/2023-07-21-vpc-cni-not-allocating-ip-addresses.html","kind":"runbook","license":"unknown","archived":"http://web.archive.org/web/20260712183520/https://runbooks.cloud-platform.service.justice.gov.uk/incidents/2023-07-21-vpc-cni-not-allocating-ip-addresses.html"}],"summary":{"en":"On 21 July 2023 new pods on the Ministry of Justice Cloud Platform live cluster stayed in ContainerCreating because the AWS VPC CNI was not allocating IP addresses on six nodes. The team added new nodes and began to cordon and drain the affected ones.\n\nThe underlying cause was a setting missing on the live cluster. Comparing the CNI configuration of a 1.23 test cluster with live showed the difference, and at 12:42 the team ran the command that enables prefix delegation on the live cluster, which ended the incident. Time to repair and time to resolve were both 4h 27m. The single review action is a test or check that confirms IP address allocation works as expected.","ko":"2023-07-21 아침, UK Ministry of Justice 의 Cloud Platform live 클러스터에서 노드 6대가 새 파드에 IP 주소를 할당하지 못했다. 이 노드에 배치된 새 배포는 ContainerCreating 상태를 벗어나지 못했다. Cloud Platform 에서 돌던 애플리케이션은 가용성이 떨어졌거나 장애가 날 위험이 커졌을 수 있다.\n\n원인은 live 클러스터에 빠져 있던 VPC CNI 설정 하나였다. 팀은 1.23 테스트 클러스터와 live 클러스터의 CNI 설정을 비교해 차이를 찾았고, 12:42 에 live 클러스터에서 Prefix Delegation 을 켜는 명령을 실행했다. 그 시점에 장애가 복구됐고, 첫 보고부터 복구까지 4시간 27분이 걸렸다."},"trigger":null,"severity":"unknown","symptoms":["pod-stuck-container-creating","no-available-ip"],"timeline":{"detected_after":null,"resolved_after":"4h 27m"},"date_kind":"incident","detection":{"en":"A user reported new deployments stuck in ContainerCreating in the #ask-cloud-platform channel at 08:15; the incident was declared at 09:31.","ko":"팀은 08:15 에 한 사용자가 #ask-cloud-platform 채널에 새 배포가 ContainerCreating 에서 멈춘다고 보고해 장애를 알았다. 장애 선언은 09:31 이었다."},"components":["vpc-cni","node-pool"],"root_cause":"config-change","remediation":[{"text":{"en":"Added new nodes and cordoned and drained the six affected nodes","ko":"새 노드를 추가하고, 영향받은 노드 6대를 cordon 한 뒤 drain 하기 시작했다."}},{"text":{"en":"Enabled prefix delegation in the VPC CNI on the live cluster after comparing its CNI settings with a 1.23 test cluster","ko":"live 클러스터에서 Prefix Delegation 을 켜는 명령을 실행해 빠진 CNI 설정을 넣었다."}}],"action_items":[{"text":{"en":"Add a test or check that confirms IP address allocation is working as expected (#4669)","ko":"IP 주소 할당이 제대로 되는지 확인하는 테스트나 점검을 추가한다. 작업 번호는 #4669 다."}}],"contributing":["no-config-tests"],"recurrence_of":null,"symptoms_text":{"en":"At 08:15 a user posted in the #ask-cloud-platform channel that new deployments were not starting: their pods stayed in ContainerCreating.\n\nFrom 09:00 the Cloud Platform team put together a list of every affected namespace, and it declared an incident at 09:31. By 09:45 the team had traced the stuck pods to six nodes on which the VPC CNI was not allocating IP addresses to new pods.\n\nAdding fresh nodes and cordoning and draining the six affected nodes moved workloads off them, but did not explain the fault. The cause was found only at 12:35, about three hours later, when the team compared the CNI settings of a 1.23 test cluster with those of the live cluster and saw that one setting differed.","ko":"2023-07-21 08:15, 한 사용자가 #ask-cloud-platform 채널에 새 배포가 ContainerCreating 상태에서 멈춘다고 알렸다.\n\n팀은 09:00 부터 영향받은 네임스페이스 목록을 모았고, 09:45 에 문제가 노드 6대에 몰려 있다는 것을 확인했다. 이 노드들에서는 VPC CNI 가 새 파드에 IP 주소를 할당하지 못하고 있었다.\n\n팀은 먼저 새 노드를 추가하고 영향받은 노드를 cordon 한 뒤 drain 하기 시작했다. 원인은 12:35 에 1.23 테스트 클러스터와 live 클러스터의 CNI 설정을 나란히 비교하고 나서야 드러났다. 설정 하나가 두 클러스터에서 서로 달랐다."},"updated_at":"2026-11-10T00:00:36.136928Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0017","org_slug":"uk-ministry-of-justice"}