{"id":"IL-0244","org":"UK Ministry of Justice","date":"2024-09-20","docs":[],"title":{"en":"A queued pull request destroyed the EKS subnet route table associations and Cloud Platform services went offline","ko":"EKS 서브넷의 라우팅 테이블 연결이 사라져 live 클러스터의 Cloud Platform 서비스에 접근할 수 없었다"},"domain":["kubernetes","aws","networking"],"impact":{"scope":"Cloud Platform services on the live cluster were unavailable for a period of time","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://runbooks.cloud-platform.service.justice.gov.uk/incidents/2024-09-20-eks-subnet-route-table.html","kind":"runbook","archived":"https://web.archive.org/web/20260611134915/https://runbooks.cloud-platform.service.justice.gov.uk/incidents/2024-09-20-eks-subnet-route-table.html"}],"summary":{"en":"The Cloud Platform team had paused its infrastructure pipelines for a long time to make required manual updates to Terraform remote state. During that time a pull request that the team had not noticed was queued. When the infrastructure-vpc-live-1 pipeline was unpaused at 11:21, the queued pull request ran automatically and at 11:22 destroyed the route table associations of the EKS subnets, which removed internet routing to Cloud Platform services. The team ran terraform apply locally at 11:32 to rebuild the associations, told users at 11:33 that services were available again, and declared the incident resolved at 11:40.","ko":"Cloud Platform 팀은 Terraform 원격 상태를 손으로 고쳐야 해서 인프라 파이프라인을 오랫동안 멈춰 두었다. 그동안 팀이 알아보지 못한 PR 하나가 실행 대기열에 들어가 있었다. 2024년 9월 20일 11:21 에 infrastructure-vpc-live-1 파이프라인을 다시 켜자 이 PR 이 자동으로 실행됐고, 11:22 에 EKS 서브넷의 라우팅 테이블 연결을 지워 Cloud Platform 서비스로 가는 인터넷 라우팅이 끊겼다. 11:24 에 우선순위 높은 알림이 울렸고, 11:30 에 장애를 선언했다. 11:32 에 팀이 로컬에서 terraform apply 를 다시 실행해 라우팅 테이블 연결을 다시 만들었고, 11:33 에 사용자에게 서비스가 돌아왔다고 알렸다. 11:40 에 장애가 해결됐다고 선언했다. 복구까지 11분, 해결까지 20분이 걸렸다."},"trigger":{"en":"At 11:21 the infrastructure-vpc-live-1 pipeline was unpaused, and a pull request that had been waiting in its queue ran automatically.","ko":"11:21 에 infrastructure-vpc-live-1 파이프라인의 일시 정지를 풀자, 팀이 미처 알아보지 못한 채 대기열에 있던 PR 이 자동으로 실행돼 EKS 서브넷 라우팅 테이블 연결을 지웠다."},"severity":"unknown","symptoms":["service-unavailable","network-unreachable","resources-deleted"],"timeline":{"detected_after":"2m","resolved_after":"11m"},"date_kind":"incident","detection":{"en":"High priority Pingdom alerts for live cluster services reached the Cloud Platform team at 11:24, and users reported that services could not be resolved.","ko":"11:24 에 live 클러스터 서비스를 감시하는 Pingdom 이 Cloud Platform 팀에 우선순위 높은 알림을 보냈다. 11:26 부터는 사용자들이 #ask 채널에 서비스를 쓸 수 없다고 알려 왔다."},"components":["terraform","ci-system","vpc-routing-and-firewall"],"root_cause":"human-operation","remediation":[{"text":{"en":"Ran terraform apply locally to rebuild the subnet route table associations","ko":"11:32 에 Cloud Platform 팀이 로컬에서 terraform apply 를 다시 실행해 서브넷 라우팅 테이블 연결을 다시 만들었고, 서비스를 쓸 수 있게 됐다."}}],"action_items":[{"text":{"en":"Review and update the process for pausing and resuming infrastructure pipelines so every team member knows its implications","ko":"인프라 파이프라인을 멈추고 다시 켜는 절차를 검토하고 고쳐, 팀원 모두가 파이프라인을 멈추고 다시 켰을 때의 영향을 알게 한다."}},{"text":{"en":"Find a way to hold queued pull requests while manual infrastructure updates are under way","ko":"인프라를 손으로 고치는 동안 대기열의 PR 실행을 멈출 방법을 찾는다."}},{"text":{"en":"Find ways to isolate the plan and apply tasks of infrastructure pipelines better","ko":"인프라 파이프라인의 plan 작업과 apply 작업을 더 잘 격리할 방법을 찾는다."}}],"contributing":["no-safeguard-on-destructive-change"],"recurrence_of":null,"symptoms_text":{"en":"On 20 September 2024 at 11:24 the Cloud Platform team received high priority Pingdom alerts for services on the live cluster, and from 11:26 teams reported in the #ask channel that services were unavailable. Users reported that services could not be resolved.","ko":"2024년 9월 20일 11:24 에 live 클러스터 서비스를 감시하는 Pingdom 에서 우선순위 높은 알림이 울렸고, 사용자들은 서비스 주소를 찾을 수 없다고 알려 왔다.\n\n11:22 에 서브넷 라우팅 테이블 연결이 삭제되자 Cloud Platform 서비스로 가는 인터넷 라우팅이 끊겼다. 2분 뒤 Cloud Platform 팀이 알림을 받았고, 11:26 부터는 여러 팀이 #ask 채널에 서비스를 쓸 수 없다고 알리기 시작했다."},"updated_at":"2026-11-14T12:33:49.223547Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0244","org_slug":"uk-ministry-of-justice"}