{"id":"IL-0091","org":"UK Ministry of Justice","date":"2023-06-06","docs":[],"title":{"en":"Changing the worker node instance type through Terraform recycled all nodes at once and deleted users' production pods together","ko":"Terraform 으로 노드 인스턴스 타입을 바꾸자 노드가 한꺼번에 교체되어 사용자 운영 파드가 모두 지워지고 서비스가 내려갔다"},"domain":["kubernetes","aws"],"impact":{"scope":"user services on the Cloud Platform, whose production pods were deleted at once, including the DPS service","users":"several Cloud Platform users reported outages","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://runbooks.cloud-platform.service.justice.gov.uk/incidents/2023-06-06-user-services-down.html","kind":"runbook","license":"unknown","archived":null}],"summary":{"en":"The Cloud Platform team changed the instance type of the worker nodes with Terraform. The change recycled all nodes at the same time, so every pod on them was deleted at once and user services went down for a few minutes. At 10:30 the team found that the nodes were all being recycled together during the instance type change.\n\nUsers reported most services back up by 10:30, but the DPS service stayed unavailable until 11:21 because its users could not authenticate. The incident was declared at 11:00 and repaired at 11:21; the report gives 55 minutes as both the time to repair and the time to resolve. The team opened a ticket with AWS asking how to change the instance type without an outage and planned to write the procedure down as a runbook.","ko":"Cloud Platform 팀이 Terraform 으로 노드 인스턴스 타입을 바꾸자 노드가 한꺼번에 교체되었다. 그 노드 위에 있던 사용자 운영 파드도 한꺼번에 지워졌고, 사용자 서비스가 몇 분 동안 내려갔다. 대부분의 서비스는 10:30 쯤 돌아왔지만 DPS 서비스는 인증이 되지 않아 11:21 까지 내려가 있었다.\n\n10:26 에 처음 감지되었고 11:21 에 복구되었다. 복구까지 55분이 걸렸고, 타임라인에는 13:11 에 해결로 닫았다고 적혀 있다. 팀은 중단 없이 인스턴스 타입을 바꾸는 절차를 AWS 에 물었다. 또 Terraform 으로 하는 이 변경을 중단 없이 할 방법을 정해 런북에 적기로 했다."},"trigger":{"en":"The team changed the instance type of the cluster's worker nodes through Terraform.","ko":"팀이 Terraform 으로 노드 인스턴스 타입을 바꾸었다."},"severity":"unknown","symptoms":["service-unavailable"],"timeline":{"detected_after":null,"resolved_after":"55m"},"date_kind":"incident","detection":{"en":"Users reported that their production pods had been deleted at once and that Pingdom alerts showed their applications down; the incident was declared at 11:00.","ko":"사용자들이 운영 파드가 한꺼번에 지워졌다고 알렸고, 애플리케이션이 내려갔다는 Pingdom 알림을 받았다고 전했다. 첫 감지 시각은 10:26 이다."},"components":["node-pool","terraform"],"root_cause":"config-change","remediation":[],"action_items":[{"text":{"en":"Ask AWS, through a support ticket, for the steps to change the node instance type without an outage","ko":"중단 없이 노드 인스턴스 타입을 바꾸는 절차를 묻는 티켓을 AWS 에 열었다."}},{"text":{"en":"Plan how to make instance type changes through Terraform without downtime and add a runbook with the steps for changing the node instance type","ko":"Terraform 으로 하는 노드 인스턴스 타입 변경을 중단 없이 할 방법을 정하고, 그 절차를 런북으로 만든다."}}],"contributing":["blast-radius-too-wide","no-runbook"],"recurrence_of":null,"symptoms_text":{"en":"At 10:23 on 6 June 2023 a user of the Cloud Platform reported that all of their production pods had been deleted at the same moment. Several users received Pingdom alerts that their applications were down for a few minutes.\n\nBy 10:30 users reported that their services were running again. At 10:50 a user reported that the DPS service was down because people could not authenticate into it; the DPS service was reported back up at 11:21.","ko":"2023-06-06 10:23 에 한 사용자가 운영 파드가 한꺼번에 지워졌다고 알렸다. 여러 사용자가 같은 문제를 알렸고, 애플리케이션이 몇 분 동안 내려갔다는 Pingdom 알림을 받았다고 했다.\n\n10:30 에 사용자들은 서비스가 다시 올라왔다고 알렸다. 같은 시각 팀은 노드 인스턴스 타입을 바꾸는 동안 노드가 한꺼번에 교체되고 있었다는 것을 알아냈다.\n\n10:50 에 한 사용자가 DPS 서비스에 인증할 수 없어 서비스가 내려갔다고 알렸다. 팀은 11:00 에 장애를 선언했고, 11:21 에 DPS 서비스가 다시 돌아왔다는 연락을 받았다."},"updated_at":"2026-11-10T00:00:32.394909Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0091","org_slug":"uk-ministry-of-justice"}