{"id":"IL-0364","org":"UK Ministry of Justice","date":"2022-07-11","docs":["https://github.com/ministryofjustice/cloud-platform/issues?q=is%3Aissue+is%3Aopen+post-aws-incident"],"title":{"en":"A quarter of Cloud Platform ingress traffic was slow because an AWS NLB stopped health-checking targets in one zone","ko":"'default' 인그레스 컨트롤러로 들어오는 트래픽의 25% 가 느려졌다"},"domain":["aws","kubernetes","networking"],"impact":{"scope":"Slow performance for 25% of ingress traffic through the 'default' ingress controllers","users":"unknown","region":"one Availability Zone"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://runbooks.cloud-platform.service.justice.gov.uk/incidents/2022-07-11-slow-performance-for-ingress-traffic.html","kind":"runbook","archived":"https://web.archive.org/web/20260512040159/https://runbooks.cloud-platform.service.justice.gov.uk/incidents/2022-07-11-slow-performance-for-ingress-traffic.html"}],"summary":{"en":"After an AWS incident on 10 July 2022, the health checking subsystem of the NLB in front of the Cloud Platform's 'default' ingress controllers lost track of the targets in one Availability Zone. According to AWS, a latent software race condition was triggered when some health checking instances were restarted; the subsystem then returned no health status for that zone, did not detect some targets there as unhealthy, and clients connecting to one of the NLB's Elastic IPs timed out. The problem was first detected at 09:33 on 11 July and declared an incident at 10:11. AWS restarted the health checking subsystem, which refreshed its list of targets and recovered the NLB in the affected zone, and the incident was resolved at 16:07, with a time to repair of 6h 27m.","ko":"2022-07-11 09:33 에 영국 법무부 Cloud Platform 의 사용자들이 애플리케이션이 가끔 느리다고 알렸다. 전날 AWS 사고가 있은 뒤로 'default' 인그레스 컨트롤러의 네트워크 인터페이스 세 개 중 하나가 느렸고, 인그레스 트래픽의 25% 가 영향을 받았다. 10:11 에 사고를 선언했다.\n\nAWS 에 따르면 NLB 의 헬스 체크 하위 시스템은 대상마다 상태를 검사해 비정상인 대상을 서비스에서 뺀다. 근본 원인은 헬스 체크 인스턴스 일부가 재시작될 때 드러난 잠재된 소프트웨어 경쟁 상태였다. 그 뒤 헬스 체크 하위 시스템이 한 가용 영역에 있는 대상을 알지 못하게 되어 그 가용 영역의 헬스 체크 상태를 내지 않았고, 일부 대상을 비정상으로 감지하지 못했다. 그래서 클라이언트가 NLB 의 Elastic IP 가운데 하나로 연결하려 하면 타임아웃이 났다. AWS 가 헬스 체크 하위 시스템을 재시작해 대상 목록을 새로 읽게 하자 영향을 받은 가용 영역의 NLB 가 돌아왔다. 사고는 16:07 에 복구되어 해결로 닫혔다."},"trigger":{"en":"Some instances of the AWS NLB health checking subsystem were restarted, which set off a latent software race condition in that subsystem.","ko":"AWS 에서 헬스 체크 인스턴스 일부가 재시작될 때 잠재해 있던 소프트웨어 경쟁 상태가 드러났다. 그 뒤 NLB 의 헬스 체크 하위 시스템이 한 가용 영역에 있는 대상을 알지 못하게 됐다."},"severity":"unknown","symptoms":["high-latency","intermittent-timeouts"],"timeline":{"detected_after":null,"resolved_after":"6h 27m"},"date_kind":"incident","detection":{"en":"Users reported slow performance of their applications in the #ask-cloud-platform Slack channel.","ko":"사용자들이 #ask-cloud-platform 에 애플리케이션이 가끔 느리다고 알렸다. 첫 감지는 09:33 이었고 사고 선언은 10:11 이었다."},"components":["cloud-load-balancer","ingress"],"root_cause":"cloud-provider","remediation":[{"text":{"en":"AWS restarted the NLB health checking subsystem, which refreshed its list of targets and recovered the NLB in the affected Availability Zone","ko":"AWS 가 헬스 체크 하위 시스템을 재시작해 대상 목록을 새로 읽게 했고, 그 뒤 영향을 받은 가용 영역의 NLB 가 돌아왔다."}}],"action_items":[{"text":{"en":"Raised mitigation tickets after a post-incident review, filed as post-aws-incident issues in the ministryofjustice/cloud-platform repository","ko":"사고 뒤 검토에서 정한 완화 작업을 ministryofjustice/cloud-platform 저장소에 post-aws-incident 이슈로 올렸다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"On 11 July 2022 users reported in the #ask-cloud-platform Slack channel that their applications on the Ministry of Justice Cloud Platform were slow some of the time. About 25% of ingress traffic was affected: after an AWS incident the day before, one of the three network interfaces of the 'default' ingress controllers performed slowly, and clients timed out when they tried to connect to one of the Elastic IPs of the Network Load Balancer (NLB) in front of them.","ko":"2022-07-11 09:33 에 사용자들이 #ask-cloud-platform 에 애플리케이션이 가끔 느리다고 알렸다. 영향을 받은 것은 인그레스 트래픽의 25% 였다.\n\n전날 AWS 사고 뒤로 'default' 인그레스 컨트롤러의 네트워크 인터페이스 세 개 중 하나가 느렸다. AWS 설명으로는 NLB 의 헬스 체크 하위 시스템이 일부 대상을 비정상으로 감지하지 못했고, 클라이언트가 NLB 의 Elastic IP 가운데 하나로 연결하려 할 때 타임아웃이 났다.\n\n10:11 에 사고를 선언했고 16:07 에 복구됐다. 복구까지 6시간 27분이 걸렸다."},"updated_at":"2026-11-14T12:34:01.687818Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0364","org_slug":"uk-ministry-of-justice"}