{"id":"IL-0045","org":"UK Ministry of Justice","date":"2023-11-01","docs":[],"title":{"en":"Prometheus on the live cluster restarted several times after readiness probe failures, leaving gaps in metrics","ko":"live 클러스터의 Prometheus 가 readiness probe 실패로 여러 번 재시작해 Cloud Platform 모니터링이 끊기고 메트릭이 빠졌다"},"domain":["kubernetes","aws","observability"],"impact":{"scope":"Prometheus on the live cluster unavailable; Cloud Platform monitoring lost for periods, with missing metrics","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://runbooks.cloud-platform.service.justice.gov.uk/incidents/2023-11-01-prometheus-restarted.html","kind":"runbook","license":"unknown","archived":null}],"summary":{"en":"Prometheus on the Cloud Platform's live cluster restarted several times, and each time the platform lost monitoring for a while, which left gaps in the metrics. Before the restarts, Prometheus logged many rule evaluation failures and its readiness probe failed.\n\nAfter going through the logs, the team concluded that one possible root cause was the readiness probe failing before Prometheus restarted, and raised the readiness probe timeout from 3 to 6 seconds; the incident was then marked repaired and resolved. The report does not establish why the readiness probe failed and lists open questions in its review actions: whether data ingestion is too big or too long, whether some queries make Prometheus work so hard that it stops answering the probe, whether other services probing Prometheus trigger the restart, and whether regular Velero backups disturb EBS reads and writes.","ko":"영국 법무부 Cloud Platform 의 live 클러스터에서 Prometheus 가 여러 번 재시작했다. Prometheus 를 쓸 수 없는 동안 Cloud Platform 은 모니터링을 잃었고 그 구간의 메트릭이 빠졌다.\n\n팀은 debug 로그를 켜고 로그를 조사했다. 11월 3일에 재시작 직전의 readiness probe 실패가 원인일 수 있다고 판단했고, readiness probe 타임아웃을 3초에서 6초로 늘렸다. 복구와 종료까지 걸린 시간은 35시간 36분이었다. 보고서의 주요 시점 목록에는 복구 시각이 11월 3일 14:38 로, 타임라인에는 16:01 로 적혀 있다.\n\n보고서는 probe 가 왜 실패했는지 확정하지 않았다. 대신 데이터 수집량, 무거운 쿼리, Prometheus 에 상태 검사를 보내는 다른 서비스, velero 백업이 EBS 읽기와 쓰기에 주는 영향을 후속 조사 항목으로 남겼다."},"trigger":null,"severity":"unknown","symptoms":["monitoring-down","readiness-probe-failures"],"timeline":{"detected_after":null,"resolved_after":"35h36m"},"date_kind":"incident","detection":{"en":"A Pingdom health check on the live Prometheus failed and raised a PagerDuty high-priority alert.","ko":"Pingdom 의 Prometheus - live healthcheck 가 DOWN 이 되면서 PagerDuty 높은 우선순위 알림이 울렸다. 몇 분 사이에 같은 알림이 세 번 울리자 팀은 장애를 선언했다."},"components":["prometheus"],"root_cause":"unknown","remediation":[{"text":{"en":"increased the Prometheus readiness probe timeout from 3 to 6 seconds","ko":"Prometheus 가 재시작하지 않도록 readiness probe 타임아웃을 3초에서 6초로 늘렸다."}}],"action_items":[{"text":{"en":"Inspect more closely to identify this kind of failure earlier","ko":"이런 실패를 더 일찍 찾아내도록 점검을 더 꼼꼼히 할 방법을 찾는다."}},{"text":{"en":"Investigate whether the ingestion of data into the database is too big or too long","ko":"데이터베이스로 들어가는 데이터 수집의 양이 너무 많거나 시간이 너무 오래 걸리는지 조사한다."}},{"text":{"en":"Check whether executing some queries makes Prometheus work harder and stop responding to the readiness probe","ko":"일부 쿼리가 Prometheus 에 부담을 줘서 Prometheus 가 readiness probe 에 응답하지 못하는지 조사한다."}},{"text":{"en":"Check whether any other service probing Prometheus triggers the restart","ko":"Prometheus 에 상태 검사를 보내는 다른 서비스가 재시작을 일으키는지 조사한다."}},{"text":{"en":"Check whether regular Velero backups disturb EBS reads and writes and cause the restart","ko":"정기 velero 백업이 EBS 읽기와 쓰기를 방해해 재시작을 일으키는지 조사한다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"At 10:15 on 1 November 2023 a Pingdom check raised a PagerDuty high-priority alert that the \"Prometheus - live healthcheck is DOWN\". The same alert fired for the third time within a few minutes, and the incident was declared at 10:41.\n\nThe Prometheus pod had restarted and the prometheus container was starting up again. Prometheus logs showed numerous \"Evaluation rule failed\" messages, and events in the monitoring namespace recorded \"Readiness Probe failed\" for Prometheus. While Prometheus was down, the Cloud Platform had no monitoring and metrics went missing.\n\nAt 12:35 the team switched Prometheus to the debug log level to understand the problem.","ko":"2023-11-01 10:15 에 Pingdom 이 Prometheus - live healthcheck 가 DOWN 이라며 PagerDuty 로 높은 우선순위 알림을 보냈다. 팀은 알림을 확인하고 Prometheus 서버 상태를 살폈다.\n\n10:41 에 몇 분 간격으로 같은 알림이 세 번째 울렸고 팀은 장애를 선언했다. 이때 Prometheus 파드는 재시작한 뒤 prometheus 컨테이너가 올라오는 중이었다. Prometheus 로그에는 Evaluation rule failed 가 많이 찍혀 있었고, monitoring 네임스페이스의 이벤트에는 Prometheus 의 Readiness Probe failed 가 기록되어 있었다.\n\n12:35 에 팀은 원인을 알아보려고 Prometheus 의 로그 레벨을 debug 로 올렸다. 재시작이 반복되는 동안 Cloud Platform 은 한동안 모니터링을 잃었고 그 구간의 메트릭이 비었다."},"updated_at":"2026-11-10T00:00:38.577433Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0045","org_slug":"uk-ministry-of-justice"}