{"id":"IL-0082","org":"RebelMouse","date":"2025-05-19","docs":[],"title":{"en":"Losing one CoreDNS pod during a planned EKS node reroll overloaded the remaining CoreDNS pods, causing DNS timeouts and errors across multiple services at RebelMouse","ko":"EKS 노드 교체 중 CoreDNS 파드 하나가 종료되자 남은 CoreDNS 파드가 늘어난 부하를 버티지 못해 DNS 조회가 느려지고 타임아웃이 났다."},"domain":["kubernetes","aws","networking"],"impact":{"scope":"multiple services and applications on the RebelMouse platform","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.rebelmouse.com/incidents/w170d4lz2bhl","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"CoreDNS is the DNS server that services inside a Kubernetes cluster use to find each other. During a planned reroll of the EKS nodes for security patches, the EC2 instance running one CoreDNS pod was terminated. Its share of DNS queries fell on the remaining CoreDNS pods, which could not handle the extra load, so DNS resolution slowed down and timed out for many services.\n\nThe CoreDNS deployment had been given CPU and memory of at least three times its average load. The root cause analysis found that this headroom still did not cover the sudden spike on the remaining pods when one pod disappeared. The team rescheduled the lost CoreDNS pod onto a new EC2 instance and raised the replica count of the CoreDNS deployment so the load spread evenly across more pods. Core functionality was back at 13:50 UTC, eight minutes after detection, and the incident was resolved at 14:13 UTC.","ko":"2025년 5월 19일 13:15 UTC 에 RebelMouse 는 보안 패치를 적용하려고 EKS 노드를 정기적으로 교체하기 시작했다. 이 과정에서 계획된 EC2 인스턴스 종료가 자동으로 일어나 CoreDNS 파드 하나가 종료됐다. CoreDNS 는 쿠버네티스 클러스터 안의 서비스가 쓰는 주 DNS 서버다. 남은 CoreDNS 파드들은 늘어난 부하를 감당하지 못했고, DNS 조회에서 타임아웃이 나기 시작했다.\n\nCoreDNS 에는 평균 부하의 최소 3배에 해당하는 CPU 와 메모리를 할당해 여유 있게 배포해 두었다. 그런데도 파드 하나가 빠지면서 부하가 갑자기 몰리자 남은 파드에서 DNS 조회가 병목이 됐다. 사용량이 가장 많은 시간대였기 때문에 영향이 컸다.\n\n팀은 종료된 CoreDNS 파드를 새 EC2 인스턴스로 다시 스케줄하고 CoreDNS 디플로이먼트의 레플리카 수를 늘렸다. 핵심 서비스는 13:50 UTC 에 돌아왔고 장애는 14:13 UTC 에 끝났다."},"trigger":{"en":"At 13:15 UTC RebelMouse started its regular reroll of EKS nodes to apply security patches. The planned, automatic termination of an EC2 instance terminated one of the CoreDNS pods.","ko":"보안 패치를 적용하는 정기 EKS 노드 교체 중에 계획된 EC2 인스턴스 종료가 자동으로 실행됐고, 그 인스턴스에서 돌던 CoreDNS 파드 하나도 함께 종료됐다."},"severity":"unknown","symptoms":["dns-resolution-failures","high-latency","high-error-rate","service-unavailable"],"timeline":{"detected_after":null,"resolved_after":"31m"},"date_kind":"incident","detection":{"en":"Monitoring tools detected an increased error rate and degraded service performance at 13:42 UTC, and the tech team started investigating at 13:44 UTC.","ko":"13:42 UTC 에 RebelMouse 모니터링 도구가 오류율 상승과 서비스 성능 저하를 잡아냈다. 노드 교체를 시작한 지 27분 뒤였다. 기술팀은 2분 뒤인 13:44 UTC 에 조사를 시작했다."},"components":["coredns","node-pool"],"root_cause":"capacity","remediation":[{"text":{"en":"rescheduled the affected CoreDNS pod onto a new EC2 instance","ko":"영향을 받은 CoreDNS 파드를 새 EC2 인스턴스로 다시 스케줄했다."}},{"text":{"en":"scaled up the CoreDNS deployment to more replicas so DNS load was spread evenly across all pods","ko":"CoreDNS 디플로이먼트를 스케일 업해 레플리카 수를 늘리고, 부하가 모든 파드에 고르게 나뉘게 했다."}}],"action_items":[{"text":{"en":"Add scale-in protection so CoreDNS pods are not terminated unexpectedly during peak load","ko":"부하가 몰리는 시간대에 CoreDNS 파드가 예기치 않게 종료되지 않도록 스케일 인 보호 장치를 넣는다."}},{"text":{"en":"Review the CoreDNS configuration so that vertical scaling of the pods works","ko":"CoreDNS 파드의 수직 확장이 제대로 되도록 CoreDNS 설정을 다시 살펴본다."}},{"text":{"en":"Hold regular capacity reviews so the CoreDNS deployment is provisioned for peak load","ko":"CoreDNS 디플로이먼트가 최대 부하를 감당할 만큼 준비돼 있는지 정기적으로 용량을 점검한다."}}],"contributing":["change-in-peak-hours"],"recurrence_of":null,"symptoms_text":{"en":"At 13:42 UTC on 19 May 2025, RebelMouse's monitoring tools reported a higher error rate and degraded performance across services. A routine reroll of the EKS nodes had started 27 minutes earlier, at 13:15 UTC.\n\nDNS lookups through CoreDNS became slow and timed out more often. Multiple services and applications were disrupted, and because this happened during peak usage hours, users widely reported the platform as unavailable.","ko":"2025년 5월 19일 13:42 UTC 에 RebelMouse 모니터링 도구가 오류율 상승과 서비스 성능 저하를 잡아냈다.\n\nCoreDNS 의 성능이 크게 떨어져 DNS 조회 지연이 늘고 타임아웃이 잦아졌다. 여러 서비스와 애플리케이션이 영향을 받아 서비스 가용성과 사용자 경험이 나빠졌다. 사용량이 가장 많은 시간대에 벌어진 일이라 플랫폼을 쓸 수 없다는 신고가 곳곳에서 들어왔다.\n\nRebelMouse 는 그보다 27분 앞선 13:15 UTC 에 보안 패치를 적용하려고 정기 EKS 노드 교체를 시작해 둔 상태였다. 기술팀은 13:44 UTC 에 조사를 시작했다."},"updated_at":"2026-11-10T00:00:31.896545Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0082","org_slug":"rebelmouse"}