[{"id":"IL-0102","title":{"en":"CoreDNS pods on a production EKS cluster ran out of memory under a burst of new pods, endpoints and nodes, taking down the Buildkite web UI, APIs and job dispatch","ko":"배포와 워커 오토스케일링 폭주가 겹치자 크기를 고정해 둔 CoreDNS 가 메모리 한도를 넘겨 재시작된 뒤 회복하지 못했고, Buildkite 사이트 전체가 약 30분 멈췄다."},"org":"Buildkite","org_slug":"buildkite","date":"2026-08-25","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0102","shared_components":["memory-limit"]},{"id":"IL-0099","title":{"en":"User servers on 2i2c's Earthscope hub took over 15 minutes to start and kernels were killed during a workshop, because a profile option guaranteed 8 GB of memory with no limit on 32 GB nodes","ko":"메모리 상한 없이 8GB 만 보장한 프로필 때문에 워크숍 중 사용자 파드가 서로를 축출해 서버 시작이 15분을 넘고 커널이 죽었다."},"org":"2i2c","org_slug":"2i2c","date":"2025-05-12","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0099","shared_components":["memory-limit"]},{"id":"IL-0027","title":{"en":"All CoreDNS pods landed on one node, the node ran out of memory, and DNS for the whole service went down","ko":"CoreDNS 파드가 모두 한 노드에 몰린 채 그 노드의 메모리가 고갈되자 DNS 가 응답하지 못해 아이디어스 서비스 전체가 멈췄다"},"org":"Backpackr","org_slug":"backpackr","date":"2025-05-07","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0027","shared_components":["memory-limit"]},{"id":"IL-0204","title":{"en":"An etcd memory spike overloaded the control plane of a Render Frankfurt cluster, and DNS then failed because CoreDNS ran on the rebooted control plane nodes and could not start without the API server","ko":"Render 프랑크푸르트 클러스터에서 etcd 메모리 급증으로 컨트롤 플레인이 과부하에 걸렸고, 컨트롤 플레인 노드를 재부팅하자 그 위의 CoreDNS 가 다시 뜨지 못해 DNS 가 멈췄다."},"org":"Render","org_slug":"render","date":"2024-12-17","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0204","shared_components":["kube-apiserver"]},{"id":"IL-0044","title":{"en":"Prometheus OOMKilled in a loop while replaying its write-ahead log after a kube-prometheus-stack upgrade","ko":"kube-prometheus-stack 업그레이드 뒤 Prometheus 가 WAL 재생 중 메모리를 50Gi 넘게 써서 시작할 때마다 OOMKilled 로 죽었다"},"org":"Saifeddine Rajhi","org_slug":"saifeddine-rajhi","date":"2024-06-14","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0044","shared_components":["memory-limit"]},{"id":"IL-0110","title":{"en":"A Grafana Agent pod's high memory use and crash-looping Hangfire pods drove a Kubernetes node into system OOM and NotReady, twice in one day","ko":"Grafana Agent 파드가 메모리를 많이 쓰던 노드에 Hangfire 파드가 함께 올라가 시스템 OOM 으로 CrashLoopBackOff 를 반복했고, 노드가 응답을 멈추고 NotReady 가 됐다."},"org":"DFDS","org_slug":"dfds","date":"2024-03-13","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0110","shared_components":["memory-limit"]},{"id":"IL-0168","title":{"en":"Simultaneous cluster auto-upgrades overloaded Scaleway's Kubernetes API, and a node authentication retry loop kept Kapsule and Kosmos nodes NotReady in FR-PAR","ko":"새 쿠버네티스 릴리스 뒤 많은 Kapsule 클러스터가 동시에 자동 업그레이드되면서 Kubernetes API 가 과부하로 OOM 이 났고, 새 노드 인증 방식의 재시도가 혼잡을 키워 노드가 Not Ready 가 됐다."},"org":"Scaleway","org_slug":"scaleway","date":"2024-02-13","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0168","shared_components":["kube-apiserver"]},{"id":"IL-0169","title":{"en":"The Scaleway Kubernetes API in FR-PAR ran out of memory under simultaneous deployments, and because it also handled node authentication, Kapsule and Kosmos nodes went NotReady","ko":"FR-PAR 의 Scaleway Kubernetes API 가 메모리 부족으로 쓰러져 노드 인증이 막히고 Kapsule 노드가 NotReady 가 됐다."},"org":"Scaleway","org_slug":"scaleway","date":"2024-01-24","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0169","shared_components":["memory-limit"]},{"id":"IL-0016","title":{"en":"Prometheus on the live cluster ran out of memory and was OOMKilled, and the monitoring node it ran on went NotReady","ko":"네임스페이스와 규칙이 늘어 live 클러스터의 Prometheus 가 메모리 부족으로 OOMKilled 되며 플랫폼 모니터링이 끊겼다"},"org":"UK Ministry of Justice","org_slug":"uk-ministry-of-justice","date":"2023-07-25","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0016","shared_components":["memory-limit"]},{"id":"IL-0195","title":{"en":"The kube-apiservers of a cluster with more than 200 nodes ran out of memory and crashed one after another under mass LIST requests from Cilium agents","ko":"200개가 넘는 노드의 고객 클러스터에서 Cilium 파드가 LIST 요청을 한꺼번에 쏟아내 kube-apiserver 가 메모리를 다 쓰고 죽기를 되풀이했다."},"org":"Palark","org_slug":"palark","date":"2023-06-07","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0195","shared_components":["kube-apiserver"]},{"id":"IL-0194","title":{"en":"After a kube-apiserver restart, pod LIST requests from every pod of a Vector DaemonSet nearly tripled etcd memory and restarted all master nodes","ko":"kube-apiserver 재시작 뒤 Vector DaemonSet 의 파드 list 요청이 한꺼번에 몰려 etcd 메모리가 세 배 가까이 늘고 마스터 노드가 연쇄적으로 재시작했다."},"org":"Palark","org_slug":"palark","date":"2023-03-23","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0194","shared_components":["kube-apiserver"]},{"id":"IL-0206","title":{"en":"Consul agents in GitLab.com's GKE pods were repeatedly OOM-killed, so the Rails pods lost database replica discovery and sent every query to the primary","ko":"GKE 파드 안의 Consul 에이전트가 메모리 급증으로 거듭 OOM kill 되어 Rails 파드가 데이터베이스 복제본을 찾지 못했고, 모든 쿼리가 primary 로 몰려 GitLab.com 이 느려졌다."},"org":"GitLab","org_slug":"gitlab","date":"2022-04-25","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0206","shared_components":["memory-limit"]},{"id":"IL-0094","title":{"en":"Student pods filled the shared nodes of a JupyterHub cluster and starved the hub's core pods, freezing the hub","ko":"JupyterHub 클러스터에서 학생 파드가 노드의 CPU 와 메모리를 다 써서 자원 보장이 부족했던 코어 파드가 자원을 얻지 못했고, 허브 전체가 멈췄다."},"org":"2i2c","org_slug":"2i2c","date":"2020-10-28","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0094","shared_components":["memory-limit"]},{"id":"IL-0026","title":{"en":"Kubernetes nodes hit SystemOOM because fluentd-sumologic log shipper pods had no memory limits","ko":"메모리 제한이 없는 fluentd-sumologic 파드가 메모리를 다 써서 운영 쿠버네티스 노드 두 대에 이틀 연속 SystemOOM 이 났다"},"org":"Blue Matador","org_slug":"blue-matador","date":"2019-06-15","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0026","shared_components":["memory-limit"]},{"id":"IL-0002","title":{"en":"CI builder pods could not get AWS IAM credentials because kubelet fell minutes behind its API rate limit","ko":"빌더 파드가 노드 한 대에 몰리자 kubelet 이 기본 API QPS 한도에 막혀 파드 상태를 늦게 갱신했고, CI 빌드가 AWS IAM 자격 증명을 받지 못해 실패했다"},"org":"Zalando","org_slug":"zalando","date":"2019-06-11","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0002","shared_components":["kube-apiserver"]},{"id":"IL-0076","title":{"en":"Kubernetes masters went down after Dex filled etcd with AuthRequest objects and deleting its namespace started an endless list-and-timeout loop","ko":"dex의 AuthRequest 리소스가 끝없이 쌓였고, 이를 치우려고 네임스페이스를 지우자 목록 조회 타임아웃과 재시도가 반복되며 쿠버네티스 마스터가 내려갔다"},"org":"Fullstaq","org_slug":"fullstaq","date":"2019-06-01","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0076","shared_components":["kube-apiserver"]},{"id":"IL-0075","title":{"en":"Kubernetes API servers pegged on CPU when the cluster grew to about 290 nodes, traced to Datadog agents polling the API","ko":"클러스터가 EC2 인스턴스 약 290대로 커지자 노드마다 도는 Datadog 에이전트가 쿠버네티스 API 를 폴링하면서 API 서버가 CPU 와 메모리를 다 써 쿠버네티스 컨트롤 플레인을 쓸 수 없게 됐다."},"org":"Civis Analytics","org_slug":"civis-analytics","date":"2019-01-16","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0075","shared_components":["kube-apiserver"]},{"id":"IL-0001","title":{"en":"Cluster-wide DNS outage after CoreDNS pods were OOM-killed again and again under a burst of DNS queries","ko":"CoreDNS 파드가 메모리 한도 100Mi 에 걸려 OOM 으로 계속 죽으면서 쿠버네티스 클러스터 전체의 DNS 가 멈췄다"},"org":"Zalando","org_slug":"zalando","date":"2019-01-07","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0001","shared_components":["memory-limit"]},{"id":"IL-0031","title":{"en":"Kubernetes API server OOM-killed, leaving the Skipper ingress without routes; the talk points to a misconfigured CronJob manifest","ko":"API 서버가 OOMKill로 죽자 Skipper 인그레스가 라우트를 잃었고, 고객 트래픽이 끊기며 IAM 서비스에서 404 오류가 났다"},"org":"Zalando","org_slug":"zalando","date":"2018-12-05","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0031","shared_components":["kube-apiserver"]}]