[{"id":"IL-0077","title":{"en":"EKS cluster went read-only for over seven hours after Kyverno ephemeralreports filled the etcd database past its size limit","ko":"Kyverno 1.12 가 만든 ephemeralreports 객체가 쌓여 EKS 의 etcd 데이터베이스가 한도를 넘었고 운영 클러스터가 읽기 전용이 되어 모든 쓰기가 거부됐다"},"org":"Marcin Cuber","org_slug":"marcin-cuber","date":"2024-06-05","severity":"sev1","root_cause":"software-bug","url":"https://benchlet.com/incidentlib/app/cases/IL-0077","shared_components":["kube-apiserver","etcd"]},{"id":"IL-0003","title":{"en":"linkerd lost Kubernetes service discovery after an etcd reconfiguration, and restarting every linkerd instance turned failed payments into a full platform outage","ko":"etcd 클러스터 재구성 뒤 쿠버네티스 버그로 linkerd 가 서비스 위치 갱신을 받지 못했고, linkerd 를 모두 재시작하자 엔드포인트가 없는 서비스를 파싱하지 못하는 오류가 드러나 플랫폼 전체가 멈췄다"},"org":"Monzo","org_slug":"monzo","date":"2017-10-27","severity":"unknown","root_cause":"software-bug","url":"https://benchlet.com/incidentlib/app/cases/IL-0003","shared_components":["kube-apiserver","etcd"]},{"id":"IL-0053","title":{"en":"Unauthenticated ingress-nginx admission webhook let anyone on the pod network run code and read every Secret in the cluster (IngressNightmare, CVE-2025-1974)","ko":"Ingress NGINX Controller의 어드미션 웹훅이 인증 없이 열려 있어, 조작한 Ingress 객체로 NGINX 설정을 주입해 원격 코드를 실행하고 클러스터의 모든 Secret을 읽을 수 있었다"},"org":"Wiz","org_slug":"wiz","date":"2025-03-24","severity":"unknown","root_cause":"software-bug","url":"https://benchlet.com/incidentlib/app/cases/IL-0053","shared_components":["ingress"]},{"id":"IL-0081","title":{"en":"API requests timed out during deployment rollouts because the ingress-nginx enable-serial-reloads option held back endpoint updates while a long NGINX reload was running","ko":"ingress-nginx 의 enable-serial-reloads 옵션이 NGINX 리로드 중에 엔드포인트 동적 갱신을 막아, 배포 중 트래픽이 이미 없는 파드로 가면서 API 요청이 타임아웃됐다."},"org":"Cresta","org_slug":"cresta","date":"2025-03-05","severity":"unknown","root_cause":"software-bug","url":"https://benchlet.com/incidentlib/app/cases/IL-0081","shared_components":["ingress"]},{"id":"IL-0138","title":{"en":"A failed Nvidia driver build left broken kernel packages on the only Kubernetes master node, which hit a kernel panic on reboot after a power outage and took the homelab cluster down for six days","ko":"nvidia-dkms-390 드라이버 빌드 실패로 망가진 커널 헤더가 몇 주 동안 방치됐다가, 정전 뒤 재부팅하자 하나뿐인 마스터 노드가 커널 패닉에 빠져 홈랩 쿠버네티스 클러스터가 6일 동안 멈췄다."},"org":"Barush Mendez","org_slug":"barush-mendez","date":"2025-03-03","severity":"unknown","root_cause":"software-bug","url":"https://benchlet.com/incidentlib/app/cases/IL-0138","shared_components":["kube-apiserver"]},{"id":"IL-0106","title":{"en":"A malformed Traefik IngressRoute triggered a Traefik v2 bug once a node rollover restarted every Traefik pod, and all Kubernetes services returned 404","ko":"잘못된 IngressRoute 매니페스트가 Traefik v2 버그를 건드려 Traefik 파드가 모두 재시작된 뒤 Kubernetes 의 모든 서비스가 404 를 냈다"},"org":"DFDS","org_slug":"dfds","date":"2021-09-06","severity":"unknown","root_cause":"software-bug","url":"https://benchlet.com/incidentlib/app/cases/IL-0106","shared_components":["ingress"]},{"id":"IL-0190","title":{"en":"Cortex distributors kept a stuck connection to a dead etcd leader after a Kubernetes upgrade terminated its node, failing writes to Hosted Prometheus for 12 minutes","ko":"쿠버네티스 업그레이드로 etcd 리더가 있던 노드가 갑자기 종료된 뒤, Cortex distributor 두 개가 옛 리더와 맺은 TCP 연결이 멈춘 채 그 연결을 계속 써서 런던 리전 Hosted Prometheus 쓰기가 12분 동안 일부 실패했다."},"org":"Grafana Labs","org_slug":"grafana-labs","date":"2020-03-16","severity":"unknown","root_cause":"software-bug","url":"https://benchlet.com/incidentlib/app/cases/IL-0190","shared_components":["etcd"]},{"id":"IL-0196","title":{"en":"Adding a second Redis replica and lowering memory limits in one RedisFailover change restarted the only Redis pod that held data, and Sentinel promoted the empty new replica, erasing the data","ko":"Redis Operator 로 레플리카를 늘리면서 메모리 한도를 낮추자 데이터를 가진 유일한 Redis 파드가 재시작됐고, Sentinel 이 빈 레플리카를 마스터로 올려 데이터가 모두 지워졌다."},"org":"Palark","org_slug":"palark","date":"2020-03-13","severity":"unknown","root_cause":"software-bug","url":"https://benchlet.com/incidentlib/app/cases/IL-0196","shared_components":["persistent-volume"]},{"id":"IL-0062","title":{"en":"Intermittent 502 errors behind a GKE Ingress because pods shut down before the load balancer stopped sending them traffic","ko":"GKE Ingress 뒤의 파드가 SIGTERM 을 받자마자 새 연결을 받지 않고 정상 종료해서 API 에 가끔 502 오류가 났다"},"org":"Ravelin","org_slug":"ravelin","date":"2019-07-26","severity":"unknown","root_cause":"software-bug","url":"https://benchlet.com/incidentlib/app/cases/IL-0062","shared_components":["ingress"]},{"id":"IL-0011","title":{"en":"HAProxy ingress piled requests onto the same pods because a Go template visited the backend map in sorted pod IP order","ko":"HAProxy 인그레스 템플릿이 백엔드 파드를 IP 순으로 정렬해 일부 파드에 요청이 몰리고 인그레스 컨테이너가 OOMKilled 됐다"},"org":"Skyscanner","org_slug":"skyscanner","date":"2019-04-23","severity":"unknown","root_cause":"software-bug","url":"https://benchlet.com/incidentlib/app/cases/IL-0011","shared_components":["ingress"]},{"id":"IL-0030","title":{"en":"Most nodes of a cluster went NotReady together for 15 minutes while the API server sat behind an AWS ELB","ko":"쿠버네티스 v1.7.4 클러스터에서 노드들이 한꺼번에 NotReady 가 되어 쓸 수 있는 노드가 20% 미만으로 줄었다."},"org":"Zalando","org_slug":"zalando","date":"2019-02-11","severity":"unknown","root_cause":"software-bug","url":"https://benchlet.com/incidentlib/app/cases/IL-0030","shared_components":["kube-apiserver"]}]