[{"id":"IL-0179","title":{"en":"With DEBUG logging and synchronous log output, a high-traffic service filled the 64 KB stdout pipe, so request threads blocked in write() while holding database connections and HikariCP ran dry, failing requests in 30-second bursts","ko":"DEBUG 로그가 쏟아지자 동기 로깅을 하던 요청 스레드들이 가득 찬 stdout 파이프에서 멈춘 채 DB 커넥션을 쥐고 있어, HikariCP 커넥션 풀이 고갈되고 요청이 30초 주기로 한꺼번에 실패했다."},"org":"MUSINSA","org_slug":"musinsa","date":"2026-10-01","severity":"unknown","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0179","shared_components":["telemetry-agent"]},{"id":"IL-0118","title":{"en":"A global change to Kubernetes namespace labels made the networking layer recompute metadata and overwhelmed the control planes of three of OpenAI's largest GPU clusters","ko":"쿠버네티스 네임스페이스 라벨을 전역으로 바꾸자 네트워크 계층이 메타데이터를 다시 계산하면서 가장 큰 GPU 클러스터들 가운데 세 곳의 컨트롤 플레인이 과부하에 빠졌고, ChatGPT 와 API 가 타임아웃과 503 오류를 냈다."},"org":"OpenAI","org_slug":"openai","date":"2024-11-25","severity":"unknown","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0118","shared_components":["kube-apiserver"]},{"id":"IL-0152","title":{"en":"An incorrect configuration applied during maintenance made an internal infrastructure cluster automatically delete the control planes of 200 DOKS clusters in FRA1","ko":"정비 작업 중 FRA1 내부 인프라 클러스터에 잘못된 설정이 들어가 그 위에서 돌던 DOKS 클러스터 200개의 컨트롤 플레인이 자동으로 삭제됐다."},"org":"DigitalOcean","org_slug":"digitalocean","date":"2024-01-23","severity":"unknown","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0152","shared_components":["kube-apiserver"]},{"id":"IL-0068","title":{"en":"Anonymous access to the Kubernetes API server used to plant a ClusterRoleBinding backdoor and a cryptominer DaemonSet","ko":"익명 요청을 허용한 쿠버네티스 API 서버로 공격자가 들어와 RBAC 로 백도어를 만들고, DaemonSet 으로 Monero 채굴기를 모든 노드에 띄웠다."},"org":"Aqua Security","org_slug":"aqua-security","date":"2023-04-21","severity":"unknown","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0068","shared_components":["kube-apiserver"]},{"id":"IL-0109","title":{"en":"A retried node rollover on a DFDS EKS cluster set the Auto Scaling group back to 15 instances, and the default termination policy removed every healthy worker node, leaving the cluster with no nodes","ko":"로그 수집을 고치려던 EKS 노드 롤오버가 꼬이면서 Auto Scaling 그룹이 정상 워커 노드를 모두 종료해 클러스터에 노드가 하나도 남지 않았다."},"org":"DFDS","org_slug":"dfds","date":"2023-02-14","severity":"sev1","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0109","shared_components":["telemetry-agent"]},{"id":"IL-0108","title":{"en":"An Alcide admission controller applied to the production cluster during a workshop made create and update requests on Deployments time out","ko":"워크숍 중 운영 클러스터에 적용한 Alcide admission 컨트롤러 때문에 Deployment 생성과 수정이 타임아웃되었다"},"org":"DFDS","org_slug":"dfds","date":"2020-11-04","severity":"unknown","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0108","shared_components":["kube-apiserver"]},{"id":"IL-0008","title":{"en":"An unresponsive OPA validating webhook crash-looped the API server during a GKE master upgrade, and node auto-repair then recreated every node","ko":"응답하지 않는 OPA 검증 웹훅 때문에 GKE 마스터 업그레이드가 멈추고 API 서버가 간헐적으로 끊기면서 노드가 끝없이 재생성됐다"},"org":"Jetstack","org_slug":"jetstack","date":"2019-09-05","severity":"unknown","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0008","shared_components":["kube-apiserver"]}]