[{"id":"IL-0108","title":{"en":"An Alcide admission controller applied to the production cluster during a workshop made create and update requests on Deployments time out","ko":"워크숍 중 운영 클러스터에 적용한 Alcide admission 컨트롤러 때문에 Deployment 생성과 수정이 타임아웃되었다"},"org":"DFDS","org_slug":"dfds","date":"2020-11-04","severity":"unknown","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0108","shared_components":["kube-apiserver","admission-webhook"]},{"id":"IL-0005","title":{"en":"A new telemetry service overloaded the Kubernetes API servers of large clusters and broke DNS-based service discovery for all OpenAI services","ko":"새 텔레메트리 서비스가 모든 노드에서 무거운 쿠버네티스 API 요청을 보내 대형 클러스터의 컨트롤 플레인이 무너졌고, DNS 기반 서비스 디스커버리가 깨져 OpenAI 의 모든 서비스가 멈췄다"},"org":"OpenAI","org_slug":"openai","date":"2024-12-11","severity":"unknown","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0005","shared_components":["kube-apiserver"]},{"id":"IL-0118","title":{"en":"A global change to Kubernetes namespace labels made the networking layer recompute metadata and overwhelmed the control planes of three of OpenAI's largest GPU clusters","ko":"쿠버네티스 네임스페이스 라벨을 전역으로 바꾸자 네트워크 계층이 메타데이터를 다시 계산하면서 가장 큰 GPU 클러스터들 가운데 세 곳의 컨트롤 플레인이 과부하에 빠졌고, ChatGPT 와 API 가 타임아웃과 503 오류를 냈다."},"org":"OpenAI","org_slug":"openai","date":"2024-11-25","severity":"unknown","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0118","shared_components":["kube-apiserver"]},{"id":"IL-0152","title":{"en":"An incorrect configuration applied during maintenance made an internal infrastructure cluster automatically delete the control planes of 200 DOKS clusters in FRA1","ko":"정비 작업 중 FRA1 내부 인프라 클러스터에 잘못된 설정이 들어가 그 위에서 돌던 DOKS 클러스터 200개의 컨트롤 플레인이 자동으로 삭제됐다."},"org":"DigitalOcean","org_slug":"digitalocean","date":"2024-01-23","severity":"unknown","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0152","shared_components":["kube-apiserver"]},{"id":"IL-0153","title":{"en":"DOKS worker nodes went NotReady at 06:00 UTC on three days because a systemd timer in the Debian image ran apt upgrade and killed it mid kernel upgrade, breaking node networking","ko":"DOKS 1.27.6-do.0 과 1.28.2-do.0 워커 노드에서 매일 아침 도는 apt 자동 업그레이드가 15분 타임아웃에 걸려 강제 종료되면서 노드 네트워킹이 망가지고, 노드가 사흘 연속 NotReady 가 됐다."},"org":"DigitalOcean","org_slug":"digitalocean","date":"2023-10-08","severity":"unknown","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0153","shared_components":["kubelet"]},{"id":"IL-0068","title":{"en":"Anonymous access to the Kubernetes API server used to plant a ClusterRoleBinding backdoor and a cryptominer DaemonSet","ko":"익명 요청을 허용한 쿠버네티스 API 서버로 공격자가 들어와 RBAC 로 백도어를 만들고, DaemonSet 으로 Monero 채굴기를 모든 노드에 띄웠다."},"org":"Aqua Security","org_slug":"aqua-security","date":"2023-04-21","severity":"unknown","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0068","shared_components":["kube-apiserver"]},{"id":"IL-0061","title":{"en":"A Terraform pull request merged out of order deleted a production GKE cluster, and recreating it deleted a second one","ko":"Terraform 상태 파일이 리뷰 빌드에서 바뀐 데다 권한 차이까지 겹쳐 Terraform 이 운영 GKE 클러스터 세 개 중 두 개를 삭제했다"},"org":"Spotify","org_slug":"spotify","date":"2019-05-22","severity":"unknown","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0061","shared_components":["gke-control-plane"]},{"id":"IL-0035","title":{"en":"Worker nodes went NotReady after a new ElastAlert rule without memory limits used up node memory","ko":"ElastAlert 에 새로 넣은 알림 규칙 때문에 ElastAlert 파드가 메모리를 끝없이 써서 노드가 잇달아 NotReady 가 되었고, 같은 클러스터의 도구와 Grafana, Prometheus 가 함께 흔들렸다."},"org":"NU.nl","org_slug":"nu-nl","date":"2019-02-01","severity":"unknown","root_cause":"config-change","url":"https://benchlet.com/incidentlib/app/cases/IL-0035","shared_components":["kubelet"]}]