[{"id":"IL-0042","title":{"en":"Application logs stopped reaching Elasticsearch and OpenSearch for hours and were lost when OpenSearch ran out of disk space","ko":"OpenSearch 디스크가 가득 찬 동안 fluent-bit 가 로그를 처리하지 못해 Elasticsearch 와 OpenSearch 에 애플리케이션 로그가 들어오지 않았다."},"org":"UK Ministry of Justice","org_slug":"uk-ministry-of-justice","date":"2024-07-25","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0042","shared_components":["telemetry-agent"]},{"id":"IL-0110","title":{"en":"A Grafana Agent pod's high memory use and crash-looping Hangfire pods drove a Kubernetes node into system OOM and NotReady, twice in one day","ko":"Grafana Agent 파드가 메모리를 많이 쓰던 노드에 Hangfire 파드가 함께 올라가 시스템 OOM 으로 CrashLoopBackOff 를 반복했고, 노드가 응답을 멈추고 NotReady 가 됐다."},"org":"DFDS","org_slug":"dfds","date":"2024-03-13","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0110","shared_components":["telemetry-agent"]},{"id":"IL-0194","title":{"en":"After a kube-apiserver restart, pod LIST requests from every pod of a Vector DaemonSet nearly tripled etcd memory and restarted all master nodes","ko":"kube-apiserver 재시작 뒤 Vector DaemonSet 의 파드 list 요청이 한꺼번에 몰려 etcd 메모리가 세 배 가까이 늘고 마스터 노드가 연쇄적으로 재시작했다."},"org":"Palark","org_slug":"palark","date":"2023-03-23","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0194","shared_components":["telemetry-agent"]},{"id":"IL-0026","title":{"en":"Kubernetes nodes hit SystemOOM because fluentd-sumologic log shipper pods had no memory limits","ko":"메모리 제한이 없는 fluentd-sumologic 파드가 메모리를 다 써서 운영 쿠버네티스 노드 두 대에 이틀 연속 SystemOOM 이 났다"},"org":"Blue Matador","org_slug":"blue-matador","date":"2019-06-15","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0026","shared_components":["telemetry-agent"]},{"id":"IL-0075","title":{"en":"Kubernetes API servers pegged on CPU when the cluster grew to about 290 nodes, traced to Datadog agents polling the API","ko":"클러스터가 EC2 인스턴스 약 290대로 커지자 노드마다 도는 Datadog 에이전트가 쿠버네티스 API 를 폴링하면서 API 서버가 CPU 와 메모리를 다 써 쿠버네티스 컨트롤 플레인을 쓸 수 없게 됐다."},"org":"Civis Analytics","org_slug":"civis-analytics","date":"2019-01-16","severity":"unknown","root_cause":"capacity","url":"https://benchlet.com/incidentlib/app/cases/IL-0075","shared_components":["telemetry-agent"]}]