[{"id":"IL-0115","title":{"en":"One of OpenAI's three production AKS clusters went offline through a human error, and rebuilding it took 10½ hours because an AKS Kubernetes upgrade broke the ingress and AKS cannot be downgraded","ko":"OpenAI 의 운영 AKS 클러스터 세 개 중 하나가 사람의 실수로 통째로 내려가 Codex, Embeddings, 구형 GPT 모델과 파인튜닝 모델이 최대 12시간 동안 제대로 응답하지 못했다"},"org":"OpenAI","org_slug":"openai","date":"2022-06-23","severity":"unknown","root_cause":"human-operation","url":"https://benchlet.com/incidentlib/app/cases/IL-0115","shared_components":["ingress"]},{"id":"IL-0197","title":{"en":"Moving a three-node Elasticsearch StatefulSet to new persistent volumes split the cluster in two, because the Helm chart hardcoded cluster.initial_master_nodes to elasticsearch-0","ko":"Elasticsearch StatefulSet 을 새 퍼시스턴트 볼륨으로 옮기던 중 빈 볼륨으로 다시 뜬 elasticsearch-0 이 혼자 새 클러스터를 만들어 스플릿 브레인이 났다."},"org":"Palark","org_slug":"palark","date":"2021-05-27","severity":"unknown","root_cause":"human-operation","url":"https://benchlet.com/incidentlib/app/cases/IL-0197","shared_components":["persistent-volume"]},{"id":"IL-0089","title":{"en":"A test cluster deletion script run with the kube context pointing at the live-1 production cluster deleted its ingress controller, monitoring, logging, cert-manager, kiam and external-dns","ko":"테스트 클러스터 삭제 스크립트가 운영 클러스터 live-1 을 대상으로 실행돼 인그레스 컨트롤러, 모니터링, 인증서 구성 요소가 지워지고 사용자 서비스에 접속할 수 없게 됐다."},"org":"UK Ministry of Justice","org_slug":"uk-ministry-of-justice","date":"2020-09-21","severity":"unknown","root_cause":"human-operation","url":"https://benchlet.com/incidentlib/app/cases/IL-0089","shared_components":["ingress"]},{"id":"IL-0054","title":{"en":"All ingress traffic lost while draining a GKE node pool because the load balancer only targeted new nodes without ingress-nginx pods","ko":"GKE 에서 옛 노드 풀을 드레인하자 로드밸런서가 ingress-nginx 파드가 없는 새 노드만 가리켜 클러스터의 모든 인그레스 트래픽이 끊겼다"},"org":"DevOps Hof","org_slug":"devops-hof","date":"2019-02-01","severity":"unknown","root_cause":"human-operation","url":"https://benchlet.com/incidentlib/app/cases/IL-0054","shared_components":["ingress"]}]