{"id":"IL-0108","org":"DFDS","date":"2020-11-04","docs":[],"title":{"en":"An Alcide admission controller applied to the production cluster during a workshop made create and update requests on Deployments time out","ko":"워크숍 중 운영 클러스터에 적용한 Alcide admission 컨트롤러 때문에 Deployment 생성과 수정이 타임아웃되었다"},"domain":["kubernetes"],"impact":{"scope":"create and update operations in the Hellman Kubernetes cluster, mainly on Deployments","users":"users deploying to the Hellman cluster","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"New components are applied in sandbox clusters, not in production. The team needs enough Alcide knowledge to maintain the component until it is fully deprecated.","ko":"새로 들이는 구성 요소는 샌드박스 클러스터에 적용한다. Alcide 를 완전히 걷어낼 때까지 팀은 이를 유지할 수 있는 지식을 갖춰야 한다."},"related":[],"sources":[{"url":"https://github.com/dfds/postmortems/blob/master/PM2020-008%20-%20Alcide%20admission%20causing%20Kubernetes%20timeouts.md","kind":"github","license":"unknown","archived":null}],"summary":{"en":"DFDS held an Alcide workshop and used the production cluster Hellman as the sandbox. At 13:13 CET an Alcide admission controller was applied, on the understanding that it would not be disruptive; the team felt safe because it was re-applying something that had been there before. The admission controller was suspected of responding slowly, and every create and update request it covered timed out.\n\nUsers noticed when their deployments timed out, 88 minutes after the change. After confirming the problem and toggling the admission controller to test the fix, the team deleted it for good at 15:39. The postmortem also notes that no smoke tests existed to catch broken capabilities, and that knowledge of Alcide had not been spread across the team because the tool was about to be deprecated. Time to detection was 88 minutes and time to recovery 122 minutes.","ko":"2020-11-04 DFDS 는 Alcide 워크숍을 하면서 운영 클러스터 Hellman 을 실습 환경으로 썼다. 팀은 13:13 에 admission 컨트롤러를 적용하면서 영향이 없을 거라고 여겼다. 실제로는 이 컨트롤러 때문에 주로 Deployment 의 생성과 수정이 타임아웃되었고, apiGroups 가 \"\", \"apps\", \"batch\", \"extensions\" 인 리소스도 마찬가지였다. 팀은 admission 컨트롤러가 느리게 응답한 것으로 보고 있다.\n\n사용자 보고는 적용 뒤 1시간 28분이 지난 14:41 에 들어왔다. 배포 기능이 깨진 것을 잡을 스모크 테스트가 없었다. Alcide 는 곧 쓰지 않을 예정이라 팀 안에 아는 사람이 적었다. 이미 있던 것을 다시 적용할 뿐이라는 생각에 팀이 방심했다.\n\n팀은 15:15 에 컨트롤러를 껐다 켜며 원인을 확인했고, 15:39 에 영구히 지웠다. 감지까지 88분, 복구까지 122분이 걸렸다."},"trigger":{"en":"During an Alcide workshop that began at 13:00 CET, an Alcide admission controller was applied to the production cluster at 13:13 in the belief that it would not disrupt anything.","ko":"Alcide 워크숍 중 13:13 CET 에 운영 클러스터에 Alcide admission 컨트롤러를 적용했다. 팀은 이미 있던 것을 다시 적용하는 일이라 영향이 없을 거라고 여겼다."},"severity":"unknown","symptoms":["deploys-failing","control-plane-slow"],"timeline":{"detected_after":"1h 28m","resolved_after":"2h 2m"},"date_kind":"incident","detection":{"en":"Users reported timeouts when deploying to the Hellman cluster at 14:41 CET; the timeouts were verified at 15:04.","ko":"팀은 적용 1시간 28분 뒤인 14:41 CET 에 사용자들이 Hellman 에 배포할 때 타임아웃이 난다고 알려 와서 문제를 알았다. 이어 15:04 에 타임아웃을 확인했다."},"components":["admission-webhook","kube-apiserver"],"root_cause":"config-change","remediation":[{"text":{"en":"toggled the Alcide admission controller to verify that it caused the timeouts","ko":"Alcide admission 컨트롤러를 껐다 켜 보며 이 컨트롤러가 원인인지 확인했다."}},{"text":{"en":"permanently deleted the Alcide admission controller","ko":"Alcide admission 컨트롤러를 영구히 지웠다."}}],"action_items":[{"text":{"en":"Monitor Kubernetes deployments for timeouts","ko":"쿠버네티스 Deployment 의 타임아웃을 모니터링한다."}},{"text":{"en":"Monitor 5xx status codes from the Kubernetes API server","ko":"kube-apiserver 의 5xx 응답 코드를 모니터링한다."}}],"contributing":["no-config-tests","assumption-unverified","monitoring-blind-spot"],"recurrence_of":null,"symptoms_text":{"en":"At 14:41 CET on 4 November 2020 users reported timeouts when deploying to Hellman, the production Kubernetes cluster. The timeouts were confirmed at 15:04.\n\nCreate and update operations timed out, mostly on Deployments but also on other resources in the API groups \"\", \"apps\", \"batch\" and \"extensions\". The team suspected the Alcide admission controller applied earlier that day of answering too slowly, and at 15:15 switched it off and on to check.","ko":"2020-11-04 14:41 CET 에 사용자들이 쿠버네티스 클러스터 Hellman 에 배포할 때 타임아웃이 난다고 알려 왔다.\n\n타임아웃은 주로 Deployment 를 만들거나 고칠 때 났다. apiGroups 가 \"\", \"apps\", \"batch\", \"extensions\" 인 리소스의 생성과 수정 요청도 같이 타임아웃되었다.\n\n팀은 15:04 에 타임아웃을 확인했다. admission 컨트롤러가 늦게 응답한다고 의심했고, 15:15 에 Alcide admission 컨트롤러를 껐다 켜 보며 이 컨트롤러가 원인인지 확인했다."},"updated_at":"2026-11-10T00:00:33.525940Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0108","org_slug":"dfds"}