{"id":"IL-0200","org":"GitHub","date":"2026-03-12","docs":[],"title":{"en":"Newly provisioned Kubernetes nodes ran an incompatible etcd version and broke cluster consensus in several GitHub production clusters, causing 5XX errors on Git operations and page loads","ko":"새로 띄운 쿠버네티스 노드가 호환되지 않는 etcd 버전으로 돌아 여러 운영 클러스터의 합의가 깨졌고, GitHub.com 의 git 작업과 웹 요청이 5XX 오류로 실패했다."},"domain":["kubernetes"],"impact":{"scope":"Git operations (git push, git clone), web page loads and related services on GitHub.com; deployments paused","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://www.githubstatus.com/incidents/lw6j95nyw3py","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"GitHub was carrying out a planned infrastructure upgrade in which Kubernetes nodes were replaced. A configuration issue meant the newly provisioned nodes came up running an incompatible version of etcd, the key-value store that holds Kubernetes cluster state and only works while its members agree with each other (consensus). The incompatible members disrupted consensus in several production clusters, and between 01:36 and 08:11 UTC GitHub.com served intermittent 5XX errors on Git operations and web requests.\n\nOnce engineers identified the incompatible nodes, they removed them and cluster consensus was restored. Deployments stayed paused until a validation deploy had confirmed that all systems were healthy, and then normal operations resumed. GitHub's follow-up work is to enforce version compatibility in code whenever nodes are replaced, to detect split-brain conditions (cluster members that no longer agree on state) earlier, and to make the recovery tooling restore clusters faster.","ko":"2026년 3월 12일 01:36 부터 08:11 UTC 까지 GitHub.com 의 git 작업, 웹 요청, 관련 서비스에서 오류율이 높아졌다. 계획된 인프라 업그레이드를 하던 중 설정 문제 때문에 새로 프로비저닝한 쿠버네티스 노드가 호환되지 않는 etcd 버전으로 돌았다. 이 노드들 때문에 여러 운영 클러스터에서 클러스터 합의가 깨졌다. 그 결과 git push, git clone, 페이지 로드에서 간헐적으로 5XX 오류가 났다. 팀은 장애가 이어지는 내내 배포를 멈췄다.\n\n팀은 호환되지 않는 노드를 찾아 클러스터에서 빼냈고, 그 뒤 클러스터 합의가 돌아왔다. 검증용 배포로 모든 시스템이 정상인 것을 확인한 다음 평소 운영을 재개했다."},"trigger":{"en":"During a planned infrastructure upgrade, a configuration issue made newly provisioned Kubernetes nodes run an incompatible version of etcd.","ko":"계획된 인프라 업그레이드 중에 설정 문제가 생겨 새로 프로비저닝한 쿠버네티스 노드가 호환되지 않는 etcd 버전으로 올라왔다."},"severity":"unknown","symptoms":["high-error-rate"],"timeline":{"detected_after":null,"resolved_after":"6h 35m"},"date_kind":"incident","detection":{"en":"The status page opened the incident at 01:54 UTC, 18 minutes after errors began, citing reports of impacted performance.","ko":"상태 페이지의 첫 공지는 01:54 UTC 에 올라왔다. 일부 GitHub 서비스의 성능이 떨어졌다는 보고를 조사하고 있다는 내용이었다. 오류율이 오르기 시작한 01:36 UTC 에서 18분 뒤였다."},"components":["etcd"],"root_cause":"config-change","remediation":[{"text":{"en":"paused deployments for the duration of the incident","ko":"장애가 이어지는 동안 배포를 멈췄다."}},{"text":{"en":"identified the newly provisioned nodes running the incompatible etcd version and removed them, which restored cluster consensus","ko":"호환되지 않는 etcd 버전으로 돌던 새 노드를 찾아 빼냈고, 그 뒤 클러스터 합의가 돌아왔다."}},{"text":{"en":"ran a validation deploy that confirmed all systems were healthy before resuming normal operations","ko":"검증용 배포로 모든 시스템이 정상인 것을 확인한 다음 평소 운영을 재개했다."}}],"action_items":[{"text":{"en":"Enforce version compatibility programmatically during node replacements","ko":"노드를 교체할 때 버전 호환성 검사를 자동화해 강제한다."}},{"text":{"en":"Add monitoring that detects split-brain conditions earlier","ko":"스플릿 브레인 상태를 더 일찍 잡아내는 모니터링을 만든다."}},{"text":{"en":"Update the recovery tooling to reduce restoration time","ko":"복구 도구를 고쳐 복구에 걸리는 시간을 줄인다."}}],"contributing":["monitoring-blind-spot"],"recurrence_of":null,"symptoms_text":{"en":"From 01:36 UTC on 12 March 2026, GitHub.com returned elevated error rates for Git operations, web requests and related services. At 01:54 UTC the GitHub status page said it was investigating reports of impacted performance for some services.\n\nUsers hit intermittent 5XX errors on git push, git clone and page loads. At 02:13 UTC the status page reported that error rates were decreasing, and at 02:44 UTC that the root cause had been identified while errors continued at a lower rate. Deployments were paused for the whole incident, which lasted until 08:11 UTC.","ko":"2026년 3월 12일 01:36 UTC 부터 GitHub.com 의 git 작업, 웹 요청, 관련 서비스에서 오류율이 올라갔다. git push, git clone, 페이지 로드가 간헐적으로 5XX 오류를 내며 실패했다.\n\n01:54 UTC 에 상태 페이지에 첫 공지가 올라왔다. 일부 GitHub 서비스의 성능이 떨어졌다는 보고를 조사하고 있다는 내용이었다. 02:13 UTC 공지에서는 오류율이 내려가기 시작했다고 했다. 02:44 UTC 공지에서는 근본 원인을 찾았다고 밝히고, 일부 사용자가 간헐적인 실패와 오류를 겪었을 수 있다고 덧붙였다. 장애가 이어지는 내내 배포는 멈춰 있었다."},"updated_at":"2026-11-10T00:00:40.833808Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0200","org_slug":"github"}