{"id":"IL-0143","org":"Google Cloud","date":"2019-11-04","docs":["https://cloud.google.com/kubernetes-engine/versioning-and-upgrades#rollout_schedule","https://cloud.google.com/container-optimized-os/docs/release-notes#cos-73-11647-293-0"],"title":{"en":"GKE nodes upgraded to certain 1.13 and 1.14 versions had an elevated number of kernel panics, fixed by releases that downgraded the Container-Optimized OS image","ko":"GKE 1.13 과 1.14 의 특정 버전으로 업그레이드한 노드에서 커널 패닉이 늘었다."},"domain":["kubernetes","gcp"],"impact":{"scope":"Some nodes in GKE clusters upgraded to one of the affected 1.13 and 1.14 versions","users":"A very low number of projects","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"Downgrading the node operating system image was used as a temporary mitigation until a kernel fix was available.","ko":"커널 수정이 나올 때까지 노드 운영체제 이미지를 이전 버전으로 내리는 것을 임시 완화책으로 썼다."},"related":[],"sources":[{"url":"https://status.cloud.google.com/incident/container-engine/19012","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"From 4 November 2019 some GKE nodes running one of thirteen 1.13 and 1.14 patch versions had more kernel panics than normal after being upgraded. While a fix was prepared, Google advised affected users to go back to an earlier patch release not on the affected list, and users on a Release Channel to contact support to downgrade their nodes.\n\nFixed versions 1.13.11-gke.14, 1.13.12-gke.8, 1.14.7-gke.23 and 1.14.8-gke.12 became available on 11 November and were rolled out to node pools with auto-upgrade enabled; clusters on manual upgrades had to upgrade their nodes themselves. The fix downgraded the Container-Optimized OS image to cos-73-11647-293-0 as a temporary mitigation, and Google expected the next GKE release to bring an upgraded kernel with a fix for the panics. The incident was closed on 13 November at 15:38 US/Pacific.","ko":"2019-11-04 부터 GKE 1.13 과 1.14 의 특정 버전으로 업그레이드한 클러스터에서 일부 노드의 커널 패닉이 늘었다. 실제로 영향받은 프로젝트는 매우 적어서 Google 은 11월 7일 이 장애를 주황색 등급인 Service Disruption 으로 낮췄다. 그동안 Google 은 영향받은 버전에 들지 않는 이전 릴리스로 노드를 내리라고 안내했고, Release Channel 사용자는 지원팀에 다운그레이드를 요청하라고 했다.\n\n11월 11일 16:00 US/Pacific 에 수정 버전 1.13.11-gke.14, 1.13.12-gke.8, 1.14.7-gke.23, 1.14.8-gke.12 가 나왔다. 이 수정 버전들은 임시 완화책으로 Container-Optimized OS 버전을 cos-73-11647-293-0 으로 내렸다. Google 은 다음 GKE 릴리스에서 커널을 올리고 패닉을 고치겠다고 했다. 수정 버전은 노드 자동 업그레이드를 켠 노드 풀에 배포돼 11월 15일까지 끝날 예정이었고, 수동 업그레이드를 쓰는 고객은 직접 노드를 올려야 했다. 장애는 11월 13일 15:38 에 해결로 닫혔다."},"trigger":{"en":"Upgrading GKE node pools to one of the affected 1.13 or 1.14 versions.","ko":"노드 풀을 영향받은 GKE 1.13, 1.14 버전으로 업그레이드했다."},"severity":"unknown","symptoms":["node-kernel-panic"],"timeline":{"detected_after":null,"resolved_after":"9d 3h 52m"},"date_kind":"incident","detection":null,"components":["node-image","linux-kernel"],"root_cause":"software-bug","remediation":[{"text":{"en":"advised affected users to downgrade to a patch release not on the affected list, with support helping Release Channel users","ko":"영향받은 버전에 들지 않는 이전 릴리스로 노드를 내리는 우회 방법을 안내했고, Release Channel 사용자는 지원팀을 통해 다운그레이드하게 했다."}},{"text":{"en":"released GKE 1.13.11-gke.14, 1.13.12-gke.8, 1.14.7-gke.23 and 1.14.8-gke.12, which downgraded Container-Optimized OS to cos-73-11647-293-0","ko":"Container-Optimized OS 를 cos-73-11647-293-0 으로 내린 수정 버전 1.13.11-gke.14, 1.13.12-gke.8, 1.14.7-gke.23, 1.14.8-gke.12 를 내놓았다."}},{"text":{"en":"rolled the fixed versions out to node pools with auto-upgrade enabled; clusters on manual upgrades had to upgrade their nodes themselves","ko":"노드 자동 업그레이드를 켠 노드 풀에 수정 버전을 배포했고, 수동 업그레이드를 쓰는 고객은 직접 노드를 올리게 했다."}}],"action_items":[{"text":{"en":"Ship a GKE release with an upgraded kernel that fixes the panics","ko":"다음 GKE 릴리스에서 커널을 올리고 커널 패닉을 고친다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"Some nodes in Google Kubernetes Engine clusters that had recently been upgraded showed an elevated number of kernel panics. The status page described it as kernel panics following an upgrade in GKE version.\n\nThe affected GKE versions were 1.13.11-gke.9, 1.14.7-gke.14, 1.13.12-gke.1, 1.14.8-gke.1, 1.13.11-gke.11, 1.13.12-gke.2, 1.14.7-gke.17, 1.14.8-gke.2, 1.13.12-gke.3, 1.14.8-gke.6, 1.13.11-gke.12, 1.13.12-gke.4 and 1.14.8-gke.7. On 7 November the incident was downgraded to an orange Service Disruption because very few projects were actually affected.","ko":"2019-11-04 11:46 US/Pacific, Google 은 최근 업그레이드한 GKE 클러스터의 일부 노드에서 커널 패닉이 늘었다며 조사를 시작했다. 영향은 특정 GKE 버전으로 업그레이드한 노드에 한정됐다.\n\n영향받은 버전은 1.13.11-gke.9, 1.14.7-gke.14, 1.13.12-gke.1, 1.14.8-gke.1, 1.13.11-gke.11, 1.13.12-gke.2, 1.14.7-gke.17, 1.14.8-gke.2, 1.13.12-gke.3, 1.14.8-gke.6, 1.13.11-gke.12, 1.13.12-gke.4, 1.14.8-gke.7 이었다. 상태 페이지는 GKE 버전을 올린 뒤 커널 패닉이 난다고 진단했다.\n\n11월 7일 Google 은 실제로 영향받은 프로젝트 수가 매우 적다며 이 장애를 주황색 등급인 Service Disruption 으로 낮췄다."},"updated_at":"2026-11-10T00:00:35.854845Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0143","org_slug":"google-cloud"}