{"id":"IL-0201","org":"GitHub","date":"2025-03-17","docs":[],"title":{"en":"A framework upgrade caused kernel panics in GitHub's Kubernetes infrastructure, and GitHub.com web and API requests, mostly for issues and pull requests, failed intermittently for about 16 hours","ko":"프레임워크 업그레이드가 쿠버네티스 인프라에서 커널 패닉을 일으켜 GitHub.com 의 웹과 API 요청이 15시간 넘게 간헐적으로 실패했다"},"domain":["kubernetes"],"impact":{"scope":"GitHub.com web and API requests, mostly those related to pull requests and issues; peak error rate 0.165% of all requests","users":"a small percentage of users","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://www.githubstatus.com/incidents/y8x4xw6j3q84","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"Between 18:05 UTC on March 17 and 09:50 UTC on March 18, 2025, GitHub.com had intermittent failures in web and API requests. GitHub names as the root cause a framework upgrade that caused kernel panics in its Kubernetes infrastructure. During the incident it attributed the errors to problems with restarts in that infrastructure; requests saw HTTP 500 responses and timeouts, mostly for issues and pull requests. The peak error rate was 0.165% of all requests.\n\nGitHub mitigated the incident by downgrading the framework, and kept it downgraded until it could turn off the feature that caused the problem. The write-up names neither the framework nor the feature.","ko":"2025년 3월 17일 18:05 UTC 부터 3월 18일 09:50 UTC 까지 GitHub.com 의 웹 요청과 API 요청이 간헐적으로 실패했다. 영향을 받은 사용자는 일부였고, 실패한 요청은 대부분 풀 리퀘스트와 이슈 관련이었다. 전체 요청 기준 최고 오류율은 0.165% 였다.\n\nGitHub 은 쿠버네티스 인프라에 적용한 프레임워크 업그레이드가 커널 패닉을 일으킨 것을 근본 원인으로 밝혔다. 장애 중 공지는 오류의 원인을 쿠버네티스 인프라의 재시작 문제로 설명했다. GitHub 은 먼저 업그레이드한 프레임워크를 이전 버전으로 다운그레이드해 영향을 줄였다. 그 뒤 문제를 일으킨 기능을 끌 수 있게 되자 그 기능을 껐다."},"trigger":{"en":"A framework upgrade rolled out to GitHub's Kubernetes infrastructure caused kernel panics.","ko":"GitHub 이 쿠버네티스 인프라에 프레임워크 업그레이드를 적용했고, 이 업그레이드가 커널 패닉을 일으켰다."},"severity":"unknown","symptoms":["high-error-rate","intermittent-timeouts"],"timeline":{"detected_after":"34m","resolved_after":"15h45m"},"date_kind":"incident","detection":{"en":"The status page opened the incident at 18:39 UTC, 34 minutes after the failures began, as an investigation of reports of degraded performance for Issues.","ko":"상태 페이지 첫 공지는 장애 시작 34분 뒤인 18:39 UTC 에 올라왔고, Issues 의 성능 저하 신고를 조사 중이라는 내용이었다."},"components":["linux-kernel"],"root_cause":"upgrade-breaking-change","remediation":[{"text":{"en":"Downgraded the framework upgrade that caused the kernel panics","ko":"업그레이드한 프레임워크를 이전 버전으로 다운그레이드해 영향을 줄였다."}},{"text":{"en":"Disabled the problematic feature of the framework","ko":"문제를 일으킨 기능을 끌 수 있게 된 뒤 그 기능을 껐다."}}],"action_items":[{"text":{"en":"Investigate why the upgrade caused the kernel panics","ko":"업그레이드가 왜 예상하지 못한 문제를 일으켰는지 조사했다."}},{"text":{"en":"Take steps to temporarily prevent the problem from coming back","ko":"같은 문제가 다시 나지 않도록 임시 조치를 했다."}},{"text":{"en":"Work out longer-term patch plans","ko":"장기적인 패치 계획을 세운다."}},{"text":{"en":"Improve observability so that similar classes of problems can be reacted to quickly","ko":"비슷한 종류의 문제에 빨리 대응할 수 있도록 관측성을 높인다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"From 18:05 UTC on March 17, 2025, GitHub.com web and API requests failed now and then for a small percentage of users, mostly requests about issues and pull requests. At 18:39 UTC the status page reported degraded performance for Issues.\n\nLater updates told users they might get intermittent HTTP 500 responses from Issues and that a retry of the same request might succeed. GitHub described the cause at that point as problems with restarts in its Kubernetes infrastructure. At the peak, over a 15-minute window, 0.165% of requests to the affected API surfaces timed out or returned errors; afterwards the impact was minimal while the investigation continued.","ko":"2025년 3월 17일 18:05 UTC 부터 GitHub.com 의 웹 요청과 API 요청이 간헐적으로 실패했다. 실패는 주로 풀 리퀘스트와 이슈 관련 요청에서 났고, 영향을 받은 사용자는 일부였다. 18:39 UTC 에 상태 페이지에 Issues 의 성능 저하 신고를 조사 중이라는 첫 공지가 올라왔다.\n\n21:25 UTC 공지는 Issues 를 쓸 때 HTTP 500 응답이 간헐적으로 나올 수 있고, 요청을 다시 보내면 성공할 수도 있다고 안내했다. 23:01 UTC 공지에 따르면 이슈 관련 페이지와 API 요청에서 오류율이 치솟았고, 쿠버네티스 인프라의 재시작 문제가 그 원인이었다. 가장 심했던 15분 동안에는 이 API 요청들의 0.165% 가 타임아웃이나 오류로 끝났다. 이 시점에 영향은 작아졌지만 원인은 아직 조사 중이었다."},"updated_at":"2026-11-10T00:00:40.873547Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0201","org_slug":"github"}