{"id":"IL-0398","org":"Government Digital Service","date":"2021-06-08","docs":[],"title":{"en":"GOV.UK showed \"Error 503 Service Unavailable\" pages for under an hour during a global outage of its primary CDN","ko":"GOV.UK 가 쓰는 주 CDN 에 전 세계 장애가 나서, 1시간이 안 되는 동안 GOV.UK 방문자가 오류 페이지만 봤다"},"domain":["networking"],"impact":{"scope":"GOV.UK information and services were unreachable and showed error pages for less than an hour; other websites on the same CDN were also affected","users":"all visitors to GOV.UK","region":"worldwide"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"The CDN sits at the edge of the network, so when it breaks the whole website goes down, and the team keeps an always-on secondary CDN and a prepared DNS change for that case. Failing over too early can make an incident worse, because the secondary CDN gives a degraded service and primary CDN incidents are often resolved quickly, so the plan waits 15 minutes before failing over.","ko":"어떤 인프라도 100% 믿을 수는 없고, 네트워크 엣지에 있는 CDN 이 망가지면 사이트 전체가 내려가므로 예비 계획이 있어야 한다고 팀은 말했다. 보조 CDN 으로는 기능이 줄어든 서비스만 할 수 있어서 페일오버는 큰 결정이고, 주 CDN 장애가 빨리 끝나면 너무 이른 페일오버가 오히려 장애를 키울 수 있다고 했다. 이런 장애에서는 침착하게, 목적을 분명히 하고 움직이는 것이 중요하다고 했다. 방문자가 본 오류 페이지는 GOV.UK 가 손댈 수 없는 페이지였고, 아무 정보도 주지 못해 GOV.UK 의 콘텐츠 기준에 크게 못 미쳤다고 했다."},"related":[],"sources":[{"url":"https://insidegovuk.blog.gov.uk/2021/06/11/incident-report-gov-uk-outage-on-8-june-2021/","kind":"blog","archived":"https://web.archive.org/web/20260810140915/https://insidegovuk.blog.gov.uk/2021/06/11/incident-report-gov-uk-outage-on-8-june-2021/"}],"summary":{"en":"GOV.UK serves roughly 93% of its requests from the cache of its primary CDN. The team treats the CDN as a possible single point of failure and keeps a secondary CDN always on but normally without traffic. Moving traffic to it, which the team calls failing over, is done by changing GOV.UK's DNS records, and the code for that change was ready to run. Because the secondary CDN gives a degraded service in which dynamic parts such as search and location based services do not work as well, and because primary CDN incidents are often short, the plan was to wait 15 minutes to judge the severity before failing over.\n\nOn 8 June 2021 the primary CDN had an outage and GOV.UK showed error pages. The incident was detected 4 minutes after it began, an incident lead and a communications lead started the formal incident process, and the incident team confirmed the CDN as the cause and found the documented failover process. After 15 minutes with no change in the CDN's status the team decided to fail over. DNS changes take time to take effect; within 30 minutes the changes were deployed and traffic began to move to the secondary CDN. By then the primary CDN appeared to be recovering, so after watching it for a few minutes the team switched back to it, monitored for an hour and declared the incident resolved.","ko":"2021년 6월 8일 GOV.UK 가 쓰는 주 CDN 에 장애가 나서 GOV.UK 와 전 세계의 다른 사이트가 크게 멈췄다. GOV.UK 요청의 약 93%는 CDN 캐시가 응답한다. CDN 은 네트워크 엣지에 있으므로 CDN 이 망가지면 사이트 전체가 내려간다. 방문자는 1시간이 안 되는 동안 \"Error 503 Service Unavailable\" 오류 페이지를 봤다.\n\nGOV.UK 는 CDN 을 단일 장애점으로 보고, 늘 켜 두지만 평소에는 트래픽을 받지 않는 보조 CDN 을 둔다. 보조 CDN 에서는 검색이나 위치 기반 서비스 같은 동적 기능이 평소처럼 동작하지 않는다. 주 CDN 장애는 빨리 끝나는 일이 많아서, 너무 일찍 넘기면 오히려 장애를 키울 수 있다. 그래서 계획은 15분 동안 장애의 심각도를 지켜보고, 장애가 계속되면 보조 CDN 으로 페일오버하는 것이었다. 트래픽은 DNS 레코드에 따라 주 CDN 으로 가고, DNS 레코드를 바꾸는 코드는 미리 준비돼 있었다.\n\n장애를 감지하고 15분이 지나도 상태가 바뀌지 않자 팀은 보조 CDN 으로 페일오버하기로 했다. DNS 레코드 변경은 오래 걸릴 수 있지만 팀은 30분 안에 변경을 배포했고, 트래픽이 보조 CDN 으로 가기 시작했다. 그 무렵 주 CDN 이 회복되는 것이 보였고, 팀은 몇 분 지켜본 뒤 주 CDN 으로 되돌렸다. 그 뒤 1시간을 더 지켜보고 남은 문제가 없다고 판단해 장애 종료를 선언했다."},"trigger":null,"severity":"unknown","symptoms":["service-unavailable"],"timeline":{"detected_after":"4m","resolved_after":null},"date_kind":"incident","detection":{"en":"The incident was detected 4 minutes after it began, and an incident lead and a communications lead then started the formal incident process.","ko":"장애는 시작되고 4분 뒤에 감지됐다. 팀은 장애 책임자를 정했고, 장애 책임자는 커뮤니케이션 책임자와 함께 공식 장애 대응 절차를 시작했다."},"components":["cdn"],"root_cause":"dependency-failure","remediation":[{"text":{"en":"Waited 15 minutes to judge the primary CDN outage, then decided to fail over to the secondary CDN","ko":"감지하고 15분이 지나도 상태가 바뀌지 않자 보조 CDN 으로 페일오버하기로 했다."}},{"text":{"en":"Deployed the prepared DNS record changes, and traffic began to route to the secondary CDN within 30 minutes","ko":"30분 안에 DNS 레코드 변경을 배포했고, 트래픽이 보조 CDN 으로 가기 시작했다."}},{"text":{"en":"Switched back to the primary CDN after it recovered, and monitored for an hour before declaring the incident resolved","ko":"주 CDN 이 회복되는 것을 몇 분 지켜본 뒤 주 CDN 으로 되돌렸고, 1시간을 더 지켜본 뒤 장애 종료를 선언했다."}}],"action_items":[{"text":{"en":"Hold a formal incident review of what happened and how the team responded","ko":"공식 장애 리뷰를 열어 무슨 일이 있었는지, 대응이 어땠는지, 다음에 더 잘하려면 무엇을 해야 하는지 논의한다."}},{"text":{"en":"Consider how to improve the speed and transparency of communications","ko":"장애 중에 더 빠르고 투명하게 소통할 방법을 검토한다."}},{"text":{"en":"Consider how planned changes to platform technology and processes can make recovery from future incidents faster","ko":"이미 계획한 플랫폼 기술과 절차의 변경으로 앞으로 장애가 났을 때 더 빨리 복구할 수 있는 방법을 검토한다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"On 8 June 2021, for less than an hour, people visiting GOV.UK could not reach its information and services and got error pages with the heading \"Error 503 Service Unavailable\" instead. The outage was in the primary content delivery network (CDN) that GOV.UK uses, and many other websites on the same CDN around the world were down at the same time.\n\nThe error page was outside the GOV.UK team's control. GOV.UK's CDN is set up to serve static fallback pages, called mirrors, when something goes wrong with GOV.UK's main infrastructure behind it. The CDN sits at the edge of the network, so when it breaks the whole website goes down.","ko":"2021년 6월 8일 1시간이 안 되는 동안 GOV.UK 방문자가 정보와 서비스에 접근하지 못하고 오류 페이지를 봤다. 팀은 장애가 시작되고 4분 뒤에 알아챘다.\n\n방문자가 본 오류 페이지의 제목은 \"Error 503 Service Unavailable\" 이었다. 이 페이지는 GOV.UK 가 손댈 수 없는 페이지였고, 같은 CDN 을 쓰는 다른 사이트의 방문자도 같은 페이지를 봤다.\n\n장애 대응 팀은 조사 끝에 원인이 주 CDN 이라는 것을 확인했다. 계획대로 15분 동안 주 CDN 의 상태를 지켜봤지만 바뀐 것이 없었다."},"updated_at":"2026-11-14T12:34:04.920472Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0398","org_slug":"government-digital-service"}