{"id":"IL-0393","org":"BBC","date":"2014-07-19","docs":[],"title":{"en":"Load on the BBC programme metadata database surged and metadata requests failed, leaving BBC iPlayer down over a weekend","ko":"프로그램 메타데이터 데이터베이스의 부하가 치솟고 캐시 계층 풀 하나가 실패해 BBC iPlayer 와 재생이 오래 멈췄다"},"domain":["database"],"impact":{"scope":"BBC iPlayer, BBC iPlayer Radio and audio and video playback on bbc.co.uk; the emergency homepage was used for long periods; programmes aired on 12 and 13 July were unavailable in catch-up for some users","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://www.bbc.co.uk/blogs/internet/entries/a37b0470-47d4-3991-82bb-a7d5b8803771","kind":"blog","archived":"https://web.archive.org/web/20230530065722/https://www.bbc.co.uk/blogs/internet/entries/a37b0470-47d4-3991-82bb-a7d5b8803771"}],"summary":{"en":"The BBC's programme and clip metadata system has 58 application servers and 10 database servers, split across two data centres in a hot-hot configuration so it can run from either one. It feeds BBC iPlayer applications on more than 1200 supported devices and programme and clip modules across BBC Online. On the morning of 19 July 2014 the database load rose sharply and many metadata requests failed; products without their own cache of the metadata failed with it. At almost the same time a pool of the caching layer in front of BBC Online failed, repeatedly, making BBC iPlayer and the homepage inaccessible, and the BBC restored the caching layer first and put up the emergency homepage several times over the weekend.\n\nSystem performance stayed poor, so the BBC did significant remedial work on the metadata system from Saturday afternoon into the evening, during which BBC iPlayer was effectively not usable. Afterwards most of the site ran close to normal but BBC iPlayer stayed down on a number of devices, and the BBC kept it that way through the weekend. The full restoration was moved to Monday morning to avoid the Sunday evening peak. Programmes aired on 12 and 13 July were not available in catch-up for some users. At the time of writing the BBC was still investigating the root causes of both failures.","ko":"BBC 는 프로그램과 클립 메타데이터를 내주는 시스템을 애플리케이션 서버 58대와 데이터베이스 서버 10대로 운영한다. 이 데이터는 1200개가 넘는 기기용 BBC iPlayer 애플리케이션과 BBC Online 여러 사이트의 프로그램 정보·클립 모듈에 쓰인다. 시스템은 두 데이터센터에 나뉘어 둘 다 동시에 도는 hot-hot 구성이고, 어느 한쪽만으로도 운영할 수 있게 되어 있었다. 2014년 7월 19일 토요일 오전 9시 30분 이 데이터베이스의 부하가 치솟았고, 애플리케이션 서버로 가는 메타데이터 요청이 많이 실패했다. 메타데이터를 제품 단에서 캐시하는 제품은 계속 콘텐츠를 냈지만, 주로 오래된 애플리케이션처럼 메타데이터를 직접 쓰는 제품은 실패했다.\n\n거의 같은 때 BBC Online 제품 대부분 앞에 있는 캐시 계층의 풀 하나가 실패해, 이 풀이 맡은 BBC iPlayer 와 BBC 홈페이지에 접속할 수 없게 됐다. BBC 는 캐시 계층 복구를 가장 먼저 했다. 이 실패는 복잡했고 여러 번 되풀이됐다. BBC 는 홈페이지를 비상 모드로 여러 번 바꿨고, 캐시가 완전히 안정됐다고 확신할 때까지 비상 페이지를 띄워 뒀다.\n\n메타데이터 서비스는 늘어난 부하의 출처를 찾기 어려웠고 재부팅으로 되살릴 수도 없었다. 성능이 계속 나빠 토요일 오후부터 저녁까지 큰 복구 작업을 했고, 그동안 BBC iPlayer 는 사실상 쓸 수 없었다. 작업 뒤 사이트 대부분은 거의 정상으로 돌았지만 여러 기기에서 BBC iPlayer 는 계속 내려가 있었다. BBC 는 주말 내내 이 상태로 운영하며 완전 복구를 준비했다. 준비가 끝났을 때는 일요일 저녁 피크 시간에 들어서고 있어 완전 복구를 월요일 아침으로 미뤘다. 일부 사용자는 7월 12일 토요일과 13일 일요일에 방송한 프로그램을 7일 다시보기로 볼 수 없었다. 근본 원인은 글을 쓴 시점에 아직 조사 중이었다."},"trigger":null,"severity":"unknown","symptoms":["database-overloaded","high-error-rate","service-unavailable"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":null,"components":["database"],"root_cause":"unknown","remediation":[{"text":{"en":"Restored the failed pool of the caching layer first","ko":"가장 먼저 실패한 캐시 계층을 복구했다."}},{"text":{"en":"Switched the BBC homepage to its emergency mode until the cache was stable","ko":"캐시 계층 실패가 되풀이되는 동안 홈페이지를 비상 모드로 여러 번 바꿨고, 캐시가 완전히 안정됐다고 확신할 때까지 비상 페이지를 띄워 뒀다."}},{"text":{"en":"Did significant remedial work on the metadata system from Saturday afternoon into the evening","ko":"메타데이터 시스템의 성능이 계속 나빠 토요일 오후부터 저녁까지 큰 복구 작업을 했다. 그동안 BBC iPlayer 는 사실상 쓸 수 없었다."}},{"text":{"en":"Ran the service in a reduced state through the weekend and did the full restoration on Monday morning","ko":"주말 남은 기간은 사이트 대부분이 거의 정상으로 도는 상태로 운영했다. 일요일 저녁 피크 시간에 서비스를 더 위험하게 하지 않으려고 완전 복구는 월요일 아침으로 미뤄 진행했다."}}],"action_items":[{"text":{"en":"Complete the forensics on the root causes and put measures in place to reduce the chance of similar interruptions","ko":"근본 원인을 완전히 이해했는지 확인하는 조사를 마치고, 이런 중단이 다시 일어날 가능성을 줄이는 조치를 넣는다."}}],"contributing":["no-caching","overlapping-failures"],"recurrence_of":null,"symptoms_text":{"en":"At 9.30 on Saturday 19 July 2014, the load on the database of the BBC system that provides programme and clip metadata rose sharply, and many requests for metadata to its application servers started to fail. BBC iPlayer, BBC iPlayer Radio and audio and video playback on other parts of bbc.co.uk were affected.\n\nHow each product failed depended on how it used the metadata. Products that cache the metadata kept serving content while trying to revalidate, while products that use the metadata directly, mostly older applications, started to fail. At almost the same time, one pool of the caching layer in front of most BBC Online products failed, which made BBC iPlayer and the BBC homepage inaccessible and led to the emergency homepage reading \"Due to technical problems, we are displaying a simplified version of the BBC Homepage\". Finding the source of the additional database load was far from straightforward, and the metadata service could not be brought back simply by rebooting it.","ko":"2014년 7월 19일 토요일 오전 9시 30분 프로그램과 클립 메타데이터를 내주는 시스템의 데이터베이스 부하가 치솟아, 애플리케이션 서버로 가는 메타데이터 요청이 많이 실패하기 시작했다. BBC iPlayer, BBC iPlayer Radio, bbc.co.uk 다른 곳의 오디오·비디오 재생이 영향을 받았다.\n\n영향은 제품이 메타데이터를 쓰는 방식에 따라 갈렸다. 제품 단에서 메타데이터를 캐시하는 제품은 다시 검증을 시도하면서 계속 콘텐츠를 냈다. 주로 오래된 애플리케이션처럼 메타데이터를 직접 쓰는 제품은 실패하기 시작했다.\n\n거의 같은 때 BBC Online 제품 대부분 앞에 있는 캐시 계층의 풀 하나가 실패했다. 이 풀이 맡은 BBC iPlayer 와 BBC 홈페이지 모두에 접속할 수 없게 됐다. 이 실패는 여러 번 되풀이됐고, 홈페이지는 \"Due to technical problems, we are displaying a simplified version of the BBC Homepage\" 문구를 띄운 비상 모드로 여러 번 바뀌었다.\n\n늘어난 부하가 어디서 오는지 찾기가 쉽지 않았고, 메타데이터 서비스는 재부팅만으로 되살아나지 않았다. 토요일 오후부터 저녁까지 큰 복구 작업을 하는 동안 BBC iPlayer 는 사실상 쓸 수 없었다."},"updated_at":"2026-11-14T12:34:04.409652Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0393","org_slug":"bbc"}