{"id":"IL-0360","org":"bunny.net","date":"2021-05-26","docs":[],"title":{"en":"DNS queries to bunny.net timed out after a failed routing update took two of four nameserver clusters offline","ko":"bunny.net DNS 클러스터가 과부하돼 DNS 질의가 타임아웃됐다"},"domain":["networking"],"impact":{"scope":"DNS queries to bunny.net nameservers, about 10% of traffic","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.bunny.net/incidents/4p37r98cl4vc","kind":"official-status","archived":"https://web.archive.org/web/20211016092346/https://status.bunny.net/incidents/4p37r98cl4vc"}],"summary":{"en":"During routine maintenance on 26 May 2021, bunny.net deployed a routing update to its DNS system. Because of an issue with a different system the update did not deploy correctly, and 2 of the 4 nameserver clusters became unavailable. The remaining two clusters received more load than expected at the reduced capacity and began to time out queries; resolvers then retried with even more queries, which gradually overloaded one of the nameserver clusters. About 10% of traffic was affected for about 30 minutes, the status page marked the issue resolved at 21:23 UTC, and bunny.net gave the cause in an update on 27 May, calling it a human error. bunny.net then added capacity to all clusters so that each one can carry the full load.","ko":"2021-05-26 bunny.net 은 정기 유지보수 중 성능과 신뢰성을 높이려고 DNS 시스템에 라우팅 갱신을 배포했다. 다른 시스템의 문제로 갱신이 제대로 배포되지 않아 이름 서버 클러스터 4개 중 2개를 쓸 수 없게 됐다. 용량이 크게 줄어든 상태에서 나머지 두 클러스터에 예상하지 못한 부하가 몰려 질의가 타임아웃되기 시작했다. 리졸버는 타임아웃된 질의를 다시 보냈고, 늘어난 질의가 이름 서버 클러스터 하나를 점점 과부하시켰다. 20:40 UTC 무렵 유지보수가 끝난 뒤 bunny.net 은 DNS 클러스터 하나에서 비정상적으로 높은 부하를 감지했다. 약 30분 동안 트래픽의 약 10% 가 영향을 받은 뒤 상황이 정상으로 돌아왔고, 상태 페이지에는 21:23 에 해결로 올라갔다. 나머지 클러스터는 영향을 받지 않았다. bunny.net 은 이번 일이 사람의 실수였다고 밝혔고, 모든 클러스터에 용량을 더했다."},"trigger":{"en":"During the maintenance, bunny.net deployed a routing update to its DNS system meant to improve performance and reliability, and an issue with a different system made the update deploy incorrectly.","ko":"bunny.net 은 유지보수 중 성능과 신뢰성을 높이려고 DNS 시스템에 라우팅 갱신을 배포했다. 그런데 다른 시스템의 문제로 갱신이 제대로 배포되지 않아 이름 서버 클러스터 4개 중 2개를 쓸 수 없게 됐다."},"severity":"unknown","symptoms":["dns-resolution-failures"],"timeline":{"detected_after":null,"resolved_after":"43m"},"date_kind":"incident","detection":{"en":"bunny.net detected an abnormal level of load on one of its DNS clusters after the maintenance.","ko":"bunny.net 은 정기 유지보수 뒤 DNS 클러스터 하나에서 비정상적으로 높은 부하를 감지했다."},"components":["dns-server"],"root_cause":"deploy-rollout","remediation":[],"action_items":[{"text":{"en":"Add quality control and monitoring steps so a failed DNS routing update does not happen again","ko":"같은 일이 다시 나지 않도록 품질 관리와 모니터링을 여러 면에서 보강했다."}},{"text":{"en":"Install additional capacity in all nameserver clusters so that each one can handle the full load","ko":"모든 클러스터에 용량을 더해 클러스터 하나하나가 전체 부하를 감당할 수 있게 했다."}},{"text":{"en":"Work with the team so the human error behind the incident does not happen again","ko":"이번 장애는 사람의 실수였고, 같은 일이 다시 나지 않도록 팀과 함께 개선한다."}}],"contributing":["retry-storm","no-spare-capacity"],"recurrence_of":null,"symptoms_text":{"en":"On 26 May 2021, after routine maintenance at about 20:40 UTC, bunny.net saw an abnormal level of load on one of its DNS clusters, NS cluster 1, and DNS queries started to time out. About 10% of traffic was affected for roughly 30 minutes, although bunny.net runs three independent anycast networks. The timeouts made resolvers send even more queries, and that extra load gradually overloaded one of the nameserver clusters.","ko":"2021-05-26 20:40 UTC 무렵 정기 유지보수가 끝난 뒤 bunny.net 은 DNS 클러스터 하나에서 비정상적으로 높은 부하를 감지했다. 상태 페이지에는 NS cluster 1 의 성능이 떨어졌다는 글이 올라갔다.\n\n약 30분 동안 트래픽의 약 10% 가 영향을 받았다. 남은 두 클러스터로 예상하지 못한 부하가 몰려 질의가 타임아웃되기 시작했다. 타임아웃된 질의 때문에 리졸버가 질의를 더 보내면서 이름 서버 클러스터 하나가 점점 과부하됐다.\n\nbunny.net 은 서로 독립된 Anycast 네트워크 3개를 운영하고 있어서, 처음에는 트래픽 일부가 왜 제대로 처리되지 않았는지를 조사했다."},"updated_at":"2026-11-14T12:34:01.342251Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0360","org_slug":"bunny-net"}