{"id":"IL-0269","org":"Octez Connect","date":"2025-02-05","docs":[],"title":{"en":"Octez Connect services went down for hours when its only DNS provider failed and the nodes' records stopped resolving","ko":"하나뿐인 DNS 공급사가 장애를 일으켜 Octez Connect 의 모든 노드에서 이름 해석이 실패하고 서비스가 몇 시간 멈췄다"},"domain":["networking"],"impact":{"scope":"all servers relying on the DNS provider; users could not access the services","users":"users of the Octez Connect services","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"Relying on a single DNS provider made it a single point of failure that brought down every connected service, and the provider's outage also slowed communication with it, which lengthened the downtime. Octez Connect concluded that it needs redundant DNS providers.","ko":"DNS 공급사 하나에만 기대면 그 공급사가 단일 장애 지점이 되어 연결된 서비스가 모두 멈출 수 있다. 이번 DNS 장애는 가용성만이 아니라 공급사와의 소통도 늦춰 중단을 키웠다. 몇 시간 안에 복구됐지만, 공급사 하나가 장애를 겪어도 서비스가 계속 돌도록 DNS 공급사를 둘로 두어야 한다."},"related":[],"sources":[{"url":"https://octez-connect.tezos.com/post-mortem-4","kind":"blog","archived":null}],"summary":{"en":"Octez Connect relied on a single DNS provider for all of its servers. At 04:34 on 5 February 2025 the DNS records for the first node stopped resolving, a Pager Duty alert went out, and an engineer started investigating at 04:40. By 04:52 the team had confirmed that the provider was having an outage, and because there was no fallback provider the failure spread across all nodes. The provider's hotline, status page and ticket system were all down or unresponsive, and an email to its support address got no autoresponse, which left the team with few channels to get the problem resolved; it kept calling the hotline and watching the provider's status page. The provider replied at 08:20, DNS had been restarted by the time tests at 08:30 showed resolution working on all nodes, and recovery was announced at 08:40.","ko":"2025년 2월 5일 04시 34분에 첫 노드에서 DNS 이름 해석 문제가 나서 pager duty 알림이 울렸다. Octez Connect 의 인프라는 DNS 공급사 하나에만 기대고 있었고, 바로 넘길 대안이 없어서 이 공급사를 쓰는 모든 서버가 내려갔다. 사용자는 공급사가 기능을 되살릴 때까지 서비스를 쓸 수 없었다.\n\n담당 엔지니어가 04시 40분에 조사를 시작했고, 04시 52분에 DNS 공급사가 장애를 겪고 있음을 확인했다. 공급사의 긴급 전화는 응답이 없었고, 상태 페이지는 내려가 있었으며, 티켓 시스템도 응답하지 않았다. 05시 10분에 support@metanet.ch 로 메일을 보냈지만 자동 응답도 오지 않았다. 팀은 긴급 전화를 계속 걸고 상태 페이지를 지켜보며 다른 방법을 찾았다. 08시 20분에 공급사가 메일로 문제를 살펴보고 있다고 답했다. 08시 30분에 시험해서 모든 노드의 DNS 이름 해석이 정상으로 돌아온 것을 확인했고, 08시 40분에 Slack 과 Twitter 에 복구를 알렸다."},"trigger":{"en":"An outage at Octez Connect's DNS provider, metanet.ch, stopped the DNS records of its nodes from resolving.","ko":"Octez Connect 가 쓰는 하나뿐인 DNS 공급사 MetaNet 에서 장애가 났다. 공급사의 긴급 전화, 상태 페이지, 티켓 시스템도 함께 멈췄다."},"severity":"unknown","symptoms":["dns-resolution-failures","service-unavailable"],"timeline":{"detected_after":"0m","resolved_after":"3h 56m"},"date_kind":"incident","detection":{"en":"The monitoring system flagged DNS resolution problems on the first node at 04:34 and raised a Pager Duty alert.","ko":"04시 34분에 모니터링 시스템이 DNS 이름 해석 문제를 잡았다. 첫 노드가 DNS 를 해석하지 못해 pager duty 알림이 울렸다."},"components":["dns-server"],"root_cause":"dependency-failure","remediation":[{"text":{"en":"Escalated the DNS resolution alert through Pager Duty","ko":"04시 34분에 DNS 이름 해석 문제를 감지하고 pager duty 호출을 걸었다."}},{"text":{"en":"Confirmed the provider's outage by repeatedly calling its hotline and watching its status page","ko":"공급사의 긴급 전화를 계속 걸고 상태 페이지를 지켜보며 공급사에 광범위한 장애가 났음을 확인했다."}},{"text":{"en":"Emailed the provider's support, which replied at 08:20 that it was looking into the issue","ko":"08시 20분에 support@metanet.ch 에서 공급사가 문제를 살펴보고 있다는 답을 받았다."}},{"text":{"en":"Tested DNS resolution and confirmed that DNS had been restarted","ko":"08시 30분에 시험해서 DNS 가 다시 돌기 시작한 것을 확인했다."}},{"text":{"en":"Posted a public update on Slack and Twitter announcing the recovery","ko":"08시 40분에 Slack 과 Twitter 에 복구를 알리는 공개 공지를 올렸다."}}],"action_items":[{"text":{"en":"Configure a second DNS provider alongside the first","ko":"DNS 공급사를 둘로 쓰는 구성을 만든다."}},{"text":{"en":"Build a public status page for real-time outage information","ko":"장애 정보를 실시간으로 알리는 공개 상태 페이지를 만든다."}},{"text":{"en":"Review and improve internal escalation procedures for third-party outages","ko":"외부 공급사 장애 때의 내부 에스컬레이션 절차를 다시 살피고 고친다."}}],"contributing":["single-point-of-failure","limited-debug-access"],"recurrence_of":null,"symptoms_text":{"en":"On 5 February 2025 at 04:34 the monitoring system flagged DNS resolution problems on the first Octez Connect node and raised a Pager Duty alert. Every server that relied on the same DNS provider went down, and users could not reach the services until the provider restored DNS.\n\nDiagnostics at 04:50 pointed to DNS, and at 04:52 the team confirmed that the DNS provider itself was having an outage. The provider's own channels were failing too: the hotline did not answer at 04:55, its status page was down at 05:00, its ticket system was unresponsive at 05:05, and an email to support@metanet.ch at 05:10 got no autoresponse. From 05:20 the team explored other ways to resolve the problem and kept calling the hotline.\n\nThe provider answered by email at 08:20 that it was looking into the issue. At 08:30 tests showed DNS resolution working again on all nodes, and at 08:40 the team announced the recovery on Slack and Twitter.","ko":"04시 34분에 모니터링 시스템이 첫 노드의 DNS 이름 해석 문제를 잡아 pager duty 알림을 울렸다. 첫 노드가 DNS 레코드를 해석하지 못하면서 인프라 전체의 가용성에 영향이 갔다.\n\n이 DNS 공급사에 기대는 서버가 모두 내려갔다. 사용자는 DNS 공급사가 기능을 되살릴 때까지 서비스를 쓸 수 없었다. DNS 공급사가 하나뿐이라 대신 쓸 곳이 없어서 장애가 모든 노드로 번졌다.\n\n팀은 04시 50분에 1차 진단으로 DNS 문제라고 보고 공급사에 연락했다. 04시 52분에는 공급사가 장애를 겪고 있음을 확인했다. 공급사와 닿을 길은 거의 다 막혀 있었다. 04시 55분에 건 긴급 전화는 응답이 없었다. 05시 00분에는 공급사의 상태 페이지가 내려가 있었고, 05시 05분에는 티켓 시스템도 응답하지 않았다. 05시 10분에 support@metanet.ch 로 보낸 메일에는 자동 응답도 오지 않아 장애 상황을 파악하기가 늦어졌다. 팀은 05시 20분부터 다른 해결 방법을 찾아봤다."},"updated_at":"2026-11-14T12:33:52.047716Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0269","org_slug":"octez-connect"}