{"id":"IL-0343","org":"DigitalOcean","date":"2024-11-28","docs":[],"title":{"en":"DNS names under digitaloceanspaces.com stopped resolving, breaking Spaces, Container Registry and the Control Panel","ko":"digitaloceanspaces.com 도메인의 DNS 해석이 멈춰 DigitalOcean 의 Spaces, 컨테이너 레지스트리, App Platform, 로드 밸런서가 실패했다"},"domain":["networking"],"impact":{"scope":"Cloud Control Panel sign-up and log-in, Spaces objects under digitaloceanspaces.com, Spaces CDN, Container Registry create, push and pull, Mongo Managed Database backups, Load Balancer creates and resizes, App Platform builds and Functions creates and updates","users":"unknown","region":"all regions"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.digitalocean.com/incidents/jm44h02t22ck","kind":"official-status","archived":"https://web.archive.org/web/20250612161509/https://status.digitalocean.com/incidents/jm44h02t22ck"}],"summary":{"en":"DigitalOcean's domain registrar, Network Solutions, wrongly placed an EPP clientHold on the digitaloceanspaces.com domain at 22:38 UTC on 28 November 2024. This status code stops DNS resolution for the domain until the owner contacts the registrar to clear the hold. The Cloud Control Panel stopped loading at once, and Spaces and the services built on it, including Container Registry, App Platform, Functions, Load Balancers and Mongo Managed Database backups, failed for the rest of the incident, at first intermittently and most severely from 03:00 UTC as cached DNS answers expired.\n\nEngineers saw at 23:57 UTC that the domain's whois information had changed, and at 01:06 UTC found the clientHold in the whois record and the domain marked inactive in the Network Solutions account. DigitalOcean contacted Network Solutions at 01:08 UTC and Verisign executives, as the authoritative registry for .com domains, at 01:30 UTC. The Cloud Control Panel was brought back at 01:42 UTC. After a call and repeated escalations with Verisign executives from 02:40 UTC, the clientHold was removed at 04:03 UTC, and DigitalOcean watched its infrastructure until functionality was fully restored by 5:38:40 UTC.","ko":"2024년 11월 28일 22:38 UTC, DigitalOcean 의 도메인 등록 대행자 Network Solutions 가 digitaloceanspaces.com 도메인에 EPP clientHold 상태 코드를 잘못 걸었다. 이 코드는 고객이 Network Solutions 에 연락해 풀기 전까지 DNS 해석을 막는다. 처음에는 Spaces 에 기대는 Cloud Control Panel 에서 가입과 로그인이 안 됐다. 이어 Spaces 버킷과 그에 기대는 컨테이너 레지스트리, App Platform, Functions, 로드 밸런서, Mongo Managed Database 백업이 장애 내내 오류를 냈다. 실패는 처음에 간헐적이었지만 03:00 UTC 부터 DNS 캐시와 TTL 이 만료되면서 가장 심해졌다.\n\n엔지니어는 23:57 에 whois 정보가 바뀐 것을 알아채고, 01:06 에 whois 의 EPP 항목에서 clientHold 를 찾았다. 01:08 에 Network Solutions 에 연락해 clientHold 를 풀어 달라고 했고, 01:30 에 .com 도메인의 권한 레지스트리인 Verisign 의 임원진에게도 도움을 청했다. 01:42 에 Cloud Control Panel 을 되살렸다. 02:40 에 Verisign 임원과 통화하고 02:44 에 이메일 스레드를 열어 그동안의 작업과 문제, 해결 요청을 보냈다. 여러 차례 에스컬레이션한 끝에 04:03 에 clientHold 가 풀렸다. 팀은 05:38 까지 인프라 전체를 지켜봤고, 기능이 완전히 돌아온 것을 확인했다."},"trigger":{"en":"At 22:38 UTC on 28 November 2024, DigitalOcean's domain registrar, Network Solutions, made an update to the digitaloceanspaces.com domain that added an Extensible Provisioning Protocol (EPP) clientHold status code to it.","ko":"도메인 등록 대행자 Network Solutions 가 11월 28일 22:38 UTC 에 digitaloceanspaces.com 도메인에 Extensible Provisioning Protocol, 곧 EPP 의 clientHold 상태 코드를 잘못 걸었다. 이 코드는 고객이 Network Solutions 에 연락해 풀기 전까지 DNS 해석을 막는다."},"severity":"unknown","symptoms":["dns-resolution-failures","high-error-rate","image-pull-failures"],"timeline":{"detected_after":"0m","resolved_after":"7h"},"date_kind":"incident","detection":{"en":"DigitalOcean declared the incident at 22:38 UTC based on monitoring and customer reports that the Cloud Control Panel would not load. An internal alert detected the issue at 22:44 UTC, and the first customer contact about the Control Panel came at 22:57 UTC.","ko":"22:38 UTC 에 Cloud Control Panel 이 열리지 않는다는 모니터링과 고객 신고로 장애가 선언됐다. 22:44 에 내부 알림이 문제를 잡았고, 22:57 에 Cloud Control Panel 영향을 알리는 첫 고객 연락이 들어왔다."},"components":["domain-registrar","object-storage","registry"],"root_cause":"dependency-failure","remediation":[{"text":{"en":"Deployed a change that brought the Cloud Control Panel back online","ko":"Cloud Control Panel 을 다시 살리는 조치를 배포해 01:42 UTC 에 기능을 되살렸다. 사용자에게는 페이지를 몇 번 새로 고쳐 캐시를 비우라고 안내했다."}},{"text":{"en":"Contacted Network Solutions to have the clientHold removed","ko":"01:08 UTC 에 Network Solutions 에 연락해 clientHold 를 풀어 달라고 요청했다."}},{"text":{"en":"Escalated to Verisign executives, the .com registry, until the clientHold was removed","ko":"02:44 부터 04:03 UTC 까지 Verisign 임원진에게 여러 차례 에스컬레이션했고, 04:03 에 도메인의 clientHold 가 풀렸다."}}],"action_items":[{"text":{"en":"Work with Network Solutions to understand why the clientHold was applied to the domain","ko":"Network Solutions 와 함께 그쪽에서 무슨 일이 있었기에 도메인에 clientHold 가 잘못 걸렸는지 알아낸다."}},{"text":{"en":"Review other domain registrars as possible new homes for DigitalOcean's domains","ko":"DigitalOcean 도메인을 옮길 곳으로 다른 도메인 등록 대행자들을 검토한다."}},{"text":{"en":"Review monitoring and alerting to detect registrar-imposed changes and DNS resolution problems sooner","ko":"등록 대행자가 건 변경과 DNS 해석 문제로 생기는 장애를 더 빨리 알아채도록 모니터링과 알림을 검토한다."}}],"contributing":["failure-delayed-by-cache","monitoring-blind-spot"],"recurrence_of":null,"symptoms_text":{"en":"From 22:38 UTC on 28 November 2024, DigitalOcean's Cloud Control Panel stopped loading for customers, and sign-up and log-in failed. DigitalOcean declared the incident from monitoring and customer reports, an internal alert fired at 22:44 UTC, and Spaces buckets and the services that depend on them began to fail intermittently.\n\nEvery DNS record under digitaloceanspaces.com failed to resolve. Objects hosted under that domain could not be reached in any region, requests to create, push or pull container images in DigitalOcean Container Registry failed, backups for Mongo Managed Databases did not upload, and creating or resizing Load Balancers, new App Platform builds, and creating or updating Functions failed in all regions. The Cloud Control Panel depends on Spaces, which is why it went down too.\n\nThe failures were intermittent at first and grew worse over time. From 03:00 UTC on 29 November, as DNS caches and the TTLs of recursive DNS servers expired, customers saw the most severe disruption, which lasted until the domain was fixed at 04:03 UTC.\n\nFinding the cause took hours. At 23:57 UTC engineers noticed that the whois information for the domain had been updated at 22:38 UTC, and at 01:06 UTC they found an EPP clientHold status in the whois record of digitaloceanspaces.com and saw in the Network Solutions account that the domain was marked inactive.","ko":"2024년 11월 28일 22:38 UTC 부터 DigitalOcean 의 Cloud Control Panel 이 열리지 않았고, 고객은 가입하거나 로그인하지 못했다. 모니터링과 고객 신고로 장애가 선언됐고, 22:44 에 내부 알림이 문제를 잡았다.\n\n00:21 UTC 의 첫 공지는 모든 리전에서 Cloud Panel 일부가 영향을 받고, 일부 Spaces 버킷에 CDN 으로 접근하지 못할 수 있다고 알렸다. 사용자는 Cloud Control Panel 에 접속하지 못하거나 DNS 관련 문제를 겪었고, Spaces 와 Spaces CDN 을 관리하거나 쓰지 못했다. Cloud Control Panel 은 Spaces 에 기대고 있어 함께 멈췄다.\n\ndigitaloceanspaces.com 아래 DNS 레코드는 전부 해석에 실패했다. 모든 리전에서 digitaloceanspaces.com 아래에 둔 Spaces 객체를 다룰 때 오류가 났고, 컨테이너 레지스트리를 만들거나 push, pull 하는 요청도 실패했다. Mongo Managed Database 백업은 올라가지 않아 그 백업을 쓰려는 사용자가 오류를 봤다. 모든 리전에서 로드 밸런서 생성과 크기 변경, App Platform 의 새 빌드, Functions 생성과 수정도 실패했다.\n\n22:38 UTC 부터 04:03 UTC 까지 DigitalOcean 제품으로 가는 트래픽에 간헐적인 실패가 났다. 03:00 부터 DNS 캐시와 재귀 DNS 서버의 TTL 이 만료되기 시작하면서 해결될 때까지 가장 심한 서비스 중단이 이어졌다.\n\n엔지니어는 상위 제공자의 장애인지 확인하며 가능한 복구 경로를 모두 살폈다. 23:57 에 도메인의 whois 정보가 11월 28일 22:38 UTC 에 바뀐 것을 알아챘고, 01:06 에 digitaloceanspaces.com 의 whois EPP 항목에서 clientHold 상태를 찾았다. Network Solutions 계정에서도 도메인이 inactive 로 표시돼 있었다."},"updated_at":"2026-11-14T12:33:59.822314Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0343","org_slug":"digitalocean"}