{"id":"IL-0533","org":"Microsoft Azure","date":"2024-04-23","docs":[],"title":{"en":"Names in chinacloudapp.cn and chinacloudsites.cn stopped resolving as DNS caches expired, breaking Azure China services","ko":"Azure China 의 핵심 시스템 도메인 chinacloudapp.cn 과 chinacloudsites.cn 의 이름 해석이 실패해 여러 서비스에 연결할 수 없었다"},"domain":["azure","networking"],"impact":{"scope":"Name resolution in chinacloudapp.cn and chinacloudsites.cn, and through it connections to many Azure services in China, the Azure Portal (portal.azure.cn) and APIs, and Azure Monitor, Log Analytics and Microsoft Sentinel in China East 2 and China East 3","users":"Customers of the Azure China regions","region":"Azure China regions"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://azure.status.microsoft/en-us/status/history/?trackingId=V_BH-7DZ","kind":"official-status","archived":null}],"summary":{"en":"To meet a regulatory requirement of the Chinese government, Microsoft ran an internal audit to make sure all its domains had the right ownership and were documented properly. In that audit the ownership of two critical system domains of Azure in China, chinacloudapp.cn and chinacloudsites.cn, was misattributed, and both were flagged as candidates for decommission. The next step of the decommissioning process watches active traffic on a flagged domain, but the management tool that provides DNS zone and hosting information did not cover zones hosted within Azure China, so it reported that the zone file did not exist. Domains at end of life often have no zone file, so this notice raised no alert with the operator. The workflow moved on to its next stage and, at 03:45 CST on 23 April 2024, changed the nameservers of the two domains to inactive servers, a final check meant to find hidden users of a domain.\n\nAs DNS caches across the Internet timed out, resolvers fetched the two domains again, received the inactive nameservers and failed to resolve names in them, and many Azure China services, the portal and APIs failed. Internal monitors raised an incident at 04:37 CST, engineers acknowledged it at 04:39 and at 04:57 matched the resolution failures to the nameserver change. The previous nameservers were restored at 04:59 and the reversion was complete at 05:13, when services began to recover. Because resolvers had cached the bad answers, recovery took until 06:00 CST, when traffic for the services and the affected DNS zones was back to the level before the incident.","ko":"Microsoft 는 중국 정부의 규제 요건을 지키려고 모든 도메인의 소유가 올바르게 정해지고 문서로 남아 있는지 내부 감사를 했다. 이 과정에서 Azure China 운영에 꼭 필요한 시스템 도메인 chinacloudapp.cn 과 chinacloudsites.cn 의 소유가 잘못 매겨졌고, 두 도메인이 폐기 후보로 표시됐다. 폐기 절차의 다음 단계는 표시된 도메인의 실제 트래픽을 한동안 지켜보는 것이었다. 그런데 DNS 영역과 호스팅 정보를 알려 주는 관리 도구가 Azure China 에 호스팅된 영역을 보지 못해 영역 파일이 없다고 보고했다. 쓰이지 않는 수명이 끝난 도메인에는 영역 파일이 없는 일이 흔해서, 운영자에게는 아무 경고도 가지 않았다. 워크플로는 다음 단계로 넘어갔다. 이 단계는 숨은 사용자나 서비스를 찾는 마지막 점검으로, 두 도메인의 네임서버를 비활성 서버 묶음으로 바꿨다.\n\n네임서버는 2024-04-23 03:45 CST 에 바뀌었고, DNS 캐시가 차례로 만료되면서 두 도메인의 FQDN 을 해석하지 못하게 됐다. Azure China 리전에서 여러 Azure 서비스, portal.azure.cn, API, China East 2 와 China East 3 의 Azure Monitor, Log Analytics, Microsoft Sentinel 이 영향을 받았다. 04:37 CST 에 내부 모니터가 서비스 저하를 알리고 인시던트를 만들었다. 04:39 CST 에 엔지니어링 팀이 인시던트를 확인했다. 엔지니어들은 04:57 CST 에 이름 해석 실패가 두 도메인의 네임서버 변경과 시기가 겹친다는 것을 확인했고, 04:59 CST 에 이전의 정상 네임서버로 되돌렸다. 되돌리기는 05:13 CST 에 끝났고 서비스가 회복하기 시작했다. 리졸버의 캐시 때문에 완화가 길어졌다. 06:00 CST 에 서비스와 DNS 영역의 트래픽이 장애 전 수준으로 돌아온 것을 확인하고 완전 복구를 선언했다."},"trigger":{"en":"At 03:45 CST a configuration change made through a domain registrar, as a step of a domain decommissioning workflow, updated the nameservers of chinacloudapp.cn and chinacloudsites.cn to a set of inactive servers.","ko":"도메인 등록 기관을 거친 설정 변경으로 2024-04-23 03:45 CST 에 chinacloudapp.cn 과 chinacloudsites.cn 의 네임서버가 비활성 서버 묶음으로 바뀌었다."},"severity":"unknown","symptoms":["dns-resolution-failures","high-error-rate","monitoring-down"],"timeline":{"detected_after":"52m","resolved_after":"2h 15m"},"date_kind":"incident","detection":{"en":"Internal monitors alerted engineers to the degradation in the Azure China Cloud at 04:37 CST and created an incident, which the engineering team acknowledged at 04:39 CST.","ko":"04:37 CST 에 내부 모니터가 Azure China Cloud 의 서비스 저하를 알리고 인시던트를 만들었다. 04:39 CST 에 엔지니어링 팀이 인시던트를 확인했다."},"components":["dns-server"],"root_cause":"config-change","remediation":[{"text":{"en":"Reverted the two domains to their previous working nameservers","ko":"04:59 CST 에 두 도메인의 네임서버를 이전의 정상 네임서버로 되돌렸고, 05:13 CST 에 되돌리기를 마쳤다."}}],"action_items":[{"text":{"en":"Suspended further runs of the domain lifecycle process until the management tool covers Azure in China","ko":"Azure China 의 관리 도구의 수정이 끝날 때까지 이 도메인 수명 주기 절차의 실행을 모두 멈췄다."}},{"text":{"en":"Make the validation process of domain lifecycle management include signals from all cloud regions","ko":"도메인 수명 주기 관리의 검증 절차를 고쳐 모든 클라우드 리전의 신호가 들어가게 한다. 2024년 6월에 마칠 예정이다."}},{"text":{"en":"Add validations that get nameserver information by resolving the zone directly over the Internet","ko":"인터넷에서 영역을 직접 조회해 네임서버 정보를 얻는 검증을 더한다. 2024년 7월에 마칠 예정이다."}}],"contributing":["assumption-unverified","failure-delayed-by-cache"],"recurrence_of":null,"symptoms_text":{"en":"From 03:45 CST on 23 April 2024, FQDNs in two system domains of Azure in China, chinacloudapp.cn and chinacloudsites.cn, gradually stopped resolving, and customers in the Azure China regions had trouble connecting to many Azure services and managing resources. Internal monitors alerted engineers to the degradation at 04:37 CST.\n\nThe impact was not immediate. Resolvers across the Internet kept the old records until their TTLs ran out, and only when the resolvers refreshed the two domains did the resolvers receive the new, inactive nameservers and fail to resolve names. Customers then had trouble connecting to Cosmos DB, Azure Virtual Desktop, Azure Databricks, Backup, Site Recovery, Azure IoT Hub, Service Bus, Logic Apps, Data Factory, Azure Kubernetes Services, Azure Policy, Azure AI Speech, Azure Machine Learning, API Management, Azure Container Registry and Azure Data Explorer, and viewing or managing resources through the Azure Portal (portal.azure.cn) or APIs failed.\n\nAzure Monitor, Log Analytics and Microsoft Sentinel in China East 2 and China East 3 had intermittent data latency and failed to query and retrieve data, which could stop alerts from firing, and create, update, retrieve and delete operations in Log Analytics could fail. Only these Microsoft-owned domains were hit; the Azure DNS platform and other zones hosted on Azure kept working.","ko":"Azure China 리전에서 고객이 여러 Azure 서비스에 연결하지 못했다. Azure Portal 인 portal.azure.cn 과 API 로도 리소스를 보거나 관리하기 어려웠다. chinacloudapp.cn 과 chinacloudsites.cn 도메인 안의 FQDN 을 해석하지 못한 것이 원인이었다.\n\n연결 문제를 겪은 서비스는 Cosmos DB, Azure Virtual Desktop, Azure Databricks, Backup, Site Recovery, Azure IoT Hub, Service Bus, Logic Apps, Data Factory, Azure Kubernetes Services, Azure Policy, Azure AI Speech, Azure Machine Learning, API Management, Azure Container Registry, Azure Data Explorer 였다.\n\nChina East 2 와 China East 3 의 Azure Monitor, Log Analytics, Microsoft Sentinel 은 데이터가 간헐적으로 늦게 들어왔고 데이터 조회와 가져오기가 실패했다. 그래서 알림이 울리지 않았을 수 있다. Log Analytics 의 생성, 갱신, 조회, 삭제 작업도 실패했다.\n\n영향은 바로 나타나지 않고 서서히 번졌다. 네임서버 설정은 03:45 CST 에 바뀌었지만 이전 DNS TTL 때문에 곧바로 영향이 나지 않았다. 인터넷 곳곳의 DNS 캐시가 차례로 만료되면서 리졸버가 두 도메인의 정보를 새로 요청했다. 리졸버는 비활성 네임서버가 담긴 응답을 받았고, 그 때문에 이름 해석이 실패했다. 변경을 되돌린 뒤에도 리졸버의 캐시 때문에 회복이 늦어졌다.\n\n영향은 Microsoft 가 가진 이 두 도메인에만 있었다. Azure DNS 플랫폼의 가용성과 Azure 에 호스팅된 다른 DNS 영역은 영향을 받지 않았다."},"updated_at":"2026-11-14T12:34:17.625337Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0533","org_slug":"microsoft-azure"}