{"id":"IL-0145","org":"Microsoft Azure","date":"2023-08-30","docs":["https://aka.ms/AIR/VVTQ-J98","https://docs.microsoft.com/azure/availability-zones/az-overview","https://learn.microsoft.com/azure/storage/common/storage-redundancy","https://learn.microsoft.com/azure/azure-sql/database/disaster-recovery-guidance","https://learn.microsoft.com/azure/cosmos-db/high-availability","https://learn.microsoft.com/azure/architecture/patterns/geodes"],"title":{"en":"A power sag and chiller failure in one Australia East availability zone took down the AKS control plane's compute and its non-zone-redundant SQL Database operation queue, blocking AKS create, update and delete operations in Australia East and Australia Southeast","ko":"Australia East 의 전압 강하로 냉각기가 멈춰 데이터 홀 장비가 꺼지면서, 영역 중복이 아닌 AKS 작업 큐 데이터베이스가 내려가 두 리전의 AKS 생성, 수정, 삭제 작업이 막혔다"},"domain":["kubernetes","azure"],"impact":{"scope":"AKS resource provider operations (create, read, update, delete, scaling); existing workloads not expected to be affected. The wider incident affected many Azure, Microsoft 365 and Power Platform services","users":"unknown","region":"Australia East and Australia Southeast"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"A control plane spread across availability zones still fails with a zone when one of its dependencies, here the SQL Database operation queue, is not zone redundant. When a second region uses the same database, the failure crosses into that region as well.\n\nWorkloads already running were not expected to be affected; what stopped was everything that needs the managed service's control plane, such as scaling and cluster changes.","ko":"AKS 컨트롤 플레인의 기반 인프라를 여러 가용 영역에 나눠 두어도, 생성, 조회, 수정, 삭제 작업이 거치는 작업 큐 데이터베이스가 영역 중복이 아니면 한 영역의 장애가 리전 전체의 AKS 작업을 멈춘다. 다른 리전이 같은 데이터베이스에 기대고 있으면 장애가 그 리전까지 번진다.\n\n이미 돌고 있는 워크로드는 영향을 받지 않았을 것으로 Microsoft 는 보았지만, 스케일링처럼 리소스 공급자를 거쳐야 하는 일은 모두 막혔다. 영역 중복 스토리지, 그리고 영역 복원력이나 다중 리전 쓰기를 켠 Cosmos DB 계정은 이번 장애에서도 계속 동작했고, 영역 중복 SQL Database 도 프록시 모드로 연결한 일부 고객을 빼면 중단이 없었다."},"related":[],"sources":[{"url":"https://azure.status.microsoft/en-us/status/history/?trackingId=VVTQ-J98","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"At 08:41 UTC on 30 August 2023 a lightning strike on electrical infrastructure about 18 miles away caused a utility voltage sag that stopped the chillers in one of the three Australia East availability zones; 13 of them failed to restart automatically. The onsite team restarted chillers by hand on the rooftop, moving from one datacenter to the next, but by the time it reached the last five, the water in their chilled water loop was too hot and a self-protection mechanism blocked the restart. Those five cooled two adjacent data halls that need at least four running chillers. From 10:30 UTC equipment began shutting down automatically as temperatures rose, and at 11:34 UTC the team shut down the remaining networking, compute and storage in the two halls remotely. The chillers came back at 12:12 UTC, temperatures were normal by 13:30 UTC, and power was restored to all hardware by 15:10 UTC.\n\nAKS lost compute for its control plane in Australia East and lost access to the Azure SQL Database it uses as the operation queue for create, read, update and delete activities. The AKS control plane underlay is spread across availability zones, but the SQL Database in Australia East had not been configured with zone resiliency, although it was scheduled to be converted, so it was unavailable for the whole incident. AKS in Australia Southeast depended on the same database, which spread the failure of AKS operations to that region. As SQL Database recovered, the AKS service was restored without any further mitigation.\n\nThe rest of the region recovered more slowly in places: most services were back by 22:40 UTC on 30 August, but full mitigation took until 20:00 UTC on 3 September, mostly because of dependencies on recovering storage, SQL Database and Cosmos DB.","ko":"2023년 8월 30일 08시 41분 UTC, Australia East 의 가용 영역 세 곳 중 하나에서 약 18마일 떨어진 전력 설비에 낙뢰가 떨어져 전압 강하가 일어났고, 여러 데이터센터의 냉각기가 멈췄다. 전압 강하 뒤 일부 냉각기는 자동으로 다시 켜졌지만 13대는 다시 켜지지 않아 사람이 손으로 재시작해야 했다. 현장 팀이 옥상의 냉각기를 데이터센터 하나씩 차례로 재시작했는데, 마지막 다섯 대에 닿았을 때는 냉수 순환 계통의 물 온도가 너무 높아 냉각기의 자기 보호 장치가 재시작을 막았다. 이 다섯 대가 냉각하던 두 데이터 홀은 냉각기가 최소 네 대 돌아야 하는데, 평소에는 일곱 대 중 다섯 대가 돌고 두 대가 대기하고 있었다.\n\n10시 30분 UTC 데이터 홀 온도가 오르면서 일부 네트워크, 컴퓨트, 스토리지 장비가 자동으로 꺼졌다. 11시 34분 현장 팀은 데이터 내구성과 장비를 지키려고 남은 장비를 원격으로 내렸고, 그 덕에 냉수 온도가 내려가 12시 12분 냉각기를 다시 켤 수 있었다. 13시 30분 온도가 정상으로 돌아왔고 15시 10분 모든 장비에 전원이 다시 들어갔다. VM 은 22시 40분에 99%, 8월 31일 05시에 100% 복구됐다. 스토리지는 9월 1일에, SQL Database 는 테넌트 링 가운데 마지막 것을 비운 9월 3일 20시에 완전히 복구됐다.\n\nAKS 쪽에서는 Australia East 의 AKS 컨트롤 플레인이 쓰던 컴퓨트를 잃었고 SQL Database 의 데이터에도 접근할 수 없었다. AKS 컨트롤 플레인의 기반 인프라는 여러 가용 영역에 걸쳐 배포되어 있었다. 그러나 AKS 는 생성, 조회, 수정, 삭제 작업에 쓰는 작업 큐를 Azure SQL Database 에 두었다. Australia East 의 이 데이터베이스는 영역 중복으로 전환할 예정이었지만 아직 설정되지 않아 장애 내내 쓸 수 없었다. Australia Southeast 의 AKS 서비스도 같은 데이터베이스를 쓰고 있어 그 리전까지 장애가 번졌다. SQL Database 가 복구되자 AKS 는 다른 조치 없이 정상으로 돌아왔다."},"trigger":{"en":"At 08:41 UTC a lightning strike on electrical infrastructure about 18 miles away caused a utility voltage sag that shut down the cooling chillers of datacenters in one Australia East availability zone; 13 chillers failed to restart automatically and five could not be restarted, so two data halls overheated and their infrastructure was shut down.","ko":"8월 30일 08시 41분 UTC, Australia East 의 영향받은 가용 영역에서 약 18마일 떨어진 전력 설비에 낙뢰가 떨어져 전압 강하가 일어났다. 이 전압 강하로 여러 데이터센터의 냉각 시스템에 있는 냉각기가 멈췄다."},"severity":"unknown","symptoms":["control-plane-unresponsive","high-error-rate","service-unavailable"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":{"en":"Cosmos DB impact was detected by monitoring at 10:47 UTC, first automated communications went to Azure Service Health at 10:48 UTC, the public Azure Status page was updated at 11:30 UTC, and all subscriptions in Australia East were sent portal communications at 11:36 UTC.","ko":"10시 47분 UTC Cosmos DB 영향이 모니터링에 잡혔고, 10시 48분 첫 자동 공지가 Azure Service Health 로 나갔다. 11시 30분 공개 Azure 상태 페이지에 첫 공지가 올라갔고, 11시 36분 Australia East 의 모든 구독에 포털 공지를 보냈다."},"components":["aks-control-plane","database"],"root_cause":"cloud-provider","remediation":[{"text":{"en":"shut down the remaining networking, compute and storage in the two affected data halls so the chilled water loop could cool down","ko":"11시 34분 UTC 냉수 온도를 낮추려고 영향받은 데이터 홀의 남은 네트워크, 컴퓨트, 스토리지 장비를 원격으로 내렸다."}},{"text":{"en":"restarted the five chillers manually at 12:12 UTC","ko":"12시 12분 UTC 재시작이 막혔던 냉각기 다섯 대를 손으로 다시 켰다."}},{"text":{"en":"restored power to all hardware by 15:10 UTC and brought infrastructure back in phases","ko":"데이터 홀 안전 점검을 마친 뒤 장비에 단계적으로 전원을 넣어 15시 10분 UTC 모든 장비의 전원을 복구했다."}},{"text":{"en":"restored AKS operations through the recovery of the SQL Database operation queue, with no other mitigation","ko":"AKS 작업 큐로 쓰는 SQL Database 가 복구되자 다른 조치 없이도 AKS 작업이 되살아났다."}}],"action_items":[{"text":{"en":"AKS: convert all operation queue SQL Database databases to be zone redundant (estimated September 2023)","ko":"AKS 팀은 작업 큐로 쓰는 SQL Database 데이터베이스를 모두 영역 중복으로 즉시 전환한다. 완료 목표는 2023년 9월이다."}},{"text":{"en":"AKS: replace all cross-region SQL Database queue usage with zone-redundant Service Bus queues (estimated September 2023)","ko":"AKS 팀은 리전을 넘나드는 SQL Database 큐 사용을 모두 영역 중복 Service Bus 큐로 바꾼다. 완료 목표는 2023년 9월이다."}},{"text":{"en":"Change the control timing logic of the Chiller Management System so chillers do not fail to restart after voltage fluctuations","ko":"가용 영역의 부하가 조금씩 늘면서 냉각기 운전 구성이 냉각기 관리 시스템의 타이밍 결함에 취약해져 있었다. 전압 변동 뒤 재시작에 실패하지 않도록 냉각기 관리 시스템의 제어 타이밍 로직을 바꿨다."}},{"text":{"en":"Change the emergency procedure for manual restarts of simultaneous chiller failures from an adjacent sequence to a load-based sequence per data hall","ko":"여러 냉각기가 한꺼번에 멈췄을 때 손으로 재시작하는 비상 운영 절차에서, 재시작 순서를 냉각기가 붙어 있는 차례가 아니라 데이터 홀 부하를 기준으로 정하도록 바꿨다. 냉각을 모두 되살리는 동안 모든 데이터 홀이 일부라도 냉각을 받아 열 폭주가 늦춰지게 하려는 것이다."}},{"text":{"en":"Increase technician staffing at the datacenter as a temporary measure for manual chiller restarts","ko":"냉각기 관리 시스템을 바꾸기 전까지의 임시 조치로 데이터센터 기술자 인원을 늘려 수동 재시작 절차를 바로 실행할 수 있게 했다."}},{"text":{"en":"Storage: optimise the large-scale recovery process and update troubleshooting guides (estimated December 2023)","ko":"스토리지 팀은 대규모 복구 과정을 최적화한다. 장애 중에 빨리 판단할 수 있도록 판단에 쓰는 데이터를 늘리고, 더 빨리 실행할 수 있도록 문제 해결 가이드를 고친다. 완료 목표는 2023년 12월이다."}},{"text":{"en":"Azure Service Fabric: improve reliability of SQL Database tenant ring recovery (estimated December 2023)","ko":"Azure Service Fabric 팀은 SQL Database 테넌트 링 복구의 신뢰성을 높인다. 완료 목표는 2023년 12월이다."}},{"text":{"en":"SQL Database: review the trigger criteria of auto-failover groups (estimated October 2023)","ko":"SQL Database 팀은 자동 장애 조치 그룹의 발동 기준을 검토해 장애 조치가 기대한 시간 안에 일어나게 한다. 완료 목표는 2023년 10월이다."}},{"text":{"en":"SQL Database: upgrade internal tooling to enable mass migration of databases (estimated December 2023)","ko":"SQL Database 팀은 데이터베이스를 대량으로 옮길 수 있도록 내부 도구를 개선한다. 완료 목표는 2023년 12월이다."}},{"text":{"en":"Cosmos DB: optimise Service Managed Failover for single-region-write accounts (estimated November 2023)","ko":"Cosmos DB 팀은 단일 리전 쓰기 계정의 서비스 관리형 장애 조치를 최적화해 복구 시간을 줄인다. 완료 목표는 2023년 11월이다."}},{"text":{"en":"ARM: complete the migration of its storage layer to the zonally redundant architecture (estimated December 2023)","ko":"ARM 팀은 스토리지 계층을 차세대 영역 중복 구조로 옮기는 작업을 마친다. 완료 목표는 2023년 12월이다."}},{"text":{"en":"Incident management: harden readiness, process and playbook for power-down scenarios (estimated October 2023)","ko":"장애 관리 팀은 장비 전원을 내려야 하는 상황에 맞춰 준비 태세, 절차, 플레이북을 강화하는 방법을 찾는다. 완료 목표는 2023년 10월이다."}}],"contributing":["single-point-of-failure","blast-radius-too-wide"],"recurrence_of":null,"symptoms_text":{"en":"From about 10:30 UTC on 30 August 2023, customers had trouble accessing or using Azure, Microsoft 365 and Power Platform services in Australia East. The affected Azure services included Azure Kubernetes Service (AKS) along with storage, SQL Database, Cosmos DB, virtual machines and Azure Resource Manager.\n\nFor AKS, operations that go through the AKS resource provider failed: creating, reading, updating and deleting clusters, including scaling. This happened in Australia East and also in Australia Southeast. Workloads already running on AKS clusters in either region were not expected to be affected as long as they did not need those operations.","ko":"2023년 8월 30일 10시 30분 UTC 무렵부터 Australia East 리전에서 Azure, Microsoft 365, Power Platform 서비스에 접근하거나 쓰는 데 문제가 생겼다. AKS 에서는 리소스 공급자를 거치는 생성, 조회, 수정, 삭제 작업과 스케일링이 실패했다.\n\nAKS 장애는 Australia East 에 그치지 않았다. Australia Southeast 리전의 AKS 서비스도 같은 데이터베이스에 의존하고 있어서 그 리전의 생성, 조회, 수정, 삭제 작업도 함께 실패했다. 두 리전 모두 이미 돌고 있는 고객 워크로드는 스케일링이나 다른 작업으로 AKS 리소스 공급자를 부르지 않는 한 영향을 받지 않았을 것으로 Microsoft 는 보았다.\n\n같은 시각 리전 전체에서 여러 서비스가 함께 흔들렸다. 10시 47분 Cosmos DB 영향이 모니터링에 잡혔다. 10시 45분부터 12시 25분까지 Azure Resource Manager 의 Australia East 가용성이 약 99.999% 에서 최저 88% 로 떨어졌고, 쓰기 작업 성공률은 62% 였다. 리소스 그룹이 Australia East 에 있는 리소스를 관리하던 고객은 세계 어디에서든 오류가 늘었다."},"updated_at":"2026-11-10T00:00:36.003422Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0145","org_slug":"microsoft-azure"}