{"id":"IL-0375","org":"MongoDB","date":"2024-06-03","docs":[],"title":{"en":"MongoDB Atlas cluster changes and alerts lagged for hours after a control plane metadata migration congested a database","ko":"MongoDB Atlas 컨트롤 플레인이 느려져 모든 상용 리전에서 클러스터 변경과 알림이 몇 시간씩 늦었다"},"domain":["database"],"impact":{"scope":"Atlas cluster configuration changes from the API and automated triggers, alert processing and integrations, lower-granularity cluster metrics, Data Explorer, Real-Time Performance Panel and daily cost tabulation","users":"MongoDB Atlas customers","region":"All commercial regions"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.mongodb.com/incidents/ds8dq4vkp6f9","kind":"official-status","archived":"https://web.archive.org/web/20250907173733/https://status.mongodb.com/incidents/ds8dq4vkp6f9"}],"summary":{"en":"The Atlas control plane relies on an internal workflow management system whose metadata MongoDB planned to migrate to a target database cluster. When traffic was redirected to the target, the target cluster became congested on resources, which had not happened in pre-production testing, and cluster configuration changes and alert processing ran with delays of a few minutes to several hours, while lower-granularity cluster metrics and parts of the Atlas UI were unavailable or impaired. Rolling back needed complex reconciliation of the data in the source and target databases, which delayed recovery. Recovery procedures were complete at 00:09 UTC on 4 June, the degradation ended at 1:21 UTC, and the incident was marked resolved at 02:11 UTC. MongoDB said customers did not need to take any action.","ko":"2024년 6월 3일 18:24 UTC 부터 6월 4일 1:21 UTC 까지 모든 상용 리전의 MongoDB Atlas 고객이 여러 기능 저하를 겪었다. MongoDB 는 Atlas 내부 유지보수로 컨트롤 플레인을 받치는 내부 워크플로 관리 시스템의 메타데이터를 옮기는 계획된 마이그레이션을 하고 있었다. 트래픽을 대상 데이터베이스 클러스터로 돌리자 그 클러스터에 예상하지 못한 자원 혼잡이 생겼다. 이 문제는 프로덕션 전 시험에서는 나타나지 않았다. 이 혼잡 때문에 API 호출과 자동 트리거로 낸 클러스터 설정 변경이 몇 분에서 몇 시간 늦게 실행됐고, 알림 처리도 늦었다. 세밀한 단위의 클러스터 지표와 Data Explorer, Real-Time Performance Panel 이 몇 시간 동안 제대로 동작하지 않았다. 롤백에는 원본과 대상 데이터베이스의 데이터를 맞추는 복잡한 조정 작업이 필요해 복구가 늦어졌다. 21:31 UTC 에 근본 원인을 찾아 복구 절차를 시작했고, 6월 4일 00:09 UTC 에 복구 절차를 마쳤다."},"trigger":{"en":"During planned internal maintenance, the metadata of an internal workflow management system that backs the Atlas control plane was migrated to a target database cluster, and traffic was redirected to that target.","ko":"Atlas 컨트롤 플레인을 받치는 내부 워크플로 관리 시스템의 메타데이터를 옮기는 계획된 마이그레이션에서 트래픽을 대상 데이터베이스 클러스터로 돌렸다."},"severity":"unknown","symptoms":["control-plane-slow","monitoring-down","database-overloaded"],"timeline":{"detected_after":null,"resolved_after":"6h 57m"},"date_kind":"incident","detection":null,"components":["database"],"root_cause":"capacity","remediation":[{"text":{"en":"Rolled back the metadata migration, reconciling data between the source and target databases","ko":"마이그레이션을 롤백하면서 원본과 대상 데이터베이스의 데이터를 맞추는 복잡한 조정 작업을 했다."}},{"text":{"en":"Executed recovery procedures, completing them at 00:09 UTC on 4 June, and kept monitoring closely","ko":"6월 4일 00:09 UTC 에 복구 절차를 마치고 상태를 가까이 지켜봤다."}}],"action_items":[{"text":{"en":"Design a new metadata migration strategy that can roll back within 15 minutes of detecting a problem","ko":"앞으로의 유지보수에 쓸 새 메타데이터 마이그레이션 전략을 설계한다. 이 절차는 문제 가능성을 알아챈 뒤 15분 안에 롤백할 수 있게 한다."}},{"text":{"en":"Hold similar maintenance activities until the new procedure is implemented and tested","ko":"이 절차를 구현하고 충분히 시험하기 전에는 비슷한 유지보수를 하지 않는다."}}],"contributing":["staging-not-representative","revert-did-not-restore"],"recurrence_of":null,"symptoms_text":{"en":"From 18:24 UTC on 3 June 2024, MongoDB Atlas cluster configuration changes in all commercial regions ran with delays of a few minutes to several hours. The delays hit changes requested through the API and changes from automated triggers such as auto-scaling and node replacement.\n\nAlert processing was delayed in the same way, for the Atlas built-in alerts and for integrations such as Datadog and PagerDuty. Lower granularities of cluster metrics were unavailable until up to 1:56 UTC on 4 June, the Data Explorer and Real-Time Performance Panel interfaces were impaired for several hours, and part of the daily cost tabulation for compute, storage and data transfer for 3 June was pushed to 6 or 7 June.\n\nThe status page first reported delays in all cluster updates across all cloud providers at 18:45 UTC. By 21:31 UTC the root cause had been identified and recovery had begun. At 23:07 UTC, cluster operations submitted between 18:45 and 21:55 UTC could still be delayed or hold up later changes, while operations submitted from then on were expected to run normally.","ko":"MongoDB Atlas 의 모든 상용 리전에서 클러스터 설정 변경이 몇 분에서 몇 시간까지 늦게 실행됐다. 상태 페이지는 2024년 6월 3일 18:45 UTC 에 모든 클라우드 제공자에서 모든 클러스터 업데이트가 늦어지는 문제를 조사한다고 알렸다.\n\nAPI 호출로 낸 변경뿐 아니라 자동 확장, 노드 교체 같은 자동 트리거도 늦었다. 알림 처리도 비슷하게 늦어 Atlas 내장 알림과 Datadog, PagerDuty 연동이 영향을 받았다.\n\nData Explorer 는 늦거나 응답하지 않았고, Real-Time Performance Panel 의 일부 작업이 동작하지 않았다. 최근 시간대의 세밀한 단위의 클러스터 지표를 볼 수 없었고, 이 지표는 6월 4일 1:56 UTC 까지 돌아오지 않았다. 6월 3일 컴퓨트, 스토리지, 데이터 전송의 일일 비용 집계 일부는 6월 6일이나 7일로 미뤄졌다.\n\n21:31 UTC 에 근본 원인을 찾아 복구 절차를 시작했다. 22:11 UTC 에 Data Explorer 와 Real Time Performance Panel 은 정상으로 돌아왔지만 클러스터 작업은 여전히 늦었다. 23:07 UTC 공지는 18:45 UTC 에서 21:55 UTC 사이에 낸 클러스터 작업이 계속 늦거나 뒤따르는 변경을 늦출 수 있다고 했다. 6월 4일 00:09 UTC 에 복구 절차가 끝났다."},"updated_at":"2026-11-14T12:34:02.713115Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0375","org_slug":"mongodb"}