{"id":"IL-0376","org":"Upstash","date":"2025-02-25","docs":[],"title":{"en":"A maintenance update set off needless full syncs between Upstash Redis replicas in eu-west-1, slowing the databases","ko":"AWS eu-west-1 의 Upstash 리전 Redis 데이터베이스가 CPU 부하로 몇 시간 동안 느려졌다"},"domain":["database","aws"],"impact":{"scope":"Performance of regional Upstash Redis databases with a replica in AWS eu-west-1: very high CPU load, throttling and high latency; no data or consistency lost","users":"unknown","region":"AWS eu-west-1"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.upstash.com/incidents/bczmd5tg3rbj","kind":"official-status","archived":"https://web.archive.org/web/20260317023558/https://status.upstash.com/incidents/bczmd5tg3rbj"}],"summary":{"en":"During a maintenance update to the regional Upstash Redis databases in AWS eu-west-1, several databases in the region started a full synchronisation between their primary and backup replicas although none was needed. A full synchronisation throws away all data on the target replica and fills it again from the source replica; it is normally needed only when one replica has lost data integrity, and that was not the case here. The synchronisations drove CPU load very high, and the Upstash system throttled the databases going through them so that the synchronisation got more CPU and finished sooner, which degraded performance on some databases with a replica in the region. Upstash added resources to the cluster, unthrottled the affected databases at 15:06 UTC and enabled more throughput, but latency stayed high until the full synchronisations completed at 21:23 UTC. No data was lost and consistency was kept. Upstash Global databases, Upstash's newer infrastructure and now its default offering, do not have this issue.","ko":"AWS eu-west-1 의 리전 Upstash Redis 데이터베이스에 유지보수 업데이트를 하던 중, 그 리전에 있는 여러 데이터베이스가 주 복제본과 백업 복제본 사이에서 전체 동기화를 시작했다. 전체 동기화는 대상 복제본의 데이터를 모두 무효로 하고 원본 복제본에서 처음부터 다시 채우는 작업이다. 평소에는 한 복제본의 데이터 무결성이 깨졌을 때만 필요한데, 이번에는 무결성이 깨지지 않았다. 전체 동기화는 CPU 부하를 크게 올렸다. Upstash 시스템은 동기화를 빨리 끝내려고 동기화 중인 데이터베이스를 스로틀링해 CPU 를 동기화에 더 나눠 줬다. 그래서 이 리전에 복제본이 있는 데이터베이스 일부의 성능이 떨어졌다.\n\nUpstash 는 14:03 UTC 에 성능 저하를 알리고 클러스터에 자원을 더했다. 15:06 UTC 에 영향받은 데이터베이스의 스로틀링을 풀고 처리량을 늘렸지만, 지연은 21:23 UTC 에 전체 동기화가 끝날 때까지 높았다. 20:54 UTC 에 수정을 적용하고 지켜보는 중이라고 알렸고, 21:23 UTC 에 해결로 닫았다. 데이터와 일관성은 잃지 않았다. 영향은 AWS eu-west-1 의 리전 데이터베이스에 한정됐고, 차세대 인프라이자 지금 기본 상품인 Upstash Global 데이터베이스에는 이 문제가 없었다."},"trigger":{"en":"A maintenance update to the regional Upstash Redis databases in AWS eu-west-1.","ko":"AWS eu-west-1 의 리전 Upstash Redis 데이터베이스에 유지보수 업데이트를 하던 중, 그 리전의 여러 데이터베이스가 주 복제본과 백업 복제본 사이에서 필요 없는 전체 동기화를 시작했다."},"severity":"unknown","symptoms":["high-latency","node-high-cpu"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":null,"components":["cache","database-replication"],"root_cause":"software-bug","remediation":[{"text":{"en":"Added more resources to the regional eu-west-1 cluster","ko":"AWS eu-west-1 의 리전 데이터베이스 클러스터에 자원을 더했다."}},{"text":{"en":"Unthrottled the affected databases at 15:06 UTC and enabled more throughput","ko":"15:06 UTC 에 영향받은 데이터베이스의 스로틀링을 풀고 처리량을 늘렸다."}}],"action_items":[{"text":{"en":"Deploy a fix that stops regional databases from starting unnecessary full synchronisations","ko":"리전 데이터베이스에서 불필요한 전체 동기화가 일어나지 않게 하는 수정을 배포한다."}},{"text":{"en":"Contact regional database users about migrating to Upstash Global, which does not have this issue","ko":"리전 데이터베이스 사용자에게 Upstash Global 로 옮기는 방법을 안내한다."}}],"contributing":["automation-amplified"],"recurrence_of":null,"symptoms_text":{"en":"On 25 February 2025, regional Upstash Redis databases in AWS eu-west-1 slowed down after a maintenance update, with very high CPU load on databases that have a replica in that region. Latency stayed high until about 21:23 UTC, even after the affected databases were unthrottled at 15:06 UTC.","ko":"AWS eu-west-1 에 복제본이 있는 Upstash 리전 Redis 데이터베이스 일부에서 성능이 떨어지고 지연이 높아졌다. 이 데이터베이스들의 CPU 부하가 매우 높았다.\n\n상태 페이지는 14:03 UTC 에 AWS eu-west-1 의 리전 데이터베이스 클러스터에서 성능이 떨어지고 있다고 알렸다. 이때 Upstash 는 클러스터에 자원을 더하고 있었다.\n\n15:06 UTC 에 스로틀링을 풀고 처리량을 늘린 뒤에도 지연은 높았다. 지연은 21:23 UTC 에 전체 동기화가 끝나고서야 내려갔다."},"updated_at":"2026-11-14T12:34:02.787339Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0376","org_slug":"upstash"}