{"id":"IL-0252","org":"Spotify","date":"2022-03-08","docs":[],"title":{"en":"Spotify users who were logged out could not log back in during a global outage of service discovery","ko":"서비스 디스커버리 장애로 Spotify 앱에서 로그아웃된 사용자가 전 세계에서 다시 로그인하지 못했다"},"domain":["gcp","networking"],"impact":{"scope":"Login to Spotify apps: logged-out users could not log back in","users":"unknown","region":"global"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://engineering.atspotify.com/2022/3/incident-report-spotify-outage-on-march-8","kind":"blog","archived":"https://web.archive.org/web/20251115051611/https://engineering.atspotify.com/2022/3/incident-report-spotify-outage-on-march-8"}],"summary":{"en":"Spotify's backend microservices find each other through several service discovery systems: most use a DNS-based system, and some use Google Cloud Traffic Director, an xDS-based traffic control plane and discovery system. On 8 March 2022 Traffic Director had an outage, and together with a bug in a gRPC client library this broke login for Spotify users worldwide. Spotify learned of the login problems at 18:12 UTC, started remediation at 18:39 UTC by rolling out configuration changes that moved the affected systems back to the DNS-based service discovery, saw them recover gradually, and had the incident fully mitigated at 20:35 UTC.","ko":"Spotify 백엔드는 서로 통신하는 여러 마이크로서비스로 이루어져 있다. 서비스 대부분은 DNS 기반 서비스 디스커버리를 쓰지만, 일부는 xDS 기반 트래픽 컨트롤 플레인이자 디스커버리 시스템인 Traffic Director 를 쓴다. 3월 8일 Google Cloud Traffic Director 에 장애가 났고, 여기에 클라이언트 라이브러리인 gRPC 의 버그가 겹쳐 전 세계 장애가 됐다. 로그아웃된 사용자는 다시 로그인하지 못했다. 18:12 UTC 에 신고가 들어왔고, 18:39 UTC 부터 영향받은 시스템을 DNS 기반 서비스 디스커버리로 되돌리는 설정 변경을 배포했다. 시스템은 서서히 회복했고 20:35 UTC 에 완전히 완화됐다."},"trigger":{"en":"Google Cloud Traffic Director, the xDS-based traffic control plane and discovery system that some Spotify services use, had an outage.","ko":"2022년 3월 8일 Spotify 의 일부 서비스가 서비스 디스커버리에 쓰는 Google Cloud Traffic Director 에 장애가 났다."},"severity":"unknown","symptoms":["high-error-rate"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":{"en":"Reports of users being logged out of the client apps started to surface at 18:12 UTC.","ko":"18:12 UTC 에 여러 클라이언트 앱에서 사용자가 로그아웃됐다는 신고가 올라오면서 알게 됐다."},"components":["service-discovery","http-client-library"],"root_cause":"cloud-provider","remediation":[{"text":{"en":"Rolled out configuration changes that moved the affected systems back to the DNS-based service discovery","ko":"영향받은 시스템이 DNS 기반 서비스 디스커버리를 다시 쓰도록 설정 변경을 배포했다."}}],"action_items":[{"text":{"en":"Work with Google Cloud to understand how the Traffic Director issues led to a large outage for Spotify users","ko":"Google Cloud 와 함께 Traffic Director 의 문제가 어떻게 Spotify 사용자에게 큰 장애로 번졌는지 알아본다."}},{"text":{"en":"Add monitoring and alerting that catches similar service discovery problems earlier","ko":"비슷한 서비스 디스커버리 문제를 더 일찍 잡도록 모니터링과 알림을 더한다."}},{"text":{"en":"Add safety nets for monitoring, automatic error detection and self-recovery","ko":"모니터링, 오류 자동 감지, 자동 복구 쪽으로 안전장치를 더 찾아 넣는다."}}],"contributing":["overlapping-failures"],"recurrence_of":null,"symptoms_text":{"en":"At 18:12 UTC on 8 March 2022, reports began to surface of users being logged out of the different Spotify client apps. Anyone who was logged out of a Spotify app could not log back in, and the outage was global.","ko":"2022년 3월 8일 18:12 UTC 부터 여러 클라이언트 앱에서 사용자가 로그아웃됐다는 신고가 올라오기 시작했다. Spotify 앱에서 로그아웃된 사용자는 다시 로그인할 수 없었고, 장애는 전 세계에 걸쳤다."},"updated_at":"2026-11-14T12:33:50.035936Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0252","org_slug":"spotify"}