{"id":"IL-0549","org":"Atlassian","date":"2023-05-15","docs":[],"title":{"en":"Media, attachments, Git LFS and build artifacts failed for Atlassian in us-west-1 when an old network stack was removed","ko":"Atlassian 의 us-west-1 리전에서 미디어, 첨부 파일, Git LFS, 빌드 아티팩트의 저장과 조회가 실패했다"},"domain":["networking"],"impact":{"scope":"Storing and retrieving media, attachments, Git LFS objects and build artifacts in Bitbucket, Confluence, Jira Align, Jira Service Management, Jira Software, Jira Work Management, Jira Product Discovery and Atlas; Bitbucket Pipelines self-hosted builds failed and cloud-hosted builds were delayed","users":"Customers with services hosted in the us-west-1 region","region":"us-west-1"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"Atlassian said the migration used blue/green deployment to limit this kind of risk, but adequate verification was not run before the old stack was decommissioned, and moving services between network segments is rare and hard to replicate in test.","ko":"Atlassian 은 기존 테스트와 예방 절차가 이 문제를 잡지 못했다고 밝혔다. 서비스를 네트워크 세그먼트 사이로 옮기는 일은 자주 하는 작업이 아니고, 테스트 환경에서 정확히 재현하기도 어렵기 때문이라고 설명했다. 이런 문제를 막으려고 블루/그린 배포 방식을 썼지만, 옛 스택을 내리기 전에 충분한 검증 단계를 돌리지 않았다고 적었다."},"related":[],"sources":[{"url":"https://bitbucket.status.atlassian.com/incidents/10ws2wytyfl2","kind":"official-status","archived":"https://web.archive.org/web/20231003045215/https://bitbucket.status.atlassian.com/incidents/10ws2wytyfl2"}],"summary":{"en":"To improve security by hardening the partitions between network segments, Atlassian migrated an internal service to a new network segment, using blue/green deployment. A DNS record that pointed to the old network segment was not updated during the migration, and adequate verification steps were not run before the old stack was decommissioned. When the old network stack was removed, the service failed for Atlassian products hosted in us-west-1. Moving services across network segments is not a regular activity at Atlassian and is hard to reproduce in a test environment, so existing testing did not catch the problem.\n\nAutomated monitoring detected the failure within three minutes. Atlassian rolled the change back, which returned its systems to a known good state, and the disruption lasted one hour and 32 minutes, from 02:36 to 04:08 UTC.","ko":"2023년 5월 15일 02:36 UTC 부터 04:08 UTC 까지 1시간 32분 동안, us-west-1 리전에 서비스를 둔 Atlassian 고객이 Bitbucket, Confluence, Jira Align, Jira Service Management, Jira Software, Jira Work Management, Jira Product Discovery, Atlas 에서 미디어, 첨부 파일, 빌드 아티팩트 같은 데이터 자산을 저장하고 가져오지 못했다.\n\nAtlassian 은 네트워크 세그먼트 사이의 분리를 강화해 보안을 높이는 작업의 하나로 내부 서비스를 새 네트워크 세그먼트로 옮기고 있었다. 이 이전 작업에서 옛 네트워크 세그먼트를 가리키는 DNS 레코드 하나가 갱신되지 않았고, 옛 네트워크 스택을 지우자 실패가 났다. 변경은 블루/그린 배포 방식으로 했지만 옛 스택을 내리기 전에 충분한 검증 단계를 돌리지 않았다. 서비스를 네트워크 세그먼트 사이로 옮기는 일은 자주 하지 않고 테스트 환경에서 똑같이 재현하기 어려워서, 기존 테스트와 예방 절차로는 이 문제를 찾지 못했다.\n\n자동 모니터링이 3분 안에 장애를 감지했고, 변경을 롤백해 Atlassian 시스템을 정상이던 상태로 되돌려 문제를 해결했다."},"trigger":{"en":"An internal service was migrated to a new network segment as part of an initiative to harden the partitions between network segments, and the old network stack was then removed.","ko":"네트워크 세그먼트 사이의 분리를 강화해 보안을 높이는 작업의 하나로 내부 서비스를 새 네트워크 세그먼트로 옮겼다."},"severity":"unknown","symptoms":["high-error-rate","stale-service-routing"],"timeline":{"detected_after":"3m","resolved_after":"1h 32m"},"date_kind":"incident","detection":{"en":"Automated monitoring detected the incident within three minutes.","ko":"자동 모니터링이 3분 안에 감지했다."},"components":["dns-server"],"root_cause":"config-change","remediation":[{"text":{"en":"Rolled back the network migration change, returning Atlassian systems to a known good state","ko":"네트워크 이전 변경을 롤백해 Atlassian 시스템을 정상이던 상태로 되돌렸다."}}],"action_items":[{"text":{"en":"Review the systems that decommission service stacks and check that customer traffic is no longer served before a stack is decommissioned","ko":"서비스 스택을 내리는 시스템을 검토하고, 스택을 내리기 전에 그 스택이 더는 고객 트래픽을 받지 않는지 확인하는 검사를 넣는다."}},{"text":{"en":"Add steps to the service network migration process that identify associated DNS records needing attention","ko":"서비스 네트워크 이전 절차에 함께 손봐야 할 DNS 레코드가 있는지 찾는 단계를 더한다."}}],"contributing":["assumption-unverified","staging-not-representative"],"recurrence_of":null,"symptoms_text":{"en":"From 02:36 UTC on 15 May 2023, Atlassian products with services hosted in the us-west-1 region could not store or retrieve data assets such as media, attachments and build artifacts. Automated monitoring detected it within three minutes, and the status page reported intermittent errors.\n\nIn Bitbucket, self-hosted Bitbucket Pipelines builds failed, access to Git LFS failed and cloud-hosted builds were delayed. In Confluence, Jira Align, Jira Service Management, Jira Software, Jira Work Management, Jira Product Discovery and Atlas, users could not upload, download or view media attachments or files, including images, videos, documents and audio.","ko":"2023년 5월 15일 02:36 UTC 부터 us-west-1 리전에 서비스를 둔 Atlassian 고객에게 미디어, 첨부 파일, 빌드 아티팩트 같은 데이터 자산의 저장과 조회가 실패했다. 자동 모니터링이 3분 안에 감지했다.\n\nBitbucket 에서는 Bitbucket Pipelines 의 셀프 호스팅 빌드가 실패했다. Git LFS 접근도 실패했고, 클라우드 호스팅 빌드는 지연됐다.\n\nConfluence, Jira Align, Jira Service Management, Jira Software, Jira Work Management, Jira Product Discovery, Atlas 에서는 이미지, 동영상, 문서, 오디오 같은 미디어 기능이 망가져 미디어 첨부 파일과 파일을 올리거나 내려받거나 볼 수 없었다.\n\n상태 페이지에는 03:39 UTC 에 Atlassian Support, Confluence, Jira Work Management, Jira Service Management, Jira Software, Atlassian Bitbucket, Atlas Cloud 고객의 간헐적 오류 신고를 조사한다는 글이 올라왔다."},"updated_at":"2026-11-14T12:34:19.993567Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0549","org_slug":"atlassian"}