{"id":"IL-0519","org":"cloud.gov","date":"2016-03-08","docs":[],"title":{"en":"Apps on the cloud.gov PaaS became unavailable after an AWS security group change blocked their outbound traffic","ko":"AWS 보안 그룹 변경으로 cloud.gov PaaS 의 나가는 트래픽이 막혀 애플리케이션들이 멈췄다"},"domain":["aws","networking"],"impact":{"scope":"Applications on cloud.gov that relied on outbound traffic; at one point all applications on the platform","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://github.com/cloud-gov/cg-postmortems/issues/2","kind":"github","archived":"https://web.archive.org/web/20210124121341/https://github.com/cloud-gov/cg-postmortems/issues/2"}],"summary":{"en":"On 8 March 2016 at 9:28am Pacific Time, a contractor at Aquilent changed the AWS security group settings of the cloud.gov PaaS as part of a set of changes toward ATO for the platform. The change restricted outbound traffic, but several applications on cloud.gov needed outbound connections to reach services they depended on, so they became unavailable, and at one point all applications were down. The team added exceptions for individual applications, which restored some of them, and then decided to roll back the change, which restored all applications at 8:00am Pacific Time on 9 March. A postmortem was held on 10 March. In the issue comments a contributor noted that moving from AWS security groups to CF security groups would be a large change, because AWS security groups are a core part of the platform's FedRAMP Authorization. The issue was closed in June 2016 without the planned review, because procedures and the contractor had changed since.","ko":"2016년 3월 8일 태평양 시간 오전 9시 28분에 Aquilent 의 외주 엔지니어가 플랫폼의 ATO 를 받는 과정의 하나로 AWS 보안 그룹 설정을 바꿔 cloud.gov PaaS 의 나가는 트래픽을 제한했다. cloud.gov 의 여러 애플리케이션은 의존하는 서비스에 접속하려고 밖으로 트래픽을 보냈는데, 그 트래픽 일부가 막혀 애플리케이션을 쓸 수 없게 됐고 한때는 모든 애플리케이션이 멈췄다. 애플리케이션마다 예외를 더해 일부를 되살렸지만, 결국 변경을 롤백하기로 해 3월 9일 태평양 시간 오전 8시에 모든 애플리케이션이 돌아왔다. 포스트모템은 3월 10일 태평양 시간 오후 1시 30분에 열렸다."},"trigger":{"en":"At 9:28am Pacific Time on 8 March 2016 a contractor at Aquilent changed the AWS security group settings, one of several changes made in the process of achieving ATO for the platform.","ko":"3월 8일 태평양 시간 오전 9시 28분에 Aquilent 의 외주 엔지니어가 AWS 의 보안 그룹 설정을 바꿔 cloud.gov PaaS 의 나가는 트래픽을 제한했다. 이 변경은 플랫폼의 ATO 를 받는 과정에서 하던 여러 변경 가운데 하나였다."},"severity":"unknown","symptoms":["network-unreachable","service-unavailable"],"timeline":{"detected_after":null,"resolved_after":"22h 32m"},"date_kind":"incident","detection":null,"components":["vpc-routing-and-firewall"],"root_cause":"config-change","remediation":[{"text":{"en":"Added exceptions for individual applications, which restored some of them","ko":"애플리케이션마다 보안 그룹 예외를 더해 일부 애플리케이션을 되살렸다."}},{"text":{"en":"Rolled back the security group change, which restored all applications","ko":"결국 보안 그룹 변경을 롤백하기로 했고, 3월 9일 태평양 시간 오전 8시에 모든 애플리케이션이 돌아왔다."}}],"action_items":[{"text":{"en":"Put all security group configuration into version control and make changes through pull requests","ko":"보안 그룹 설정을 모두 버전 관리에 넣고, 풀 리퀘스트로 바뀔 내용을 보이게 하며 변경을 언제 적용할지 통제한다."}},{"text":{"en":"Monitor the applications running on cloud.gov and alert the cloud.gov team when they do not work as expected","ko":"cloud.gov 에서 도는 애플리케이션을 모니터링하고, 애플리케이션이 기대대로 돌지 않으면 cloud.gov 팀이 알림을 받게 한다."}},{"text":{"en":"Use CF security groups instead of AWS security groups and make the current rules visible to the cloud.gov team and the teams using it","ko":"AWS 보안 그룹 대신 CF 보안 그룹을 쓰고, 이 규칙의 현재 상태를 cloud.gov 팀과 cloud.gov 를 쓰는 팀들이 볼 수 있게 한다."}},{"text":{"en":"Create a notification system to reach the key contact of each application on the platform","ko":"플랫폼에서 도는 애플리케이션마다 주요 연락 담당자에게 알릴 수 있는 알림 체계를 만든다."}},{"text":{"en":"Create a more accurate staging environment to test changes like this","ko":"이런 변경을 실제와 더 가깝게 시험할 수 있도록 스테이징 환경을 더 정확하게 만든다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"From 9:28am Pacific Time on 8 March 2016, applications on the cloud.gov PaaS that relied on outbound traffic to reach the services they depended on became unavailable, and at one point every application on cloud.gov was down.\n\nPart of the outbound traffic from the platform was blocked by a change to the AWS security group settings. Adding exceptions for individual applications brought some of them back, but not all.","ko":"cloud.gov 에서 돌던 애플리케이션 가운데 의존하는 서비스에 접속하려고 밖으로 트래픽을 보내던 애플리케이션들은 그 트래픽이 막혀 쓸 수 없게 됐다. 한때는 cloud.gov 의 모든 애플리케이션이 멈췄다."},"updated_at":"2026-11-14T12:34:16.255548Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0519","org_slug":"cloud-gov"}