{"id":"IL-0245","org":"Acquia","date":"2019-02-07","docs":[],"title":{"en":"Acquia Cloud Enterprise sites in US-East went down when their web servers could no longer reach the Memcache servers","ko":"US-East 의 Acquia Cloud Enterprise 사이트들이 불안정해지고 멈췄다"},"domain":["networking"],"impact":{"scope":"Acquia Cloud Enterprise sites (Cloud Platform Enterprise) in US-East","users":"multiple customers","region":"US-East"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.acquia.com/incidents/15g5548q4s1h","kind":"official-status","archived":null}],"summary":{"en":"Acquia was putting in a temporary change to capture system diagnostics that are not part of its standard package, which meant setting up a temporary file system for the diagnostic data. During that work a rule was removed by mistake from a security group in a shared VPC in US-East. The rule allowed web servers to connect to the Memcache servers; without it PHP processes on the web servers were blocked and sites became unavailable. Acquia's configuration drift alerting worked, but the process around drift errors meant the alert was not seen in time to shorten the outage. Acquia restored the missing security group rule by hand, and the outage lasted from 22:17 to 23:25 UTC.","ko":"2019년 2월 7일 Acquia 는 표준 패키지에 없는 시스템 진단 정보를 모으려고 진단 데이터를 담을 임시 파일 시스템을 설정하고 있었다. 이 작업 중 사람의 실수로 US-East 공유 VPC 의 보안 그룹에서 웹 서버가 Memcache 서버에 연결하도록 허용하는 규칙이 지워졌다. 웹 서버가 Memcache 서버에 닿지 못하자 PHP 프로세스가 막혀 여러 고객의 사이트가 멈췄다. Acquia 의 구성 드리프트 알림은 제대로 울렸다. 하지만 드리프트 오류를 다루는 절차 때문에 그 알림을 장애 시간을 줄일 만큼 제때 확인하지 못했다. Acquia 는 지워진 규칙을 손으로 되살렸고, 장애는 22:17 UTC 부터 23:25 UTC 까지 이어졌다."},"trigger":{"en":"While setting up a temporary file system to store diagnostic data, a rule was deleted by mistake from a VPC security group.","ko":"표준 패키지에 없는 시스템 진단 정보를 모으려고 임시 파일 시스템을 설정하던 중, 사람의 실수로 US-East 공유 VPC 의 보안 그룹에서 규칙 하나가 지워졌다."},"severity":"unknown","symptoms":["service-unavailable","network-unreachable"],"timeline":{"detected_after":null,"resolved_after":"1h 8m"},"date_kind":"incident","detection":{"en":"Acquia's configuration drift alerting fired, but the alert was not seen in time to shorten the outage.","ko":"구성 드리프트 알림은 제대로 울렸다. 하지만 드리프트 오류를 다루는 절차 때문에 그 알림을 장애 시간을 줄일 만큼 제때 확인하지 못했다. 22:46 UTC 에 상태 페이지에 조사 중이라는 공지가 올라왔다."},"components":["vpc-routing-and-firewall","cache"],"root_cause":"human-operation","remediation":[{"text":{"en":"Restored the missing rule in the security group by hand","ko":"보안 그룹에서 지워진 규칙을 손으로 되살렸고, 23:25 UTC 에 장애가 끝났다."}}],"action_items":[{"text":{"en":"Correct the internal workflow with all involved teams to prevent similar mistakes","ko":"관련된 모든 팀과 함께 내부 작업 절차를 고쳐 비슷한 일이 다시 일어나지 않게 한다."}},{"text":{"en":"Alert internal teams faster about configuration drift in VPC security groups","ko":"VPC 보안 그룹의 구성 드리프트를 내부 팀에 더 빨리 알리는 장치를 더 만든다."}}],"contributing":["early-signal-ignored"],"recurrence_of":null,"symptoms_text":{"en":"On 7 February 2019 from 22:17 to 23:25 UTC, some Acquia Cloud Enterprise sites in US-East became unstable or went down for multiple customers. The web servers could not reach the Memcache servers, PHP processes on the web servers were blocked, and the sites became unavailable.","ko":"2019년 2월 7일 22:17 UTC 부터 US-East 에 있는 여러 고객의 Acquia Cloud Enterprise 사이트가 불안정해지거나 멈췄다.\n\n웹 서버가 Memcache 서버에 닿지 못하자 웹 서버의 PHP 프로세스가 막혔고, 사이트를 쓸 수 없게 됐다."},"updated_at":"2026-11-14T12:33:49.301839Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0245","org_slug":"acquia"}