{"id":"IL-0258","org":"Fastmail","date":"2016-02-06","docs":[],"title":{"en":"FastMail was unreachable for almost two hours when the GRE tunnels carrying its traffic from Level 3 went down","ko":"DDoS 방어 업체에서 데이터센터로 가는 GRE 터널이 끊겨 FastMail 이 두 시간 가까이 접속되지 않았다"},"domain":["networking"],"impact":{"scope":"FastMail was unavailable to customers for almost two hours; internal systems kept working","users":"FastMail customers","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"Much of FastMail's and NYI's reliability had come from NYI controlling its own infrastructure. With protection always on at Level 3, NYI could not restore the routes itself, and FastMail calls the resulting delay in restoring service unacceptable.","ko":"이렇게 복구가 늦어지는 것은 받아들일 수 없다. FastMail 과 NYI 가 쌓아 온 신뢰성의 큰 부분은 NYI 가 인프라를 직접 통제하는 데서 나왔다. 상시 DDoS 방어로 옮기면서 그 통제를 잃었다."},"related":[],"sources":[{"url":"https://www.fastmail.com/blog/diary-of-a-network-outage/","kind":"blog","archived":"https://web.archive.org/web/20260718233123/https://www.fastmail.com/blog/diary-of-a-network-outage/"}],"summary":{"en":"After a DDoS attack in November 2015, NYI moved FastMail from its network-based DDoS protection service, Black Lotus, to a new one at Level 3, mainly for Level 3's capacity. Before the change, NYI announced FastMail's IP range (66.111.4.0/24) to its network providers with BGP and only redirected the traffic to Black Lotus, through tunnels back to NYI, when monitoring showed a large spike in traffic. After the change the protection was always on: Level 3 announced FastMail's range as part of its own network, all traffic went through Level 3, and filtered packets were sent to NYI through GRE tunnels. NYI had no direct control to change this.\n\nAt 4.50am Melbourne time on Sunday the GRE tunnels went down, so FastMail's traffic stopped reaching its network. NYI escalated with Level 3's support until FastMail's public IP ranges were pointed back to NYI, and service was restored at 6.45am (7.45pm Saturday UTC). Because Black Lotus had since added enough capacity for the attacks seen so far, FastMail went back to the old arrangement, with Black Lotus providing protection under NYI's explicit control. A secondary network between FastMail's datacentres, set up in November, kept internal systems working throughout the outage. FastMail has also moved its DNS to CloudFlare's Virtual DNS, which connects over the secondary network, so DNS keeps working. When the primary network is unavailable, FastMail's secondary incoming mail servers in Amsterdam take over, but they lack the capacity for all incoming mail and defer much of it, which delays delivery.","ko":"2015년 11월 DDoS 공격을 받은 뒤, 주 데이터센터 업체 NYI 는 FastMail 의 네트워크 기반 DDoS 방어를 Black Lotus 에서 Level 3 로 옮겼다. 인터넷 백본의 큰 부분을 이루는 Level 3 의 용량이 이유였다. 이 방식은 BGP 와 GRE 터널로 이루어진다. Level 3 는 FastMail 의 IP 대역 66.111.4.0/24 를 자기 네트워크에서 BGP 로 광고해 모든 트래픽을 받아 걸러 낸다. 걸러 낸 트래픽은 Level 3 에서 NYI 로 이어진 GRE 터널을 거쳐 FastMail 네트워크로 보낸다. 예전에는 트래픽이 치솟을 때만 NYI 가 BGP 광고로 트래픽을 Black Lotus 로 돌렸다. 바뀐 뒤에는 조용할 때도 모든 트래픽이 Level 3 를 거치는 상시 방어였고, NYI 는 이를 직접 바꿀 수 없었다.\n\n멜버른 시간 일요일 오전 4시 50분에 Level 3 와 NYI 사이의 GRE 터널이 끊겨 트래픽이 FastMail 네트워크에 들어오지 못했다. NYI 는 금방 알아챘지만 고칠 권한이 없었다. NYI 가 Level 3 지원 창구에 전화해 계속 상급자에게 올려 보낸 끝에, FastMail 의 공인 IP 대역이 다시 NYI 를 가리키게 됐다. 서비스는 오전 6시 45분, UTC 로는 토요일 오후 7시 45분에 돌아왔다. 장애 동안 데이터센터 사이 보조 네트워크 덕분에 내부 시스템은 계속 동작했다. DNS 도 보조 네트워크로 연결되는 CloudFlare Virtual DNS 로 옮겨 두어서 계속 동작했다."},"trigger":{"en":"The GRE tunnels between Level 3 and NYI, which carried FastMail's filtered traffic into its network, went down.","ko":"멜버른 시간 2016년 2월 7일 오전 4시 50분에 DDoS 방어를 맡은 Level 3 와 주 데이터센터 NYI 사이의 GRE 터널이 끊겼다."},"severity":"unknown","symptoms":["service-unavailable","network-unreachable"],"timeline":{"detected_after":null,"resolved_after":"1h 55m"},"date_kind":"incident","detection":{"en":"NYI, the datacentre provider, noticed the failure quickly.","ko":"데이터센터 업체 NYI 가 장애를 금방 알아챘다."},"components":["ddos-protection","bgp"],"root_cause":"dependency-failure","remediation":[{"text":{"en":"NYI escalated with Level 3's support until FastMail's public IP ranges were pointed back to NYI","ko":"NYI 가 Level 3 지원 창구에 계속 상급자 대응을 요청해, FastMail 의 공인 IP 대역이 다시 NYI 를 가리키게 했다."}}],"action_items":[{"text":{"en":"Go back to DDoS protection from Black Lotus under NYI's explicit control","ko":"DDoS 방어를 예전 방식으로 되돌려, NYI 가 직접 통제하는 가운데 Black Lotus 가 방어를 맡는다."}},{"text":{"en":"Build nginx frontends in the Los Angeles datacentre that reach NYI over the secondary network, and point DNS to them if NYI's primary network fails","ko":"Los Angeles 데이터센터에 보조 네트워크로 NYI 의 애플리케이션·메일 서버와 통신하는 nginx 프런트엔드를 새로 만든다. NYI 의 주 네트워크가 끊기면 DNS 로 www.fastmail.com, mail.messagingengine.com 같은 이름을 LA 프런트엔드로 돌린다."}},{"text":{"en":"Add hardware in Amsterdam and change the delivery system so it depends less on NYI","ko":"Amsterdam 에 하드웨어를 늘리고, 배달 시스템이 NYI 와 덜 통신하도록 내부를 바꾼다."}},{"text":{"en":"Work with NYI to understand its processes for detecting and responding to network faults","ko":"NYI 가 네트워크 장애를 감지하고 대응하는 내부 절차를 NYI 와 함께 더 자세히 파악한다."}}],"contributing":["limited-debug-access"],"recurrence_of":null,"symptoms_text":{"en":"At 4.50am Melbourne time on Sunday 7 February (evening of 6 February UTC), FastMail became unavailable and stayed unreachable for almost two hours. Traffic to FastMail's public IP range never made it into FastMail's own network.\n\nNYI, FastMail's primary datacentre provider, noticed the failure quickly but could no longer fix it itself, because all of FastMail's traffic was being routed through Level 3's DDoS protection network and only Level 3 could change that. NYI kept escalating with Level 3's support by phone until FastMail's public IP ranges were pointed back to NYI. FastMail's internal systems kept working throughout over a secondary network between its datacentres, and Pobox Mailstore customers already migrated to FastMail, who come in on a different network, were not affected.","ko":"멜버른 시간 2016년 2월 7일 일요일 오전 4시 50분, UTC 로는 2월 6일 오후 6시 무렵 Level 3 와 NYI 사이의 GRE 터널이 끊겼다. FastMail 로 오는 트래픽이 FastMail 네트워크에 전혀 들어오지 못해 고객은 서비스를 쓸 수 없었다.\n\n데이터센터 사이에 따로 둔 보조 네트워크 덕분에 내부 시스템은 장애 내내 정상으로 돌았다. 이미 FastMail 로 메일 저장소를 옮긴 Pobox Mailstore 고객은 다른 네트워크로 들어와서 장애를 겪지 않았다.\n\n주 네트워크를 쓸 수 없을 때는 Amsterdam 의 보조 수신 메일 서버가 들어오는 메일을 받는다. 이 서버들은 용량이 모자라 메일의 상당량을 나중에 다시 보내라고 미룬다. 그러면 보내는 쪽 서버가 한동안 기다렸다가 다시 보내므로 메일 배달이 늦어진다."},"updated_at":"2026-11-14T12:33:50.842696Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0258","org_slug":"fastmail"}