{"id":"IL-0259","org":"Fastmail","date":"2023-06-30","docs":[],"title":{"en":"Outbound packets from Fastmail did not reach part of the internet for about 19 hours, cutting off 3-5% of customers","ko":"Fastmail 에서 나가는 패킷이 인터넷 일부에 닿지 않아 고객 3~5% 가 약 19시간 동안 Fastmail 을 쓰지 못했다"},"domain":["networking"],"impact":{"scope":"All Fastmail services, including mail delivery, between Fastmail and the affected networks: Fastmail entirely offline for users on them, delayed email, some mail fetches disabled, and no outgoing email to part of the internet","users":"An estimated 3-5% of Fastmail customers, and some email servers","region":"A fraction of the internet"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"With a single path for outbound traffic, Fastmail could not route around a provider's network problem and could not fix it itself. Being able to choose between several outbound paths would let Fastmail get everyone back online faster.","ko":"나가는 트래픽의 경로가 하나뿐이어서 Fastmail 은 공급사 네트워크의 문제를 피해 갈 수 없었고 스스로 고칠 수도 없었다. 나가는 경로를 여러 개 중에서 고를 수 있으면 모든 사용자를 더 빨리 다시 접속하게 할 수 있다."},"related":[],"sources":[{"url":"https://www.fastmail.com/blog/partial-outage-on-30-june-2023/","kind":"blog","archived":"https://web.archive.org/web/20260609204835/https://www.fastmail.com/blog/partial-outage-on-30-june-2023/"}],"summary":{"en":"Fastmail's servers are in a datacenter in Bridgewater, New Jersey that belonged to New York Internet (NYI) and was later sold to 365 Datacenters. Fastmail still uses the IP range 66.111.4.0/24, which belongs to NYI and is leased to Fastmail because IP reputation matters for email; this has made routing more complex, and Fastmail has spent the past year moving to a new range while running both. Incoming traffic arrives through Cloudflare's MagicTransit, which routes at the IP layer for DDoS protection, either over Fastmail's network IP on the 365 managed network or, by preference, over a fiber link to Megaport.\n\nOutgoing traffic had only one path to the internet. On 30 June 2023, from about 03:00 to about 22:00 UTC, packets sent out over that path did not reach a fraction of the internet, while incoming traffic over Megaport kept working. With a single outbound path, Fastmail could not route around the problem itself; it describes the failure as outside its control but its responsibility, and says it is quite certain the root cause is now fixed. Fastmail plans a second transit connection directly into its servers so that it can choose the path for outbound traffic and route around a network with problems.","ko":"Fastmail 은 몇 년 전 New York Internet 의 Manhattan 데이터센터에서 New Jersey 주 Bridgewater 데이터센터로 옮겼고, 이 데이터센터는 나중에 365 Datacenters 에 팔렸다. Fastmail 이 쓰는 IP 대역 66.111.4.0/24 는 아직 원래 NYI 의 것이라 빌려 쓰고 있고, 이 때문에 라우팅이 복잡해졌다. Fastmail 은 지난 1년 동안 새 IP 대역으로 옮기며 두 네트워크를 함께 운영해 왔다. 들어오는 트래픽은 DDoS 방어를 위해 모두 Cloudflare 의 MagicTransit 을 거치고, Cloudflare 를 거친 트래픽은 365 가 관리하는 네트워크의 IP 나 Megaport 의 사설 가상 회선을 통해 Fastmail 네트워크로 들어온다. 평소에는 조금 더 빠른 Megaport 를 먼저 쓴다.\n\n6월 30일 03:00 UTC 무렵부터 22:00 UTC 무렵까지 19시간 동안 Fastmail 과 인터넷 일부가 서로 전혀 통신하지 못했다. 들어오는 패킷은 Megaport 로 잘 들어왔지만 나가는 패킷이 목적지에 닿지 못했다. 나가는 트래픽의 경로가 하나뿐이어서 Fastmail 이 스스로 고칠 수 없었다. Fastmail 은 서버 지표를 비슷한 날과 비교해 고객의 3~5% 가 영향을 받은 것으로 추정했다. 일부 메일 서버로는 메일을 보내지도 못했다. Fastmail 은 근본 원인이 지금은 고쳐졌다고 확신한다."},"trigger":null,"severity":"unknown","symptoms":["network-unreachable"],"timeline":{"detected_after":null,"resolved_after":"19h"},"date_kind":"incident","detection":{"en":"Customers told Fastmail through support tickets and social media. Fastmail's own monitors in multiple locations and its staff were not on affected networks and saw nothing.","ko":"고객들이 지원 티켓과 소셜 미디어로 알려 와서 처음 알았다. 세계 여러 곳에 둔 모니터링 장비도, 직원들도 문제가 있는 네트워크에 있지 않아 장애를 보지 못했다."},"components":["isp-network"],"root_cause":"dependency-failure","remediation":[],"action_items":[{"text":{"en":"Select a provider for a second transit connection directly into Fastmail's servers, via Megaport or a provider present in 365's New Jersey datacenter, so that Fastmail controls the outbound path and can route around a network with problems","ko":"서버에 직접 들어오는 두 번째 트랜짓 회선을 둘 공급사를 고른다. Megaport 를 거치거나 365 의 New Jersey 데이터센터에 직접 들어와 있는 업체를 쓰고, 나가는 트래픽 경로를 직접 골라 문제 있는 네트워크를 피해 간다."}}],"contributing":["single-point-of-failure","monitoring-blind-spot"],"recurrence_of":null,"symptoms_text":{"en":"From about 03:00 UTC on 30 June 2023, Fastmail and a fraction of the internet could not communicate with each other, and Fastmail first heard of it from customers through support tickets and social media. The problem lasted about 19 hours and affected an estimated 3-5% of customers as well as some email servers.\n\nFastmail's monitors in several locations around the world, and its staff, were not on any of the affected networks, so Fastmail could not see the failing links itself. The reports showed how isolated it was: some users could connect from their phone but not from their home network, or the other way round, and some found a working path through a VPN. The outage delayed email, disabled some mail fetches and kept Fastmail from sending email to part of the internet, and for users on the affected networks Fastmail was entirely offline.\n\nIncoming traffic kept arriving reliably over Megaport during the whole incident; it was packets leaving Fastmail's network that did not all reach their destination. Customers on affected networks sent traceroutes, which gave Fastmail addresses to trace back to from its own side and see where the traffic was dropped.","ko":"2023년 6월 30일 03:00 UTC 무렵부터 Fastmail 과 인터넷 일부가 서로 통신하지 못했다. 문제는 약 19시간 이어졌고, 고객의 3~5% 로 추정되는 사용자와 일부 메일 서버가 영향을 받았다.\n\nFastmail 은 고객들이 지원 티켓과 소셜 미디어로 알려 와서 처음 알았다. 문제가 있는 네트워크를 쓰는 고객에게는 Fastmail 이 완전히 끊긴 상태였다. 메일도 늦게 왔고, 일부 메일 가져오기 기능이 꺼졌다.\n\nFastmail 이 세계 여러 곳에 둔 모니터링 장비와 직원들은 문제가 있는 네트워크에 있지 않아서 증상을 보지 못했다. 어떤 고객은 휴대폰으로는 되는데 집 네트워크로는 안 된다고 했고, 반대인 고객도 있었다. VPN 을 써서 서버로 가는 다른 경로를 찾은 사용자도 있었다.\n\nFastmail 은 실패하는 경로를 직접 볼 수 없어서, 그 네트워크에 있는 고객이 보내 준 traceroute 결과에 기댔다. 그 결과에서 얻은 주소로 Fastmail 쪽에서 거꾸로 경로를 따라가 트래픽이 어디서 버려지는지 찾았다.\n\n들어오는 트래픽을 받는 Megaport 연결은 장애 내내 살아 있어 패킷이 Fastmail 네트워크로 잘 들어왔다. Fastmail 에서 나가는 패킷이 모두 목적지에 닿지 못한 것이 문제였다. Fastmail 은 인터넷 일부에 메일을 보내지도 못했다."},"updated_at":"2026-11-14T12:33:50.959920Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0259","org_slug":"fastmail"}