{"id":"IL-0541","org":"Twingate","date":"2023-02-14","docs":[],"title":{"en":"Two Twingate Relay clusters were discoverable but unreachable, so Clients and Connectors could not attach to them","ko":"Twingate 의 us-east4 와 europe-west6 Relay 클러스터에 Client 와 Connector 가 접속하지 못했다"},"domain":["networking"],"impact":{"scope":"Client and Connector connections to the Relay clusters in us-east4 and europe-west6; after failover, some slowness for customers close to those clusters","users":"unknown","region":"us-east4, europe-west6"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.twingate.com/incidents/5y3blrdzvw25","kind":"official-status","archived":null}],"summary":{"en":"Twingate was adding spot instance scaling to its Relay cluster infrastructure and applied the change through Terraform to every Relay cluster at once, starting at 01:00 UTC on 14 February 2023. The deployed Terraform configuration contained an error that removed a network tag the Relay cluster needed for its network firewall rules to be set correctly. Without the tag, the clusters in us-east4 and europe-west6 stayed discoverable to Clients and Connectors but could not be reached, which left those clients deadlocked while trying to attach.\n\nOnly these two clusters were affected because a configuration difference that depends on overall cluster size gave them a different outcome. The staging environment did not reproduce that sizing difference, so testing there did not show the problem. Twingate noticed the drop in connections at 01:40 UTC, disabled the pods in both clusters at 02:04 UTC so that connections moved to the next closest Relay clusters, where overall connection metrics looked normal, and at 03:30 UTC corrected the Terraform error and redeployed the two clusters, which ended the incident.","ko":"Twingate 는 Relay 클러스터 인프라에 스팟 인스턴스 스케일링을 넣는 작업을 하고 있었고, 2023년 2월 14일 01:00 UTC 에 이 변경을 Terraform 으로 전 세계 Relay 클러스터에 적용했다. 배포된 Terraform 설정에 오류가 있어, Relay 클러스터의 네트워크 방화벽 규칙을 제대로 정하는 데 꼭 필요한 네트워크 태그가 빠졌다. 그 결과 Client 와 Connector 는 클러스터를 찾을 수는 있지만 접속할 수는 없게 돼 교착 상태에 빠졌다.\n\n문제는 us-east4 와 europe-west6 두 클러스터에서만 났다. 클러스터 전체 크기에 따라 달라지는 설정 차이가 있었기 때문이다. 스테이징 환경은 이 크기 차이와 그에 따라 달라지는 설정 결과를 제대로 반영하지 않았고, 그래서 테스트에서 문제가 드러나지 않았다.\n\nTwingate 는 01:40 UTC 에 두 클러스터의 연결 수가 줄어든 것을 알아챘고, 02:04 UTC 에 두 클러스터의 파드를 꺼서 Client 와 Connector 가 다음으로 가까운 Relay 클러스터로 다시 붙게 했다. 연결이 다른 클러스터로 다시 나뉜 뒤 전체 연결 지표는 정상으로 보였다. 03:30 UTC 에 설정 오류를 고치고 두 클러스터를 다시 배포해 문제를 해결했다."},"trigger":{"en":"At 01:00 UTC on 14 February, Twingate started a Terraform change to all of its Relay clusters worldwide to add spot instance scaling; the rollout took about 45 minutes.","ko":"2023년 2월 14일 01:00 UTC 에 Relay 클러스터 인프라에 스팟 인스턴스 스케일링을 넣는 Terraform 변경을 전 세계 모든 Relay 클러스터에 적용하기 시작했다. 적용에는 약 45분이 걸렸다."},"severity":"unknown","symptoms":["network-unreachable"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":{"en":"At 01:40 UTC Twingate noticed a decrease in the number of connections in the two clusters and started investigating.","ko":"01:40 UTC 에 엔지니어들이 us-east4 와 europe-west6 두 클러스터의 연결 수가 줄어든 것을 보고 조사를 시작했다."},"components":["terraform","vpc-routing-and-firewall"],"root_cause":"config-change","remediation":[{"text":{"en":"Disabled the pods in the two affected Relay clusters at 02:04 UTC so Clients and Connectors reconnected to the next closest Relay cluster","ko":"02:04 UTC 에 영향을 받은 두 클러스터의 파드를 꺼서 Client 와 Connector 가 다음으로 가까운 Relay 클러스터로 다시 붙게 했다."}},{"text":{"en":"Corrected the Terraform configuration error and redeployed the affected clusters at 03:30 UTC","ko":"03:30 UTC 에 Terraform 설정 오류를 고치고 영향을 받은 클러스터를 다시 배포했다."}}],"action_items":[{"text":{"en":"Make the staging environment reflect the sizing and configuration differences between Relay clusters","ko":"스테이징 환경에 Relay 클러스터의 크기 차이와 설정 차이를 정확히 반영한다."}},{"text":{"en":"Create Terraform plans automatically for every environment and configuration variation on feature development branches","ko":"기능 개발 브랜치에서 운영의 모든 설정 변형을 포함해 모든 환경의 Terraform plan 을 자동으로 만든다."}},{"text":{"en":"Extend Relay health checks so a cluster is not discoverable to Connectors and Clients when its network firewall tag is missing","ko":"필요한 네트워크 방화벽 태그가 없으면 Connector 와 Client 가 그 클러스터를 발견하지 못하도록 Relay 헬스 체크를 강화한다."}},{"text":{"en":"Research and introduce staggered Terraform rollouts for the Relay cluster infrastructure","ko":"Relay 클러스터 인프라에 Terraform 으로 단계적 롤아웃을 하는 방법을 조사하고 도입한다."}},{"text":{"en":"Add multi-cluster connectivity to Connectors so they handle regional Relay cluster problems automatically","ko":"중기 계획으로 Connector 가 여러 클러스터에 연결할 수 있게 해 리전 단위의 Relay 클러스터 문제를 자동으로 처리한다."}}],"contributing":["staging-not-representative","no-staged-rollout"],"recurrence_of":null,"symptoms_text":{"en":"At 01:40 UTC on 14 February 2023, Twingate saw the number of connections drop in two of its Relay clusters, the one in us-east4 (Ashburn, Virginia) and the one in europe-west6 (Zurich, Switzerland).\n\nClients and Connectors could still discover the two Relay clusters but could not reach them, and stayed stuck trying to attach to them. Twingate also contacted its cloud infrastructure provider proactively to rule out a regional problem on the provider's side. Once the pods in the two clusters were disabled, Clients and Connectors reconnected to the next closest Relay cluster, and customers close to the two clusters could see some slowness because their traffic now went to clusters further away.","ko":"Terraform 변경을 전 세계 Relay 클러스터에 적용하던 중 01:40 UTC 에 us-east4 와 europe-west6 두 클러스터의 연결 수가 줄어드는 것이 보였다. Client 와 Connector 는 두 클러스터를 찾을 수는 있었지만 접속할 수는 없어 교착 상태에 빠졌다.\n\n상태 페이지에는 02:06 UTC 에 미국 Relay 클러스터 2 의 문제를 조사한다는 글이 먼저 올라왔다. 02:37 UTC 에는 버지니아의 미국 클러스터와 취리히의 유럽 클러스터 두 곳이 문제라고 알렸다.\n\n두 클러스터를 내린 뒤 Client 와 Connector 는 다음으로 가까운 Relay 클러스터에 자동으로 다시 붙었다. 상태 페이지는 이 때문에 두 클러스터 가까이에 있는 고객 일부는 접속이 느려질 수 있다고 안내했다.\n\n엔지니어들은 리전 단위의 클라우드 사업자 장애가 아닌지 확인하려고 클라우드 인프라 사업자에게 먼저 연락했다."},"updated_at":"2026-11-14T12:34:18.687820Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0541","org_slug":"twingate"}