{"id":"IL-0389","org":"Amazon Web Services","date":"2018-11-22","docs":[],"title":{"en":"DNS queries from EC2 instances in the Seoul region failed for 84 minutes as the EC2 DNS resolver fleet lost hosts","ko":"AWS 서울 리전에서 EC2 DNS 확인 서버군의 정상 호스트가 줄어 EC2 인스턴스 안의 DNS 쿼리가 실패했다"},"domain":["aws","networking"],"impact":{"scope":"DNS resolution from within EC2 instances; EC2 network connectivity and DNS resolution outside EC2 instances were not affected","users":"unknown","region":"AP-NORTHEAST-2 (Seoul)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://aws.amazon.com/message/74876-2/","kind":"official-status","archived":"https://web.archive.org/web/20260716060634/https://aws.amazon.com/message/74876-2/"}],"summary":{"en":"A configuration update removed the minimum healthy hosts setting of the EC2 DNS resolver fleet in the Seoul region by mistake. Without it, the setting was read as a very low default value, the fleet kept fewer healthy hosts in service, and DNS queries from EC2 instances began to fail at 8:19 AM KST. Engineers were alerted at 8:21 AM and identified the root cause at 8:48 AM. The first step, which took another 15 minutes, was to stop more healthy hosts from being removed from service. Restoring capacity to its earlier level took most of the recovery time, and DNS queries from EC2 instances fully recovered at 9:43 AM KST.","ko":"2018년 11월 22일 한국 시간 오전 8시 19분부터 9시 43분까지 AWS 서울 리전 AP-NORTHEAST-2 의 EC2 인스턴스에서 DNS 확인이 실패했다. EC2 DNS 확인 서버군은 EC2 인스턴스에 재귀 DNS 서비스를 제공한다. 설정 업데이트가 이 서버군의 최소 정상 호스트 수를 지정하는 설정을 잘못 지웠고, 이 값이 아주 낮은 기본값으로 해석되면서 서비스 중인 정상 호스트가 줄었다. 정상 호스트 용량이 줄자 고객 EC2 인스턴스 안의 DNS 쿼리가 실패하기 시작했다. EC2 인스턴스의 네트워크 연결과 EC2 밖의 DNS 확인은 영향이 없었다.\n\n엔지니어링 팀은 8시 21분에 알림을 받고 바로 대응을 시작했고, 8시 48분에 근본 원인을 찾았다. 먼저 정상 호스트가 서비스에서 더 빠지지 않게 막아 영향이 더 커지지 않게 했고, 이 작업에 15분이 더 걸렸다. 이어 용량을 이전 수준으로 되돌렸고, 복구 시간 대부분이 여기에 들었다. 9시 43분에 EC2 인스턴스 안의 DNS 쿼리가 완전히 복구됐다."},"trigger":{"en":"A configuration update incorrectly removed the setting that specifies the minimum number of healthy hosts for the EC2 DNS resolver fleet in AP-NORTHEAST-2.","ko":"설정 업데이트가 서울 리전 EC2 DNS 확인 서버군의 최소 정상 호스트 수를 지정하는 설정을 잘못 지웠다."},"severity":"unknown","symptoms":["dns-resolution-failures"],"timeline":{"detected_after":"2m","resolved_after":"1h 24m"},"date_kind":"incident","detection":{"en":"The engineering team was alerted to the DNS resolution issue at 8:21 AM KST.","ko":"한국 시간 오전 8시 21분에 엔지니어링 팀이 서울 리전의 DNS 확인 문제를 알림으로 받았다."},"components":["vpc-dns-resolver"],"root_cause":"config-change","remediation":[{"text":{"en":"Stopped more healthy hosts from being removed from the EC2 DNS resolver fleet","ko":"정상 호스트가 서비스에서 더 빠지지 않게 막아 영향이 더 커지지 않게 했다. 이 작업에 15분이 걸렸다."}},{"text":{"en":"Restored the resolver fleet's capacity to its earlier level","ko":"EC2 DNS 확인 서버군의 용량을 이전 수준으로 되돌렸다. 복구 시간 대부분이 이 작업에 들었고, 한국 시간 오전 9시 43분에 완전히 복구됐다."}}],"action_items":[{"text":{"en":"Check that every AWS region has the correct capacity settings for the EC2 DNS resolver service","ko":"모든 AWS 리전의 EC2 DNS 확인 서비스에 올바른 용량 설정이 들어 있는지 바로 확인했다."}},{"text":{"en":"Add semantic configuration validation to every EC2 DNS resolver configuration update","ko":"모든 리전이 늘 충분한 최소 정상 호스트를 갖도록, EC2 DNS 확인 서버군의 설정 업데이트마다 설정 값의 의미까지 확인하는 검증을 넣는다."}},{"text":{"en":"Throttle how much healthy host capacity can be removed from service each hour","ko":"서비스에서 시간당 뺄 수 있는 정상 호스트 용량을 제한하는 스로틀링을 더한다. 잘못된 설정 값이 들어와도 EC2 DNS 확인 서버군의 용량이 줄지 않게 하려는 것이다."}}],"contributing":["no-config-tests","no-safeguard-on-destructive-change"],"recurrence_of":null,"symptoms_text":{"en":"On 22 November 2018 between 8:19 AM and 9:43 AM KST, DNS queries from within EC2 instances in the Seoul region (AP-NORTHEAST-2) failed, because the EC2 DNS resolver fleet that provides recursive DNS to EC2 instances had too few healthy hosts in service. Network connectivity of EC2 instances and DNS resolution outside EC2 instances were not affected.","ko":"2018년 11월 22일 한국 시간 오전 8시 19분부터 서울 리전 AP-NORTHEAST-2 에서 고객 EC2 인스턴스 안의 DNS 쿼리가 실패하기 시작했다. AWS 엔지니어링 팀은 8시 21분에 이 DNS 확인 문제를 알림으로 받았다.\n\nEC2 인스턴스에 재귀 DNS 서비스를 제공하는 EC2 DNS 확인 서버군에서 서비스 중인 정상 호스트 수가 줄어 있었다. EC2 인스턴스의 네트워크 연결과 EC2 밖에서의 DNS 확인은 영향을 받지 않았다."},"updated_at":"2026-11-14T12:34:04.008132Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0389","org_slug":"amazon-web-services"}