[{"id":"IL-0057","title":{"en":"Higher p99 latency after moving a reverse proxy to EKS, from outgoing connections delayed by a SNAT conntrack race","ko":"EKS 노드의 SNAT 과정에서 conntrack 경합으로 바깥으로 나가는 TCP 연결이 1초나 3초씩 늦어져, 서비스 간 호출이 많은 서비스의 p99 지연이 늘었다."},"org":"Prezi","org_slug":"prezi","date":"2019-10-03","severity":"unknown","root_cause":"dns-network","url":"https://benchlet.com/incidentlib/app/cases/IL-0057","shared_components":["linux-kernel","conntrack"]},{"id":"IL-0083","title":{"en":"Intermittent 5xx errors in a multi-tenant Kubernetes cluster came from internal DNS: the node-local dnsmasq hit its 150 concurrent query limit, did not cache cluster.local answers, and ndots search lookups flooded CoreDNS","ko":"멀티 테넌트 쿠버네티스 클러스터에서 노드 로컬 dnsmasq 가 동시 질의 한도에 걸리고 cluster.local 응답을 캐시하지 못한 데다 ndots 검색 도메인 질의가 CoreDNS 로 몰려, 서비스 간 호출이 간헐적인 5xx 를 냈다."},"org":"Adevinta","org_slug":"adevinta","date":"2023-06-13","severity":"unknown","root_cause":"dns-network","url":"https://benchlet.com/incidentlib/app/cases/IL-0083","shared_components":["dns-resolver"]},{"id":"IL-0178","title":{"en":"On EKS, HPA scale-in returned 502 errors because containers stopped before their pod IPs left the Service endpoints, and after blue/green switches conntrack kept sending established connections to deleted pods behind an instance-mode ALB","ko":"EKS 에서 HPA 가 파드를 줄일 때 엔드포인트 제거보다 컨테이너 종료가 먼저 끝나 502 가 났고, 블루/그린 전환 뒤에는 conntrack 에 남은 연결이 삭제된 파드로 가서 클라이언트가 타임아웃을 받았다."},"org":"Lotte E-commerce","org_slug":"lotte-e-commerce","date":"2022-10-21","severity":"unknown","root_cause":"dns-network","url":"https://benchlet.com/incidentlib/app/cases/IL-0178","shared_components":["conntrack"]},{"id":"IL-0049","title":{"en":"Partial DNS outage after CoreDNS scaled down and kube-proxy failed to delete stale conntrack entries","ko":"CoreDNS 파드가 줄어든 뒤 kube-proxy 가 conntrack 항목을 지우지 못해 일부 서비스의 DNS 요청이 없어진 파드로 가면서 5xx 가 쏟아졌다"},"org":"Preply","org_slug":"preply","date":"2020-02-28","severity":"unknown","root_cause":"dns-network","url":"https://benchlet.com/incidentlib/app/cases/IL-0049","shared_components":["conntrack"]}]