{"id":"IL-0159","org":"Linode","date":"2025-02-05","docs":[],"title":{"en":"Docker Hub rate-limited Linode's IPv6 address space with 429 Too Many Requests, breaking image pulls for LKE and LKE-E clusters","ko":"Docker Hub 의 남용 방지 장치가 Linode 의 IPv6 주소 대역에 레이트 리밋을 걸어 LKE 와 LKE-E 의 이미지 풀이 429 Too Many Requests 로 실패했다."},"domain":["kubernetes","networking"],"impact":{"scope":"Image pulls from Docker Hub over IPv6 for LKE, LKE-E and other services that rely on Docker Hub","users":"unknown","region":"Multiple regions; the status page lists US-ORD (Chicago)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"A registry's abuse limit that groups IPv6 addresses by their first 64 bits can block a provider's whole address range at once, and authentication does not help. Answering DNS lookups with IPv4 addresses only was the quick way to move image pulls off the blocked range.","ko":"공용 레지스트리 하나에 기대는 이미지 풀은 그 레지스트리의 레이트 리밋 정책 하나로 한꺼번에 막힐 수 있다. 이번에는 Docker Hub 가 IPv6 주소를 앞 64비트로 판정하는 방식 때문에 Linode IPv6 대역의 이미지 풀이 막혔고, DNS 로 IPv4 를 쓰게 해 피해 갔다."},"related":[],"sources":[{"url":"https://status.linode.com/incidents/szzrk0z2rt8h","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"On 5 February 2025 at about 21:38 UTC, Docker Hub began rate-limiting image pulls from Linode's IPv6 address space in multiple regions. Image pulls over IPv6, authenticated or not, received 429 Too Many Requests, which broke image pulls for LKE, LKE-E and other services that depend on Docker Hub.\n\nDocker Hub explained that the traffic had exceeded its abuse limit, and that the limit was triggered by the way its IPv6 checks look at the first 64 bits of an address. As an interim fix, Linode changed its DNS resolvers to return an A record instead of an AAAA record, so image pulls to Docker Hub went over IPv4. This mitigated the problem at about 04:30 UTC on 6 February 2025. When the report was posted on 28 February, Linode was still looking for a long-term solution.","ko":"2025년 2월 5일 21:38 UTC 무렵 Docker Hub 가 여러 리전에 걸친 Linode 의 IPv6 주소 대역에서 오는 이미지 풀에 레이트 리밋을 걸었다. IPv6 로 보낸 이미지 풀 요청은 인증했든 안 했든 429 Too Many Requests 로 실패했고, LKE, LKE-E 와 Docker Hub 이미지를 쓰는 다른 서비스가 영향을 받았다.\n\n원인은 Docker Hub 의 남용 방지 조치였다. Docker Hub 는 IPv6 주소를 앞 64비트로 검사하는 방식 때문에 Linode 의 대역이 남용 한도를 넘은 것으로 판정됐다고 설명했다. Linode 는 임시 해법으로 DNS 리졸버가 'AAAA' 레코드 대신 'A' 레코드로 응답하게 바꿔 Docker Hub 로 가는 이미지 풀이 IPv4 로 나가게 했다. 이 조치로 2월 6일 04:30 UTC 무렵 문제가 풀렸다."},"trigger":{"en":"Docker Hub's abuse prevention measures started rate-limiting image pulls coming from Linode's IPv6 address space.","ko":"Docker Hub 가 남용 방지 조치로 Linode 의 IPv6 주소 대역에서 오는 이미지 풀에 레이트 리밋을 걸었다."},"severity":"unknown","symptoms":["image-pull-failures"],"timeline":{"detected_after":"1h 10m","resolved_after":"6h 52m"},"date_kind":"incident","detection":{"en":"The rate limiting began at about 21:38 UTC. The first status post, at 22:48 UTC, said Linode was aware of an issue with Docker Hub over IPv6 causing rate limiting and was investigating, and at 01:06 UTC on 6 February the status page said the issue had been identified as rate limiting of image pull requests to Docker Hub over IPv6.","ko":"레이트 리밋은 21:38 UTC 무렵 시작됐고, 22:48 UTC 에 상태 페이지가 Docker Hub IPv6 문제를 조사 중이라고 처음 알렸다. 2월 6일 01:06 UTC 에는 Docker Hub 로 가는 IPv6 이미지 풀 요청에 레이트 리밋이 걸린 것을 원인으로 확인했다고 올렸다."},"components":["registry","vpc-dns-resolver"],"root_cause":"dependency-failure","remediation":[{"text":{"en":"changed the DNS resolvers to return an A record instead of an AAAA record so image pulls to Docker Hub used IPv4","ko":"DNS 리졸버가 'AAAA' 레코드 대신 'A' 레코드로 응답하게 바꿔 Docker Hub 이미지 풀이 IPv4 로 나가게 했다."}}],"action_items":[{"text":{"en":"Find long-term solutions so that Docker Hub's abuse prevention measures do not affect Linode services","ko":"Docker Hub 의 남용 방지 조치에 서비스가 영향받지 않도록 장기 해법을 찾는다."}}],"contributing":["limit-unknown"],"recurrence_of":null,"symptoms_text":{"en":"From about 21:38 UTC on 5 February 2025, image pulls from Docker Hub over IPv6 failed with 429 Too Many Requests errors across several Linode regions. Both unauthenticated and authenticated pull requests were refused.\n\nLKE and LKE-E clusters, along with other Linode services that pull images from Docker Hub, were affected. The first status post, at 22:48 UTC, described rate limiting between certain Linode data centers and Docker Hub over IPv6; the component listed on the status page was the US-ORD (Chicago) Linode Kubernetes Engine.","ko":"2025년 2월 5일 21:38 UTC 무렵부터 여러 리전에서 LKE, LKE-E, 그 밖에 Docker Hub 이미지 풀에 기대는 서비스들이 이미지를 받지 못했다.\n\nIPv6 로 Docker Hub 에 보낸 이미지 풀 요청은 인증 여부와 관계없이 429 Too Many Requests 오류를 받았다. 상태 페이지는 처음에 IPv6 로 Docker Hub 를 쓸 때 일부 Linode 데이터센터와 Docker Hub 사이에 레이트 리밋이 걸린다고 알렸다."},"updated_at":"2026-11-10T00:00:36.660294Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0159","org_slug":"linode"}