{"id":"IL-0465","org":"IONOS Cloud","date":"2026-03-04","docs":[],"title":{"en":"IONOS Container Registry image pushes and pulls failed with 504 Gateway Timeout","ko":"IONOS Container Registry 에서 이미지 푸시와 풀이 504 Gateway Timeout 으로 실패했다"},"domain":["kubernetes"],"impact":{"scope":"Image pushes and pulls on the IONOS Container Registry failed with 504 errors, blocking and delaying customer deployments","users":"IONOS Container Registry customers","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.ionos.cloud/incidents/43dzb3rj4v9d","kind":"official-status","archived":"https://web.archive.org/web/20260419053946/https://status.ionos.cloud/incidents/43dzb3rj4v9d"}],"summary":{"en":"The IONOS Container Registry runs on IONOS Managed Kubernetes (MK8s), and all registry traffic to the Kubernetes API goes through a proxy. During a migration, a temporary capacity constraint put two critical control plane components on the same proxy instance instead of separate ones, although anti-affinity rules were in place. That proxy reached its maximum number of concurrent connections and stopped accepting new ones, so image pushes and pulls failed with 504 errors. IONOS describes the co-location as the condition created by the migration and the connection limit as the direct trigger.\n\nAt 12:22 UTC the Kubernetes team deployed a mitigation that rolled back a component of the Kubernetes control plane to an earlier version, and the incident was marked resolved at 16:39 UTC. The root cause analysis lists additional proxy capacity and moving the affected control plane components onto separate proxy instances as the steps that restored balanced load and ended the 504 errors.","ko":"2026-03-04 에 IONOS Container Registry 에서 이미지 푸시와 풀이 504 Gateway Timeout 으로 실패해 고객의 배포가 막히고 늦어졌다. 레지스트리는 IONOS 관리형 쿠버네티스인 MK8s 위에서 돈다. 마이그레이션 중 일시적인 용량 제약 때문에 중요한 컨트롤 플레인 구성 요소 둘이 안티 어피니티 규칙이 있는데도 서로 다른 프록시로 나뉘지 않고 같은 프록시 인스턴스에 놓였다. 레지스트리에서 쿠버네티스 API 로 가는 트래픽은 모두 이 프록시를 지난다. 프록시가 동시 연결 한도에 닿아 새 연결을 받지 않자 푸시와 풀이 504 로 실패했다. 09:23 UTC 에 조사를 시작했고 10:23 UTC 에 밑단 쿠버네티스 클러스터의 문제로 찾았다. 12:22 UTC 에 쿠버네티스 팀이 컨트롤 플레인 구성 요소 하나의 버전을 롤백하는 완화책을 배포했고, 더 문제가 보이지 않자 16:39 UTC 에 해결로 닫았다. 사후 보고에 따르면 프록시 용량을 더하고 영향받은 컨트롤 플레인 구성 요소를 서로 다른 프록시 인스턴스로 옮겨 부하를 고르게 하자 504 오류가 끝났다."},"trigger":{"en":"A migration combined with a temporary capacity constraint placed two critical control plane components on the same proxy instance, despite anti-affinity rules; the shared proxy then reached its concurrent connection limit.","ko":"마이그레이션 중 일시적인 용량 제약 때문에 중요한 컨트롤 플레인 구성 요소 둘이 같은 프록시 인스턴스에 놓였다. 직접적인 계기는 그 프록시가 동시 연결 한도에 닿아 새 연결을 받지 않은 것이었다."},"severity":"unknown","symptoms":["image-pull-failures","high-error-rate"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":null,"components":["registry","managed-control-plane","pod-scheduling"],"root_cause":"capacity","remediation":[{"text":{"en":"Rolled back a component of the Kubernetes control plane to an earlier version","ko":"12:22 UTC 에 쿠버네티스 팀이 쿠버네티스 컨트롤 플레인 구성 요소 하나의 버전을 롤백하는 완화책을 배포했다."}},{"text":{"en":"Provisioned additional proxy capacity","ko":"프록시 용량을 더 마련했다."}},{"text":{"en":"Moved the affected control plane components onto separate proxy instances","ko":"영향받은 컨트롤 플레인 구성 요소를 서로 다른 프록시 인스턴스로 옮겨 부하를 고르게 되돌렸고, 504 오류가 끝났다."}}],"action_items":[{"text":{"en":"Redesign registry-to-API connectivity so each node uses its own local proxy","ko":"노드마다 전용 로컬 프록시를 쓰도록 레지스트리와 쿠버네티스 API 사이의 연결을 다시 설계해 공유 프록시 병목을 없앤다. 운영 적용은 2026년 2분기로 잡았다."}},{"text":{"en":"Adjust alert thresholds to warn before proxy connection use approaches capacity","ko":"프록시 연결 사용률이 한도에 다가가기 전에 경고가 울리도록 알림 기준을 조정한다. 2026년 2분기에 끝낼 예정이다."}},{"text":{"en":"Deploy more infrastructure clusters and redistribute registries so no cluster exceeds safe capacity, with automation that keeps balancing load","ko":"인프라 클러스터를 더 배포하고 기존 레지스트리를 다시 나눠, 어느 클러스터도 안전한 운영 용량을 넘지 않게 한다. 사용량이 늘면 자동화가 부하를 계속 고르게 맞춘다."}}],"contributing":["no-spare-capacity","single-point-of-failure","no-alert-on-limit"],"recurrence_of":null,"symptoms_text":{"en":"On 4 March 2026 customers of the IONOS Container Registry got 504 Gateway Timeout errors when pushing or pulling container images, and deployments that relied on the registry were blocked. The status page first reported an increased error count on the registry at 09:23 UTC, saying customers might be unable to pull images.\n\nAt 10:23 UTC the Container Registry team traced the problem to the underlying Kubernetes cluster that serves a subset of images.","ko":"2026-03-04 에 IONOS Container Registry 고객이 컨테이너 이미지를 푸시하거나 풀할 때 504 Gateway Timeout 오류를 받았다. 레지스트리에 기대는 배포가 막혔다. 상태 페이지에는 09:23 UTC 에 레지스트리의 오류 수가 늘었고 고객이 이미지를 풀하지 못할 수 있다고 처음 올라왔다.\n\n10:23 UTC 에 Container Registry 팀은 이미지 일부를 내주는 밑단 쿠버네티스 클러스터의 문제로 좁혔다."},"updated_at":"2026-11-14T12:34:11.277185Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0465","org_slug":"ionos-cloud"}