{"id":"IL-0474","org":"Harness","date":"2025-10-28","docs":[],"title":{"en":"Harness Feature Flags auth returned 502s when rescheduled pods could not get an image deleted from Artifact Registry","ko":"Harness Feature Flags 인증 엔드포인트 http://config.ff.harness.io/client/auth 가 일부 요청에 502 를 냈다"},"domain":["kubernetes","gcp"],"impact":{"scope":"Some requests to the Feature Flags authentication endpoint http://config.ff.harness.io/client/auth returned 502; new SDKs starting during the incident could fail to authenticate with Harness SaaS","users":"SDKs starting up during the incident; SDKs that had already authenticated were not affected","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.harness.io/incidents/2jkj4ryrktd8","kind":"official-status","archived":null}],"summary":{"en":"One of the services that Harness Feature Flags depends on used a container image that had been deleted from Google Artifact Registry (GAR). On 28 October 2025, during a routine deployment, Kubernetes rescheduled some of that service's pods onto new nodes that did not have the image cached locally, and because the image was gone from GAR, some of the new pods could not start. The dependency was partly degraded, and from 1:47am GMT some requests to the Feature Flags authentication endpoint http://config.ff.harness.io/client/auth returned 502, which the synthetic SDK checks caught. Harness restored the image to GAR and redeployed the affected pods, and normal service resumed.","ko":"2025-10-28 01:47 GMT 에 Harness Feature Flags 서비스의 SDK 트래픽을 흉내 내는 자동 합성 검사가 실패하기 시작했고, http://config.ff.harness.io/client/auth 로 가는 일부 요청이 502 를 받았다. Feature Flags 서비스가 의존하는 서비스 하나가 일부만 동작하고 있었다. 일상 배포 중 쿠버네티스가 파드 일부를 이미지가 로컬에 캐시되지 않은 새 노드로 다시 스케줄했다. 그 이미지는 Google Artifact Registry 에서 지워져 있어서 새 파드 일부가 시작하지 못했다. Harness 는 이미지를 Google Artifact Registry 에 되살리고 영향받은 파드를 다시 배포해 서비스를 정상으로 되돌렸다. 장애 중에 새로 시작한 SDK 는 인증에서 502 를 받을 수 있었고, 이미 인증한 SDK 는 영향을 받지 않았다."},"trigger":{"en":"During a routine deployment, Kubernetes rescheduled some pods of a Feature Flags dependency onto new nodes that did not have the image cached locally.","ko":"일상 배포 중 쿠버네티스가 파드 일부를 이미지가 로컬에 캐시되지 않은 새 노드로 다시 스케줄했다. 그 이미지는 Google Artifact Registry 에서 이미 지워져 있었다."},"severity":"unknown","symptoms":["high-error-rate","image-pull-failures"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":{"en":"Automated synthetic checks that simulate SDK traffic for the Feature Flags service began failing at 1:47am GMT.","ko":"Feature Flags 서비스의 SDK 트래픽을 흉내 내는 자동 합성 검사가 01:47 GMT 에 실패하기 시작하면서 Harness 가 장애를 알아챘다."},"components":["registry"],"root_cause":"data-corruption","remediation":[{"text":{"en":"Restored the missing image to Google Artifact Registry","ko":"지워진 이미지를 Google Artifact Registry 에 되살렸다."}},{"text":{"en":"Redeployed the impacted pods","ko":"영향받은 파드를 다시 배포해 정상 동작을 되찾았다."}}],"action_items":[{"text":{"en":"Review and strengthen the image retention policies in Google Artifact Registry to prevent unintended deletions","ko":"의도하지 않은 삭제를 막도록 Google Artifact Registry 의 이미지 보존 정책을 검토하고 강화한다."}},{"text":{"en":"Validate automatically that all production images are kept for a defined minimum period","ko":"운영 이미지가 정해진 최소 기간 동안 모두 남아 있는지 자동으로 검증한다."}},{"text":{"en":"Add monitoring and alerting for image pull errors","ko":"이미지 풀 오류를 감시하고 알림을 보낸다."}}],"contributing":["failure-delayed-by-cache"],"recurrence_of":null,"symptoms_text":{"en":"At 1:47am GMT on 28 October 2025, Harness's automated synthetic checks that simulate SDK traffic for the Feature Flags service began failing, and some requests to http://config.ff.harness.io/client/auth received 502 responses.\n\nNew SDKs that started during the incident could get 502 errors when authenticating with Harness SaaS. SDKs that had already authenticated were not affected, and up-to-date SDKs retry 5xx responses with exponential backoff, so they should have authenticated in the end. The investigation found that one of the Feature Flags service's dependencies was partly degraded because its container image was missing from Google Artifact Registry (GAR).","ko":"2025-10-28 01:47 GMT 에 Feature Flags 서비스의 SDK 트래픽을 흉내 내는 자동 합성 검사가 실패하기 시작했다. http://config.ff.harness.io/client/auth 로 가는 일부 요청이 502 를 받았다.\n\n장애 중에 새로 시작한 SDK 는 Harness SaaS 에 인증할 때 502 를 받을 수 있었다. 이미 인증을 마친 SDK 는 영향이 없었다. SDK 는 5xx 응답에 지수 백오프로 재시도하므로 최신 SDK 를 쓰는 클라이언트는 결국 다시 인증에 성공했을 것이라고 Harness 는 설명했다.\n\n조사해 보니 Feature Flags 서비스가 의존하는 서비스 하나가 일부만 동작하고 있었다. 새 노드에 올라간 파드 일부가 Google Artifact Registry 에서 지워진 컨테이너 이미지를 받지 못해 시작하지 못했다."},"updated_at":"2026-11-14T12:34:12.130919Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0474","org_slug":"harness"}