{"id":"IL-0381","org":"Linode","date":"2022-10-10","docs":[],"title":{"en":"A misbehaving back-end node in Linode's Newark Object Storage slowed the service and caused 504 gateway timeouts","ko":"Newark 의 Linode Object Storage 가 두 번 느려지고 일부 요청이 504 gateway timeout 으로 실패했다"},"domain":["database"],"impact":{"scope":"Linode Object Storage in Newark: reduced performance and availability, with 504 gateway timeouts in some cases","users":"unknown","region":"Newark"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"Hardware that misbehaves without failing outright can cause service-wide problems, and Linode's internal monitoring had gaps in spotting such subtle issues before they affected the wider cluster.","ko":"Linode 는 이 장애로 내부 모니터링 시스템의 빈틈이 드러났다고 적었다. 완전히 고장 나지 않고 이상하게 동작하는 하드웨어의 미묘한 문제는 클러스터 전체에 번지기 전에 찾아내야 한다고 봤다."},"related":[],"sources":[{"url":"https://status.linode.com/incidents/5wgmd45h7h1j","kind":"official-status","archived":"https://web.archive.org/web/20240521013718/https://status.linode.com/incidents/5wgmd45h7h1j"}],"summary":{"en":"Linode Object Storage in Newark had two related incidents, on 10 and 16 October 2022, the second while the first was still under investigation. Linode found a hardware problem on one back-end Object Storage node. Because the hardware had not failed outright, the back-end node kept going up and down, and that instability set off excessive recovery operations in the cluster. The recovery work degraded performance across the service and in some cases made the front-end gateways return 504 gateway timeouts. At 10:31 UTC on 16 October the hardware failed outright and Linode removed it from the cluster; the cluster then recovered, client IO stopped bottlenecking and the gateways served clients normally again. Linode said the incidents showed gaps in its internal monitoring.","ko":"10월 10일부터 16일까지 한 주 동안 Newark 의 Linode Object Storage 에서 성능과 가용성이 떨어지는 장애가 두 번 났다. 10월 16일 장애는 10월 10일 장애를 조사하는 중에 일어났고 두 장애는 서로 이어져 있었다. 조사해 보니 백엔드 Object Storage 노드 하나에 하드웨어 문제가 있었다. 완전한 고장이 아니어서 백엔드 인프라가 올라왔다 내려가기를 반복했고, 이 불안정 때문에 클러스터에서 복구 작업이 지나치게 많이 일어났다. 그래서 성능이 떨어졌고, 일부 경우에는 프런트엔드 게이트웨이가 고객에게 504 gateway timeout 으로 응답했다.\n\n10월 16일 10:31 UTC 에 그 백엔드 Object Storage 인프라의 하드웨어가 완전히 고장 났고, Linode 는 그것을 클러스터에서 뺐다. 빼고 나자 클러스터가 회복했고, 클라이언트 IO 의 병목이 풀렸고, 프런트엔드 게이트웨이가 안정되어 다시 정상으로 요청을 처리했다."},"trigger":{"en":"One back-end Object Storage node had a hardware problem that was not an outright failure, so the node kept going up and down.","ko":"백엔드 Object Storage 노드 하나에 하드웨어 문제가 생겼다. 완전한 고장이 아니어서 그 백엔드 인프라가 올라왔다 내려가기를 반복했다."},"severity":"unknown","symptoms":["intermittent-timeouts","throughput-degraded"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":null,"components":["object-storage"],"root_cause":"hardware-failure","remediation":[{"text":{"en":"Removed the failed back-end infrastructure from the Object Storage cluster","ko":"10월 16일 10:31 UTC 에 완전히 고장 난 백엔드 Object Storage 인프라를 클러스터에서 뺐다. 그 뒤 클러스터가 회복하고 프런트엔드 게이트웨이가 정상으로 요청을 처리했다."}}],"action_items":[{"text":{"en":"Improve detection so subtle problems with failing or misbehaving hardware are found and triaged before they affect the wider cluster","ko":"고장 나고 있거나 이상하게 동작하는 하드웨어의 미묘한 문제를 클러스터 전체에 번지기 전에 빨리 찾아 분류하도록 탐지 방법을 개선한다."}},{"text":{"en":"Describe Ceph-related events more accurately to on-call administrators and define alerts more clearly","ko":"Ceph 관련 이벤트를 당직 관리자에게 더 정확히 설명하도록 모니터링을 바꿨다. 관리자가 문제를 더 빨리 좁힐 수 있게 알림도 더 분명히 정의했다."}}],"contributing":["monitoring-blind-spot","automation-amplified"],"recurrence_of":null,"symptoms_text":{"en":"In the week of 10 October 2022, Linode Object Storage in Newark had two incidents of reduced performance and availability, on 10 and 16 October, and in some cases the front-end gateways returned 504 gateway timeouts to customers. The second incident began while the first was still being investigated.","ko":"10월 10일부터 16일까지 한 주 동안 Newark 의 Linode Object Storage 에서 성능과 가용성이 떨어지는 장애가 두 번 났다. 일부 경우에는 프런트엔드 게이트웨이가 고객에게 504 gateway timeout 으로 응답했다.\n\n10월 16일의 두 번째 장애는 10월 10일 장애를 아직 조사하는 중에 일어났고, 두 장애는 서로 이어져 있었다.\n\n백엔드 Object Storage 노드 하나의 하드웨어 문제가 서비스 전체의 문제로 번졌다. 하드웨어가 완전히 고장 나지 않아서 백엔드 인프라가 올라왔다 내려가기를 반복했고, 그 때문에 클러스터에서 복구 작업이 지나치게 많이 일어났다."},"updated_at":"2026-11-14T12:34:03.268636Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0381","org_slug":"linode"}