{"id":"IL-0043","org":"UK Ministry of Justice","date":"2023-08-04","docs":[],"title":{"en":"Application logs missing in Kibana after a newer Fluent Bit version changed its chunk drop strategy","ko":"새 버전 fluent-bit에서 청크를 버리는 방식이 바뀌어 Kibana의 애플리케이션 로그에 긴 공백이 생겼다"},"domain":["kubernetes","observability"],"impact":{"scope":"application logs of Cloud Platform users missing in Kibana for a period","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://runbooks.cloud-platform.service.justice.gov.uk/incidents/2023-08-04-dropped-logging-in-kibana.html","kind":"runbook","license":"unknown","archived":null}],"summary":{"en":"On the Ministry of Justice Cloud Platform, Fluent Bit ships application logs to a logging cluster that users read through Kibana. On the morning of 4 August 2023 users reported long periods of missing logs. The team traced it to a change in how the newer Fluent Bit version drops chunks. The platform lost application logs for a period of time.\n\nRestarts, a newer Fluent Bit version and a bigger memory buffer were tried first. The fix was to handle buffer overflow by letting Fluent Bit write to the file system, merged and deployed to the live cluster on 9 August, and to flush logs in smaller chunks, added on 10 August. The incident was repaired at 12:28 and resolved at 14:47 on 10 August; the report gives the time to repair as 33h 14m and the time to resolve as 35h 33m.","ko":"영국 법무부의 Cloud Platform에서 사용자 애플리케이션 로그가 한동안 Kibana에 들어오지 않았다. 팀은 첫 신고 약 세 시간 뒤 새 버전 fluent-bit에서 청크를 버리는 방식이 바뀌었다는 것을 알아냈다. 같은 날 16:00에는 fluent-bit 버전을 한 번 더 올리고 나아지는지 지켜봤다.\n\n8월 7일 10:30에 팀이 다시 모여 점검 순서를 정했고, 12:05에 fluent-bit 메모리 버퍼를 늘렸다. 8월 8일 16:10에 메모리 버퍼가 넘칠 때 파일 시스템에 쓰도록 하는 수정을 만들었고, 8월 9일 09:00에 머지해 Live 환경에 배포했다. 8월 10일 11:42에 로그를 더 작은 청크로 나눠 내보내도록 했다. 12:28에 복구했고 14:47에 장애를 종료했다. 복구까지 33시간 14분, 종료까지 35시간 33분이 걸렸다."},"trigger":{"en":"The newer Fluent Bit version in use had changed its chunk drop strategy; the fix that followed handled memory buffer overflow.","ko":"새 버전 fluent-bit에서 청크를 버리는 방식이 바뀌었다."},"severity":"unknown","symptoms":["monitoring-down"],"timeline":{"detected_after":null,"resolved_after":"35h 33m"},"date_kind":"incident","detection":{"en":"Users reported long periods of missing logs in Kibana in the #ask-cloud-platform Slack channel at 09:14; the incident was declared at 10:09.","ko":"사용자들이 #ask-cloud-platform 채널에 알려 와서 알았다. 처음 알려진 시각은 2023년 8월 4일 09:14이고, 장애 선언은 10:09였다."},"components":["telemetry-agent"],"root_cause":"capacity","remediation":[{"text":{"en":"configured Fluent Bit to handle memory buffer overflow by writing buffered logs to the file system","ko":"메모리 버퍼가 넘칠 때 파일 시스템에 쓰도록 하는 수정을 넣어 Live 환경에 배포했다."}},{"text":{"en":"made Fluent Bit flush logs in smaller chunks","ko":"로그를 더 작은 청크로 나눠 내보내도록 바꿨다."}}],"action_items":[{"text":{"en":"Push notifications from the logging clusters to #lower-priority-alerts (#4704)","ko":"로깅 클러스터에서 나오는 알림을 #lower-priority-alerts 채널로 보낸다. 이슈 번호는 #4704다."}},{"text":{"en":"Add an integration test that checks logs are being sent to the logging cluster","ko":"로그가 로깅 클러스터로 실제로 전송되는지 확인하는 통합 테스트를 추가한다."}}],"contributing":["no-alert-on-limit","monitoring-blind-spot"],"recurrence_of":null,"symptoms_text":{"en":"At 09:14 on 4 August 2023, users of the Cloud Platform reported in the #ask-cloud-platform Slack channel that Kibana was missing their application logs for long periods.\n\nThe platform team began investigating at 10:03 and restarted the Fluent Bit pods; the incident was declared at 10:09. At 12:03 they found that the newer Fluent Bit version had changed its strategy for dropping chunks. The team moved to another Fluent Bit version at 16:00 the same day and enlarged the Fluent Bit memory buffer on 7 August; the repair came later, with changes to how Fluent Bit buffers and flushes logs.","ko":"2023년 8월 4일 09:14에 사용자들이 Kibana 로그에 긴 공백이 있다고 #ask-cloud-platform 채널에 알렸다.\n\n10:03에 Cloud Platform 팀이 조사를 시작하며 fluent-bit 파드를 재시작했고, 10:09에 장애를 선언했다. 12:03에 팀은 새 버전 fluent-bit에서 청크를 버리는 방식이 바뀌었다는 것을 알아냈다."},"updated_at":"2026-11-10T00:00:38.468954Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0043","org_slug":"uk-ministry-of-justice"}