{"id":"IL-0540","org":"Korea Ministry of the Interior and Safety","date":"2023-11-17","docs":[],"title":{"en":"Korea's local government administrative services and Government24 went down as a router port dropped most large packets","ko":"센터 사이를 잇는 라우터의 포트에서 큰 패킷이 유실돼 지방행정전산서비스와 정부24가 하루 넘게 멈췄다"},"domain":["networking"],"impact":{"scope":"Local government administrative computer services and Government24 stopped on 17 November until about 09:00 on 18 November; some functions linked to Gwangju center systems were slow until 19 November","users":"unknown","region":"National Information Resources Service, Daejeon and Gwangju centers"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"The team said that hardware faults like this defective port also happen in the private sector, and that failures of parts inside a device are hard to catch in advance with basic monitoring and daily visual checks. Redundancy did not help because it takes over only when a whole device stops working, and a module that failed only in part did not make the device count as abnormal. The impact was wide because the defective port carried traffic for all the services.","ko":"라우터 장비의 기본 모니터링은 하고 있었고 전산실에서는 매일 눈으로도 점검했지만, 이번 문제는 모듈 안의 특수한 부분에서 생겨 미리 잡아내지 못했다. 이중화는 장비 하나가 완전히 작동하지 않을 때 다른 장비가 대신하는 구조여서, 모듈 일부만 고장 난 이번 경우에는 제대로 작동하지 않았다. 고장 난 포트가 전체 서비스에 영향을 주는 위치에 있어 파급이 컸다. 장애가 L4 장비의 OS 업데이트 바로 뒤에 나서 업데이트가 원인처럼 보였지만, OS 를 되돌린 뒤에도 같은 문제가 나서 원인이 아닌 것으로 드러났다."},"related":[],"sources":[{"url":"https://www.korea.kr/briefing/policyBriefingView.do?newsId=156601613","kind":"runbook","archived":"https://web.archive.org/web/20240717195704/https://www.korea.kr/briefing/policyBriefingView.do?newsId=156601613"}],"summary":{"en":"The Ministry of the Interior and Safety formed a cause analysis team of 29 people: 16 outside experts from companies including LG CNS, Naver Cloud and Soul Systems (소울시스템즈), 11 of whom had worked on the recovery from the start, and 13 staff from the communications, operations and security departments of the National Information Resources Service. The logs pointed to the network, so the team analysed the network devices and the server logs. The zone of the integrated authentication server holds about 150 physical servers running 19 web servers, 50 WAS servers and 56 DBMS instances, and its traffic passes through 2 routers and 4 L4 devices inside the zone and 8 routers in the national information network. The team collected each device's logs from the time of the outage and ran network load tests in three rounds, 8 runs in total (4, 2 and 2), changing the traffic to the integrated authentication server, bypassing the L4 devices, changing packet sizes, changing the number of users to 500 or 1,500 and changing the bandwidth through the L4 devices. Hacking, including outside attacks and planted spyware, was checked with the security authorities, and no sign of it was found.\n\nThe tests showed that a router lost large packets: 90% of packets of 1,500 bytes or more were lost, because some of the ports on the module that connects cables to the router were defective. The integrated authentication server could not receive the packets it needed from the router, delays piled up, and it could not do its work. No other fault was found. On 19 November at 07:00 the connection on the defective port of the Daejeon center router was moved to another port, which ended the delays. To confirm the cause, the team rebuilt an environment like the one at the time of the outage with the L4 device and the router first named as causes, and the router's packet loss was reproduced there. Services had resumed about 24 hours and ten-odd minutes after the outage began, and the cause was announced on 25 November.\n\nThe router was introduced in 2016 and was still within its service life, so age was not judged the cause, and the reason the part was damaged is hard to determine because a physical part leaves no record in the systems. The manufacturer is Cisco, and Daeshin Information & Communications (대신정보통신) maintains it. The router was covered by basic monitoring and daily visual checks of lights and signals, but the fault was in a particular part inside the module that basic monitoring does not see. The systems were built with redundancy, but redundancy takes over only when a device does not work at all; here only part of a module failed, the device was not in a state judged abnormal, and the redundancy did not take over. An LG CNS infrastructure architecture lead said the defective port carried traffic for all the services, which is why the impact was so wide.","ko":"2023년 11월 17일 금요일 오전, 국가정보자원관리원에서 운영하는 지방행정전산서비스와 정부24가 멈췄다. 장애 당시 로그에서 통합인증서버의 네트워크 세션이 비정상이었다. 전날에는 L4 장비의 OS 업데이트가 있었고, L4 장비가 비정상 상태로 바뀌었다는 로그도 반복해 남았다. 국가정보자원관리원은 원인을 네트워크 영역으로 보고 11월 18일 04시에 L4 장비 2대를 고성능 장비로 바꿨다. 기능 테스트와 부하 테스트로 안정성을 확인한 뒤 오전 9시에 정부24를 다시 열었고, 정부 서비스는 장애가 난 지 24시간 10여 분 만에 재개됐다. 주말이라 서비스는 돌았지만 광주센터 시스템과 연계된 일부 기능이 느렸다. 대전센터 라우터 중 광주센터와 연결된 부분에서 포트 불량을 찾았고, 11월 19일 오전 7시에 다른 포트로 연결을 옮겨 지연을 없앴다.\n\nLG CNS, 네이버클라우드, 소울시스템즈 같은 회사의 외부 전문가 16명과 국가정보자원관리원 인력 13명으로 이뤄진 원인분석반 29명이 원인을 분석했다. 원인분석반은 통합인증서버가 지나는 네트워크 장비, 곧 같은 존의 라우터 2대와 L4 장비 4대, 국가정보통신망 영역의 라우터 8대에서 장애 시점의 로그를 모았다. 같은 존에는 물리 서버 150여 대와 웹서버 19식, WAS서버 50식, DBMS 56식이 함께 돌고 있어서 서버 로그도 분석했다. 구간을 나눠 부하 테스트를 3차에 걸쳐 모두 8회 했다. 트래픽 유입량, L4 장비를 거치지 않는 경로, 패킷 크기, 사용자 수 500명과 1,500명, L4 장비를 지나는 대역폭을 바꿔 가며 시험했다. 그 결과 라우터에 케이블을 연결하는 모듈의 포트 일부에 이상이 있어 큰 패킷이 유실된 것을 찾았다. 1,500바이트 이상의 패킷은 90%가 유실됐다. 라우터 불량 말고 다른 이상은 찾지 못했다. 당초 원인으로 지목된 L4 장비와 라우터로 장애 당시와 비슷한 환경을 만들어 다시 시험했고, 같은 패킷 유실이 재현됐다.\n\nL4 장비의 OS 를 이전 판으로 되돌려도 문제가 그대로여서 OS 업데이트는 원인이 아니었고, 해킹 징후도 없었다. 라우터는 2016년에 도입한 Cisco 장비로, 사용기한이 지나지 않았다. 고장은 부품의 물리적 손상이어서 손상된 이유는 밝히기 어려웠다. 이중화는 구성돼 있었지만, 장비 전체가 아니라 모듈 일부에 이상이 생겨 장비가 비정상으로 판단되지 않았고 이중화가 제대로 작동하지 않았다. 이 포트는 전체 서비스에 영향을 주는 위치에 있어서 파급이 컸다. 데이터나 프로그램이 손상되지 않았기 때문에 원격지 백업센터로 넘기는 대신 지금 센터를 고쳐 복구했다."},"trigger":null,"severity":"unknown","symptoms":["service-unavailable","packet-loss","high-latency"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":null,"components":["network-link"],"root_cause":"hardware-failure","remediation":[{"text":{"en":"Replaced the two malfunctioning L4 devices with higher-performance devices, tested them and resumed Government24 at 09:00 on 18 November","ko":"11월 18일 04시에 정상 작동하지 않던 L4 장비를 고성능 장비로 바꾸고, 기능 테스트와 부하 테스트로 안정성을 확인한 뒤 오전 9시에 정부24 서비스를 다시 열었다."}},{"text":{"en":"Moved the connection on the defective port of the Daejeon center router to another port at 07:00 on 19 November","ko":"대전센터 라우터 중 광주센터와 연결된 포트의 불량을 찾아, 11월 19일 오전 7시에 다른 포트로 연결을 옮겨 지연을 없앴다."}},{"text":{"en":"Swapped out the module of the router that had the fault","ko":"정부 서비스를 다시 연 다음 날 아침에 문제가 생긴 라우터의 모듈을 바꿔 끼웠다."}}],"action_items":[{"text":{"en":"Inspect all old equipment that may have similar port defects","ko":"비슷한 포트 불량이 있을 수 있는 오래된 장비를 전수 점검한다."}},{"text":{"en":"Revise the incident handling manual so the public is told about an outage quickly","ko":"국민에게 장애 상황을 빨리 알리지 못한 문제를 풀기 위해 장애가 났을 때의 처리 매뉴얼을 보완한다."}},{"text":{"en":"Announce the status of service recovery quickly through various means","ko":"여러 수단을 써서 장애로 멈춘 서비스의 복구 상황을 빠르게 알린다."}},{"text":{"en":"Build integrated monitoring of critical service systems and related equipment to catch signs of failure early","ko":"장애 징후를 빨리 잡도록 중요 서비스 시스템과 연관 장비를 함께 보는 통합 모니터링 체계를 만든다."}},{"text":{"en":"Form a standing incident response team to send into major outages","ko":"상설 장애대응반을 꾸려 중요 장애에 투입해 문제를 일찍 해결한다."}},{"text":{"en":"Prepare administrative measures and a response manual so administrative services can still be provided when core digital government services stop","ko":"핵심 디지털정부 서비스가 멈춘 상황에서도 행정서비스를 제공할 수 있도록 행정조치 방안을 마련하고 대응 매뉴얼을 만든다."}},{"text":{"en":"Name a paralysis of the national computer network as a type of disaster and accident, managed from prevention to recovery","ko":"국가전산망 마비를 재난과 사고의 유형으로 명시해 예방부터 복구까지 체계적으로 관리한다."}},{"text":{"en":"Build a government-wide crisis response system for linked information systems and strengthen the control tower for outage prevention and response","ko":"여러 정보시스템이 연계된 환경에 맞는 위기대응체계를 만들고, 이를 총괄하는 범정부 장애 예방·대응 컨트롤타워를 강화한다."}},{"text":{"en":"Improve how public IT projects are run and managed, replace hardware and software past their service life quickly and make project pricing realistic","ko":"공공정보화사업의 추진 절차와 사업관리체계를 고치고, 내용연수가 지나 잠재적 위험이 높은 하드웨어와 소프트웨어를 빨리 교체하며, 기술력 높은 기업이 참여할 수 있게 사업대가를 현실화한다."}},{"text":{"en":"Reduce the reliance on outsourcing for developing and operating information systems and bring digital talent into government","ko":"정보시스템 개발과 운영을 외주용역에 기대는 지금의 체계를 고치고, 디지털 분야의 우수한 인재가 정부에 들어오게 한다."}},{"text":{"en":"Review the redundancy, recovery systems and network configuration of the systems in the National Information Resources Service, and its organisation","ko":"국가정보자원관리원에 입주한 시스템의 이중화, 재복구 시스템, 네트워크 구성 같은 기술 구조를 전면 검토하고, 조직 진단으로 조직 구성과 인사 운영의 개선 방안을 마련한다."}},{"text":{"en":"Work with manufacturers on a way to find and monitor failures of internal parts earlier","ko":"제조사와 협의해 장비 안의 부품 고장을 더 일찍 발견하고 모니터링하는 체계를 만든다."}}],"contributing":["monitoring-blind-spot","gray-failure"],"recurrence_of":null,"symptoms_text":{"en":"On Friday 17 November 2023, the local government administrative computer services in Korea stopped working, and the Government24 service of the National Information Resources Service was down until the next morning.\n\nThe logs left from the time of the outage showed abnormal network sessions on the integrated authentication server, which one part of the briefing calls the integrated verification server, and many repeated log entries of an L4 device switching to an abnormal state. That L4 device had received an OS update the day before, so the network was judged the most likely place of the fault.\n\nThe L4 devices were suspected first. At 04:00 on 18 November the National Information Resources Service replaced the two L4 devices that were not working properly with higher-performance devices, ran function and load tests, and resumed Government24 and the services used by local governments at 09:00. On Sunday the ministry announced that the L4 devices were the likely cause. Later, rolling the L4 device back to its earlier OS did not make it work normally, and the same problem occurred without the OS change, so the OS update was found not to be the cause.\n\nAfter the services resumed, they worked on the weekend, when traffic was low, but some functions were slow. Most of the slow functions were tied to systems at the Gwangju center, which led the team to examine the part of a Daejeon center router that connects to the Gwangju center, where a defective port was found.","ko":"2023년 11월 17일 금요일 오전, 지방자치단체가 쓰는 지방행정전산서비스와 정부24가 멈췄다. 장애 당시 로그를 보면 통합인증서버의 네트워크 세션이 비정상 상태였다. 네트워크 장비인 L4 장비가 비정상 상태로 바뀌었다는 로그도 여러 번 반복해 남았다.\n\n통합인증서버는 라우터에서 서비스에 필요한 패킷을 제대로 받지 못했고, 지연이 겹치면서 작업을 정상적으로 처리하지 못했다. 나중에 확인해 보니 라우터는 큰 패킷을 잃고 있었고, 특히 1,500바이트 이상의 패킷은 90%가 유실됐다.\n\n11월 18일 04시에 L4 장비를 바꾸고 오전 9시에 정부24를 다시 열었다. 트래픽이 많지 않은 주말이어서 서비스는 정상으로 돌았지만 일부 기능은 느렸다. 느린 기능은 주로 광주센터에 있는 여러 시스템과 연계된 것이었고, 이 지연은 11월 19일 오전 7시까지 이어졌다.\n\n처음에는 L4 장비를 의심했다. 장애 전날 L4 장비의 OS 업데이트가 있었고, L4 장비의 비정상 로그가 반복됐기 때문이다. 그러나 L4 장비의 OS 를 이전 판으로 되돌려도 같은 문제가 나서, OS 업데이트는 원인이 아닌 것으로 드러났다. 해킹 가능성도 보안당국과 함께 살펴봤다. 외부 공격과 내부에 심은 스파이웨어를 모두 가정했지만 징후는 없었다."},"updated_at":"2026-11-14T12:34:18.312184Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0540","org_slug":"korea-ministry-of-the-interior-and-safety"}