프로브 차량을 이용한 이동식 교통정보수집체계가 확산되면서, 기존 소통정보 이외에 차량 내 센서를 이용한 포트홀, 낙하물, 노면결빙과 같은 도로위험정보 수집이 가능해지고 있다. 본 연구는 다수의 프로브 차량이 GPS 좌표 기반으로 도로위험정보와 같은 이벤트를 검지했을 때 시간 공간적으로 통합하여 실시간으로 처리하는 복합처리 알고리즘을 개발하였다. 알고리즘의 핵심기능은 특정 지점에 발생된 도로위험정보를 (1)다수의 프로브가 서로 다른 GPS 좌표로 검지한 결과로 부터 동일지점인지 여부를 판단하고, (2)그 지점을 국가표준노드링크 상에 특정하여 이벤트 데이터를 생성하며, (3)생성된 이벤트 데이터가 유효한지 지속적으로 판단하고, (4)도로위험상황이 종료되었을 때 이벤트를 종료시키는 것이다. 이를 위해 프로브 차량이 수집한 도로위험정보를 실시간으로 처리하여 조건부 확률을 지속적으로 갱신하는 과정을 통해 이벤트의 유효성을 판단하고 종료할 수 있도록 개발하였고, 시뮬레이션을 통해 알고리즘의 적용가능성을 검증하였다. 개발된 복합처리 알고리즘은 향후 C-ITS 및 자율주행자동차 등 프로브 기반의 교통정보 수집 및 이벤트 정보 처리에 적용 가능할 것으로 판단된다.
프로브 차량을 이용한 이동식 교통정보수집체계가 확산되면서, 기존 소통정보 이외에 차량 내 센서를 이용한 포트홀, 낙하물, 노면결빙과 같은 도로위험정보 수집이 가능해지고 있다. 본 연구는 다수의 프로브 차량이 GPS 좌표 기반으로 도로위험정보와 같은 이벤트를 검지했을 때 시간 공간적으로 통합하여 실시간으로 처리하는 복합처리 알고리즘을 개발하였다. 알고리즘의 핵심기능은 특정 지점에 발생된 도로위험정보를 (1)다수의 프로브가 서로 다른 GPS 좌표로 검지한 결과로 부터 동일지점인지 여부를 판단하고, (2)그 지점을 국가표준노드링크 상에 특정하여 이벤트 데이터를 생성하며, (3)생성된 이벤트 데이터가 유효한지 지속적으로 판단하고, (4)도로위험상황이 종료되었을 때 이벤트를 종료시키는 것이다. 이를 위해 프로브 차량이 수집한 도로위험정보를 실시간으로 처리하여 조건부 확률을 지속적으로 갱신하는 과정을 통해 이벤트의 유효성을 판단하고 종료할 수 있도록 개발하였고, 시뮬레이션을 통해 알고리즘의 적용가능성을 검증하였다. 개발된 복합처리 알고리즘은 향후 C-ITS 및 자율주행자동차 등 프로브 기반의 교통정보 수집 및 이벤트 정보 처리에 적용 가능할 것으로 판단된다.
As the portable traffic information collection system using probe vehicles spreads, it is becoming possible to collect road hazard information such as portholes, falling objects, and road surface freezing using in-vehicle sensors in addition to existing traffic information. In this study, we develop...
As the portable traffic information collection system using probe vehicles spreads, it is becoming possible to collect road hazard information such as portholes, falling objects, and road surface freezing using in-vehicle sensors in addition to existing traffic information. In this study, we developed a integration and decision algorithm that integrates time and space in real time when multiple probe vehicles detect events such as road hazard information based on GPS coordinates. The core function of the algorithm is to determine whether the road hazard information generated at a specific point is the same point from the result of detecting multiple GPS probes with different GPS coordinates, Generating the data, (3) continuously determining whether the generated event data is valid, and (4) ending the event when the road hazard situation ends. For this purpose, the road risk information collected by the probe vehicle was processed in real time to achieve the conditional probability, and the validity of the event was verified by continuously updating the road risk information collected by the probe vehicle. It is considered that the developed hybrid processing algorithm can be applied to probe-based traffic information collection and event information processing such as C-ITS and autonomous driving car in the future.
As the portable traffic information collection system using probe vehicles spreads, it is becoming possible to collect road hazard information such as portholes, falling objects, and road surface freezing using in-vehicle sensors in addition to existing traffic information. In this study, we developed a integration and decision algorithm that integrates time and space in real time when multiple probe vehicles detect events such as road hazard information based on GPS coordinates. The core function of the algorithm is to determine whether the road hazard information generated at a specific point is the same point from the result of detecting multiple GPS probes with different GPS coordinates, Generating the data, (3) continuously determining whether the generated event data is valid, and (4) ending the event when the road hazard situation ends. For this purpose, the road risk information collected by the probe vehicle was processed in real time to achieve the conditional probability, and the validity of the event was verified by continuously updating the road risk information collected by the probe vehicle. It is considered that the developed hybrid processing algorithm can be applied to probe-based traffic information collection and event information processing such as C-ITS and autonomous driving car in the future.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이러한 배경으로 본 연구는 다수의 프로브 차량이 수집한 위치기반 도로위험정보를 통합하여 국가표준노드링크 상에 매칭하고, 실시간으로 추가되는 정보로부터 이벤트 정보의 시작과 종료 정보를 지속적으로 갱신할 수 있는 복합처리 알고리즘을 개발하는 것을 목적으로 수행되었다.
기존의 관련 연구사례들은 주로 위치정보와 교통정보를 생성하는 것에 초점을 맞추고 있어, 실시간으로 수집된 위치기반 도로위험정보로 이벤트 유무를 신속하게 판단하고 발생시간과 지점을 통합하여 이벤트 정보로 생성하는 것에 적용하기에는 한계가 있는 것으로 검토되었다. 이러한 배경으로 본 연구는 프로브 차량이 수집한 위치기반 도로위험정보를, 시공간적으로 통합하며, 이벤트 시작․종료 정보를 복합적으로 처리할 수 있는 알고리즘을 개발함으로서 프로브 차량을 활용하여 수집된 정보를 신속하고 효율적으로 처리할 수 있는 방안을 연구하였다.
한편, 본 연구는 프로브 차량의 GPS 좌표를 국가표준노드링크체계를 포함하는 전자지도 상에 정확하게 맵매칭하는 기술보다는, GPS 좌표 기반으로 수집된 다수의 도로위험정보를 공간적으로 통합하여 동일지점 여부를 판단하고 그 결과를 전자지도 상에 특정하는 알고리즘 개발에 초점을 맞추고 있다. 따라서 도로위험 정보가 입체구간(동일한 방향의 링크가 2개 이상 입체적으로 건설된 경우)에 발생된 경우 복수의 링크에 맵매칭되는 문제점 등의 맵매칭 기술측면의 한계는 고려하지 않는 것으로 가정하였다.
가설 설정
이 경우, GPS 오차범위로 인해 다차로 도로에서 특정차로에 발생된 도로위험정보가 다른 차로에서의 검지결과와 혼재되어 이벤트 발생여부 판단에 영향을 미칠 수 있고, 특히 프로브 차량의 통행량이 적은 도로일수록 이벤트 판단 정확도가 낮아지는 문제가 발생될 수 있다. 그럼에도 불구하고, 현재 차량들에 보급된 GPS 사양으로는 차량의 위치를 차로 단위로 판단할 수 없는 기술적인 한계를 고려하여 본 연구에서는 이벤트 발생위치 차로는 산출하지 않는 것으로 가정하였다.
한편, 본 연구는 프로브 차량의 GPS 좌표를 국가표준노드링크체계를 포함하는 전자지도 상에 정확하게 맵매칭하는 기술보다는, GPS 좌표 기반으로 수집된 다수의 도로위험정보를 공간적으로 통합하여 동일지점 여부를 판단하고 그 결과를 전자지도 상에 특정하는 알고리즘 개발에 초점을 맞추고 있다. 따라서 도로위험 정보가 입체구간(동일한 방향의 링크가 2개 이상 입체적으로 건설된 경우)에 발생된 경우 복수의 링크에 맵매칭되는 문제점 등의 맵매칭 기술측면의 한계는 고려하지 않는 것으로 가정하였다.
(2015)은 프로브 차량 GPS 좌표의 수치지도 매칭방법 연구를 수행하기 위해 GPS 오차 종류 및 범위를 검토한 결과 각 오차들의 최댓값의 합은 약 50m 수준인 것을 확인하였으며, Cho(2014)는 일상생활에서 주로 사용하는 GPS를 활용한 위치측위방식 단말기에 장착된 GPS 모듈의 성능에 따라 5m~50m의 오차범위를 가진다고 주장하였다. 따라서 본 연구에서는 프로브 차량들로부터 수집되는 도로위험정보 역시 GPS 기반 X, Y 좌표형태이기 때문에 복합처리 알고리즘 상에서 이벤트 지점을 특정할 때 GPS 오차범위 한계를 50m로 가정하고 알고리즘을 개발하였다. 이 경우, GPS 오차범위로 인해 다차로 도로에서 특정차로에 발생된 도로위험정보가 다른 차로에서의 검지결과와 혼재되어 이벤트 발생여부 판단에 영향을 미칠 수 있고, 특히 프로브 차량의 통행량이 적은 도로일수록 이벤트 판단 정확도가 낮아지는 문제가 발생될 수 있다.
아직 프로브 활용 도로위험정보 수집기술이 상용화되지 않은 시점에서 어떤 형태로 정보가 수집될지 정의되지 않았기 때문에 입력 값에 대한 가정이 필요하다. 본 연구에서는 프로브 기반 도로위험정보 입력값이 프로브 ID, 검지시간, GPS 좌표, 도로위험정보 검지결과를 기본적으로 포함하는 것으로 가정하였고, 특히 포트홀, 결빙을 포함하는 지점형태의 도로위험정보는 개별 정보로 구분되어 있음(1)/없음(0)과 같은 이진형 데이터로 [Table 1]과 같은 형태로 수집되는 것으로 가정하였다.
블랙박스, ADAS, DTG와 같은 차량 내 센서를 이용하여 프로브 기반 도로위험정보를 실시간으로 검지하는 기술이 아직 개발 전이기 때문에, 알고리즘의 정확한 입력 값을 아직 정의할 수 없는 상황인 점 등을 감안하여 다양한 상황에서 알고리즘이 적용될 수 있도록 다음의 사항을 가정하고 알고리즘을 설계하였다.
제안 방법
알고리즘 검증을 위하여 임의의 데이터입력 상황을 가정하고, 이때 입력값이 알고리즘을 통해 처리되는 과정을 시뮬레이션을 통해 검증하였다.
알고리즘은 다음과 같이 ①최초 도로위험정보 발생 검색 단계, ②다수 프로브가 검지한 도로위험정보를 통합하여 이벤트 데이터로 생성하는 단계, ③생성된 이벤트 데이터를 갱신하는 단계로 구분되는 복합처리 알고리즘 형태로 개발되었다.
도로파손, 결빙 등의 도로위험 상황은 해당 도로관리청이 운영․관리 활동을 통해 처리해야하는 점을 고려하면 도로위험정보의 1차적인 수요처는 도로관리청과 같은 공공기관이라고 할 수 있다. 이를 감안하여 본 연구에서는 도로위험정보 맵매칭 대상이 되는 전자지도를 국가표준노드링크체계로 설정하여 알고리즘을 개발하였다.
이와 같이 프로브 수집 정보를 활용하여 도로위험정보 발생 검색-이벤트 데이터 생성-이벤트 데이터 갱신의 3단계로 구성된 복합처리 알고리즘을 개발하였고, 이 과정을 도식화하면 [Fig. 1]과 같다.
Chung and Choi(1999)은 GPS 프로브 정보와 루프검지기 정보를 융합하여 교통정보를 생성하는 연구를 수행하였는데, 이때 GPS 정보로부터 통행시간을 추정하기 위하여 특정 노드를 중심으로 GPS 오차범위를 고려한 가상의 원을 설정하고 GPS 좌표가 해당 원 안에 위치하는 경우 차량이 노드 상에 위치하는 것으로 판단하는 방식의 Circle-X 알고리즘을 제안하였다. 하지만 제안된 알고리즘은 프로브 차량이 수집대상 네트워크를 통과한 경우의 데이터만을 활용하기 때문에 수집주기 동안 네트워크를 통과하지 못한 차량의 정보가 반영되지 못한 한계가 존재하는데, Shim and Choi(2006)은 혼잡 및 교통정보 수집주기로 인해 발생되는 링크 미 통과 데이터를 활용하여 통행시간을 추정하는 기법을 제안하였다. 한편 Park et al.
대상 데이터
알고리즘이 복합 처리해야 하는 대상은 크게 ①특정 지점에 발생된 포트홀, 결빙 등의 도로위험정보를 다수의 프로브가 서로 다른 GPS 좌표로 검지한 결과로 부터 이를 동일지점인지 여부를 판단하고, 그 지점을 국가표준노드링크 상에 특정하여 이벤트 데이터를 생성하는 것과 ②생성된 이벤트 데이터가 유효한지 지속적으로 판단하고, 포트홀에 대한 도로포장 유지보수나 결빙지점의 해빙 등으로 도로위험이 종료되었을 때 이벤트 정보를 종료시키는 단계로 구분된다. 이러한 복합처리가 가능하도록 알고리즘에 반영될 시나리오를 다음의 순서로 설정하였다.
이론/모형
차량용 GPS의 보급 초창기인 2000년대 초반에는 차량의 위치정보를 전자지도 상에 매칭시키는 연구가 활발히 진행되었다. 우선 Ochieng et al.(2003)은 GPS를 포함하는 GNSS(GNSS; Global Navigation Satellite Systems)에 적용할 수 있는 확률적 맵매칭 알고리즘을 개발하였는데, 차량의 위치를 기준으로 타원 또는 삼각형 형태의 신뢰영역(confidence region)을 설정하고 신뢰영역에 포함되는 노드 또는 링크에 1차 매칭(IMP; Intial Matching Process) 후, 차량의 과거 궤적, 속도에 따라 신뢰영역 포함 확률을 통해 최종 매칭(SMP; Subsequent Matching Process)의 단계적 방법론을 적용하였다. 이 후 맵매칭 연구는 실제 위치와 전자지도 상의 위치 오차 및 에러를 최소화하기 위한 방향으로 진행되었는데, Jeong(2003)은 CNS(CNS; Car Navigation System) 의 전자지도 상에서 GPS기반 차량의 위치오차를 최소화하기 위한 맵매칭 보정기법을 제안하였고, Lee et al.
성능/효과
알고리즘은 ①최초 도로위험정보 발생 검색 단계, ②다수 프로브가 검지한 도로위험정보 통합 및 이벤트 데이터 생성, ③생성된 이벤트 데이터 갱신 3단계로 구분하여 개발되었으며, 기본적인 수집상황을 가정한 시뮬레이션으로 검증한 결과, 프로브가 전송한 최초 도로위험정보로부터 이벤트 정보 및 지점정보를 생성하고, 정보 누적에 따른 조건부확률을 통해 해당 이벤트의 유효성을 갱신하고 종료할 수 있는 것으로 나타났다.
이상의 시뮬레이션 결과, 복합처리 알고리즘은 1대 또는 다수의 프로브가 전송한 최초 도로위험정보로부터 이벤트 정보 및 지점정보를 생성하고, 정보 누적에 따른 조건부확률을 통해 해당 이벤트의 유효성을 갱신하고 종료할 수 있는 것으로 검토되었다.
후속연구
본 논문에서 제안한 알고리즘은 차량 내 센서를 이용한 프로브 기반 실시간 도로위험정보 수집기술 개발이 완성 단계가 아닌 관계로 실제 상황에 적용해보지 못해 검증 단계에서의 한계점이 존재한다. 아울러 도로 위험정보가 있음/없음의 이진형 데이터로 입력되는 상황을 가정하였기 때문에 포트홀의 크기나 깊이, 결빙의 크기 등을 반영한 연속형 데이터가 입력되는 경우에는 적용이 불가능한 한계가 존재하여 후속 연구 등을 통해 이러한 상황에 적용할 수 있는 알고리즘 추가 연구가 필요하다.
본 연구 성과는 도로관리청에게는 도로 상에 발생된 포트홀, 결빙 등의 도로위험상황을 신속하게 검지하여 조치하는데 활용될 수 있고, 도로이용자에게는 도로위험구간에서의 안전운전을 유도하여 교통사고를 예방하는데 활용될 수 있으며, 향후 V2X 통신을 활용하여 도로위험정보를 공유하는 C-ITS 및 자율주행자동차의 안전관리 기술에 적용 가능할 것이다.
본 논문에서 제안한 알고리즘은 차량 내 센서를 이용한 프로브 기반 실시간 도로위험정보 수집기술 개발이 완성 단계가 아닌 관계로 실제 상황에 적용해보지 못해 검증 단계에서의 한계점이 존재한다. 아울러 도로 위험정보가 있음/없음의 이진형 데이터로 입력되는 상황을 가정하였기 때문에 포트홀의 크기나 깊이, 결빙의 크기 등을 반영한 연속형 데이터가 입력되는 경우에는 적용이 불가능한 한계가 존재하여 후속 연구 등을 통해 이러한 상황에 적용할 수 있는 알고리즘 추가 연구가 필요하다. 아울러 GPS 오차범위를 50m로 가정하였기 때문에 알고리즘이 50m 이내에 발생한 복수의 도로위험정보를 개별적으로 구분하지 못하는 한계가 존재한다.
여기에 블랙박스(영상기록장치), DTG(운행기록장치), ADAS(첨단운전지원시스템)와 같이 안전운행 등을 목적으로 한 다양한 정보수집 장치의 보급은 프로브 차량이 수집할 수 있는 정보의 범위를 도로소통정보 단계에서 포트홀, 낙하물, 노면결빙 등과 같은 도로위험정보로까지 확대시킬 수 있을 것으로 전망되지만, 이를 위해서는 블랙박스, ADAS, DTG 등의 차량 내 센서 정보로부터 도로위험상황을 검지하는 해석 기술과 다수의 프로브 차량이 검지한 도로위험상황 정보를 도로 네트워크 상 특정 지점으로 통합하고, 이벤트 발생의 시작과 종료를 판단하는 등의 가공․처리를 통해 이용자에게 제공 가능한 형태의 유의미한 정보를 생성하는 기술의 개발이 필요하다.
연구사례 검토 결과, 프로브 차량을 이용한 교통정보 수집 및 제공 분야가 통행시간, 속도와 같은 도로소통정보 중심이었기 때문에, GPS기반 프로브 차량의 위치를 최대한 정확하게 전자지도 상으로 특정 하는 방법과 특정된 위치정보를 활용하여 링크통행시간, 통행속도 등의 소통정보를 생성하는데 연구의 초점이 맞추어져 왔다. 반면, 프로브 차량 자체의 위치정보가 아닌, 포트홀, 노면결빙 등과 같은 도로 상 특정 지점의 위험정보를 GPS 좌표 기반으로 프로브 차량이 정보를 수집했을 때 이를 전자지도 상에 매칭하고, 다수의 프로브 차량이 검지한 자료로부터 이벤트 유무, 시작과 종료를 판단하는 것에 대한 연구사례는 아직 시도되지 않은 것으로 검토하였다.
현재는 고정식 검지장비의 공간적 한계와 인프라 투자 및 유지비용 증가로 인해 민간부문의 스마트폰이나 내비게이션 등에서 수집되는 개별 도로이용자 통행정보, 하이패스 단말기와 노변장치의 DSRC(DSRC; Dedicated Short Range Communication)를 활용한 교통정보 등과 같이 개별 차량 기반의 교통정보 수집방식이 확산되고 있다. 이러한 프로브(Probe) 차량 기반의 교통정보수집 방식은 향후 V2X 통신 기반의 C-ITS와 다양한 도로환경정보를 수집하는 자율주행자동차 기술개발에 의해 가속화될 것으로 전망된다.
아울러 GPS 오차범위를 50m로 가정하였기 때문에 알고리즘이 50m 이내에 발생한 복수의 도로위험정보를 개별적으로 구분하지 못하는 한계가 존재한다. 이러한 한계는 probe를 활용한 도로위험정보 수집기술 개발이 완료된 이후 실제 데이터를 활용하여 알고리즘을 검증하고 보완하는 후속 연구를 통해 극복될 수 있을 것으로 판단된다.
질의응답
핵심어
질문
논문에서 추출한 답변
도로위험정보의 1차적인 수요처는 무엇인가?
국토교통부는 ITS 정보의 일관성과 연계성 확보를 위해 교통정보를 생성하는 네트워크 단위를 정의한 국가표준노드링크체계를 개발하여 제공하고 있다. 도로파손, 결빙 등의 도로위험 상황은 해당 도로관리청이 운영․관리 활동을 통해 처리해야하는 점을 고려하면 도로위험정보의 1차적인 수요처는 도로관리청과 같은 공공기관이라고 할 수 있다. 이를 감안하여 본 연구에서는 도로위험정보 맵매칭 대상이 되는 전자지도를 국가표준노드링크체계로 설정하여 알고리즘을 개발하였다.
프로브 차량을 이용한 교통정보 수집방식의 장점은?
프로브 차량을 이용한 교통정보 수집방식은 고정식 장비에 비해 검지범위가 넓고, GPS 기반의 위치정보가 함께 수집되는 장점이 있는데, 이를 이용한 교통정보 생성의 핵심기술은 ①GPS 오차를 반영하여 실시간으로 차량의 위치를 도로 네트워크상의 지점으로 특정 하는 맵매칭(map matching) 기술, ②연속된 차량 위치 정보 중 이상치와 결측치를 처리하여 유의미한 정보로 가공하는 데이터 처리(data processing)기술, ③다수의 차량으로부터 수집된 데이터로부터 통행시간, 속도 등 교통정보의 대푯값을 실시간으로 산출하는 알고리즘 등이라고 할 수 있다.
교통 관련 정보의 수집이 활발해졌지만 미흡한 점은?
프로브 차량을 이용한 교통정보 수집체계의 분야 및 수단이 확대되면서 기존에 수집하지 못했던 교통 관련 정보의 수집이 활발하게 진행되고 있다. 하지만 다수의 프로브 차량이 수집한 이벤트 정보를 해석하고 제공 가능한 형태로 처리하는 기술개발은 상대적으로 부족한 상황이다. 이러한 상황에서 본 연구는 이벤트 검지에 대한 정보수집의 신뢰도를 향상시키고 이를 공간정보로 통합하여 해석할 수 있는 복합처리 알고리즘을 개발하였다는 점에 가치가 있다.
참고문헌 (10)
Cho Y. H.(2014), "Technology Trends for Improving Location Information Accuracy," Weekly ICT Trends, Institute for Information&communication Technology Promotion(Daejeon, Korea), p.2.
Chung Y. S. and Choi K. C.(1999), "A development of travel time estimation algorithm fusing GPS probe and loop detector," Journal of Korean Society of Transportation, vol. 17, no. 13, pp.97-116.
Hwang J. S., Lee Y. J. and Lee C. K.(2017), "Development of Queue Length, Link Travel Time Estimation and Traffic Condition Decision Algorithm using Taxi GPS Data," Journal of the Korea Institute of Intelligent Transport Systems, vol. 16, no. 3, pp.59-72.
Jeong S. W.(2003), "The Study of CNS(Car Navigation System) focusing on Map matching method," Journal of The Korean Institute of Information Scientists and Engineers, vol. 30, no. 2, pp.397-399.
Kang J. M.(2016), The Real-time Localization in Urban Area Based on Map Matching Method, Master thesis, Electrical and Electonic Engineering of Younsei Univ., Seoul, pp.5-21.
Kim E. J., Bae K. S., Ahn Y. J. and Kim D. Y.(2015), UTIS Node Matching Area for Improving Traffic Information Reliability, Korea Road Traffic Authority Traffic Science Institute, pp.7-8.
Lee S. H., Lee C. K., Yun I. S., Kim N. S. and Kang D. M.(2015), "Study on Map Matching Using Characteristics of Vehicular Movements," International Journal of Highway Engineering, vol. 17, no. 5, pp.75-82.
Ochieng W. Y., Quddus M. A. and Noland R. B.(2003), "Map-matching in complex urban road networks," J. of Cartography, vol. 55, no. 2, pp.1-14.
Park J. H., Oh C., Kim T. H. and Joo S. H.(2010), "Extraction of Hazardous Freeway Section Using GPS-Based Probe Vehicle Speed Data," Journal of the Korea Institute of Intelligent Transport Systems, vol. 9, no. 3, pp.73-84.
Shim S. W. and Choi K. C.(2006), "Link Travel Time Estimation Using Uncompleted Link-passing Probe Data in Congested Traffic Condition," Journal of Korean Society of Transportation, vol. 24, no. 5, pp.7-18.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.