[논문]자율주행 검증을 위한 혼합현실 시뮬레이션 시험

이용하; 양욱진; 홍형준; 원종훈

doi:10.11003/jpnt.2024.13.4.449

Abstract ▼ AI-Helper

Autonomous driving requires safe and efficient navigation in complex environments. This has led to an increased demand for reliable test methods, where driving simulators are widely used to simulate sensors in autonomous vehicles. In addition, the concept of digital twins, which combines real and si...

Autonomous driving requires safe and efficient navigation in complex environments. This has led to an increased demand for reliable test methods, where driving simulators are widely used to simulate sensors in autonomous vehicles. In addition, the concept of digital twins, which combines real and simulated environments, is being applied to autonomous vehicles for efficient and realistic testing. However, inaccuracies in vehicle modeling in simulators can lead to cumulative position errors, especially during sharp maneuvers, undermining the reliability of test results. This paper presents a method to correct cumulative errors in a driving simulator environment by synchronizing the vehicle position and orientation using navigation data. The system periodically adjusts the vehicle dynamics in the simulator to reflect real-world dynamics, eliminating cumulative position errors and narrowing the gap between the simulation and the real-world environments. This approach is particularly effective for interaction-based tests such as Autonomous Emergency Braking (AEB), where position accuracy is crucial. To demonstrate the feasibility of this mixed-reality system architecture, experiments were conducted in accordance with the Euro-NCAP AEB protocol. The results illustrate the benefits of the proposed method in mitigating simulator errors and enhancing the overall reliability of autonomous driving testing.

Keyword

표/그림 (11)

그림 Fig. 1. System architecture of the proposed mixed-reality methodology.
그림 Fig. 2. Experimental test vehicle and sensors for autonomous driving.
표 Table 1. Transmission speed and capacity of driving simulator sensors.
표 Table 2. IONIQ5 specifications.
표 Table 3. Ouster OS2 128ch specifications.
표 Table 4. CPT7 specifications.
그림 Fig. 6. Comparison of acceleration data in the Y direction between two environments. The lateral vibrations caused by the ABS are observed in the mixed-reality environment, in contrast to the simulation-only environment.
그림 Fig. 3. Digital Twin in K-CITY: (a) a real vehicle in real environment, and (b) a virtual vehicle in driving simulator with digital twin of (a).
그림 Fig. 4. ISO 8855-2011 (2011) vehicle axis system: the x-axis pointing forward, the y-axis to the side, and the z-axis upward.
그림 Fig. 5. Comparison of acceleration data in the X direction between two environments (blue: mixed reality, red: simulator). The difference in braking time between the two environments is observed.
그림 Fig. 7. Comparison of acceleration data in the Z direction between two environments. The nose-dive phenomenon and vibration recovery of the vehicle are observed in the mixed-reality environment, in contrast to the simulation-only environment.

AI 본문요약
AI-Helper

문제 정의

본 논문은 디지털 트윈기반 혼합현실 시험에서 차량의 위치와 방향 변화가 큰 경우 드라이빙 시뮬레이터의 누적 위치 오차로 발생하는 현실과의 차이 (simulation to real gap)를 해결하는 것을 목적으로 한다. 이를 위해 본 논문은 실제 위성 항법 센서를 통해 얻은 위치 및 자세각 정보를 활용한 디지털 트윈 개념 적용으로 시뮬레이터의 차량과 실제 차량을 동기화해 시뮬레이터가 실제 차량의 운동 역학을 반영하도록 주기적으로 재구성한다.

제안 방법

본 논문은 디지털 트윈기반 혼합현실 시험에서 차량의 위치와 방향 변화가 큰 경우 드라이빙 시뮬레이터의 누적 위치 오차로 발생하는 현실과의 차이 (simulation to real gap)를 해결하는 것을 목적으로 한다. 이를 위해 본 논문은 실제 위성 항법 센서를 통해 얻은 위치 및 자세각 정보를 활용한 디지털 트윈 개념 적용으로 시뮬레이터의 차량과 실제 차량을 동기화해 시뮬레이터가 실제 차량의 운동 역학을 반영하도록 주기적으로 재구성한다. 현실의 위치에 기반한 재구성을 통해 시뮬레이터 내 차량은 누적 위치 오차를 갖지 않고 시험 수행을 가능케 한다.
본 논문의 혼합현실 환경은 앞서 언급한 단점을 극복하고 각 매체의 장점을 혼합하는 실험환경을 구성하기 위해 현실과 디지털 트윈을 이루는 시뮬레이터와 연계 시험인 Co-simulation을 수행한다. Co-simulation은 단일 시뮬레이션 환경이 아닌 다른 환경과의 연계 시험을 통해 시뮬레이션 효율을 높이기 위한 방법이다.
실험은 드라이빙 시뮬레이터만을 사용해 시뮬레이션을 수행하고, 이후 동일한 실험 프로토콜로 혼합현실 환경에서 실험을 진행하였다. 두 환경에서 실험을 모두 수행한 후 실험 결과를 비교, 분석해 혼합현실 환경의 시뮬레이터 누적오차 해소에 대한 부분을 검증한다.
본 논문에서는 혼합현실 환경의 시뮬레이터 센서 통합을 위해 자율주행을 위한 여러 센서의 전송 속도를 분석하였다. LiDAR 센서는 3D 공간 정보를 대량으로 생성하여 높은 용량의 데이터를 전송한다.

대상 데이터

시험 차량으로는 현대자동차의 상용차량 IONIQ5를 사용한다. 차량 제원은 Table 2와 같다.
전방 카메라 및 LiDAR, 루프 GNSS 안테나 구성을 채택했다. 객체 인지 및 차량의 위치 추정 보정을 위해 128채널 Ouster OS2 장거리 LiDAR를 사용하였으며, LiDAR 센서 상세 제원은 Table 3과 같다. 추가적으로 전방 카메라를 설치해 객체 인지 성능을 강화했다.

데이터처리

실험 결과 동일한 시험 프로토콜을 사용한 드라이빙 시뮬레이터 단독 시험과 혼합현실 시험 방법의 ISO 8855-2011 기준 차체 프레임을 기준으로 각 방향 가속도 성분을 비교하였다. 실험을 통해 시뮬레이터 단독 동작 환경에서 발생하는 모델링 오차 문제를 명확히 확인하였다.

이론/모형

Co-simulation의 범주에는 이기종의 시뮬레이터를 동시 활용해 각 시뮬레이터의 특징을 활용하는 Simulation-to-Simulation Co-simulation 방법과 시뮬레이터와 현실의 연계 시험 방법인 Simulation-to-Real (Sim2Real) Co-simulation 방법이 존재한다. 혼합현실 환경의 경우 시뮬레이터와 현실의 연계 시험방법으로 Sim2Real Co-simulation 범주에 속하며, 현실 환경의 정보를 통해 양 방향의 정보를 혼합해 시뮬레이터 및 현실의 제약사항을 보완하는 방법을 활용한다.

성능/효과

실험 결과 동일한 시험 프로토콜을 사용한 드라이빙 시뮬레이터 단독 시험과 혼합현실 시험 방법의 ISO 8855-2011 기준 차체 프레임을 기준으로 각 방향 가속도 성분을 비교하였다. 실험을 통해 시뮬레이터 단독 동작 환경에서 발생하는 모델링 오차 문제를 명확히 확인하였다. 문제 해결을 위해 실제 항법 센서 데이터를 활용한 혼합현실 방법을 적용해 시뮬레이터의 차량 모델링 오차로 인한 누적 위치 오차를 해소할 수 있었다.
실험을 통해 시뮬레이터 단독 동작 환경에서 발생하는 모델링 오차 문제를 명확히 확인하였다. 문제 해결을 위해 실제 항법 센서 데이터를 활용한 혼합현실 방법을 적용해 시뮬레이터의 차량 모델링 오차로 인한 누적 위치 오차를 해소할 수 있었다. 이를 통해 제안한 시험 방식이 시뮬레이터의 누적 위치오차 해소에 적합한 방법임을 확인하였으며, 연구 결과를 통해 효율적인 자율주행 차량의 검증을 위한 자료로 활용할 수 있을 것으로 기대된다.
LiDAR 센서는 3D 공간 정보를 대량으로 생성하여 높은 용량의 데이터를 전송한다. 시뮬레이터에 모델링 된 16채널 LiDAR 센서는 평균 904 kb의 패킷 데이터를 약 1.378 ms에 혼합현실 환경으로 전송하였고, 32채널 LiDAR는 평균 1810 kb의 패킷 데이터를 약 0.682 ms에 수신됨을 확인하였다. 반면, GNSS 및 INS는 LiDAR 센서에 비해 상대적으로 적은 양의 데이터를 전송한다.
또한 가상의 장애물을 통한 AEB 실험을 위해 드라이빙 시뮬레이터의 객체를 Ground Truth (GT) 형태로 실제 자율주행 제어기로 전송한다. 이때, 본 논문에서 활용한 MORAI Sim의 객체의 GT 정보는 패킷 당 약 5350 Byte의 데이터를 담고 있으며, 혼합현실 환경을 통한 가상환경에서 실제환경으로의 객체 GT 데이터 전송 속도는 평균 19.98 ms의 속도로 전송됨을 확인하였다.

후속연구

문제 해결을 위해 실제 항법 센서 데이터를 활용한 혼합현실 방법을 적용해 시뮬레이터의 차량 모델링 오차로 인한 누적 위치 오차를 해소할 수 있었다. 이를 통해 제안한 시험 방식이 시뮬레이터의 누적 위치오차 해소에 적합한 방법임을 확인하였으며, 연구 결과를 통해 효율적인 자율주행 차량의 검증을 위한 자료로 활용할 수 있을 것으로 기대된다.

참고문헌 (14)

Chen, K. 2023, A Review of The Application of V TD？Simulation Software in Intelligent Driving, Academic？Journal of Science and Technology, 8, 70-73. https://doi.org/10.54097/ajst.v8i2.14949

상세보기
Chen, L.-K. & Ulsoy, A. G. 2006, Experimental evaluation？of a vehicle steering assist controller using a driving？simulator, Vehicle System Dynamics, 44, 223-245.？https://doi.org/10.1080/00423110500268350

상세보기
Cicchino, J. B. 2017, Effectiveness of forward collision？warning and autonomous emergency braking systems？in reducing front-to-rear crash rates, Accident Analysis？& Prevention, 99, 142-152. https://doi.org/10.1016/j.aap.2016.11.009

상세보기
Envisioning the future of mobility [internet], cited 2024 Sep 30, available from: https://www.morai.ai
Gowal, S., Zhang, Y., & Martinoli, A. 2010, A realistic？simulator for the design and evaluation of intelligent？vehicles, In 13th International IEEE Conference on？Intelligent Transportation Systems, 19-22 September？2010, Madeira Island, Portugal, pp.1039-1044. https://doi.org/10.1109/ITSC.2010.5625010
Huang, W., Wang, K., Lv, Y., & Zhu, F. 2016, Autonomous？vehicles testing methods review, In 2016 IEEE 19th？International Conference on Intelligent Transportation？Systems (ITS C), 01-04 November 2016, Rio de？Janeiro, Brazil, pp.163-168. https://doi.org/10.1109/ITSC.2016.7795548
ISO 8855:2011, Road vehicles 2011, Vehicle dynamics？and road-holding ability, Vocabulary 3rd Edition,？International Organization for Standardization.
Kamalasanan, V., Mukbil, A., Sester, M., & Muller, J. P. 2022,？Mixed reality agent-based framework for pedestrian-cyclist？interaction, In 2022 IEEE International Symposium on？Mixed and Augmented Reality Adjunct (ISMAR-Adjunct),？17-21 October 2022, Singapore, Singapore, pp.363-368.？https://doi.org/10.1109/ISMAR-Adjunct57072.2022.00079
Liao, X., Zhao, X., Wang, Z., Zhao, Z., Han, K., et al. 2023,？Driver digital twin for online prediction of personalized？lane-change behavior, IEEE Internet of Things？Journal, 10, 13235-13246. https://doi.org/10.1109/JIOT.2023.3262484

상세보기
Niaz, A., Shoukat, M. U., Jia, Y., Khan, S., Niaz, F., et al. 2021,？Autonomous driving test method based on digital？twin: A survey, In 2021 International Conference on？Computing, Electronic and Electrical Engineering (ICE？Cube), 26-27 October 2021, Quetta, Pakistan, pp.1-7.？https://doi.org/10.1109/ICECube53880.2021.9628341
Schiegg, F. A., Krost, J., Jesenski, S., & Frye, J. 2019, A novel？simulation framework for the design and testing of？advanced driver assistance systems, In 2019 IEEE 90th？Vehicular Technology Conference (VTC2019-Fall), 22-25 September 2019, Honolulu, Hawaii, USA, pp.1-6.？https://doi.org/10.1109/VTCFall.2019.8891221
Sievers, G., Seiger, C., Peperhowe, M., Krumm, H., Graf, S.,？et al. 2018, Driving simulation technologies for sensor？simulation in sil and hil environments, In Proceedings？of the DSC, 5 September 2018, Antibes, France, pp.127-130.
Yu, B., Chen, C., Tang, J., Liu, S., & Gaudiot, J. L. 2022,？Autonomous vehicles digital twin: A practical paradigm for？autonomous driving system development, Computer, 55,？26-34. https://doi.org/10.1109/MC.2022.3159500

상세보기
Zorov, D. B., Juhaszova, M., & Sollott, S. J. 2014,？Mitochondrial reactive oxygen species (ROS) and ROS-induced ROS release, Physiological reviews, 94, 909-950. https://doi.org/10.1152/physrev.00026.2013

상세보기

이 논문을 인용한 문헌

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 자율주행 검증을 위한 혼합현실 시뮬레이션 시험
Mixed-Reality for Simulation Testing of Automated Vehicles 원문보기

Abstract ▼ AI-Helper

Keyword

표/그림 (11)

표/그림 (11)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (14)

이 논문을 인용한 문헌

활용도 분석정보

활용도 Top5 논문

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 자율주행 검증을 위한 혼합현실 시뮬레이션 시험 Mixed-Reality for Simulation Testing of Automated Vehicles 원문보기

Abstract ▼ AI-Helper

Keyword

표/그림 (11) 모든 표/그림 보기

표/그림 (11) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (14)

이 논문을 인용한 문헌

활용도 분석정보

활용도 Top5 논문 더보기

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 자율주행 검증을 위한 혼합현실 시뮬레이션 시험
Mixed-Reality for Simulation Testing of Automated Vehicles 원문보기

표/그림 (11)

표/그림 (11)

AI 본문요약
AI-Helper

활용도 Top5 논문