[논문]가상 환경과 실제 환경의 병행 강화학습을 통한 실내 자율주행

정유석; 이창우

doi:10.9723/jksiis.2021.26.4.011

초록
AI-Helper

강화 학습을 통한 실내 자율주행을 위해 가상 환경과 실제 환경에서 학습을 병행하는 방법을 제안한다. 실제 환경에서만 학습을 진행했을 경우 80시간 정도의 소요 시간이 필요하지만, 실제 환경과 가상 환경을 병행하며 학습을 진행했을 경우 50시간의 소요 시간이 필요하다. 가상 환경과 실제 환경에서 학습을 병행하면서 빠른 학습으로 다양한 실험을 거쳐 최적화된 파라미터를 얻을 수 있는 이점이 있다. 실내복도 이미지를 이용하여 가상 환경을 구성한 후 데스크톱으로 선행학습을 진행하였고 실제 환경에서의 학습은 Jetson Xavier를 기반으로 다양한 센서와 연결하여 학습을 진행하였다. 또한, 실내복도 환경의 반복되는 텍스처에 따른 정확도 문제를 해결하기 위해 복도 벽의 아랫선을 강조하는 특징점 검출을 학습하여 복도 벽 객체를 판단하고 정확도를 높일 수 있었다. 학습을 진행할수록 실험 차량은 실내복도 환경에서 복도 중앙을 기준으로 주행하며 평균 70회의 조향명령을 통해 움직인다.

Abstract ▼ AI-Helper

We propose a method that combines learning in a virtual environment and a real environment for indoor autonomous driving through reinforcement learning. In case of learning only in the real environment, it takes about 80 hours, but in case of learning in both the real and virtual environments, it ta...

We propose a method that combines learning in a virtual environment and a real environment for indoor autonomous driving through reinforcement learning. In case of learning only in the real environment, it takes about 80 hours, but in case of learning in both the real and virtual environments, it takes 40 hours. There is an advantage in that it is possible to obtain optimized parameters through various experiments through fast learning while learning in a virtual environment and a real environment in parallel. After configuring a virtual environment using indoor hallway images, prior learning was carried out on the desktop, and learning in the real environment was conducted by connecting various sensors based on Jetson Xavier. In addition, in order to solve the accuracy problem according to the repeated texture of the indoor corridor environment, it was possible to determine the corridor wall object and increase the accuracy by learning the feature point detection that emphasizes the lower line of the corridor wall. As the learning progresses, the experimental vehicle drives based on the center of the corridor in an indoor corridor environment and moves through an average of 70 steering commands.

주제어

표/그림 (13)

그림 Fig. 1 Neural Network Structure
그림 Fig. 2 NVIDA Jetson Xavier
그림 Fig. 3 Virtual Environment
그림 Fig. 4 System Train Block Diagram
그림 Fig. 5 System Test Block Diagram
그림 Fig. 6 Test Vehicle
그림 Fig. 7 Sensor and Module
그림 Fig. 8 Lidar Sensor Setting
표 Table 1 Lidar Channel Configuration
그림 Fig. 9 Lidar Sensor Angle Range
그림 Fig. 10 Example of Training Samples
그림 Fig. 11 Real Environment Test Results
그림 Fig. 12 Parallel Test Results of Virtual and Real Environments

참고문헌 (10)

Kim, J. Y., and Lee, S. J., et al. (2017). A Study on the National Policy Agenda based on Science & Tehnology.ICT for leading the 4th Industrial Revolution, Ministry of Science, ICT and Future Planning
Commercializations Promotion Agency for R&D Outcomes. (2019). Artificial intelligence (big data) market and technology trends, S&T Market Report, Vol. 71
Mnih, V., et al. (2013). Playing Atari with Deep Reinforcement Learning, NIPS Deep Learning Workshop 2013.
Keskar, N. S., et all. (2017). on Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima, ICLR 2017.
Krizhevsky, A., et all. (2012). Imagenet Classification with Deep Convolutional Neural Networks, NIPS 2012.
Yang, J., Coughlin, J. F. (2014). In-vehicle technology for self-driving cars: Advantages and challenges for aging drivers, International Journal of Automotive Technology, vol.15, no.2, pp333-340.

상세보기
Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot, Nando de Freitas. (2016). Dueling Network Architectures for Deep Reinforcement Learning, Proceedings of the 33rd International 35 Conference on International Conference on Machine Learning (PMLR), Vol.48, pp1995-2003.
Lillicrap, Timothy P., et al. (2019). Continuous control with deep reinforcement learning, arXiv preprint arXiv:1509.02971v6.
Szegedy, Christian, et al. (2015). Going deeper with convolutions, IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
Simonyan, Karen, and Andrew Zisserman. (2015). Very deep convolutional networks for large-scale image recognition, arXivpreprint arXiv:1409.1556v6.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

가상 환경과 실제 환경의 병행 강화학습을 통한 실내 자율주행
Indoor Autonomous Driving through Parallel Reinforcement Learning of Virtual and Real Environments 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (13)

표/그림 (13)

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

가상 환경과 실제 환경의 병행 강화학습을 통한 실내 자율주행 Indoor Autonomous Driving through Parallel Reinforcement Learning of Virtual and Real Environments 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (13) 모든 표/그림 보기

표/그림 (13) 슬라이드로 보기

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

이창우 (24)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

가상 환경과 실제 환경의 병행 강화학습을 통한 실내 자율주행
Indoor Autonomous Driving through Parallel Reinforcement Learning of Virtual and Real Environments 원문보기

초록
AI-Helper

표/그림 (13)

표/그림 (13)