[논문]교차로에서 자율주행을 위한 심층 강화 학습 활성화 함수 비교 분석

이동철

doi:10.7236/jiibc.2021.21.6.117

초록
AI-Helper

자율주행은 자동차가 사람 없이 운전할 수 있도록 해 주며 최근 인공지능 기술의 발전에 힘입어 매우 활발히 연구되고 있다. 인공지능 기술 중에서도 특히 심층 강화 학습이 가장 효과적으로 사용되는데 이를 위해서는 적절한 활성화 함수를 이용한 신경망 구축이 필수적이다. 여태껏 많은 활성화 함수가 제시됐으나 적용 분야에 따라 서로 다른 성능을 보여주었다. 본 논문은 교차로에서 자율주행을 학습하기 위해 심층 강화 학습을 사용할 때 어떤 활성화 함수를 사용하는 것이 효과적인지 성능을 비교 평가한다. 이를 위해 평가에서 사용할 성능 메트릭을 정의하고 각 활성화 함수에 따른 메트릭의 값을 그래프로 비교하였다. 그 결과 Mish를 사용할 경우 보상이 다른 활성화 함수보다 평균적으로 높은 것을 알 수 있었고 보상이 가장 낮은 활성화 함수와의 차이는 9.8%였다.

Abstract ▼ AI-Helper

Autonomous driving allows cars to drive without people and is being studied very actively thanks to the recent development of artificial intelligence technology. Among artificial intelligence technologies, deep reinforcement learning is used most effectively. Deep reinforcement learning requires us ...

Autonomous driving allows cars to drive without people and is being studied very actively thanks to the recent development of artificial intelligence technology. Among artificial intelligence technologies, deep reinforcement learning is used most effectively. Deep reinforcement learning requires us to build a neural network using an appropriate activation function. So far, many activation functions have been suggested, but different performances have been shown depending on the field of application. This paper compares and evaluates the performance of which activation function is effective when using deep reinforcement learning to learn autonomous driving on highways. To this end, the performance metrics to be used in the evaluation were defined and the values of the metrics according to each activation function were compared in graphs. As a result, when Mish was used, the reward was higher on average than other activation functions, and the difference from the activation function with the lowest reward was 9.8%.

Keyword

표/그림 (5)

그림 그림 1. 교차로에서 자율주행을 위한 강화 학습 에이전트가 사용하는 신경망 구성도 Fig. 1. Illustration of the neural network used by RL agent to learn how to learn self-driving on a intersection
표 표 1. 강화 학습에서 사용되는 활성화 함수 Table 1. Activation functions used in the reinforcement learning
그림 그림 2. 에이전트가 학습하는 동안 타임스탬프에 따른 보상을 나타낸 그래프 Fig. 2. A plot showing rewards according to timestamps while the agent is learning
그림 그림 3. 에이전트가 학습하는 동안 타임스탬프에 따른 에피소드를 끝내는 시간을 나타낸 그래프 Fig. 3. A plot showing the time it takes to end the episode according to timestamps while the agent is learning
표 표 2. 테스트 환경에서 각 활성화 함수별 평균 보상과 충돌 횟수 Table 2. Mean reward and crashed count for each activation function during the testing

AI 본문요약
AI-Helper

문제 정의

본 논문은 교차로에서 자율주행 학습 시 어떤 활성화 함수를 사용하는 것이 심층 강화 학습에 유리한지 성능을 평가하였다. 성능 평가 시 비교했던 활성화 함수는 일반적으로 많이 사용되는 ReLU, LeakyReLU, PReLU, GELU, SiLU, Mish를 사용하였다.

제안 방법

각 활성화 함수가 교차로에서 자율주행을 학습할 때 끼치는 영향을 평가하기 위해 각 활성화 함수를 사용하여 학습할 때 얻게 되는 보상과 에피소드를 끝내는데 걸리는 시간을 비교하였다.
본 논문은 교차로에서 자율주행 학습 시 어떤 활성화 함수를 사용하는 것이 심층 강화 학습에 유리한지 성능을 평가하였다. 성능 평가 시 비교했던 활성화 함수는 일반적으로 많이 사용되는 ReLU, LeakyReLU, PReLU, GELU, SiLU, Mish를 사용하였다. 성능 평가 결과 Mish를 사용할 경우 가장 높은 보상을 얻을 수 있었으며 가장 낮은 보상을 기록한 SiLU와의 차이는 9.

성능/효과

성능 평가 시 비교했던 활성화 함수는 일반적으로 많이 사용되는 ReLU, LeakyReLU, PReLU, GELU, SiLU, Mish를 사용하였다. 성능 평가 결과 Mish를 사용할 경우 가장 높은 보상을 얻을 수 있었으며 가장 낮은 보상을 기록한 SiLU와의 차이는 9.8% 였다. 두 번째로 높은 보상은 얻은 함수는 PReLU였고 충돌 횟수는 가장 적었다.
8% 였다. 두 번째로 높은 보상은 얻은 함수는 PReLU였고 충돌 횟수는 가장 적었다.

후속연구

향후 연구로는 심층 강화 학습 에이전트가 자율주행을 학습하는데 필요한 다른 여러 요인에 대하여 성능 평가를 할 것이다. 이를 통해 자율주행 상황별로, 또는 학습알고리즘별로 어떤 요소를 사용하는 것이 효과적인지 알아볼 수 있을 것이다.
향후 연구로는 심층 강화 학습 에이전트가 자율주행을 학습하는데 필요한 다른 여러 요인에 대하여 성능 평가를 할 것이다. 이를 통해 자율주행 상황별로, 또는 학습알고리즘별로 어떤 요소를 사용하는 것이 효과적인지 알아볼 수 있을 것이다.

참고문헌 (12)

E. Jang, J. Kim, "Proposal of New Information Processing Model for Implementation of Autonomous Mobile System", The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 19, No. 2, pp. 237-242, 2019. DOI: https://doi.org/10.7236/JIIBC.2019.19.2.237

원문보기 상세보기
A. Rasouli, J. K. Tsotsos, "Autonomous vehicles that interact with pedestrians: A survey of theory and practice", IEEE Trans. Intell. Transp. Syst., Vol. 21, No. 3, pp. 900-918, 2020. DOI: https://doi.org/10.1109/TITS.2019.2901817

상세보기
P. Hart, A. Knoll, "Using counterfactual reasoning and reinforcement learning for decision-making in autonomous driving", arXiv:2003.11919, 2020.
M. Kim, S. Lee, J. Lim, J. Choi, S. Kang, "Unexpected collision avoidance driving strategy using deep reinforcement learning", IEEE Access, Vol. 8, pp. 17243-17252, 2020. DOI: https://doi.org/10.1109/ACCESS.2020.2967509

상세보기
G. Shu, W. Liu, X. Zheng, J. Li, "IF-CNN: Image-Aware Inference Framework for CNN With the Collaboration of Mobile Devices and Cloud", IEEE Access, Vol 6, pp. 68621-68633, 2018. DOI: https://doi.org/10.1109/ACCESS.2018.2880196

상세보기
M. Lau, K. Lim, "Review of Adaptive Activation Function in Deep Neural Network", 2018 IEEE-EMBS Conference on Biomedical Engineering and Sciences, pp. 686-690, 2018. DOI: https://doi.org/10.1109/IECBES.2018.8626714.
L. Edouard, "An Environment for Autonomous Driving Decision-Making", GitHub, https://github.com/eleurent/highway-env, 2018.
T. Jiang, J. Cheng, "Target Recognition Based on CNN with LeakyReLU and PReLU Activation Functions", 2019 International Conference on Sensing, Diagnostics, Prognostics, and Control, pp. 718-722, 2019. DOI: https://doi.org/10.1109/SDPC.2019.00136
D. Hendrycks, K. Gimpel, "Gaussian Error Linear Units", arXiv:1606.08415, 2020.
S. Elfwing, E. Uchibe, K. Doya. "Sigmoid-weighted linear units for neural network function approximation in reinforcement learning", Neural Networks, Vol. 107, pp. 3-11, 2018. DOI: https://doi.org/10.1016/j.neunet.2017.12.012

상세보기
D. Misra, "Mish: A Self Regularized Non-Monotonic Activation Function", arXiv:1908.08681, 2020.
J. Schulman, F. Wolski, P. Dhariwal, A. Radford, O. Klimov, "Proximal Policy Optimization Algorithms", arXiv:1707.06347, 2017.

이 논문을 인용한 문헌

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 교차로에서 자율주행을 위한 심층 강화 학습 활성화 함수 비교 분석
Comparison of Activation Functions using Deep Reinforcement Learning for Autonomous Driving on Intersection 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (5)

표/그림 (5)

AI 본문요약
AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

참고문헌 (12)

이 논문을 인용한 문헌

활용도 분석정보

활용도 Top5 논문

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 교차로에서 자율주행을 위한 심층 강화 학습 활성화 함수 비교 분석 Comparison of Activation Functions using Deep Reinforcement Learning for Autonomous Driving on Intersection 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (5) 모든 표/그림 보기

표/그림 (5) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

참고문헌 (12)

이 논문을 인용한 문헌

활용도 분석정보

활용도 Top5 논문 더보기

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 교차로에서 자율주행을 위한 심층 강화 학습 활성화 함수 비교 분석
Comparison of Activation Functions using Deep Reinforcement Learning for Autonomous Driving on Intersection 원문보기

초록
AI-Helper

표/그림 (5)

표/그림 (5)

AI 본문요약
AI-Helper

활용도 Top5 논문