[논문]고속도로 자율주행 시 보상을 최대화하기 위한 강화 학습 활성화 함수 비교

이동철

doi:10.7236/jiibc.2022.22.5.63

초록
AI-Helper

자율주행 기술은 최근 심층 강화학습의 도입으로 큰 발전을 이루고 있다. 심층 강화 학습을 효과적으로 사용하기 위해서는 적절한 활성화 함수를 선택하는 것이 중요하다. 그 동안 많은 활성화 함수가 제시되었으나 적용할 환경에 따라 다른 성능을 보여주었다. 본 논문은 고속도로에서 자율주행을 학습하기 위해 강화 학습을 사용할 때 어떤 활성화 함수를 사용하는 것이 효과적인지 12개의 활성화 함수 성능을 비교 평가한다. 이를 위한 성능 평가 방법을 제시하였고 각 활성화 함수의 평균 보상 값을 비교하였다. 그 결과 GELU를 사용할 경우 가장 높은 평균 보상을 얻을 수 있었으며 SiLU는 가장 낮은 성능을 보여주었다. 두 활성화 함수의 평균 보상 차이는 20%였다.

Abstract ▼ AI-Helper

Autonomous driving technology has recently made great progress with the introduction of deep reinforcement learning. In order to effectively use deep reinforcement learning, it is important to select the appropriate activation function. In the meantime, many activation functions have been presented,...

Autonomous driving technology has recently made great progress with the introduction of deep reinforcement learning. In order to effectively use deep reinforcement learning, it is important to select the appropriate activation function. In the meantime, many activation functions have been presented, but they show different performance depending on the environment to be applied. This paper compares and evaluates the performance of 12 activation functions to see which activation functions are effective when using reinforcement learning to learn autonomous driving on highways. To this end, a performance evaluation method was presented and the average reward value of each activation function was compared. As a result, when using GELU, the highest average reward could be obtained, and SiLU showed the lowest performance. The average reward difference between the two activation functions was 20%.

Keyword

표/그림 (8)

그림 그림 1. 에이전트가 학습하는 동안 타임스탬프에 따른 보상을 나타낸 그래프 Fig. 1. A plot showing rewards according to timestamps while the agent was learning
그림 그림 2. 에이전트가 학습하는 동안 타임스탬프에 따른 보상을 나타낸 바이올린 그래프 Fig. 2. A violin plot showing rewards according to timestamps while the agent was learning
그림 그림 3. 에이전트가 학습하는 동안 타임스탬프에 따른 에피소드 길이를 나타낸 그래프 Fig. 3. A plot showing the episode length according to timestamps while the agent was learning
그림 그림 4. 에이전트가 학습하는 동안 타임스탬프에 따른 에피소드 길이 나타낸 바이올린 그래프 Fig. 4. A violin plot showing the episode length according to timestamps while the agent was learning
표 표 1. 에이전트가 학습하는 동안 평균 보상과 최대 보상에 따른 활성화 함수 순위 Table 1. The best activation functions based on average rewards and maximum rewards while learning
그림 그림 5. 에이전트가 테스트하는 동안 타임스탬프에 따른 보상을 나타낸 그래프 Fig. 5. A plot showing rewards according to timestamps while the agent was testing
그림 그림 6. 에이전트가 테스트하는 동안 충돌 횟수를 나타낸 그래프 Fig. 6. A plot showing the number of collisions while the agent was testing
표 표 2. 에이전트가 테스트하는 동안 평균 보상과 최대 보상에 따른 활성화 함수 순위 Table 2. The best activation functions based on average rewards and maximum rewards while testing

AI 본문요약
AI-Helper

문제 정의

본 논문은 고속도로에서 자율주행 학습 시 어떤 활성화 함수를 사용하는 것이 강화 학습에 유리한지 비교 평가하였다. 12가지 활성화 함수의 성능을 평가해본 결과 GELU와 Softplus가 평균적으로 높은 보상을 보여주었으며 SELU와 SiLU는 가장 낮은 보상을 보여주었다.

제안 방법

이 활성화 함수는 미분 가능하므로 역전파(Backpropagation)를 사용할 수 있어 초기에 활용되었으나 신경망이 깊어짐에 따라 기울기 소멸 문제(Vanishing gradient problem)가 발생하여 더는 활용되지 못하였다. 본 논문에서는 시그모이드 활성화 함수의 문제를 개선한 12개의 활성화 함수를 비교 평가하였으며 각 활성화 함수의 특징은 다음과 같다.
각 활성화 함수가 고속도로 자율주행 학습 시 미치는 영향을 평가하기 위해 각 활성화 함수를 사용하여 학습할 때 얻게 되는 보상을 비교하였다.

성능/효과

따라서 어떠한 활성화 함수를 선택하느냐에 따라 학습 성능이 크게 좌우된다. 강화 학습 초기에 사용된 활성화 함수는 시그모이드(Sigmoid) 함수였다. 이 활성화 함수는 미분 가능하므로 역전파(Backpropagation)를 사용할 수 있어 초기에 활용되었으나 신경망이 깊어짐에 따라 기울기 소멸 문제(Vanishing gradient problem)가 발생하여 더는 활용되지 못하였다.
그림 1의 그래프를 분석한 결과, 표 1과 같이 학습하는 동안 평균 보상과 최대 보상, 최종 보상에 따른 활성화 함수 순위를 구할 수 있었다. 그 결과 평균 보상 값은 ReLU와 Mish가 가장 좋은 결과를 보여주었으며 최대 보상 값은 ReLU와 HardTanh가 우수하였다. 학습이 종료된 시점에서 최종 보상 값은 ReLU와 HardTanH가 우수하였다.
그 결과 평균 보상 값은 ReLU와 Mish가 가장 좋은 결과를 보여주었으며 최대 보상 값은 ReLU와 HardTanh가 우수하였다. 학습이 종료된 시점에서 최종 보상 값은 ReLU와 HardTanH가 우수하였다. 최대 보상과 최종 보상 순위는 5 순위까지 모두 동일하였다.
최대 보상과 최종 보상 순위는 5 순위까지 모두 동일하였다. 모든 경우에서 ReLU가 가장 우수한 결과를 보여주었다. 그림 2는 그림 1의 데이터를 바이올린 플롯으로 표현한 것이다.
표 2는 그림 5를 기반으로 평균 보상과 최대 보상의 상위 6개 활성화 함수를 나열한 것이다. 평균 보상에서 가장 좋은 성능을 보여준 활성화 함수는 GELU와 Softplus 였다. 학습할 때와 테스트 시 모두 6위 내에 들었던 활성화 함수는 GELU, Softplus, HardTanh, ReLU 였다.
평균 보상에서 가장 좋은 성능을 보여준 활성화 함수는 GELU와 Softplus 였다. 학습할 때와 테스트 시 모두 6위 내에 들었던 활성화 함수는 GELU, Softplus, HardTanh, ReLU 였다.
본 논문은 고속도로에서 자율주행 학습 시 어떤 활성화 함수를 사용하는 것이 강화 학습에 유리한지 비교 평가하였다. 12가지 활성화 함수의 성능을 평가해본 결과 GELU와 Softplus가 평균적으로 높은 보상을 보여주었으며 SELU와 SiLU는 가장 낮은 보상을 보여주었다. 가장 높은 보상을 주었던 GELU와 가장 낮았던 SiLU와의 차이는 20%였다.

후속연구

Mish, SiLU, PReLU, SELU의 경우 충돌 횟수가 다른 활성화 함수보다 현저하게 많은데 그 결과 평균 보상 순위에서도 가장 낮은 순위를 차지하게 되었다. SELU를 제외한 나머지 활성화 함수는 학습 시 오버피팅된 현상도 발생하지 않았는데 이렇게 결과가 안좋게 나온 것은 추후 연구 및 분석이 필요하다.
향후 연구로는 심층 강화 학습 에이전트가 자율주행을 학습하는데 필요한 다른 여러 요인에 대하여 성능 평가를 할 것이다. 이를 통해 자율주행 상황별로, 또는 학습 알고리즘별로 어떤 요소를 사용하는 것이 효과적인지 알아볼 수 있을 것이다.
향후 연구로는 심층 강화 학습 에이전트가 자율주행을 학습하는데 필요한 다른 여러 요인에 대하여 성능 평가를 할 것이다. 이를 통해 자율주행 상황별로, 또는 학습 알고리즘별로 어떤 요소를 사용하는 것이 효과적인지 알아볼 수 있을 것이다. 또한, 일부 활성화 함수에서 충돌이 과도하게 발생하는 이유에 대하여 알아볼 것이다.

참고문헌 (15)

E. Jang, J. Kim, "Proposal of New Information Processing Model for Implementation of Autonomous Mobile System", The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 19, No. 2, pp. 237-242, 2019. DOI: https://doi.org/10.7236/JIIBC.2019.19.2.237

원문보기 상세보기
M. Ok, "A Simulator Implementation of Highway Driving Guidance System for Longitudinal Autonomous Driving of ADAS-Driving Vehicles", The Journal of Korean Institute of Information Technology, Vol 17, No. 11, pp. 27-35, 2019. DOI : https://doi.org/10.14801/jkiit.2019.17.11.27

상세보기
M. Kim, S. Lee, J. Lim, J. Choi, S. Kang, "Unexpected collision avoidance driving strategy using deep reinforcement learning", IEEE Access, Vol. 8, pp. 17243-17252, 2020. DOI: https://doi.org/10.1109/ACCESS.2020.2967509

상세보기
M. Lau, K. Lim, "Review of Adaptive Activation Function in Deep Neural Network", 2018 IEEE-EMBS Conference on Biomedical Engineering and Sciences, pp. 686-690, 2018. DOI: https://doi.org/10.1109/IECBES.2018.8626714.
X. Glorot, A. Bordes, Y. Bengio, "Deep sparse rectifier neural networks", International Conference on Artificial Intelligence and Statistics, 2011.
T. Jiang, J. Cheng, "Target Recognition Based on CNN with LeakyReLU and PReLU Activation Functions", 2019 International Conference on Sensing, Diagnostics, Prognostics, and Control, pp. 718-722, 2019. DOI: https://doi.org/10.1109/SDPC.2019.00136
D. Clevert, T. Unterthiner, S. Hochreiter, "Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)", arXiv:1511.07289, 2015.
K. He, X. Zhang, S. Ren, J. Sun, "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification", IEEE International Conference on Computer Vision, 2015. DOI: https://doi.org/10.1109/iccv.2015.123
D. Hendrycks, K. Gimpel, "Gaussian Error Linear Units", arXiv:1606.08415, 2016.
G. Klambauer, T. Unterthiner, A. Mayr, S. Hochreiter, "Self-Normalizing Neural Networks". Advances in Neural Information Processing Systems", arXiv:1706.02515, 2017.
B. Jonathan, "Continuously Differentiable Exponential Linear Units", arXiv:1704.07483, 2017.
S. Elfwing, E. Uchibe, K. Doya. "Sigmoid-weighted linear units for neural network function approximation in reinforcement learning", Neural Networks, Vol. 107, pp. 3-11, 2018. DOI: https://doi.org/10.1016/j.neunet.2017.12.012

상세보기
D. Misra, "Mish: A Self Regularized Non-Monotonic Activation Function", arXiv:1908.08681, 2020.
H. Andrew, S. Mark, G. Chu, L. Chen, B. Chen, M. Tan, W. Wang, Y. Zhu, R. Pang, V. Vasudevan, Q.V. Le, H. Adam, "Searching for MobileNetV3", IEEE/CVF international conference on computer vision, 2019.
J. Schulman, F. Wolski, P. Dhariwal, A. Radford, O. Klimov, "Proximal Policy Optimization Algorithms", arXiv:1707.06347, 2017.

이 논문을 인용한 문헌

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 고속도로 자율주행 시 보상을 최대화하기 위한 강화 학습 활성화 함수 비교
Comparison of Reinforcement Learning Activation Functions to Maximize Rewards in Autonomous Highway Driving 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (8)

표/그림 (8)

AI 본문요약
AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

참고문헌 (15)

이 논문을 인용한 문헌

활용도 분석정보

활용도 Top5 논문

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 고속도로 자율주행 시 보상을 최대화하기 위한 강화 학습 활성화 함수 비교 Comparison of Reinforcement Learning Activation Functions to Maximize Rewards in Autonomous Highway Driving 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (8) 모든 표/그림 보기

표/그림 (8) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

참고문헌 (15)

이 논문을 인용한 문헌

활용도 분석정보

활용도 Top5 논문 더보기

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 고속도로 자율주행 시 보상을 최대화하기 위한 강화 학습 활성화 함수 비교
Comparison of Reinforcement Learning Activation Functions to Maximize Rewards in Autonomous Highway Driving 원문보기

초록
AI-Helper

표/그림 (8)

표/그림 (8)

AI 본문요약
AI-Helper

활용도 Top5 논문