[논문]심층 결정론적 정책 경사법을 이용한 선박 충돌 회피 경로 결정

김동함; 이성욱; 남종호; 요시타카 후루카와

doi:10.3744/snak.2019.56.1.058

심층 결정론적 정책 경사법을 이용한 선박 충돌 회피 경로 결정
Determination of Ship Collision Avoidance Path using Deep Deterministic Policy Gradient Algorithm 원문보기

大韓造船學會論文集 = Journal of the society of naval architects of korea, v.56 no.1, 2019년, pp.58 - 65

김동함 (한국해양대학교 조선해양시스템공학과) , 이성욱 (한국해양대학교 조선해양시스템공학부) , 남종호 (한국해양대학교 조선해양시스템공학부) , 요시타카 후루카와 (큐슈대학교 마린시스템공학과)

Abstract ▼ AI-Helper

The stability, reliability and efficiency of a smart ship are important issues as the interest in an autonomous ship has recently been high. An automatic collision avoidance system is an essential function of an autonomous ship. This system detects the possibility of collision and automatically takes avoidance actions in consideration of economy and safety. In order to construct an automatic collision avoidance system using reinforcement learning, in this work, the sequential decision problem of ship collision is mathematically formulated through a Markov Decision Process (MDP). A reinforcement learning environment is constructed based on the ship maneuvering equations, and then the three key components (state, action, and reward) of MDP are defined. The state uses parameters of the relationship between own-ship and target-ship, the action is the vertical distance away from the target course, and the reward is defined as a function considering safety and economics. In order to solve the sequential decision problem, the Deep Deterministic Policy Gradient (DDPG) algorithm which can express continuous action space and search an optimal action policy is utilized. The collision avoidance system is then tested assuming the $90^{\circ}$intersection encounter situation and yields a satisfactory result.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 90도 교차 조우상황만을 가정하여 테스트하였으나 보다 포괄적인 조우 상황을 고려하기 위하여 향후 마주침(head-on) 및 추월(overtaking) 상황에 대한 테스트를 진행할 계획이다. 또한 조타만을 이용하여 피항이 가능한 상황에 대해 테스트를 하였는데 향후 행동 집합에 추력 조절 요소를 추가함으로써 속도에 대한 영향을 포함하는 연구가 진행되어야 할 것으로 사료된다.
본 연구에서는 기계학습을 구성하고 있는 요소기술 중 하나인 강화학습(reinforcement learning)을 이용하여 선박 충돌 문제를 해결하고자 한다. 강화학습의 목적은 환경(environment)으로부터 받는 보상(reward)들의 합이 최대가 되는 최적의 행동 양식을 학습하는 것이다(Fig.
보상을 최대로 받거나 받게 될 행동을 학습하는것이 강화학습의 목표이기 때문에 보상은 강화학습 적용에서 가장 중요한 요소이다. 본 연구에서는 두 선박의 조우 상황에서 경제성과 안전성을 고려한 최적의 회피 경로를 찾도록 한다.
본 연구에서는 조종운동 방정식을 기반으로 강화학습의 환경을 구축하고, 선박의 충돌 회피 문제를 순차적 행동 문제로 다루기 위해 MDP를 정의한다. 연속된 행동 공간에서 MDP의 최적 정책과 행동을 찾기 위해 DDPG를 이용하며, 이를 통해 선박의 충돌을 회피 경로를 결정한다.

가설 설정

v_i1, v_j1은 자선의 i, j 방향 속도, r₁은 자선의 선회 각속도, I은 목표 경로에서 자선까지 수직하게 떨어진 거리, ψ_s는 목표 경로와 선수방향(heading)이 이루는 각도, δ는 타각, i_rel, j_rel은 i와 j 방향으로 타선의 상대 거리, v_{i_rel}, v_{j_rel}은 i와j 방향으로 타선의 상대속도(v_i2-v_i1, v_j2-v_j1)이다(Fig 3). 타선의 정보는 선박자동식별장치(automation information system, AIS)로부터 획득하는 것으로 가정한다.

제안 방법

(2016)은 강화학습을 이용한 충돌 회피 시스템을제안하였으며 자선(own ship)의 속도, 회피 시작 지점, 회피 종료 지점, 회피 경로를 충돌 회피 항로 결정을 위한 중요 요소로 두었다. 각 요소에서 이산적 행동들이 매개변수로 정의되었으며, 두 선박의 특정 조우상황에서 최적 회피 행동을 하는 매개변수들을 찾기 위해 큐러닝 방법을 활용하였다. 하지만 자선과 타선(target ship)의 상태에 따라 주기적으로 최적 행동이 결정되는 대신, 초기 조우 상황에 맞는 하나의 최적 행동이 결정되는데, 이러한 경우 타선의 목표 경로 변경과 같은 변화에 대응하기 힘들다는 단점을 수반한다.
연속된 행동 공간에서 MDP의 최적 정책과 행동을 찾기 위해 DDPG를 이용하며, 이를 통해 선박의 충돌을 회피 경로를 결정한다. 그리고 90도 횡단 상태의 조우 상황에서 MDP를 테스트하여 그 유효성을 검증하였다.
두 선박의 조우상황에서 경제성과 안전성을 고려하여 회피 동작을 최적화하는 강화학습 방법을 개발하였다. 우선 조종운동수학모델을 기반으로 강화학습 환경을 구축하고, 조종운동수학모델은 MMG에서 제안한 모델을 활용하였다.
선박의 조우상황에서 충돌 회피를 위한 동작은 순차적 행동 문제로 간주하고, MDP를 이용해 수학적으로 표현하였다. 목표 경로에 수평한 새로운 회피 경로를 생성하고 목표 경로와 회피 경로 사이의 거리를 행동으로 설정한 후, 두 선박의 조우 상태에 따른 최적의 행동 정책, 즉 최적의 회피 경로를 찾았다. 보상함수는 경제성과 안전성을 동시에 고려하여 실제 선박 운항 조건과 가깝게 설정하였다.
최적화에 활용되는 기법 중 그리드탐색법(grid search)과 같은 규칙적인 탐색 보다는 무작위 샘플링을 통해 탐색하는 것이 좋은 결과를 낸다고 알려져 있다(Bergstra & Bengio, 2012). 본 연구에서는 무작위 탐색법을 활용하여 Table 4와 같이 하이퍼파라미터 값을 최적화하였다.
우선 조종운동수학모델을 기반으로 강화학습 환경을 구축하고, 조종운동수학모델은 MMG에서 제안한 모델을 활용하였다. 선박의 조우상황에서 충돌 회피를 위한 동작은 순차적 행동 문제로 간주하고, MDP를 이용해 수학적으로 표현하였다. 목표 경로에 수평한 새로운 회피 경로를 생성하고 목표 경로와 회피 경로 사이의 거리를 행동으로 설정한 후, 두 선박의 조우 상태에 따른 최적의 행동 정책, 즉 최적의 회피 경로를 찾았다.
w_s는 충돌에 대한 가중치 상수로 그 값을 5로 두었으며, c_s는 충돌 유무에 대한 조건 변수로 두 선박이 충돌할 경우 1, 그렇지 않으면 0 이다. 실제 충돌은 두 선박이 부딪힌 상태지만 본 논문에서는 블록영역(blocking area)을 설정하고 회피 거리의 안전성을 확보하기 위해 블록영역 안에 타선의 선체 윤곽이 들어오면 충돌 하였다고 간주한다. 블록영역은 타선의 감시영역(watching area)이 블록영역을 침범했을 때 자선이 현재 경로를 변경 또는 유지 할 것인지 여부를 결정하는 영역으로 Kijima and Furukawa(2003)에서 식 (12)와 같이 사용하였다.
본 연구에서는 조종운동 방정식을 기반으로 강화학습의 환경을 구축하고, 선박의 충돌 회피 문제를 순차적 행동 문제로 다루기 위해 MDP를 정의한다. 연속된 행동 공간에서 MDP의 최적 정책과 행동을 찾기 위해 DDPG를 이용하며, 이를 통해 선박의 충돌을 회피 경로를 결정한다. 그리고 90도 횡단 상태의 조우 상황에서 MDP를 테스트하여 그 유효성을 검증하였다.
프로펠러에 의한 외력 중, 횡력(Y’P)과 모멘트(N’P)는다른 유체력에 비해 매우 작으므로 생략하였다.

대상 데이터

DDPG 시나리오는 15노트 속도의 두 선박이 90도 각도에서 교차 조우하는 상황이며, 시나리오의 시작 조건은 Table 1과 같다. 본 연구에서는 선박해양플랜트연구소 공개 선형인 KVLCC의 주요 제원을 Table 2와 같이 축척하여 활용하였으며, 유체력 미계수는 Kijima and Nakiri(2003)의 추정식을 통해 산출된 Table 3의 값을 사용하였다.

이론/모형

자동 경로 추종 제어기 구축에는 PID(proportional-integral-derivative)제어와 퍼지제어 등을 이용한 방법이 연구되어 왔으며, 본 연구에서는 Furukawa et al.(2004)의 퍼지를 이용한 자동 경로 추종 제어기를 활용하였다.
본 연구에서는 Lillicrap et al.(2016)이 제안한 Ornstein-Uhlenbeck 방법을 사용하여 무작위 노이즈(noise) 값을 생성하고, 식 (13)과 같이 엑터 네트워크에서 산출되는 행동(a)에 노이즈를 더해줌으로써 탐험이가능하도록 한다. 또한 감소하는 엡실론-탐욕(epsilon-greedy)정책(Lee et al.
두 선박의 충돌 조우상황에 대한 순차적 행동문제 정의를 DDPG 방법에 적용한다. DDPG는 엑터-크리틱에서 엑터 네트워크를 업데이트 할 때 DPG 방법을 사용하며 재생 버퍼를 활용하는 특징을 갖고 있다.
두 선박의 조우상황에서 경제성과 안전성을 고려하여 회피 동작을 최적화하는 강화학습 방법을 개발하였다. 우선 조종운동수학모델을 기반으로 강화학습 환경을 구축하고, 조종운동수학모델은 MMG에서 제안한 모델을 활용하였다. 선박의 조우상황에서 충돌 회피를 위한 동작은 순차적 행동 문제로 간주하고, MDP를 이용해 수학적으로 표현하였다.

성능/효과

보상함수는 경제성과 안전성을 동시에 고려하여 실제 선박 운항 조건과 가깝게 설정하였다. 마지막으로 두 선박의 90도 교차 조우상황을 테스트 하여 제안된 방법의 유효성을 검증하였다.
6과 같다. 보상을 최대화하는 방향으로 학습되었으며, 약 4,000 에피소드부터 보상 값이 수렴하는 것을 확인할 수 있다.

후속연구

본 연구에서는 90도 교차 조우상황만을 가정하여 테스트하였으나 보다 포괄적인 조우 상황을 고려하기 위하여 향후 마주침(head-on) 및 추월(overtaking) 상황에 대한 테스트를 진행할 계획이다. 또한 조타만을 이용하여 피항이 가능한 상황에 대해 테스트를 하였는데 향후 행동 집합에 추력 조절 요소를 추가함으로써 속도에 대한 영향을 포함하는 연구가 진행되어야 할 것으로 사료된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	선박 운항의 자동화에서 중요한 사항	선박 운항의 자동화에 있어 가장 비중 있게 고려되고 있는 사항 중 하나는 선박이 항내로 입항 또는 출항할 때 지켜져야 하는 안전성이다. 항내에서 발생할 수 있는 해양사고의 원인으로 여러 가지 요소가 있지만, 그 중 선박들 간의 충돌 및 좌초가 특히 중요한 요소로 고려된다.
	강화학습의 목적은 ?	본 연구에서는 기계학습을 구성하고 있는 요소기술 중 하나인 강화학습(reinforcement learning)을 이용하여 선박 충돌 문제를 해결하고자 한다. 강화학습의 목적은 환경(environment)으로부터 받는 보상(reward)들의 합이 최대가 되는 최적의 행동 양식을 학습하는 것이다(Fig. 1).
	해양사고의 원인에는 무엇이 있는가 ?	항내에서 발생할 수 있는 해양사고의 원인으로 여러 가지 요소가 있지만, 그 중 선박들 간의 충돌 및 좌초가 특히 중요한 요소로 고려된다. 실제로 최근 5년(2012~2017년) 사이 중앙해양안전심판원 통계자료(Korean maritime safety tribunal, 2017)에 따르면 충돌 및 좌초와 관련된 국내 해양사고의96.5%는 항해자의 판단 착오 등의 운항 과실에 의해 발생하고 있으며, 이들 중 97%가 출항 후 직무별 과실 및 안전 수칙 미준수와 같은 직접적인 인적 과실에 기인하는 것으로 보고되었다(Kim & Kwak, 2011). 따라서 스마트선박 또는 이내비게이션(e-Navigation)을 도입하기 위해서는 이러한 충돌 방지 회피 시스템에 대한 연구가 필수적인 요소로 인식될 수 있다.

참고문헌 (21)

Bergstra, J. & Bengio, Y., 2012. Random search for hyper-parameter optimization. Journal of Machine Learning Research, 13, pp.281-305.
Furukawa, Y., Kijima, K. & Ibaragi, H., 2004. Development of automatic course modification system using fuzzy inference. International Federation of Automatic Control Proceedings, 37(10), pp.77-82.
Jeong, J.S., 2015. Korean e-Navigation goal and government plan. Telecommunications Technology Association Journal, 159, pp.20-27.
Kijima, K. & Furukawa, Y., 2002. Development of collision avoidance algorithm using fuzzy inference. Proceedings of ISOPE Pacific/Asia Offshore Mechanics Symposium, pp.123-130.
Kijima, K. & Furukawa, Y., 2003. Automatic collision avoidance system using the concept of blocking area. International Federation of Automatic Control Proceedings, 36(21), pp.223-228.
Kijima, K. & Nakiri, Y., 2003. On the practical prediction method for ship manoeuvring characteristics. Transaction of the West-Japan Society of Naval Architects, 105, pp.21-31.
Kim, D.J. & Kwak, S.Y., 2011. Evaluation of human factors in ship accidents in the domestic sea. Journal of the Ergonomics Society of Korea, 30(1), pp.87-98.

원문보기 상세보기
Korean Maritime Safety Tribunal, 2017, Current situation of causes of maritime accidents by type of accident [online] Available at: https://www.kmst.go.kr/kmst/statistics/annualReport/selectAnnualReportList.do [Accessed 21 May 2018].
Kose, K., Hirono, K., Sugano, K. & Sato, I., 1998. A new collision-avoidance-supporting-system and its application to coastal-cargo-ship "SHOYO MARU". IFAC Proceeding, 31, 263-268.
Lee, H.J. & Rhee, K.P., 2001. Development of collision avoidance system by using expert system and search algorithm. International Shipbuilding Progress, 48, pp.197-212.

상세보기
Lee, W.W., Yang, H.R., Kim, K.W., Lee, Y.M. & Lee, U.R., 2017. Reinforcement Learning with Python and Keras. Wikibook.
Li, Y., 2017. Deep Reinforcement Learning: An Overview. arXiv preprint arXiv:1701.07274.
Lillicrap, T.P., Hunt, J.J., Pritzel, A., Heess, N., Erez, T., Tassa, Y., Silver, D. & Wierstra, D., 2016. Continuous control with deep reinforcement learning. International Conference on Learning Representations, 1509.02971.
Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou, I., Wierstra, D. & Riedmiller, M., 2013. Playing Atari with Deep Reinforcement Learning. Neural Information Processing Systems, Lake Tahoe, USA, 9 December 2013.
Mori, S., 1995. Note of Ship Form Design(24). FUNE-NO-KAGAKU, 48, pp.40-49.
Ota, D., Masuyama, T., Furukawa, Y. & Ibaragi, H., 2016. Development of automatic collision avoidance system for ships using reinforcement learning. Proceedings of 7th PAAMES and AMEC2016, Hong Kong, 13-14 October 2016.
Shim, W.S., Park, J.W. & Lim, Y.K., 2010. The study on the trend of international standards and the domestic plan to cope with e-navigation. Journal of the Korea Institute of Information and Communication Engineering, 14(5), pp.1057-1063.

원문보기 상세보기
Silver, D., Huang, A., Maddison, C., Guez, A., Sifre, L., Driessche, G., Schrittwieser, J., Antonoglou, I., Panneershelvam, V., Lanctot, M., Dieleman, S., Grewe, D., Nham, J., Kalchbrenner, N., Sutskever, I., Graepel, T., Lillicrap T., Leach, M., Kavukcuoglu, K. & Hassabis, D., 2016. Mastering the game of go with deep neural networks and tree search. Nature, 529(7587), pp.484-489.

상세보기
Silver, D., Lever, G., Heess, N., Degris, T., Wierstra, D. & Riedmiller, M., 2014. Deterministic policy gradient algorithms. International Conference on Machine Learning, 32, pp.387-395.
Son, N.S., Furukawa, Y., Kim, S.Y. & Kijima, K., 2009. Study on the collision avoidance algorithm against multiple traffic ships using changeable action space searching method. Journal of the Korean Society for Marine Environmental Engineering, 12(1), pp.15-22.
Van, S.H., 2007. Planning research for development of core technologies for smart ship. KORDI Report No. UCPM0147A-42-7.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증