[논문]선박 초기 설계 단계에서의 강화학습을 이용한 배관경로 설계

신동선; 박병철; 임채옥; 오상진; 김기용; 신성철

doi:10.3744/snak.2020.57.4.191

[국내논문] 선박 초기 설계 단계에서의 강화학습을 이용한 배관경로 설계
Pipe Routing using Reinforcement Learning on Initial Design Stage 원문보기

大韓造船學會論文集 = Journal of the society of naval architects of korea, v.57 no.4, 2020년, pp.191 - 197

신동선 (부산대학교 조선해양공학과) , 박병철 (부산대학교 조선해양공학과) , 임채옥 (부산대학교 조선해양공학과) , 오상진 (부산대학교 조선해양공학과) , 김기용 (부산대학교 조선해양공학과) , 신성철 (부산대학교 조선해양공학과)

Abstract ▼ AI-Helper

Pipe routing is a important part of the whole design process in the shipbuilding industry. It has a lot of constraints and many tasks that should be considered together. Also, the result of this stage affects follow-up works in a wide scope. Therefore, this part requires skilled designers and a lot of time. This study aims to reduce the workload and time during the design process by automating the pipe route design on initial stage. In this study, the reinforcement learning was used for pipe auto-routing. Reinforcement learning has the advantage of dynamically selecting routes, unlike existing algorithms. Therefore, it is suitable for the pipe routing design in ship design process which is frequently modified. At last, the effectiveness of this study was verified by comparing pipelines which were designed by piping designer and reinforcement learning results.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 강화학습을 이용해 초기 설계 단계에서 선박 엔진룸의 배관경로 설계를 자동화하는 것에 목적을 두었다. 이를 위해 실무자에 의해 설계된 총 7개의 배관을 포함하고 있는 선박 엔진룸 CAD환경을 Unity를 이용해 모델링했으며 강화학습을 이용하여 배관경로 설계에서 필요한 설계 조건들을 고려해 배관의 경로를 선정했다.

가설 설정

(3) 배관 밸브의 높이는 작업자의 편의를 고려해야 한다.

제안 방법

본 연구는 강화학습을 이용해 초기 설계 단계에서 선박 엔진룸의 배관경로 설계를 자동화하는 것에 목적을 두었다. 이를 위해 실무자에 의해 설계된 총 7개의 배관을 포함하고 있는 선박 엔진룸 CAD환경을 Unity를 이용해 모델링했으며 강화학습을 이용하여 배관경로 설계에서 필요한 설계 조건들을 고려해 배관의 경로를 선정했다. 또한 본 연구의 유효성을 검증하기 위해 동일한 환경에서 실무자가 배치한 배관의 경로와 연구의 결과를 비교하였으며 끝으로 강화학습을 이용한 배관경로 설계가 목적지의 변경에 대응할 수 있음을 보였다.
또한 모델 중앙에 있는 홀을 구현하기 위해 해당 위치에 투명한 박스를 두어 배관의 경로로써 선정되지 못하게 했다. 그리고 장비를 장비보다 큰 투명박스로 감싸 배관과 장비사이의 이격거리를 고려했다. Table 1은 각 장비를 연결하는 배관의 번호이다.
에이전트가 도착지까지 도달하는데 필요한 총 행동 횟수를 최소화함으로서 배관의 길이를 최소화하고 배관의 굽힘을 최소화하기 위해 학습에 소요되는 시간 및 경로변경에 음의 보상을 부여했고 학습의 효율을 위해 에이전트와 목적지와의 거리를 이용해 보상을 부여했다. 또한, 장비와 배관을 연결하는 노즐의 방향을 맞추기 위해 목적지에 도달하기 전 특정 위치를 지나치면 양의 보상을 부여했다.
(2) 설계자에 의해 배치된 경로와 강화학습의 결과를 비교해 본 연구의 유효성을 검증하였다.

대상 데이터

본 연구에서는 강화학습을 이용해 총 7개 배관의 경로를 선정했다. 에이전트들의 평균 학습시간은 약 14분 7초가 소요됐다.
단순화시킨 선박 엔진룸 모델인 Fig. 2와 강화학습의 배관경로 설계 결과 Fig. 12 및 13을 비교하면 7개 배관의 경로 상 굽힘 횟수가 동일하고 도착노즐의 진입방향이 동일함을 확인할 수 있으며 불필요한 경로를 만들어내지 않고 최단 거리로 경로를 선정했다. Table 6는 각 결과의 배관 굽힘 횟수를 비교한 표이다.
(1) 선박의 엔진룸 환경에서 강화학습을 이용해 총 7개 배관의 경로를 선정했다.

이론/모형

, 2013)와 인공지능 바둑 프로그램 알파고(Alphago)의 개발 이후로 강화학습에 대한 연구가 머신러닝 연구에서 큰 부분을 차지하는 등 관심이 높아졌다. 본 연구에서는 강화학습 알고리즘으로 Proximal Policy Optimization(PPO)을 사용했다 (Schulman, et al., 2017).
본 연구에서는 경로선정시뮬레이션 및 학습을 위해 Unity ML-agents을 이용했다. Unity ML-agents는 3D 환경을 만들고 이를 학습에 이용할 수 있으며, 본 연구에서 사용된 에이전트는 Unity 환경 내에서 상, 하, 전, 후, 좌, 우로 총 6가지의 행동을 취할 수 있다(Ａ_{성능/효과

이를 위해 실무자에 의해 설계된 총 7개의 배관을 포함하고 있는 선박 엔진룸 CAD환경을 Unity를 이용해 모델링했으며 강화학습을 이용하여 배관경로 설계에서 필요한 설계 조건들을 고려해 배관의 경로를 선정했다. 또한 본 연구의 유효성을 검증하기 위해 동일한 환경에서 실무자가 배치한 배관의 경로와 연구의 결과를 비교하였으며 끝으로 강화학습을 이용한 배관경로 설계가 목적지의 변경에 대응할 수 있음을 보였다.

그리고 그림(b), (c), (d)는 도착점을 변경한 뒤 이미 학습이 완료된 에이전트를 이용해 선정한 배관의 최적경로이다. 강화학습을 이용한 경로선정이 도착점이 변경된 뒤에도 다시 경로선정 작업을 거칠 필요 없이 이미 학습된 데이터를 바탕으로 목적지의 변화에 대응하여 합리적인 경로를 선정할 수 있는 것을 확인할 수 있다.

(3) 에이전트의 최종 step에서의 보상은 배관의 번호 순서대로 16.03, 15.01, 4.60, 4.90, 5.00, 4.80, 5.00로 바닥 및 천장용 배관은 선호되는 공간을 경로로 사용함으로서 설계 조건으로부터 추가적으로 보상을 받아 경로선정완료 시 받는 +10.0보다 큰 보상을 받았으며 나머지 배관들은 양의 보상과 음의 보상을 받는 설계 조건들이 적절하게 적용되어 도착완료 시 받는 +5.0과 크게 차이나지 않는 수치로 학습을 종료했다.

(4) 보상을 이용해 특수한 경로를 고려할 수 있음을 보였다.

(5) 강화학습을 이용한 배관경로 설계는 경로선정이 완료된 후 목적지가 변하더라도 경로선정을 위한 재계산 없이 학습된 데이터를 바탕으로 변화에 대응하여 경로를 선정할 수 있음을 보였다.

이는 배관경로 설계가 설계자의 경험을 기반으로 이루어지는 업무로써 설계자마다 배치결과가 달라질 수 있기 때문에 연구에 사용된 모델이 완벽한 경로는 아니며 모델이 설계될 때 고려되어야 할 설계 조건이 학습에 충분히 반영되지 못했기 때문이다. 실제 선박의 엔진룸은 복잡하지만 연구에 적용된 모델은 비교적 간단하기 때문에 배관경로 설계의 주요한 설계 조건만을 적용해 유효한 결과를 얻었다. 하지만 본 연구가 실제 산업에 직접적으로 사용되기 위해선 배관 서포터 공유, 선호되는 밸브 높이, 배관 열변형 등의 설계 조건까지 고려되어야 한다.

후속연구

하지만 본 연구가 실제 산업에 직접적으로 사용되기 위해선 배관 서포터 공유, 선호되는 밸브 높이, 배관 열변형 등의 설계 조건까지 고려되어야 한다. 향후 연구를 통해 정밀한 환경을 기반으로 다양한 설계 조건을 적절하게 반영하고 이 설계 조건들의 상대적인 우선순위를 보상으로써 적절하게 나타낼 수 있도록 알고리즘을 구성한다면 더욱 정교한 배관경로 설계 자동화를 이룰 수 있을 것이다.

본 연구에서는 강화학습을 이용한 경로선정이 목적지 변화에 대응할 수 있음을 보였지만 변경된 목적지까지 도달하는 경로 상에 장애물이 생기거나 변경된 목적지의 위치가 기존 목적지와 크게 다르다면 합리적인 경로를 선정하지 못했다. 이는 강화학습 에이전트가 학습된 정보를 바탕으로 경로를 선정하기 때문에 학습되지 못한 행동범위는 행할 수 없기 때문이다.

마지막으로 본 연구가 위 내용을 바탕으로 발전되어 초기 설계 단계에 적용된다면 설계자에게 배관의 경로를 제시해줌으로서 설계자가 겪는 업무부하를 줄여 전체 배관경로 설계에 소요되는 시간을 줄이고 전체 설계 단계의 효율을 높일 수 있을 것이다.}

참고문헌 (8)

Asmara, A., 2013. Pipe routing framework for detailed ship design. Ph.D. Delft: Delft University of Technology.
Kim, S.H., Ruy, W.S. & Jang, B.S., 2013. The development of a practical pipe auto-routing system in a shipbuilding CAD environment using network optimization. International Journal of Naval Architecture and Ocean Engineering, 5(3), pp.468-477.

원문보기 상세보기
Millan, J., D., R., & Torras, C., 1992. A reinforcement connectionist approach to robot path finding in non-maze-Like environments. Machine Learning, 8(3-4), pp.363-395.
Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou, I., Wierstra, D. & Riedmiller, M., 2013. Playing Atari with Deep Reinforcement Learning. arXiv:1312.5602.
Nguyen, H., Kim, D.J. & Gao, J., 2016. 3D Piping route design including branch and elbow using improvements for dijkstra's algorithm, International conference on artificial intelligence: Technologies and Applications, pp.309-312.
Park, J.H. & Storch, L., R., 2002. Pipe-routing algorithm development: case study of a ship engine room design. Journal of the Expert Systems with Applications, 23(3), pp.299-309.

상세보기
Schulman, J., Levine, S., Moritz, P., Jordan, M. & Abbeel, P., 2015. Trust region policy optimization. arXiv:1502.05477v1.
Schulman, J., Wolski, F., Dhariwal, P., Radford, A. & Klimov, O., 2017. Proximal policy optimization Algorithms. arXiv:1707.06347v2.

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증