$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

강화학습을 이용한 이종 장비 토목 공정 계획
Earthwork Planning via Reinforcement Learning with Heterogeneous Construction Equipment 원문보기

한국시뮬레이션학회논문지 = Journal of the Korea Society for Simulation, v.27 no.1, 2018년, pp.1 - 13  

지민기 (한국과학기술원 산업 및 시스템공학과) ,  박준건 (한국과학기술원 산업 및 시스템공학과) ,  김도형 (한국과학기술원 산업 및 시스템공학과) ,  정요한 (한국과학기술원 산업 및 시스템공학과) ,  박진규 (한국과학기술원 산업 및 시스템공학과) ,  문일철

초록
AI-Helper 아이콘AI-Helper

토목 공정 계획은 건설 공정 관리에서 중요한 과제 중 하나이다. 수학적 방법론에 기반을 둔 최적화 기법, 휴리스틱에 기반을 둔 최적화 기법 그리고 행위자 기반의 시뮬레이션 등의 방법론이 건설 공정 관리를 위해 적용되어왔다. 본 연구에서는 가상의 토목 공정 환경을 개발하고, 가상의 토목 공정 환경에서 강화학습을 이용한 시뮬레이션을 통해 토목 공정의 최적 경로를 찾는 방법을 제안하였다. 강화학습에 있어 본 연구에서는 상호작용 하며 서로 다른 행동을 하는 굴삭기와 트럭 에이전트들 에 대해 순차적 학습과 독립적 학습에 기반을 둔 두 가지의 Markov decision process (MDP)를 사용하였다. 가상의 토목 공정 환경에서 두 가지 방법 모두 최적에 가까운 토목 공정 계획을 만들어 낼 수 있음을 시뮬레이션 결과에 따라 알 수 있었으며, 이 계획은 건설 자동화의 기초가 될 수 있을 것이다.

Abstract ▼ AI-Helper 아이콘AI-Helper

Earthwork planning is one of the critical issues in a construction process management. For the construction process management, there are some different approaches such as optimizing construction with either mathematical methodologies or heuristics with simulations. This paper propose a simulated ea...

주제어

#토목 공정 계획   #강화학습   #마르코브 결정 프로세스   #다중 에이전트 학습  

질의응답

핵심어 질문 논문에서 추출한 답변
독립적 MDPⅠ에서 각 에이전트의 학습 가능 경우 3가지는? 이때, 각 에이전트는 환경을 다음과 같이 3가지 경우로 분류하여 학습할 수 있다. 첫 번째, 에이전트가 ‘절토, 싣기, 내리기’의 유효한 행동을 할 수 있는 경우이다. 두 번째, 상하좌우의 방향에 있는 격자에 토양 또는 절토된 토양이 있는 경우이다. 마지막으로, 에이전트 아래에 토양과 절토된 토양이 없으면서 상하좌우에도 토양 또는 절토된 토양이 없는 경우이다. 이는 다음과 같이 표현할 수 있다.
굴삭기 에이전트가 취할 수 있는 행동 5가지는? 매 시뮬레이션 틱마다 각 에이전트는 한 번의 행동을 취한다. 굴삭기 에이전트(Excavator agent)는 상하좌우로 움직이는 4가지 행동(move up, down, right, left)과 절토하는 행동(cut), 총 5가지 행동을 취할 수 있다. 트럭 에이전트(Truck agent)는 상하좌우로 움직이는 행동(move up, down, right, left)과 절토된 토양을 싣는 행동(load),내리는 행동(unload) 총 6가지 행동을 취할 수 있다.
독립적 학습 기반의 MDP와 순차적 MDP와의 차이점은? 독립적 학습 기반의 MDP(Independent MDP) 형태는 순차적 MDP와 유사하지만, 토양과 절토된 토양의 분포를 나타내는 상태 공간을 줄였다는 점에서 차이가 있다. 또한, 굴삭기 에이전트와 트럭 에이전트의 Q-function을 나누어 동시에 학습한다.
질의응답 정보가 도움이 되었나요?

참고문헌 (22)

  1. Angelou, Plamen., "Construction Scheduling, Cost Optimization, and Management: A New Model Based on Neurocomputing and Object Technologies.", Engineering Construction and Architectural Management 8.3: 233-234, 2001. 

  2. Busoniu, Lucian, Robert Babuska, and Bart De Schutter. "A comprehensive survey of multiagent reinforcement learning.", IEEE Transactions on Systems, Man, And Cybernetics-Part C: Applications and Reviews, 38 (2), 2008. 

    상세보기

  3. Chan, Jonathan Cheung-Wai, Kwok-Ping Chan, and Anthony Gar-On Yeh. "Detecting the nature of change in an urban environment: A comparison of machine learning algorithms." Photogrammetric Engineering and Remote Sensing 67.2: 213-226, 2001. 

    상세보기

  4. Cheng, Min-Yuan, et al., "Estimate at completion for construction projects using evolutionary support vector machine inference model.", Automation in Construction 19.5: 619-629, 2010. 

    상세보기 crossref

  5. D. Chang and R. Carr, "Resque: A resource oriented simulation system for multiple resource constrained processes," in Proceedings of the PMI Seminar/Symposium, pp. 4-19, 1987. 

  6. Easa, Said M., "Resource leveling in construction by optimization.", Journal of construction engineering and management 115.2: 302-316, 1989. 

    상세보기 crossref

  7. Elazouni, Ashraf M.,et al., "Estimating resource requirements at conceptual design stage using neural networks.", Journal of Computing in Civil Engineering 11.4: 217-223, 1997. 

    상세보기

  8. Halpin, Daniel W., "CYCLONE-method for modeling job site processes.", Journal of the construction division 103.ASCE 13234 Proceeding, 1977. 

  9. J. F. Lluch, "Analysis of construction operations using microcomputers," Ph.D. dissertation, Georgia Institute of Technology, 1981. 

  10. J. Kim, M. Fischer, C. Kam, A. Kiremidjian, and S. U. C. . E. E. Department, Framework for Dynamic Generation and Evaluation of Excavation Schedules for Hard Rock Tunnels in Preconstruction and Construction, 2016. 

  11. Lee Cheol Kyu, Kim Sung-Keun, Sung Young-Jun, "A Study on 2D-Based Earthwork Planning Methods", Korean Society of Civil Engineering, 349-357, 2003. 

  12. Liu, Liang, Scott A. Burns, and Chung-Wei Feng., "Construction time-cost trade-off analysis using LP/IP hybrid method.", Journal of Construction Engineering and Management, 121.4: 446-454, 1995. 

    상세보기 crossref

  13. Lim, So-Young, Kim, Sung-Keun, Ahn, Seo-Hyun, "Development of a Soil Distribution Method and Equipment Operation Models Using Worker''s Heuristics", Journal of the Korean Society of Civil Engineers, Vol.36, No.3, pp.551-564, 2016. 

  14. Lu, Pengzhen, Shengyong Chen, and Yujun Zheng. "Artificial intelligence in civil engineering." Mathematical Problems in Engineering 2012. 

    상세보기

  15. M. Lauer and M. Riedmiller, "An algorithm for distributed reinforcement learning in cooperative multi-agent systems," in In Proceedings of the Seventeenth International Conference on Machine Learning. Citeseer, 2000. 

  16. Park, J.G., M.G. Ji, D.H. Kim, Y.H. Jung, H.S. Lee, J.G. Park, and I.C. Moon, "Optimize earthwork Planning using reinforcement learning",, 2172-2179. spring joint meeting of Korean Institute of Industrial Engineers, 2017. 

  17. P. G. Ioannou and C. P. G. Ioannou, "Um-cyclone discrete event simulation system users guide," 1990. 

  18. Q. Zhang, E. Durfee, S. Singh, A. Chen, and S. Witwicki, "Commitment semantics for sequential decision making under reward uncertainty," in Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence, IJCAI, pp. 3315-3323, 2016. 

  19. R. S. Sutton and A. G. Barto, Reinforcement learning: An introduction. MIT press Cambridge, vol. 1, no. 1, 1998. 

  20. S. Abu-Samra, A. H. El Hakea, C. Khalil, O. Hosny, and A. Elhakeem, "Optimum planning for multi-project earthmoving operations.", International Symposium on Automation and Robotics in Construction and Mining, 348-357, 2013. 

  21. S. J. Witwicki and E. H. Durfee, "Influence-based policy abstraction for weakly-coupled dec-pomdps." in ICAPS, pp. 185-192, 2010. 

  22. Watkins, Christopher JCH, and Peter Dayan., "Qlearning.", Machine learning 8.3-4: 279-292, 1992. 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

FREE

Free Access. 출판사/학술단체 등이 허락한 무료 공개 사이트를 통해 자유로운 이용이 가능한 논문

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로