[논문]강화학습 기반의 AGV 스케줄링

이세훈; 김재승; 염대훈; 문환복; 이창호

강화학습 기반의 AGV 스케줄링
Reinforcement Learning based AGV Scheduling 원문보기

이세훈 (인하공업전문대학 컴퓨터시스템과) , 김재승 (인하공업전문대학 컴퓨터시스템과) , 염대훈 (인하공업전문대학 컴퓨터시스템과) , 문환복 (인하공업전문대학 컴퓨터시스템과) , 이창호 (한국콘베어공업(주) 기술연구소)

스마트 팩토리의 핵심 요소 중 하나인 AGV를 운용하기 위해서 스케줄링은 간과할 수 없는 문제이다. 기존의 정적인 휴리스틱 방식은 실시간으로 운용되는 스마트 팩토리에 다소 부적합한 면이 있다. 본 논문에서는 이러한 스케줄링에 관한 문제를 해결하고자 SLAM 기반의 자율주행 AGV를 운용 할 수 있는 3D 가상 환경을 설계하고 해당 환경에서 강화학습을 기반으로 한 스케줄링을 구현해 실시간으로 변화하는 공장에 적합한 동적인 스케줄링을 설계하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 AGV의 정적인 스케줄링 문제를 해결하기 위해 강화 학습 기반의 동적 스케줄링 시스템을 도입하였다. Unity로 공장 환경과 AGV를 가상으로 구현하였고, AGV의 동작 시나리오와 스케줄러를 작성하고 DQN 강화학습으로 최적화된 스케줄표를 도출했고 도출된 표를 토대로 AGV를 운용하였다.

제안 방법

본 논문에서는 AGV의 정적인 스케줄링 문제를 해결하기 위해 강화 학습 기반의 동적 스케줄링 시스템을 도입하였다. Unity로 공장 환경과 AGV를 가상으로 구현하였고, AGV의 동작 시나리오와 스케줄러를 작성하고 DQN 강화학습으로 최적화된 스케줄표를 도출했고 도출된 표를 토대로 AGV를 운용하였다. 그 결과 기방문 노드에 방문하는 횟수가 감소하고, 가까운 AGV 동작, AGV 간의 충돌 횟수감소 등의 결과를 확인할 수 있었다.
본 논문에서는 스케줄링 문제를 해결하고자 Unity를 통해 AGV와 공장 환경을 가상 환경에 구현하였고, DQN(Deep Q-Network) 기반의 강화학습을 통해 정적인 스케줄링이 아닌 환경에 따라 변화하는 동적인 스케줄링을 도입하였다[2].
로드된 맵과 가상환경에서의 상태(state, reward, action)를 불러와 학습을 진행하게 된다. 스텝마다 예측을 하며 AGV를 동작시키게 되고 재설정된 값을 토대로 반복 학습을 진행한다. 주행모드에서는 학습된 모델을 로드하게 된다.
추출한 피처와 총 reward, action 등을 DQN의 input data로 학습을 진행한다. 예측한 액션을 가상 환경에 전달하게 되며, 액션이 실행된 후 누적된 reward, state, action을 기반으로 반복 학습을 진행하게 된다.
가상환경에서 2D로 구성된 공장 이미지를 CNN을 통해 피처를 추출하게 된다. 추출한 피처와 총 reward, action 등을 DQN의 input data로 학습을 진행한다. 예측한 액션을 가상 환경에 전달하게 되며, 액션이 실행된 후 누적된 reward, state, action을 기반으로 반복 학습을 진행하게 된다.

성능/효과

Unity로 공장 환경과 AGV를 가상으로 구현하였고, AGV의 동작 시나리오와 스케줄러를 작성하고 DQN 강화학습으로 최적화된 스케줄표를 도출했고 도출된 표를 토대로 AGV를 운용하였다. 그 결과 기방문 노드에 방문하는 횟수가 감소하고, 가까운 AGV 동작, AGV 간의 충돌 횟수감소 등의 결과를 확인할 수 있었다. 이 시스템을 통해 기존의 정적인 시스템을 벗어나 동적인 환경에서 스케줄링 문제에 강화학습이 적용 가능성을 보였다.
또한, 충돌 횟수조차 감소하였다. 방문 예정인 포인트에 다른 AGV가 이미 위치해 있다면 해당 노드는 방문하지 않으려는 경향을 확인할 수 있었다. 실험 결과 전체적인 보상의 증가를 확인하였고 이는 곧 제안하는 시스템의 성능을 의미한다.
그 결과 기방문 노드에 방문하는 횟수가 감소하고, 가까운 AGV 동작, AGV 간의 충돌 횟수감소 등의 결과를 확인할 수 있었다. 이 시스템을 통해 기존의 정적인 시스템을 벗어나 동적인 환경에서 스케줄링 문제에 강화학습이 적용 가능성을 보였다.
충돌 없이 모든 노드를 방문한 뒤 에피소드가 종료되는 경우 해당 에피소드의 총 액션 수, 방문한 노드의 수가 줄어드는 것을 확인할 수 있다. 즉, 기방문한 노드임을 확인하고 방문하지 않은 노드를 방문하려 하는 것을 확인할 수 있었다. 또한, 충돌 횟수조차 감소하였다.
테스트 결과 Fig. 4와 같이 에피소드가 거듭될수록 스케줄러 성능의 향상을 확인할 수 있었다. 충돌 없이 모든 노드를 방문한 뒤 에피소드가 종료되는 경우 해당 에피소드의 총 액션 수, 방문한 노드의 수가 줄어드는 것을 확인할 수 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

강화학습 기반의 AGV 스케줄링
Reinforcement Learning based AGV Scheduling 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

강화학습 기반의 AGV 스케줄링 Reinforcement Learning based AGV Scheduling 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

강화학습 기반의 AGV 스케줄링
Reinforcement Learning based AGV Scheduling 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper