[논문]Unity 3D 기반 ML-Agents Toolkit을 이용한 강화 학습 환경 설계 및 구현

최호빈; 김찬명; 김주봉; 한연희

Unity 3D 기반 ML-Agents Toolkit을 이용한 강화 학습 환경 설계 및 구현
Design and Implementation of Reinforcement Learning Environment Using Unity 3D-based ML-Agents Toolkit 원문보기

최호빈 (한국기술교육대학교 컴퓨터공학과) , 김찬명 (한국기술교육대학교 첨단기술연구소) , 김주봉 (한국기술교육대학교 컴퓨터공학과) , 한연희 (한국기술교육대학교 컴퓨터공학과)

강화 학습은 일반적으로 제어 로봇과 관련이 있는 순차적 의사결정을 위한 학습의 한 형태이다. 이 강화 학습은 행동에 대한 보상을 최대로 하는 정책을 학습하는 것을 목표로 한다. 하지만, 강화 학습을 실제 세계에 적용하기에는 많은 제약사항이 존재하며 실제 세계의 복잡한 환경에서 좋은 정책을 학습하는 것은 매우 어렵다. Unity는 강화 학습 시뮬레이션을 위한 전용 Toolkit을 제공한다. 이러한 이유로 Unity를 시뮬레이터로서 사용하는 것이 좋은 정책을 학습하는 훈련의 근거가 된다. 따라서 본 논문에서는 강화 학습을 실제 세계에 바로 적용시키기 전에 Unity Machine Learning Agents Toolkit을 사용하여 실제 세계와 비슷한 환경을 만들고 강화 학습을 통해 에이전트를 미리 학습시켜보는 과정을 수행해봄으로써 시뮬레이터의 필요성을 부각시킨다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이는 개발자와 연구자들에게 강화 학습 알고리즘을 검증해 볼 수 있는 기회를 제공하는 것에 그치지 않고, 실제 세계와 비슷한 환경을 만들어 해당 분야에 실질적으로 강화 학습을 적용해 볼 수 있도록 하는 역할을 한다. 본 논문에서는 특정 환경을 만들고 A3C 알고리즘을 적용하여 성공적으로 학습시켜봄으로써 그것이 가능함을 입증한다.

대상 데이터

결과는 TensorFlow가 제공하는 TensorBoard를 활용하여 3개의 그래프로 나타내었다. 학습은 최근 100 Episode 동안 에이전트가 Target에 닿은 비율이 95%가 될 때까지를 종료조건으로 하여 약 11500 Episode가 진행되었다. 먼저 그림 4는 Episode에 따른 Score 그래프이다.

이론/모형

본 논문에서는 Unity와 ML-Agents의 기본적인 사용법을 다루지 않는다. 2장에서는 ML-Agents가 Unity에 어떻게 구현이 되어있고 ML-Agents가 어떠한 구조로 이루어져 있는지 설명한다.
ML-Agents Toolkit은 게임 개발자와 취미 생활자들이 2D, 3D, VR/AR 게임을 위한 지능형 에이전트를 쉽게 훈련할 수 있도록 최첨단 알고리즘(Tensorflow 기반)을 제공한다. 하지만 본 논문에서는 ML-Agents Toolkit에서 제공하는 알고리즘을 사용하지 않고 직접 구현한 Asynchronous Advantage Actor-Critic (A3C) 알고리즘을 사용하여 실험을 진행한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Unity 3D 기반 ML-Agents Toolkit을 이용한 강화 학습 환경 설계 및 구현
Design and Implementation of Reinforcement Learning Environment Using Unity 3D-based ML-Agents Toolkit 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

대상 데이터

이론/모형

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Unity 3D 기반 ML-Agents Toolkit을 이용한 강화 학습 환경 설계 및 구현 Design and Implementation of Reinforcement Learning Environment Using Unity 3D-based ML-Agents Toolkit 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

대상 데이터

이론/모형

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Unity 3D 기반 ML-Agents Toolkit을 이용한 강화 학습 환경 설계 및 구현
Design and Implementation of Reinforcement Learning Environment Using Unity 3D-based ML-Agents Toolkit 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper