[논문]사전 지식에 의한 강화학습 에이전트의 학습 속도와 경향성 변화

김지수; 이은헌; 김현철

문제 정의

긍정적, 부정적 사전 지식의 정도에 따라서 학습 속도가 얼마나 바뀌는지 살펴보았다. 낭떠러지로 떨어질 수 있는 8 개의 상태에 최적 경로를 가르치는 사전 지식(우측으로 이동)과 낭떠러지로 유도하는 사전 지식(아래로 이동)을 적용하면, 다른 경우에 대해서 같은 Q 값을 음수로 적용했다.
2 개의 경로 탐색 환경에서는 탐색을 방해하는 사전 지식과 차선책을 지향하는 사전 지식이 최종 경로 결정에 어떤 영향을 미치는지 본다. 도박 환경에서는 안정성 혹은 도박성을 추구하는 사전 지식의 강도에 따라서 어떻게 해동이 바뀌는지 확인한다.
본 연구는 3 개의 환경에서 진행한 Q-learning 실험을 통해서 최적화되지 않은 사전 지식의 영향에 대해 살펴보았다. 그 결과 정답이 없는 환경에서 에이전트의 행동 경향을 성공적으로 바꿨다.
사전 지식의 정도에 따라서 에이전트의 행동이 어떻게 바뀌는지 살펴보았다. 돌아가면서 한 행동에 대해 0.
이에 본 연구는 Q-learning을 쓰는 3 가지 환경에서 이런 사전 지식의 영향력을 확인한다.

제안 방법

3 개의 경로 중 한 경로로 학습을 유도하는 사전 지식을 부여했을 때 어떤 경로를 선택하는지 확인하는 실험을 진행했다. 학습과 테스트를 병행했으며, 총 3000 번 학습을 시키면서 한 경로만 계속 선택하게 되는 시점을 기록했다.
경로 1, 2, 3 으로 유도하는 사전 지식을 적용하고 그 결과를 살펴 보았다. 여러 테스트를 해본 결과, 1~30 사이의 Q 값들이 가장 유의미한 결과를 나타냈기 때문에 해당 값으로 최종 실험을 진행했다.
이때, 환경의 복잡도를 반영하여 부분적으로만 사전 지식을 적용했다. 경로 전체에 대해 사전 지식을 적용하지 않고 시작 지점부터 전체 경로의 약 3 분의 1 에 대해 사진 지식을 부여했다. 결과는 표 3에 나타냈다.
긍정적, 부정적 사전 지식의 정도에 따라서 학습 속도가 얼마나 바뀌는지 살펴보았다. 낭떠러지로 떨어질 수 있는 8 개의 상태에 최적 경로를 가르치는 사전 지식(우측으로 이동)과 낭떠러지로 유도하는 사전 지식(아래로 이동)을 적용하면, 다른 경우에 대해서 같은 Q 값을 음수로 적용했다.
사전 지식이 에이전트에 미치는 영향을 보기 위해서 최적화를 돕는 사전 지식, 최적화를 방해하는 사전 지식, 차선책으로 유도하는 사전 지식, 그리고 경향성을 부여하는 사전 지식을 점차 적용해봤다.
경로 1, 2, 3 으로 유도하는 사전 지식을 적용하고 그 결과를 살펴 보았다. 여러 테스트를 해본 결과, 1~30 사이의 Q 값들이 가장 유의미한 결과를 나타냈기 때문에 해당 값으로 최종 실험을 진행했다. 이때, 환경의 복잡도를 반영하여 부분적으로만 사전 지식을 적용했다.
오픈소스 라이브러리인 OpenAI Gym[12]의 Kelly Coinflip, Cliff, Frozen Lake 환경을 참고해서 최종적으로 Gamble, Cliff, Maze 환경을 만들었다. 모든 환경에서 처음에는 탐험을 우선시할 수 있도록 무작위성을 어느 정도 부여하고, 학습이 진행되면서 무작위 행동을 취할 확률을 점차 감소시켰다.
Moreno[7]는 복잡한 환경을 단계별로 나눠서, 술래잡기 환경에서 플레이어가 술래를 피해서 목표 지점에 도달하도록 학습시켰다. 처음에는 목표 지점만 존재하는 환경에서 학습시켰으며, 환경에 익숙해지면 술래와 플레이어 한 명을 차례대로 추가해서 학습시켰다. 그 결과 사전 지식을 쓴 플레이어의 승률이 약 2 배 높였으며, 학습 시간 또한 절반 이하로 줄였다.
처음으로 최적 경로를 찾는 학습 회차를 확인하는 실험을 진행했다. 모든 테스트는 플레이 20회로 진행됐으며, 평균과 표준편차를 비교했다.
총 300번 학습시킨 후 생성된 Q-table을 기반으로 게임을 플레이하도록 했다.
3 개의 경로 중 한 경로로 학습을 유도하는 사전 지식을 부여했을 때 어떤 경로를 선택하는지 확인하는 실험을 진행했다. 학습과 테스트를 병행했으며, 총 3000 번 학습을 시키면서 한 경로만 계속 선택하게 되는 시점을 기록했다. 경로를 찾을 때 100 번 이상 행동을 취해도 목표 지점을 찾지 못하면, 다음 학습 회차로 넘어가도록 했다.

대상 데이터

에이전트의 위치가 현재의 상태이며, 총 121개의 상태가 존재한다. 그 중 70개는 벽이며 실제로 사용하는 상태는 51개다. 가능한 행동은 상하좌우 이동 네 가지다.
에이전트의 위치가 현재의 상태이며, 총 121개의 상태가 존재한다. 그 중 70개는 벽이며 실제로 사용하는 상태는 51개다.
에이전트의 위치가 현재의 상태이며, 총 72개의 상태가 존재한다. 그 중 28개는 벽이며 실제로 사용하는 상태는 44 개다.

데이터처리

총 300번 학습시킨 후 생성된 Q-table을 기반으로 게임을 플레이하도록 했다. 모든 테스트는 플레이 20회로 진행됐으며, 평균과 표준편차를 비교했다.

성능/효과

또한, 부여하는 사전 지식의 정도에 따라서 행동 경향을 더 많이 바꿀 수 있다는 것도 확인했다. 경로 탐색 환경의 경우, 사전 지식이 최적 경로 탐색을 방해하면, 학습이 느려지거나 실패할 수 있다는 것을 확인했다. 그리고 환경이 복잡해지면 극단적인 사전 지식을 부여해야지만 학습에 영향을 끼칠 수 있다는 것을 확인했다.
처음에는 목표 지점만 존재하는 환경에서 학습시켰으며, 환경에 익숙해지면 술래와 플레이어 한 명을 차례대로 추가해서 학습시켰다. 그 결과 사전 지식을 쓴 플레이어의 승률이 약 2 배 높였으며, 학습 시간 또한 절반 이하로 줄였다.
벽을 끼고 이동하는 로봇이 가장 흔한 12개의 상태에 대한 정답을 알면 얼마나 더 빠르게 학습하는지 봤다. 그 결과 일부 상황에만 적용한 사전 지식이 학습 속도를 7.5 배까지 높일 수 있다는 것을 확인했다.
경로 탐색 환경의 경우, 사전 지식이 최적 경로 탐색을 방해하면, 학습이 느려지거나 실패할 수 있다는 것을 확인했다. 그리고 환경이 복잡해지면 극단적인 사전 지식을 부여해야지만 학습에 영향을 끼칠 수 있다는 것을 확인했다.
최적 경로를 찾는데 도움이 되는 사전 지식의 경우, 적은 양을 부여하더라도 학습 속도를 크게 높일 수 있었다. 낭떠러지로 유도하는 사전 지식의 경우에도 적은 양으로도 학습 속도를 10%~20% 늦출 수 있었다. 또한, 잘못된 사전 지식이 너무 커지면 절반 이상의 경우에 학습 자체를 실패한다.
두 연구를 통해서 사전 지식으로 정답을 줬을 때 학습 시간을 줄이고 성능을 높일 수 있다는 것을 확인했다. Dixon은 사람이 제공하는 사전 지식의 효과를 확인했으며, 같은 문제를 다른 환경에서 풀 때도 범용적인 사전 지식이 쓰일 수 있다는 것을 알게 되었다.
그 결과 정답이 없는 환경에서 에이전트의 행동 경향을 성공적으로 바꿨다. 또한, 부여하는 사전 지식의 정도에 따라서 행동 경향을 더 많이 바꿀 수 있다는 것도 확인했다. 경로 탐색 환경의 경우, 사전 지식이 최적 경로 탐색을 방해하면, 학습이 느려지거나 실패할 수 있다는 것을 확인했다.
사전 지식이 없을 때, Q 값이 약 -9에서 20 사이에 머물렀다. 목표 지점에 가까울수록 약수 값이 컸으며, 낭떠러지 직전에서 낭떠러지로 이동하는 행동에 대한 Q 값이 가장 낮았다. 평균적으로 300 번째 회차에 학습이 됐으며, 표준편차는 약 92.
또한, 잘못된 사전 지식이 너무 커지면 절반 이상의 경우에 학습 자체를 실패한다. 이를 통해 간단한 경로 탐색 환경에서 작은 양의 사전 지식도 큰 영향을 끼칠 수 있다는 것을 확인했다.
극단적이지 않는 사전 지식도 학습에 도움을 준다는 보장이 없었다. 최적 경로인 경로 1 에 대해서 -10 이상의 사전 지식을 부여했을 때만 학습 속도가 빨라 지는 것이 확인되었으며, 그보다 적은 사전 지식은 학습 속도를 높이지 못했다. 나머지 경로의 경우에도 Q-table 에 일반적으로 나타나는 값 이상으로 부여했을 때만 에이전트가 선택하는 최종 경로를 바꿀 수 있었다.

후속연구

향후에는 Q-learning 외 다른 강화학습 기법에서 정답이 아닌 여러 종류의 사전 지식이 어떤 영향을 끼치는지 살펴볼 필요가 있다. 또한, 기존 연구에 쓰였던 주변 사물을 인식하는 관계적 상태 공간에서도 다른 종류의 사전 지식의 영향을 확인할 필요하다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

사전 지식에 의한 강화학습 에이전트의 학습 속도와 경향성 변화
How the Learning Speed and Tendency of Reinforcement Learning Agents Change with Prior Knowledge 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

사전 지식에 의한 강화학습 에이전트의 학습 속도와 경향성 변화 How the Learning Speed and Tendency of Reinforcement Learning Agents Change with Prior Knowledge 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

사전 지식에 의한 강화학습 에이전트의 학습 속도와 경향성 변화
How the Learning Speed and Tendency of Reinforcement Learning Agents Change with Prior Knowledge 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper