$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

감독 지식을 융합하는 강화 학습 기법들에 대한 비교 연구

A Comparison Study on Reinforcement Learning Method that Combines Supervised Knowledge

한국정보과학회 07 종합학술대회논문집(C), 2007 June 25, 2007년, pp.303 - 308  

김성완 (서강대학교 컴퓨터공학과) ,  장형수 (서강대학교 컴퓨터공학과)

초록
AI-Helper 아이콘AI-Helper

최근에 제안된 감독 지식을 융합하는 강화 학습 기법인 potential-based RL 기법의 효용성은 이론적 최적 정책으로의 수렴성 보장으로 증명되었고, policy-reuse RL 기법의 우수성은 감독지식을 융합하지 않는 기존의 강화학습과 실험적인 비교를 통하여 증명되었지만, policy-reuse RL 기법을 potential-based RL 기법과 비교한 연구는 아직까지 제시된 바가 없었다. 본 논문에서는 potential-based RL 기법과 policy-reuse RL 기법의 실험적인 성능 비교를 통하여 기법이 policy-reuse RL 기법이 policy-reuse RL 기법에 비하여 더 빠르게 수렴한다는 것을 보이며, 또한 policy-reuse RL 기법의 성능은 재사용하는 정책의 optimality에 영향을 받는다는 것을 보인다.

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

제안 방법

  • 비교했다. K= 10000 번(H=100으로 설정)의 episode를 거치면서 얻어지는 average reward per episode E 를 통하여 학습 성능을 측정하였다.
  • Potential based 기법에서 서브에이전트 수의증가, 감소가 학습에 미치는 영향도 확인해야 할 문제이다. Q-learning으로 학습하는 5개의 서브에이전트를 사용했던 이번 실험과는 별개로, 서버에이전트 수를 증가 혹은 감소함에 따라서 학습 성능이 어떻게 변화하는지를 실험을 통하여 확인할 것이다.
  • 먼저 potential-based RL 기법의 서브 에이전트들 중 일부가 policy-reuse기법을 사용하게 하는 방법과 potential-based RL 기법의 EE rule에 policy-reuse의 아이디어를 적용하여 특정 확률로 이전의 policy를 재사용하는 방법을 실험적으로 구현하여 그 성능을 평가할 것이다. Potential based 기법에서 서브에이전트 수의증가, 감소가 학습에 미치는 영향도 확인해야 할 문제이다.
  • 그렇지 못할 경우 보상은 ‘0’이 되고, 다시 임의의 시작 지점에서 탐색을 계속하게 되는데 위의 과정을 episode라고 한다. 논문에서는 K 번의 episode 동안 potential-based RL 기법과 policy-reuse RL 기법을 적용하여 학습하고 그 성능을 비교한다.
  • 위의 절에서 정의한 문제와 성능 척도 E, et-greedy rule을 사용하여 potential-based RL 기법과 policy-reuse RL 기법의 성능을 실험을 통하여 비교했다. K= 10000 번(H=100으로 설정)의 episode를 거치면서 얻어지는 average reward per episode E 를 통하여 학습 성능을 측정하였다.
  • 이 알고리즘은 최근에 학습된 policy an의 average rewarde weighted value와 기존에 있던 policy들의 reuse gain을 각각 비교하여 ap를 policy library에 넣을 것인지의 여부를 결정한다.
  • 지금까지 감독 지식을 강화 학습에 적용하기 위한 두 가지 기법, potential-based 융합 기술과 policy-reuse 기법에 대해 알아보고, 아직까지 실험적으로 입증되지 않은 potential-based 융합 기술의 학습 성능을 policy-reuse RL 기법과의 비교를 통하여 확인하였다.

이론/모형

  • Potential-based RL 기법과 policy-reuse RL 기법의 성능 비교를 위하여 Fernandez 와 Veloso [7] 의 로봇 내비게이션 실험을 이용하였다. [그림 1]과 같은 24 X21 크기의 grid-based domain이 있다고 하자.
  • 이루어져 있다. Potential-based RL과의 정확한 비교를 위하여 policy-reuse RL 기법에서는 兀-reuse strategy를 SARSA(0)에 적용하고, 현재 학습하려는 task와 매우 유사한, 즉 Goal의 위치가 [그림 1]에서의 Goal의 위치와 1~2 grid 공간 이내에 있는, 5개의 task 에 대해 Q-learning으로 학습한 5개의 pre-learned policy들을 사용하였다.
  • Potential-based 융합 기술과 policy-reuse의 EE rule 로는 6t — greedy strategy를 사용하였다[6]. 시간 스텝 t에서 1-9의 확률로 QtUargmaXau/0(⑦t, G 인 행동, 즉 greedy action이 선택되며, j의 확률로 임의의 행동이 uniform하게 선택된다.
  • 그러므로 본 논문의 실험에서는 PLPR 알고리즘을 배제한, PQR-learning 알고리즘까지 구현된 policy-reuse RL 기법이 사용되었다. 다음 장에서 이 실험에 관한 자세한 내용이 기술된다.
  • 확인할 수 있다. 이 실험에서는 먼저 현재의 task와 매우 유사한 task의 optimal policy를 heuristic 한 방법으로 구해서 policy-reuse RL의 pre-learned policy로 사용하였다. 그 결과 앞의 실험에서 policy-reuse RL이 Q-learning을 통한 pre-learned policy 들을 사용하여 보였던 성능보다 좋은 성능을 보였다.
본문요약 정보가 도움이 되었나요?
LOADING...

관련 콘텐츠

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트