초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Q-Learning과 같은 기본적인 강화 학습 알고리즘은 문제의 사이즈가 커짐에 따라 성능이 크게 떨어지게 된다. 그 이유들로는 목표와의 거리가 멀어지게 되어 학습이 어려워지는 문제와 비 지향적 탐색을 사용함으로써 효율적인 탐색이 어려운 문제를 들 수 있다. 이들을 해결하기 위해 목표와의 거리를 줄일 수 있는 계층적 강화 학습 모델과 여러 가지 지향적 탐색 모델이 있어 왔다. 본 논문에서는 이들을 결합하여 계층적 강화 학습 모델에 지향적 탐색을 가능하게 하는 탐색 보너스를 도입한 강화 학습 모델을 제시한다.

Q-Learning과 같은 기본적인 강화 학습 알고리즘은 문제의 사이즈가 커짐에 따라 성능이 크게 떨어지게 된다. 그 이유들로는 목표와의 거리가 멀어지게 되어 학습이 어려워지는 문제와 비 지향적 탐색을 사용함으로써 효율적인 탐색이 어려운 문제를 들 수 있다. 이들을 해결하기 위해 목표와의 거리를 줄일 수 있는 계층적 강화 학습 모델과 여러 가지 지향적 탐색 모델이 있어 왔다. 본 논문에서는 이들을 결합하여 계층적 강화 학습 모델에 지향적 탐색을 가능하게 하는 탐색 보너스를 도입한 강화 학습 모델을 제시한다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 논문에서는 앞서 말한 탐색과 scaling의 문제를 해결하기 위해 계층적 강화 학습 모델에 탐색 보너스를 적용한 탐색 강화 계충적 강화 학습 모델을 제시한다. 일반적인 문제에 적용 가능하도록 하고 간단한 구현이 가 능하도록 하기 위하여 다단계 행동(Multi-step action)을 사용한 계층적 강화 학습 모델에 상태 카운트를 사용한 전역적 탐색 보너스를 사용하였다.
• 또한 실제 문제에 적용하기 위해서는 큰 상태 공간에 비해 상대적으로 적은 학습 데이터의 문제(sparse data problem)올 해결할 필요가 있다. 본 논문에서는 이러한 두 문제를 해결하기 위한 시도로써 계충적 강화 학습(Hierachical RL) 에 탐 색 보너스를 도입한 탐색 강화 계층적 강화 학습 모델올 제시한다.
• 이 실험에서는 MSA와 Exploration bonus, 그리고 이 둘을 복합적으로 사용한 경우의 탐색 능력을 알아보았다. 시작점에서 고울 지점까지 어느 정도의 시간이 흐른 다음에 도착하는지의 평균값 (First Passage Time, FPT)를 측정하여 탐색 능력의 기준으로 삼았다.

제안 방법

• 이 실험에서는 MSA와 Exploration bonus, 그리고 이 둘을 복합적으로 사용한 경우의 탐색 능력을 알아보았다. 시작점에서 고울 지점까지 어느 정도의 시간이 흐른 다음에 도착하는지의 평균값 (First Passage Time, FPT)를 측정하여 탐색 능력의 기준으로 삼았다. 비교 대상은 Random walk, Random walk with MSA, Random walk with Exploration bonus, Random walk with MSA and exploration bonus의 네 가지였다.
• 이번에는 Random walk 대신 Q-Learninge- 사용하였 올 경우의 수렴 형태를 알아보았다. Q-Learning의 경우는 £=0.

대상 데이터

• 시작점에서 고울 지점까지 어느 정도의 시간이 흐른 다음에 도착하는지의 평균값 (First Passage Time, FPT)를 측정하여 탐색 능력의 기준으로 삼았다. 비교 대상은 Random walk, Random walk with MSA, Random walk with Exploration bonus, Random walk with MSA and exploration bonus의 네 가지였다. 1000번 시행해 구한 결과는 다음의 표와 같다.

이론/모형

• 본 논문에서는 앞서 말한 탐색과 scaling의 문제를 해결하기 위해 계층적 강화 학습 모델에 탐색 보너스를 적용한 탐색 강화 계충적 강화 학습 모델을 제시한다. 일반적인 문제에 적용 가능하도록 하고 간단한 구현이 가 능하도록 하기 위하여 다단계 행동(Multi-step action)을 사용한 계층적 강화 학습 모델에 상태 카운트를 사용한 전역적 탐색 보너스를 사용하였다. 이 모델의 경우 행동 선택은 다음과 같이 탐색 보너스를 사용하여 이루어진다.

성능/효과

• 9을 사용하였다 1000회 반복 수행 시 모두 최적치(16 step)올 찾을 수 있었다. MSA를 사용한 경우와 MSA, 보너스를 사용한 경우에는 two-step action을 최대 회수(7회) 사용하는 올바른 최적치를 구할 수 있었다. 다음은 학습 도중의 경로 길이이다.
• 2-step action을 단일 행동으로 본다면 그 이상의 향상이라고 여길 수 있다. 탐색 보너스를 사용한 방법은 완전히 Random 한 방법에 비해 30% 정도의 행동으로 골에 다다률 수 있었다. 한 번 지나온 곳보다 안 가 본 곳에 탐색이 집중되기 때문에 큰 성능 차이가 있다고 생각된다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기