초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문에서는 에이전트간의 통신이 불가능한 다중 에이전트 환경에서 각 에이전트들이 독립적이면서 대표적인 강화학습법인 Q-학습을 전개함으로써 서로 효과적으로 협조할 수 있는 행동전략을 학습하려고 한다. 하지만 단일 에이전트 경우에 비해 보다 큰 상태-행동공간을 갖는 다중 에이전트환경에서는 강화학습을 통해 효과적으로 최적의 행동 전략에 도달하기 어렵다는 문제점이 있다. 이 문제에 대한 기존의 접근방법은 크게 모듈화 방법과 일반화 방법이 제안되었으나 모두 나름의 제한을 가지고 있다. 본 논문에서는 대표적인 다중 에이전트 학습 문제의 예로서 the Prey and Hunters Problem를 소개하고 이 문제영역을 통해 이와 같은 강화학습의 문제점을 살펴보고, 해결책으로 신경망 SOM 을 이용한 일반화 방법을 제안한다. 이 방법은 다층 퍼셉트론 신경망과 역전파 알고리즘을 이용한 기존의 일반화 방법과는 달리 군집화 기능을 제공하는 신경망 SOM 을 이용함으로써 명확한 다수의 훈련 예가 없어도 효과적으로 채 경험하지 못한 상태-행동들에 대한 Q 값을 예측하고 이용할 수 있다는 장점이 있다.

본 논문에서는 에이전트간의 통신이 불가능한 다중 에이전트 환경에서 각 에이전트들이 독립적이면서 대표적인 강화학습법인 Q-학습을 전개함으로써 서로 효과적으로 협조할 수 있는 행동전략을 학습하려고 한다. 하지만 단일 에이전트 경우에 비해 보다 큰 상태-행동공간을 갖는 다중 에이전트환경에서는 강화학습을 통해 효과적으로 최적의 행동 전략에 도달하기 어렵다는 문제점이 있다. 이 문제에 대한 기존의 접근방법은 크게 모듈화 방법과 일반화 방법이 제안되었으나 모두 나름의 제한을 가지고 있다. 본 논문에서는 대표적인 다중 에이전트 학습 문제의 예로서 the Prey and Hunters Problem를 소개하고 이 문제영역을 통해 이와 같은 강화학습의 문제점을 살펴보고, 해결책으로 신경망 SOM 을 이용한 일반화 방법을 제안한다. 이 방법은 다층 퍼셉트론 신경망과 역전파 알고리즘을 이용한 기존의 일반화 방법과는 달리 군집화 기능을 제공하는 신경망 SOM 을 이용함으로써 명확한 다수의 훈련 예가 없어도 효과적으로 채 경험하지 못한 상태-행동들에 대한 Q 값을 예측하고 이용할 수 있다는 장점이 있다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 이와 같이 신경망 SOM 을 일반화에 이용하면 기대할 수 있는 가장 큰 장점은 비교사 학습(unsupervised learning)으로서 정확한 훈련 예가 없어도 높은 성능의 일반화가 가능하다는 점이다. 따라서 본 논문에서는 강화학습을 위한 일반화에 신경 망 SOM 을 적용한 SOM 알고리즘을 제안한다.
• 본 논문에서는 Q 학습의 큰 상태공간 문제를 해결하기 위한 방법으로 신경망을 이용한 일반화 방법을 제안 하였다. 특히 일반화 방법으로 SOM 을 이용한 QSOM 을 제안하였으며 QSOM 학습방법은 Q-표 대신 신경망 SOM 을 사용하였고 QSOM 의 특징으로는 비교사 학습으로 정확한 훈련 예 없이도 효과적인 학습이 가능하다는 것이다.
• 이 문제에 대한 기존의 접근 방법은 크게 모듈화 방법과 일반화 방법이 제안되었으나 모두 나름의 제한을 가지고 있다. 본 논문에서는 대표적인 다중 에이전트 학습 문제의 예로서 the Prey and Hunters Problem 를 소개하고 이 문제영역을 통해 이와 같은 강화학습의 문제점을 살펴보고, 해결책으로 신경망 SOM 을 이용한 일반화 방법 QSOM 을제안한다. 이 방법은 기존의 일반화 방법과는 달리 군집화 기능을 제공하는 신경망 SOM 을 이용함으로써 명확한 다수의 훈련 예가 없어도 효과적으로 이전에 경험하지 못한 상태-행동들에 대한 Q 값을 예측하고 이용할 수 있다는 장점이 있다.
• 본 논문에서는 에이전트간의 통신이 불가능한 다중 에이전트 환경에서 각 에이전트들이 독립적이면서 대표적인 강화학습법인 Q-학습을 전개함으로써 서로 효과적으로 협조할 수 있는 행동전략을 학습하려고 한다. 하지만 단일 에이전트 경우에 비해 보다 큰 상태-행동공간을 갖는 다중 에이전트환경에서는 강화학습을 통해 효과적으로 최적의 행동 전략에 도달하기 어렵다는 문제점이 있다.

이론/모형

• (s) 와 신경망의 출력으로 제시된 기존의 Q 함수값 QNETa.(5)의 차 (difference) 를 오차 (error) 로 삼아 역전파 알고리즘 (backpropagation algorithm)을 적용하여 신경망의 가중치를 갱신한다.

성능/효과

• 첫째, 이 방법은 사전에 잘 정의된 모듈들을 필요로 하며, 효과적인 모듈화를 위해서는 많은 영역지식이 필요하다. 둘째, 각 모듈별 학습 결과를 결합하는 중재모듈의 결합 방식이 매우 단순하고 고정적이다. 셋째는 결과적으로 모듈화를 통해 각 모듈에서 고려하는 환경요소는 한 두개 정도로 줄어들어 실제 문제의 복잡도에 비해 지나치게 단순화된다는 것이다.
• 둘째, 각 모듈별 학습 결과를 결합하는 중재모듈의 결합 방식이 매우 단순하고 고정적이다. 셋째는 결과적으로 모듈화를 통해 각 모듈에서 고려하는 환경요소는 한 두개 정도로 줄어들어 실제 문제의 복잡도에 비해 지나치게 단순화된다는 것이다.
• 하였다. 특히 일반화 방법으로 SOM 을 이용한 QSOM 을 제안하였으며 QSOM 학습방법은 Q-표 대신 신경망 SOM 을 사용하였고 QSOM 의 특징으로는 비교사 학습으로 정확한 훈련 예 없이도 효과적인 학습이 가능하다는 것이다. 향후 연구로는 the Prey and Hunters Problem 에 대한 실험을 통해 본 논문에서 제안한 QSOM 의 성 능과 효과를 입 증하는 것이다.

후속연구

• The Prey and Hunters Problem 영역의 실험을 통해 본 논문에서 제시한 QSOM 학습방법의 일반화 효과를 평가 할 것이다. 평가항목으로는 평가함수 값의 수렴속도, 행동의 최적성 그리고 Prey 에 포획될 때 까지 소요된 총 동작 수(시간)를 산출하고 각 Hunter 에이전트의 학습 진행 상황인 SOM 에서 출력 뉴런 虬=(상태, 동작, Q 값)의 변화과정을 추적하게 될 것이다.
• 특히 일반화 방법으로 SOM 을 이용한 QSOM 을 제안하였으며 QSOM 학습방법은 Q-표 대신 신경망 SOM 을 사용하였고 QSOM 의 특징으로는 비교사 학습으로 정확한 훈련 예 없이도 효과적인 학습이 가능하다는 것이다. 향후 연구로는 the Prey and Hunters Problem 에 대한 실험을 통해 본 논문에서 제안한 QSOM 의 성 능과 효과를 입 증하는 것이다.
• 이 방법은 기존의 일반화 방법과는 달리 군집화 기능을 제공하는 신경망 SOM 을 이용함으로써 명확한 다수의 훈련 예가 없어도 효과적으로 이전에 경험하지 못한 상태-행동들에 대한 Q 값을 예측하고 이용할 수 있다는 장점이 있다. 후속 연구를 통해본 논문에서 제시한 QSOM 학습법의 일반화 효과와 성능을 평가할 계획이다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기