선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 즉 보상값의 여부에 따라 학습이 효율에 영향을 미친다. 본 논문은 현재의 행동 외에 미래의 행동에 대해서도 학습에 고려한다는 점을 제안한다. 즉 게임을 할 때 승리를 위해서는 현재의 상황에 대해서만 고려하는 것이 아닌 미래의 상황에 대한 예측이 필요하다.
가설 설정
- 즉, 과거 게임을 통해 얻어지는 행동을 예측 모듈이 학습하여 학습된 결과를 바탕으로 상대방의 행동을 예측하는 방법을 사용하였으며, 이러한 학습을 위해 신경망 알고리즘을 사용하였다. 사용자가 기본적인 규칙만을 인지하여 게임을 하고 있다고 가정하였고 대부분의 사용자가 처음부터 게임에 능하지 않으며, 또한 인간은 학 습 능력을 가지고 있기 때문에 신경망을 적용하였다.
제안 방법
- 본 논문에서는 기존의 강화학습 알고리즘을 수정하여 사용자 적응을 기반으로 접근한 강화 학습 알고리즘을 제안하고, 인공지능의 기법들을 비교적 쉽게 적용시킬 수 있는 오델로 게임을 대상영역으로 선정하여 시스템을 설계 및 구현하였다. 본 연구의 실험은 Min-Max 알고리즘의 탐색 깊이를 조정하여 사용자의 게임 숙련도에 따른 적응성을 분석하고, 강화학습 알고리즘과 본 연구에서 제안하는 알고리즘 각각 대결하여 승율을 비교 분석하였다.
- 본 논문에서는 기존의 강화학습 알고리즘을 수정하여 사용자 적응을 기반으로 접근한 강화 학습 알고리즘을 제안하고, 인공지능의 기법들을 비교적 쉽게 적용시킬 수 있는 오델로 게임을 대상영역으로 선정하여 시스템을 설계 및 구현하였다. 본 연구의 실험은 Min-Max 알고리즘의 탐색 깊이를 조정하여 사용자의 게임 숙련도에 따른 적응성을 분석하고, 강화학습 알고리즘과 본 연구에서 제안하는 알고리즘 각각 대결하여 승율을 비교 분석하였다.
- 에이전트와 환경간의 상호작용이 반복될수록 에이전트가 학습되기 위해서는 정책을 결정하는 주요 요소인 Q-function이 학습해야 하며, 학습을 하기 위해서는 학습 데이터가 필요하다. Q-Learninge 교사학습과 같이 정형화된 학습 데이터를 제시하는 것이 아닌 수식을 통해 학습 데이터를 예측, 예측된 데이터를 이용하여 Q-function을 학습한다.
- 본 논문은 이러한 문제를 해결하고자 신경망을 사용하였다. 그 이유는, Q-table에서 얻어지는 Q-function 데이터 값은 [수식 4]에 의해 추정된 Q-function 값이 아닌 추정 된 Q-function 값에 대한 근사치이다.
- 본 연구에서는 게임의 학습효율 향상을 위해 다음 두 가지 요소를 기반으로 설계하였다. 첫째는, 학습 및 행동선택 에 있어 미래에 대한 예측 요소의 추가이며, 두 번째는 게임의 승패가 학습에 미치는 영향이다.
- 본 논문에서는 기존의 강화 학습 모듈과 더불어 예측 모 듈(Pre-selection Module) 을 추가함으로써 학습 효율의 향상을 도모하였다[그림 4 참조]. 예측 모듈은 게임 상대의 움직임에 대해 예측을 한다.
- [그림 4]는 기존의 시스템과 본 논문에서 설계된 시스템 간의 차이를 나타낸다. 기존의 시스템에서는 Al module이 사용자와 진행하고 있는 현재 게임 상태만 가지고 적절한 행동을 선택한 반면, 본 논문에서 설계된 시스템은 현재 게임의 상태와 Pre-selection Module에서 예측한 게임 진행 상태 즉 두 가지 게임의 상태 정보를 이용하여 적절한 행동을 선택한다.
- 본 연구의 주요 알고리즘은 QTearning알고리즘을 이용한 강화 학습 알고리즘이다. 본 논문의 시스템은 크게 두 부분으로 나누어 실험을 하였는데 예측 모델이 학습에 미치는 영향을 알기 위해 예측 모델이 초기화된 상태와 예측 모 델이 학습된 상태 두 가지를 이용하여 실험 하였다. 또한 시스템의 성능측정을 위해서.
- 또한 시스템의 성능측정을 위해서. 실험 방법은 사람 대신 Min-Max 알고리즘과의 게임을 통해서 학습의 여부를 보여 주도록 하였다. Min-Max 알고리즘은 Depth 2와 Depth 3의 두 가지로 구현하여 각각 실험을 하였는데.
- 실험 방법은 사람 대신 Min-Max 알고리즘과의 게임을 통해서 학습의 여부를 보여 주도록 하였다. Min-Max 알고리즘은 Depth 2와 Depth 3의 두 가지로 구현하여 각각 실험을 하였는데. 그 이유는 사용자의 게임 숙련도에 따른 학습의 차이를 알아보기 위해 서이다.
- 본 연구에서는 사용자 적응성에 중점을 두는 강화 학습 알고리즘을 적용하여 보드게임을 설계 및 구현하였다.
- 본 연구의 특징은 다음과 같다. 첫째, 사용자 적응성을 높이기 위해 사용자의 행동을 수집하여 강화 학습의 의사결정 과정과 학습과정에 반영하였다. 둘째, 본 연구의 시스템을 분석하기 위하여 실험 대상으로는 적용이 쉽고 많은 상태 공간을 가진 오델로 게임을 선정하였고, 성능 측정을 위하여 기존의 강화 학습 알고리즘과 비교·분석하였다.
- 첫째, 사용자 적응성을 높이기 위해 사용자의 행동을 수집하여 강화 학습의 의사결정 과정과 학습과정에 반영하였다. 둘째, 본 연구의 시스템을 분석하기 위하여 실험 대상으로는 적용이 쉽고 많은 상태 공간을 가진 오델로 게임을 선정하였고, 성능 측정을 위하여 기존의 강화 학습 알고리즘과 비교·분석하였다. 두 알고리즘의 단순 비교가 어렵기 때문에 비교의 대상으로 Min-Max 알고리즘을 이용하여 대상으로 각각 대결하는 방식을 수행하였다.
- 두 알고리즘의 단순 비교가 어렵기 때문에 비교의 대상으로 Min-Max 알고리즘을 이용하여 대상으로 각각 대결하는 방식을 수행하였다. 셋째, 사용자간의 숙련도 차이를 고려하기 위해 Min-Max 알고리즘에 탐색 깊이를 변화시켜 실험을 하였다. 실험의 결과 수정된 강화 학습 기반의 시스템은 사용자의 게임 숙련도의 차이를 주어 실험했음에도 사용자의 게임 숙련도에 신속히 적응하는 모습이 보인다.
- 마지막으로, 직접적인 비교를 위해 기존의 강화 학습 알고리즘과 본 논문의 시스템을 직접 대결을 통한 실험을 하였다.[그림 13]은 이에 관한 실험 결과이다.
이론/모형
- [그림 3〕은 신경망을 적용한 Q-learning 알고리즘에 대한 설명이다. Backpropagation 알고리즘을 이용하여 신경망을 통해 나온 Q-function에 대한 근사치와 Q-function 의 추정값의 차이를 이용하여 QTearning을 수행한다.
- 예측 모듈은 게임 상대의 움직임에 대해 예측을 한다. 즉, 과거 게임을 통해 얻어지는 행동을 예측 모듈이 학습하여 학습된 결과를 바탕으로 상대방의 행동을 예측하는 방법을 사용하였으며, 이러한 학습을 위해 신경망 알고리즘을 사용하였다. 사용자가 기본적인 규칙만을 인지하여 게임을 하고 있다고 가정하였고 대부분의 사용자가 처음부터 게임에 능하지 않으며, 또한 인간은 학 습 능력을 가지고 있기 때문에 신경망을 적용하였다.
- 본 연구의 주요 알고리즘은 QTearning알고리즘을 이용한 강화 학습 알고리즘이다. 본 논문의 시스템은 크게 두 부분으로 나누어 실험을 하였는데 예측 모델이 학습에 미치는 영향을 알기 위해 예측 모델이 초기화된 상태와 예측 모 델이 학습된 상태 두 가지를 이용하여 실험 하였다.
- 둘째, 본 연구의 시스템을 분석하기 위하여 실험 대상으로는 적용이 쉽고 많은 상태 공간을 가진 오델로 게임을 선정하였고, 성능 측정을 위하여 기존의 강화 학습 알고리즘과 비교·분석하였다. 두 알고리즘의 단순 비교가 어렵기 때문에 비교의 대상으로 Min-Max 알고리즘을 이용하여 대상으로 각각 대결하는 방식을 수행하였다. 셋째, 사용자간의 숙련도 차이를 고려하기 위해 Min-Max 알고리즘에 탐색 깊이를 변화시켜 실험을 하였다.
성능/효과
- 본 논문에서 적용하는 오델로 게임의 경우 상태 공간이 약 1028정도를 가진다. 즉 1028개의 Q-function 값을 저 장하는 QTable을 만들어야 하기 때문에, 공간적인 측면이 나 검색 시간적인 측면에서 매우 비효율적이다.
- 즉, 게임의 결과가 강화 학습 모듈의 승리일 경우 반드시 혜택을 주어야 한다. 본 논문의 시스템에서는 게임도중의 모든 행동에 대해 저장을 하고 게임이 승리했을 경우 저장된 로그를 바탕으로 다시 한 번 학습을 하여 승리에 대한 혜택을 주었다.
- [표 1]은 본 실험의 전반적인 실험결과를 정리한 데이터이다.(D~S)은 Min-Max와의 대결을 통해 나온 결과로 기존의 강화 학습 알고리즘은 Min-Max 알고리즘과의 실험에서 본 논문의 시스템에 비해 깊이가 2일 경우에는 Pre-selection Module에서 학습이 안 된 경우 1.04%, Pre-selection Module에서 학습이 된 경우는 0.87%의 차이를 보여 큰 차이를 보이지 않는다. 그러나 깊이가 3인 Min-Max Search 알고리즘과의 실험에서는 Pre-selection Module에서 학습이 안된 경우는 8.
- [그림 9]와[그림 10]은 Pre-selection Module0] 학습되지 않은 상태에서 실험을 한 결과이다. 두 그래프 모두 Min-Max Search 알고리즘에 비해 높은 게임 숙련도를 가지고 있으며, 후반으로 갈수록 안정적으로 변해감을 확인할 수 있다.
- [그림 13]은 이에 관한 실험 결과이다. 결과는 본 논문 시스템이 기존의 강화 학습보다 더 우수한 능력을 보이고 있다. 전체 평균은 44.
- 결과는 본 논문 시스템이 기존의 강화 학습보다 더 우수한 능력을 보이고 있다. 전체 평균은 44.95% VS 51.1 %로 본 시스템이 6.15% 더 높았다.
- 실험 결과는 본 논문의 시스템이 기존의 시스템에 비해 보다 나은 게임 숙련도를 보이며 상대방의 게임 숙련도를 고려하여 게임의 난이도를 줄이려는 모습을 보였다.
- 실험의 수행시간은 기존의 강화 학습 알고리즘의 실험은 2시간 30분 정도 소모된 반면 본 논문의 시스템은 3시간에서 3시간 30분 사이의 수행시간을 가졌다. Pre-selection Module의 행동을 학습하는 시간과 경기 결과 후 승리의 혜택을 주는 시간으로 인해 차이가 난 시간으로 실제 게임에 있어 진행에 불편을 느낄 수 있을 정도의 시간 소모는 일어나지 않았다.
- 셋째, 사용자간의 숙련도 차이를 고려하기 위해 Min-Max 알고리즘에 탐색 깊이를 변화시켜 실험을 하였다. 실험의 결과 수정된 강화 학습 기반의 시스템은 사용자의 게임 숙련도의 차이를 주어 실험했음에도 사용자의 게임 숙련도에 신속히 적응하는 모습이 보인다. 또한 기존의 강화 학습 알고리즘과의 대결에서도 보다 향상된 학습율을 나타내었다.
후속연구
- 향후의 연구로는 오델로 이외의 다양한 게임에의 적용과 사용자 적응성에 대한 연구, 사용자의 행동을 미리 예측하는 Pre-selection에 대한 연구를 다양한 방법으로 연구할 필요성이 있다. 또한 게임의 승패에 대한 학습 가중치에 관한 연구도 진행되어야 할 것이다.
- 향후의 연구로는 오델로 이외의 다양한 게임에의 적용과 사용자 적응성에 대한 연구, 사용자의 행동을 미리 예측하는 Pre-selection에 대한 연구를 다양한 방법으로 연구할 필요성이 있다. 또한 게임의 승패에 대한 학습 가중치에 관한 연구도 진행되어야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.