선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문은 구글 딥마인드의 알파고의 원리를 바탕으로 딥러닝을 이용한 인공지능 체스 엔진인 딥퍼플에 대해 기술한다. 딥퍼플 체스 엔진은 크게 몬테카를로 트리 탐색과 컨볼루션 신경망Convolutional Neural Network:CNN)[1] 구조를 갖는 정책망, 가치망으로 구성되어 있다.
- 본 논문은 딥러닝을 이용한 인공지능 체스 엔진인 딥퍼플에 대해 기술하였다. 딥퍼플 체스 엔진은 크게 몬테카를로 트리탐색과 CNN구조로 구성된 정책망, 가치망으로 구성되어 있다.
제안 방법
- Py_ChessGame은 기존에 학습된 정책망과 가치망을 바탕으로 게임을 진행하는 부분으로 ChessGame클래스를 통해 게임이 진행된다. ChessAI의 ask()함수를 호출하면 Monte 클래스에서 탐색 깊이와 횟수인 select_depth, simulation_num을 통해 predict() 메서드를 호출하고, MCTS의 과정인 탐색, 선택, 확장, 역전달의 메서드가 호출되어 탐색을 진행한다. 마지막에 choice() 메서드를 통해 Tree 클래스 root_Node의 자식 노드 중에서 가장 높은 방문횟수를 가진 노드를 선택한다.
- 딥퍼플은 Windows10 운영체제에서 딥러닝 구현에 필요한 라이브러리로 텐서플로우를 이용하였다. Elo 점수 2000대 이상의 체스 선수들의 기보를 이용하여 체스 기보 데이터를 전처리하여 텐서플로우를 통해서 데이터를 학습시켜 유효한 수를 내놓는 모델과 각각의 체스판에서 이길 확률을 측정하는 모델을 구현하였다. 체스 로직은 python-chess api를 이용하였으며, 텐서플로우와 python-chess api의 개발 언어는 파이썬을 사용하였으며, 체스 엔진에서 사용하는 사용자 인터페이스는 언리얼 엔진4를 사용하여 구현하였다.
- 모델에 대한 실험은 layer 개수를 3, 5, 13로 진행하였고, 1천만 개의 데이터에 대해서는 정확도와 손실함수 cost가 비슷하게 나타난다. 더 오래 학습을 진행한 13개의 layer가 cost 값이 가장 낮으므로 선택하여야 하나, 몬테카를로 트리탐색을 보다 빠르게 진행하기 위해서는 layer의 개수가 작은 모델을 사용하여 학습하였다.
- 딥러닝을 통해 구축된 모델인 정책망과 가치망으로부터 산출된 값을 이용하여 몬테카를로 트리 탐색 방식의 시뮬레이션을 진행한 후 결과를 분석하여 가장 좋은 수를 결정하도록 구현하였다.
- 또한, Giraffe는 minimax를 수행할 때 확률한계탐색 (probability-limited search)이 깊이한계탐색 (depth-limited search) 보다 더 정확하다고 판단하여, 확률한계탐색을 이용한 트리탐색을 제안하였으며, 주어진 체스 게임 상황에서, 미리 수를 내다보지 않고, 최적의 수가 되는 말의 움직임에 대한 각각의 개연성에 대해서 점수를 측정하였다. Giraffe는 대략 FIDE 세계 랭킹[7]국제 마스터 레벨의 체스 실력을 갖추고 있다.
- 알고리즘과 확률에 기반을 둔 탐색(probability-based search) 을 이용하여 체스 엔진의 성능을 높이는데 있다. 매 학습 반복 중 학습 데이터에서 무작위로 256의 체스 상황을 추출하여, 스스로 12번 순서대로 다음 수를 두고, 12번 모두의 움직임에 대한 체스 상황에 대한 점수 변화를 저장하여, 모든 점수 변화를 축적하면서 탐색 시작점에 추가함으로써, 평가함수를 학습시킬 때, 장기적인 결과에 대한 패턴을 모델화하였다.
- 파이썬 체스 엔진에서 시시각각 변화하는 현재의 체스판을 몬테카를로 트리 탐색 모듈로 넘겨주면, 현재의 체스판을 0과 1로 구성된 특징들로 변환하여 입력 데이 터를 만들고, 이전에 먼저 학습된 가중치 값들을 텐서플로의 saver를 통해 불러온다. 입력 데이터와 불러온 가중치 값을 이용해 비동기적으로 정책망과 가치망으로부터 값을 전달 받아 몬테카를로 트리 탐색을 진행하고, 기존에 미리 정해 놓은 트리 탐색의 깊이, 시뮬레이션 횟수에 따라 시뮬레이션을 진행한다. 모든 시뮬레이션 완료되면 루트 노드의 자식 노드 중 가장 높은 방문횟수를 가진 노드를 가장 좋은 다음 수로 판단해 해당 노드가 가진 체스 명령어를 다음 수로 선택한다.
- Elo 점수 2000대 이상의 체스 선수들의 기보를 이용하여 체스 기보 데이터를 전처리하여 텐서플로우를 통해서 데이터를 학습시켜 유효한 수를 내놓는 모델과 각각의 체스판에서 이길 확률을 측정하는 모델을 구현하였다. 체스 로직은 python-chess api를 이용하였으며, 텐서플로우와 python-chess api의 개발 언어는 파이썬을 사용하였으며, 체스 엔진에서 사용하는 사용자 인터페이스는 언리얼 엔진4를 사용하여 구현하였다.
대상 데이터
- FenLoad 클래스의 getBatchSizeData() 메서드를 통해 지정한 경로에서 원하는 배치 사이즈의 데이터를 불러온다. Board2Array 클래스와 OneHotEncoding 클래스를 이용해 입력 데이터와 결과 데이터를 받아낸다.
- ConvChess에서 사용한 데이터로는 Elo rating[5]이 2000점 이상인 상대들과 2만 게임을 하면서 245,000개의 체스말 이동을 통해 CNN을 학습시켰다. ConvChess의 최적의 말을 선택하는 CNN 모델의 가장 높은 정확도는 38.
- 정책망은 다음과 같은 방법으로 학습시킨다. FenLoad 클래스의 getBatchSizeData() 메서드를 통해 지정한 경로에서 원하는 배치 사이즈의 데이터를 불러온다. Board2Array 클래스와 OneHotEncoding 클래스를 이용해 입력 데이터와 결과 데이터를 받아낸다.
이론/모형
- 이때 데이터를 불러오는 시간을 절약하기 위해, 한 줄의 정보로 모든 체스 대국의 정보를 가질 수 있는 Forsyth–Edwards Notation(FEN) 기보 방식[10] 을 이용해 저장한다.
- 전처리 과정에서 파이썬 pickle API를 이용해 객체를 파일로 저장하고 불러올 수 있는 기능을 사용하기 위해 입력 데이터를 변환하는 Board2Array 클래스와 One-Hot 인코딩으로 생성된 결과 값을 얻을 수 있는 OneHotEncoding 클래스를 이용한다.
- 정책망과 가치망을 완성하면, 이 두 개의 모델만으로도 어느 정도의 패턴을 파악한 결과를 알 수 있지만, 딥퍼플의 경우 충분한 성능을 확보하기 위해 몬테카를로 트리 탐색(Montecarlo tree search: MCTS)알고리즘[2]을 사용한다. MCTS의 기본 원리는 동일한 상황에서 수많은 시뮬레이션을 반복함으로써 결과적으로 가장 좋은 선택을 찾는 것이다.
성능/효과
- CNN 모델을 통해 정책망과 가치망을 학습 시킨 결과, 정책망의 경우 43%의 정확도와 1.9의 손실함수 Cost를 보였으며, 가치망의 경우 승, 무, 패의 3가지 경우의 수가 고르게 분포되어 있어 손실함수 cost가 진동하면서 줄어들지만 1점대에서 계속 진동하는 결과를 보였다.
- 이 2000점 이상인 상대들과 2만 게임을 하면서 245,000개의 체스말 이동을 통해 CNN을 학습시켰다. ConvChess의 최적의 말을 선택하는 CNN 모델의 가장 높은 정확도는 38.3%이며, 선택된 말의 최적의 이동할 위치를 선택하는 CNN 모델의 정확도는 말의 종류에 따라 27% ~ 56% 범위의 정확도를 가진다.
- 초기화에 사용한 방법은 Xavier initializer를 사용하였고 초기 cost가 8.3 정도로 형성되어, 초기화가 잘 되었는지 확인하는 공식 –ln(1/4096)= 8.31776616672와 비교해 보았을 때 적절하게 되었음을 확인할 수 있다.
- 9를 보였다. 출력 값이 19x19개인, CNN을 이용한 알파고의 정확도가 50~60% 사이의 정확도를 보이고 본 연구에서의 정책망은 4096개의 출력 값에 대하여 43%의 정확도를 보이므로 결과를 제대로 학습이 제대로 진행되었음을 알 수 있다.
후속연구
- 기존의 CNN을 이용한 체스엔진의 경우 1억 만개의 데이터를 사용하고, 알파고 또한 3천만 개의 데이터를 가지고 3주간 학습을 진행한 것과 비교해 볼 때, 본 연구에서는 1천만 개의 데이터를 사용하였으므로, 데이터의 개수를 증가시키고 더 오랜 시간 학습을 진행한다면 개선의 여지가 남아있다.
- 향후 연구과제로는 딥퍼플의 더 많은 데이터를 사용하여 학습을 진행하는 일과, 성능 개선을 위해 정책망과 가치망의 알고리즘을 개선시키는 연구가 진행될 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.