본 연구는 현재 크게 성장하고 있는 AI(인공지능)이 어떻게 게임에서 적용되고 발전되고 있는지에 대해서 탐구한다. 오늘 날 대중들이 가장 즐겨하고 있는 게임 중 하나인 포커(Poker)에서의 인공지능의 현실을 분석하고 논리적인 발전방향을 제시한다. 구체적으로, 본 연구는 다양한 포커 게임들 중 전 세계적으로 인기가 있는 종류인 텍사스 홀덤(Texas Hold'em)을 중심으로, 이 게임에 적용 되었던 2가지 AI인 Libratus와 DeepStack을 다루도록 한다. 여러 뉴스 기사 인공지능의 성장을 보고 하였으나, 본 연구는 정확히 어떻게 그리고 왜 인공 지능이 포커 게임에서 적용이 되는지, 또한 무엇이 진짜 문제이고 발전 방향인지에 대해서 입체적으로 논의한다.
본 연구는 현재 크게 성장하고 있는 AI(인공지능)이 어떻게 게임에서 적용되고 발전되고 있는지에 대해서 탐구한다. 오늘 날 대중들이 가장 즐겨하고 있는 게임 중 하나인 포커(Poker)에서의 인공지능의 현실을 분석하고 논리적인 발전방향을 제시한다. 구체적으로, 본 연구는 다양한 포커 게임들 중 전 세계적으로 인기가 있는 종류인 텍사스 홀덤(Texas Hold'em)을 중심으로, 이 게임에 적용 되었던 2가지 AI인 Libratus와 DeepStack을 다루도록 한다. 여러 뉴스 기사 인공지능의 성장을 보고 하였으나, 본 연구는 정확히 어떻게 그리고 왜 인공 지능이 포커 게임에서 적용이 되는지, 또한 무엇이 진짜 문제이고 발전 방향인지에 대해서 입체적으로 논의한다.
This study explores how Artificial Intelligence (AI), which is tremendously developed these days, applies to the game and advances. It analyzes the reality of AI and provides reasonable suggestion in Poker, one of the most popular games. Specifically, this study focuses on Texas Hold'em, the most fa...
This study explores how Artificial Intelligence (AI), which is tremendously developed these days, applies to the game and advances. It analyzes the reality of AI and provides reasonable suggestion in Poker, one of the most popular games. Specifically, this study focuses on Texas Hold'em, the most favored kind in the world among various kinds of Poker games and deals with two AIs, Libratus and DeepStack that have applied to the game. Several news media report the growth of AI, but this study will multi-dimensionally discusses how and why AI works in Poker, the real problems of AI, and suggestions for advancement.
This study explores how Artificial Intelligence (AI), which is tremendously developed these days, applies to the game and advances. It analyzes the reality of AI and provides reasonable suggestion in Poker, one of the most popular games. Specifically, this study focuses on Texas Hold'em, the most favored kind in the world among various kinds of Poker games and deals with two AIs, Libratus and DeepStack that have applied to the game. Several news media report the growth of AI, but this study will multi-dimensionally discusses how and why AI works in Poker, the real problems of AI, and suggestions for advancement.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
인공 지능의 성공에는 과학기술의 발전을 축하하는 부류와 인공지능이 인간을 뛰어넘는다는 의견이 상반되고 있다. 본 연구는 이러한 이분법적인 사고에 대해서 이야기를 하는 것이 아니라, 학술적으로 어떻게 인공지능이 게임에서 적용이 되는지를 분석한다. 구체적으로, 본 연구는 카드 게임 포커에서 적용되는 2개의 인공지능인 Libratus와 DeepStack을 예시로 탐구한다.
연구 문제 1: 포커에서 나타나는 인공지능은 바둑과 체스와 나타나는 인공 지능과 어떠한 차이점을 지니고 있는가?
가설 설정
Libratus와 DeepStack 모두 제한이 없는 No-Limit의 Texas Hold’em을 기준으로 연구가 진행 되었으나, 인공지능과 포커 플레이어가 1:1로 붙는 점을 절대로 반드시 지적 및 설명해야 한다. 1:1로 게임을 한다면 인공지능이 자연스레 상대방의 특징이나 패턴에 대해서 비교적 쉽게 분석할 수 있을 것이다.
그러나 본 연구에서는 근래의 모습만 탐구하였기 때문에, 인공지능의 “변화”의 모습에 대해서는 탐구하지 않았다. 업그레이드 버전의 차이점도 탐구하면 의미깊을 것이다.
제안 방법
Libratus는 게임 유저들이 얼마나 금전적 손해를 잃었는지에 대해 탐구 하였으나, DeepStack은 게임 당 얻는 금전이 빅 블라인드의 금액의 몇 배인지 계산하는 mbb/g(milli-big-blind per game) 를 통해 DeepStack이 자체적으로 얼마나 승리 하였는지를 조사 하였다. DeepStack은 44,852 게임 동안 492 mbb/g(Unadjusted Win Rate)를 얻어 표준편차보다 4배의 넘는 성과를 얻었으며, 통계적으로도 유의미하다[9].
본 연구는 이러한 이분법적인 사고에 대해서 이야기를 하는 것이 아니라, 학술적으로 어떻게 인공지능이 게임에서 적용이 되는지를 분석한다. 구체적으로, 본 연구는 카드 게임 포커에서 적용되는 2개의 인공지능인 Libratus와 DeepStack을 예시로 탐구한다. 2개의 인공 지능은 여러 포커 게임 종류 중 텍사스 홀덤(Texas Hold’em)을 대상으로 한 연구이다.
따라서 궁극적으로는 의사 결정 기준에 대한 구체적인 지침을 소프트웨어에 직접 코딩해 넣는 것이 아닌, 대량의 데이터와 알고리즘을 통해 컴퓨터 그 자체를 “학습”시켜 작업 수행 방법을 익히는 것을 목표로 하며, 딥 러닝은 인공신경망에서 발전한 형태의 인공 지능으로, 뇌의 뉴런과 유사한 정보 입출력 계층을 활용해 데이터를 학습한다.
연구 문제를 해결하기 위해서, 게임에서 내재되는 인공 지능과 관련된 논문, 뉴스 기사, 보고서를 참조 할 뿐만 아니라 텍사스 홀덤 강좌를 시청하고 직접 시연 하였다. 시연된 온라인 게임은 가상 머니로만 게임을 하는 PC 기반의 Governor of Poker 3 (2016)이다.
이론/모형
본적인 포커의 특징과 포커의 종류 중 하나인 텍사스 홀덤이 있으며, 이 게임 방법은 인공지능 Libratus와 DeepStack에서도 사용 되었다.
성능/효과
2016년 3월 하루에 한 차례 대국하는 방식으로 바둑 기사 이세돌(Sedol Lee)과 영국 및 미국에서 개발된 DeepMind 회사의 인공 지능 AlphaGo가 대전 하였다. 그 결과, 제1국(186 수 백 불계승), 제2국(211수 흑 불계승), 제3국(176 수 백 불계승), 제5국(280수 백 불계승)에서는 AlphaGo가 승리 하였고, 이세돌은 제 4국(180수 백 불계승)에만 이겨서 최종적으로 4:1로 AlphaGo가 인간을 뛰어 넘었다. 시간이 흘러 2017년 5월에도 중국의 바둑기사 커제(Ke Jie) 또한 AlphaG에게 0:3으로 패배를 하였는데, 이때의 Alpha애는 이세돌과 대전 했을때 보다 업그레이드 되어있는 상태인 것으로 알려졌다.
셋째, Libratus와 DeepStack의 한계점은 2개의 인공지능 모두 1:1 대전 방식인 Heads-Up의 대전 방식을 선택한 것이다. 텍사스 홀덤에서 1:1로 게임을 할 수 있으나 대회나 일반인들이 카지노에서 게임을 할 때 1:1로 하는 경우는 극히 드물다.
첫째, 포커에서 나타는 인공 지능과 바둑과 체스에서 나타나는 인공 지능의 가장 큰 차이점은 포커는 정보 비대칭적(Information Asymmetry) 및 비완벽 정보 게임(Imperfect Information Game) 이라 게임의 변수가 너무나 방대하다. 하지만 바둑과 체스는 정보 대칭적이라 어느 정도 미래의 수를 예상 할 수 있는데 이는 게임의 특성에 근거한다.
후속연구
Heads-Up No-Limit Texas Hold’em을 기준으로 따진 경우의 수는 포커가 10^160으로, 바둑의 10^170으로 비슷한 수준이지만[9], 정보의 비대칭성으로 인하여 태어나는 요소들 때문에 이를 분석하기는 더 어려우며, 더 많은 연구 개발을 필요로 한다.
둘째, 본 연구는 2가지 인공 지능만 다루었기 때문에 다양한 인공 지능을 탐구했다고는 하긴 어렵다. 현재 인공 지능이라고 명확하게 말할 수 있는 것은 Libratus와 DeepStack 뿐이다.
한 편, 본 연구는 여러 가지 한계점들도 지니고 있다. 첫째, 본 연구는 인공 지능 관련 논문, 기사, 보고서, 포커 게임 직접 시연, 포커 게임 강좌 시청 등을 통하여 입체적으로 분석을 하였으나, 수학과 통계를 기반으로 한 심화적인 분석은 하지 않았다. 수학이나 통계 분야에서의 전문가와 협력하여 보다 기술적인 측면으로 탐구하여 인공지능의 한계점들을 설명했으면 더욱 유의미 했을 것이다.
한 편, 포커 플레이어의 개념에 대해서 다시 한번 심사숙고 해볼 필요성을 보여주며, 가능하다면 보다 더 많은 게임을 시연해 보아야 할 것이다. 언급하였듯이 Libratus는 4명의 프로 포커 플레이어만 대전 하였고, DeepStack은 11명의 포커 플레이어만 대전을 하였다.
마지막으로, 본 연구는 2가지 언급된 인공지능을 개발한 사람들과 직접적인 교류가 없었다. 후속 연구에서는 Libratus와 DeepStack 개발자들과 소통을 하여 그들의 의견을 첨부하면 더욱 학술적으로 발전 할 수 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
국내에서 가장 보편적인 포커 게임의 종류는 무엇인가?
포커에는 다양한 종류의 게임이 존재하고 있고, 인기 있는 게임의 종류도 국가, 지역, 문화에 따라 다소 다르게 나타난다. 국내에서 가장 보편적인 포커 게임의 종류는 세븐 포커(Seven Cards Stud Poker Ordinary Game)이다[4]. 세븐 포커를 하는 방법은 다음과 같다:
텍사스 홀덤의 플레이 방식에는 어떤 것들이 있는가?
텍사스 홀덤을 플레이 간략한 방식은 다음과 같다. 일반적으로 1:1 보다는 여러 명이서 하는데, 여기서 언제나 나갈 수 있는 cashgame과 최후의 1인을 가루는 Sit N GO가 존재한다. 게임 내부적인 규칙으로는 일단 Single Blind와 Big Blind를 통해 플레이어들은 일부 금액을 강제적으로 베팅을 하며, 이것은 매회 순서를 통해 바뀌게 된다.
포커는 무엇인가?
포커는 2부터 10의 숫자카드, J,Q,K,A의 알파벳 카드가 4가지 무늬(스페이드, 다이아몬드, 하트, 클로버)로 구성되어 있는 52가지의 카드를 사용해서 하는 카드 게임이다.
참고문헌 (14)
Kunwoo Kim, "Do you know difference between machine learning and deep learning in AI?", IT Biz, 2016.
Gil Press, "Artificial intelligence defined as a new research discipline: This Week in tech history", Forbes, 2016.
Arthur Crowson, "From Loki to Libratus: A look at 20+ years of Poker AI development", PokerListings, 2017.
Namkyu Kim, "What is the reason why father of Kakao game challenges to virtual reality?", GameDongA, 2016.
SeeNJoy, "How to play Seven Poker", Poker Guide.
Al Alvarez, "Poker: Bets, bluffs, and bad beats", Chronicle Books, 2003.
Bong Cha, "Texas Hold'em is not same as Seven Poker", Online-poker-inside, 2008.
James McManus, "How no-limit Hold'em conquered Poker", Bloomberg View, 2014.
Matej Moravcik et al., "DeepStack: Expert-Level artificial intelligence in heads-up no-limit Poker", Science, Vol. 356, No. 6337, pp. 508-513, 2017.
Phil Gordon, "Phil Gordon's little green book: Lessons and teachings in no limit Texas Hold'em", Simon Spotlight Entertainment,2005.
Alton Hardin, "Essential poker math, expanded Edition: Fundamental no limit Hold'em mathematics you need to know", MicroGrinder Poker School, 2016.
Byung-Doo Lee & Jong-Wook Park, "Applying principal component analysis to Go openings", Journal of Korea Game Society, Vol. 13, No. 2. pp. 59-70, 2013.
Pyeong Oh, Ji-Min Kim, Sun-Jeong Kim, & Seokmin Hong, "Generation of AI agent in imperfect information card games using MCTS algorithm: Focused on Hearthstone", Journal of Korea Game Society, Vol. 16, No.6. pp. 79-90, 2016.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.