[논문]사람과 강화학습 인공지능의 게임플레이 유사도 측정

허민구; 박창훈

doi:10.7583/jkgs.2020.20.6.63

사람과 강화학습 인공지능의 게임플레이 유사도 측정
Measuring gameplay similarity between human and reinforcement learning artificial intelligence 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.20 no.6, 2020년, pp.63 - 74

허민구 (호서대학교 게임학과) , 박창훈 (호서대학교 게임애니메이션융합학부)

초록
AI-Helper

최근, 사람 대신 인공지능 에이전트를 이용하여 게임 테스트를 자동화하는 연구가 관심을 모으고 있다. 본 논문은 게임 밸런싱 자동화를 위한 선행 연구로써 사람과 인공지능으로부터 플레이 데이터를 수집하고 이들의 유사도를 분석하고자 한다. 이때, 사람과 유사한 플레이를 할 수 있는 인공지능의 생성을 위해 학습 단계에서 제약사항을 추가하였다. 플레이 데이터는 14명의 사람과 60개의 인공지능을 대상으로 플리피버드 게임을 각각 10회 실시하여 획득하였다. 수집한 데이터는 코사인 유사도 방법으로 이동 궤적, 액션 위치, 죽은 위치를 비교 분석하였다. 분석 결과 사람과의 유사도가 0.9 이상인 인공지능 에이전트를 찾을 수 있었다.

Abstract ▼ AI-Helper

Recently, research on automating game tests using artificial intelligence agents instead of humans is attracting attention. This paper aims to collect play data from human and artificial intelligence and analyze their similarity as a preliminary study for game balancing automation. At this time, constraints were added at the learning stage in order to create artificial intelligence that can play similar to humans. Play datas obtained 14 people and 60 artificial intelligence by playing Flippy bird games 10 times each. The collected datas compared and analyzed for movement trajectory, action position, and dead position using the cosine similarity method. As a result of the analysis, an artificial intelligence agent with a similarity of 0.9 or more with humans was found.

주제어

표/그림 (11)

그림 [Fig. 1] Developed Flippy Bird
그림 [Fig. 3] Visual observation Rendering image
그림 [Fig. 4] Environment/Cumulative Reward in Tensor board
표 [Table 1] Play Database
표 [Table 2] AI Playdatas
그림 [Fig. 5] Data analysis heat maps of Human and AI
그림 [Fig. 6] Data analysis heat maps of 6th human and AI learned 1,180,000 steps
그림 [Fig. 7] Data analysis heat maps of Human and Human
그림 [Fig. 8] Data analysis game maps of Human and Human
표 [Table 3] Create human group
표 [Table 4] Human group and AI player total data analysis.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 게임 밸런스 테스트 자동화를 위한선행 연구로써 사람과 인공지능으로부터 플레이 데이터를 수집하고 이들의 유사도를 분석하고자 한다. 이때, 사람과 유사한 플레이가 가능한 인공지능 생성을 위해 기존의 인공지능 연구에서 제안된 제약사항을 추가하여 인공지능을 생성한다.
본 논문은 사람과 유사한 게임플레이를 하는 인공지능 생성을 위해 제약사항을 추가해 강화학습 인공지능을 생성하고, 이를 코사인 유사도로 사람과 게임플레이를 비교 분석하여 사람과 유사한 게임플레이를 하는 인공지능 에이전트를 찾아냈다. 먼저 플리피버드 게임에 제약사항인 카메라 시야 제한, 액션 간 지연, 아무것도 하지 않는 NULL 액션을 추가해 강화학습 인공지능을 생성했다.
플레이어는 중력으로 낙하하는 새가 기둥 사이로 이동할 수 있도록 타이밍에 맞게 점프동작을 해야 한다. 본래 플리피버드는 무한한 레벨을 가지고 있지만, 본 연구를 위해 클리어가 가능한 최종 목표 지점을 만들었다.

가설 설정

첫째, 반응속도의 제약을 받지 않는다. 둘째, 행동의 정지가 없다. 셋째, 위험도가 높은 전략은 하지 않는다.
Ahmed Khalifa는 인공지능이 사람보다 뛰어난 이유를 세 가지로 설명했다. 첫째, 반응속도의 제약을 받지 않는다. 둘째, 행동의 정지가 없다.
그런데 비디오게임에서 제약사항 없이 인공지능을제작할 경우 초인적인 플레이를 하므로, 밸런스 테스트에서 인공지능을 적용할 수 없었다[8]. 초인적인 플레이 데이터를 밸런스에 적용하면 사람은 게임을 클리어 할 수 없을 것이다. 그렇기에 밸런스테스트 자동화를 위해서는 사람과 유사한 플레이를하는 인공지능에 관한 연구가 필요하다.

제안 방법

10개의 에이전트를 병렬로 2,000, 000St ep까지 학습을 진행하면서 10, 000Step 간격으로모델을 생성하여 총 200개의 인공지능 모델을 생성했다.
Tensor board를 보고 Overfitting이 올 수 있는학습량을 확인하여, 최대 보상을 얻은 학습량인 1, 200, 000Step을 데이터를 수집할 최대학습량으로 선택했다. 그리고 20, 000Step 간격으로 총 200개의모델 중 60개의 모델을 선택했다.
계산한다. 계산된 데이터를 히트맵 방식과 게임지도 방식으로 시각화하여 분석된 데이터를 확인한다.
카메라 시야를 사람이 플레이하는 시야 범위와 같도록 설정했다. 관측 정보는 인공지능 제약사항인 시야 제한을 위해서 시각적 관찰을 이용하여 카메라의 정보를 준다. 시각적 관찰은 카메라에 렌더링 된 이미지 정보를 Convolutional Neural Net work(CNN) 알고리즘을 이용하여 이미지의 특징을 분류한다.
사람은 때때로 생각을 위해 행동을 정지하는데, 인공지능은 행동의 정지가없어 사람보다 더 효율적으로 움직인다. 그러므로 아무것도 하지 않는 NULL액션을 추가하여 인공지능이 아무것도 하지 않는 액션을 할 수 있도록 하였다[10]. 따라서 본 논문도 아무것도 하지 않는 N ULL액션을 추가했다.
셋째, 위험도가 높은 전략은 하지 않는다. 그리고 문제에 대한 해결법을 제시했다. 첫째, 액션 간 지연 추가.
이를 코사인 유사도로 프레임별 위치, 액션 위치, 죽은 위치, 종합 네 가지 방법으로 측정했다. 그리고 유사도를 히트맵과 게임지도 시각화를 통해 측정이 맞는지 확인했다. 또한, 정확한 분석을 위해서 사람과 인공지능뿐만 아니라 사람과 사람, 사람과 사람 분석에서 유사한 집단을 사람집단을 찾아 사람집단과 인공지능을 분석하였다.
게임봇을 찾는 방법은 다양하게 제시되었지만, 최근에는 데이터를 이용한 방법으로 게임 봇을 찾고 있다. 데이터 분석 방법으로 게임 봇의 플레이 데이터와 일반 유저의 플레이 데이터를 벡터화하여 코사인 유사도 비교를 통해서 게임 봇을 가려내는방법을 제안됐고, 이를 리니지에서 사용 중에 있다. [17].
그래서 사람의 반응속도를 고려하여 액션 간 지연을 추가했다[8, 10]. 따 2) 학습 시 Weight와 Bias를 업데이트하는 단계라서 본 논문도 액션 간 5Step의 지연을 추가했다.
그러므로 아무것도 하지 않는 NULL액션을 추가하여 인공지능이 아무것도 하지 않는 액션을 할 수 있도록 하였다[10]. 따라서 본 논문도 아무것도 하지 않는 N ULL액션을 추가했다. 또한, 플리피버드는 NULL 액션의 활용이 중요한 게임으로 점프액션을 계속하는 것이 아닌, 특정한 시점에서는 아무것도 하지않고 새를 낙하시키는 것도 필요하다.
하나의 사람과 인공지능이 유사하다고 모든 사람과 인공지능이 유사하다고 볼 수 없다. 따라서 사람과 사람과의 유사도분석을 통해 각 사람과의 유사도를 계산했다.
또한, 대전 형태의 게임은 사실상 무한한 학습이 가능하지만, 스테이지를 진행하는 레벨형태의 게임은 한정된 레벨에서 학습하기 때문에 Overfitting1) 문제가 발생할 수 있다. 따라서 제안된 제약사항에 특정 학습량별로 학습된 모델을 저장하도록 인공지능을 구성한다.
그리고 유사도를 히트맵과 게임지도 시각화를 통해 측정이 맞는지 확인했다. 또한, 정확한 분석을 위해서 사람과 인공지능뿐만 아니라 사람과 사람, 사람과 사람 분석에서 유사한 집단을 사람집단을 찾아 사람집단과 인공지능을 분석하였다. 분석결과 사람과의 유사도가 0.
먼저 플리피버드 게임에 제약사항인 카메라 시야 제한, 액션 간 지연, 아무것도 하지 않는 NULL 액션을 추가해 강화학습 인공지능을 생성했다. 온라인을 통해 14명의 사람의 플레이데이터와 학습량별로 생성한 60개의 강화학습 인공지능 모델로 게임플레이 데이터를 수집했다.
본 논문에서 사람과 유사한 플레이를 할 수 있는 인공지능을 생성하기 위하여 시야 제한, 액션간 지연, NULL 액션의 제약사항을 반영하였다. 카메라 시야를 사람이 플레이하는 시야 범위와 같도록 설정했다.
본 논문은 카메라 시야 제한, 액션 간 지연 추가, 아무것도 하지 않는 NULL액션 추가의 제약사항과 특정 학습량별로 학습된 모델을 저장하도록 인공지능을 구성한다. 학습량별로 모델을 저장하는 이유는 일반적으로 강화학습 인공지능은 학습이 진행될수록 성능이 올라간다.
본 실험을 위하여 유니티 게임엔진을 이용하여 ‘플리피버드’ 게임을 제작한다. ‘플리피버드’는 횡 스크롤 액션게임으로 새를 조종하여 기등을 피해 최대한 오래 살아남아야 하는 게임이다.
사람과 사람의 유사도와 사람과 인공지능 유사도의 연관성을 확인하기 위해 유사도가 높은 사람끼리 집단을 만들었다. 사람끼리 유사도가 0.
사람과 유사도가 높은 인공지능을 생성하기 위하여 에이전트의 학습량에 따라 서로 다른 모델을 생성하였다. 10개의 에이전트를 병렬로 2,000, 000St ep까지 학습을 진행하면서 10, 000Step 간격으로모델을 생성하여 총 200개의 인공지능 모델을 생성했다.
사람과 인공지능과의 분석과 사람과 사람 분석, 그리고 유사한 플레이의 사람들을 집단으로 만들어, 사람집단과 인공지능 분석으로 사람과 인공지능이 유사한 플레이를 하는지 3단계로 분석한다.
사람과 인공지능의 데이터 수집을 위해 게임을 제작한다. 제작된 게임은 데이터를 수집할 하나의 레벨을 제작한다.
방법이 제시됐다. 사람의 게임플레이와 유사한 인공지능을 만들려는 시도는 이전부터 있었으며, 이렇게 만들어진 인공지능이 사람과 유사한 플레이를 했는지 평가는 튜링테스트로 평가했다 [13, 14]. 튜링테스트는 1950년 엘런튜링이 개발한방법으로 평가자가 기계와 사람을 테스트해 사람과기계를 구분할 수 있는지 확인하는 방법이다[15].
확인했다. 사람집단에 속한 사람들의 인공지능의 플레이어별 종합 유사도의 평균을 계산하여, 사람집단과 유사한 인공지능 학습량을 확인했다.
새가 점프하는 점프액션과 아무것도 하지 않는 NULL 액션을 추가했다. 사람은 때때로 생각을 위해 행동을 정지하는데, 인공지능은 행동의 정지가없어 사람보다 더 효율적으로 움직인다.
이때, 사람과 유사한 플레이가 가능한 인공지능 생성을 위해 기존의 인공지능 연구에서 제안된 제약사항을 추가하여 인공지능을 생성한다. 생성된 강화학습 인공지능과 실제 사람의 게임플레이를 코사인 유사도를 이용한 평가방법으로, 인공지능과 사람의 게임플레이 유사도를 비교 분석한다.
수집된 게임데이터는 프레임 별 위치, 액션 위치, 죽은 위치, 종합 네 가지 방법으로 코사인 유사도를 분석한다.
수집된 데이터는 신뢰성을 위해 프레임별 위치, 액션 위치, 죽은 위치, 세 가지 방법의 유사도 평균을 낸 종합 네 가지 방법으로 유사도를 분석한다. 사람과 인공지능과의 분석과 사람과 사람 분석, 그리고 유사한 플레이의 사람들을 집단으로 만들어, 사람집단과 인공지능 분석으로 사람과 인공지능이 유사한 플레이를 하는지 3단계로 분석한다.
이러한 발전으로 복잡한 게임인 스타크래프트2와 도타2를 이용하여 인공지능이 사람과 유사한 게임플레이를 하도록 만들었다[8, 12]. 스타크래프트2를 이용한 알파스타는 사람을 초월하는 문제를 해결하기 위해 제한사항으로 분당 명령 횟수의 제한, 지연 추가, 카메라 시야 제한을 제안했다.
이때, 사람과 유사한 플레이가 가능한 인공지능 생성을 위해 기존의 인공지능 연구에서 제안된 제약사항을 추가하여 인공지능을 생성한다. 생성된 강화학습 인공지능과 실제 사람의 게임플레이를 코사인 유사도를 이용한 평가방법으로, 인공지능과 사람의 게임플레이 유사도를 비교 분석한다.
수집하였다. 이때, 인공지능과 사람의 비교 실험을 위하여 플리피버드 게임의 기둥 위치를 고정한 하나의 레벨을 제작하여 실시하였다.
해결법을 제시하지 못한 세 번째 문제는, Random Network Distillation(RND) 알고리즘과 같은 강화학습 알고리즘의 발전으로 해결되었다[11]. 이러한 발전으로 복잡한 게임인 스타크래프트2와 도타2를 이용하여 인공지능이 사람과 유사한 게임플레이를 하도록 만들었다[8, 12]. 스타크래프트2를 이용한 알파스타는 사람을 초월하는 문제를 해결하기 위해 제한사항으로 분당 명령 횟수의 제한, 지연 추가, 카메라 시야 제한을 제안했다.
온라인을 통해 14명의 사람의 플레이데이터와 학습량별로 생성한 60개의 강화학습 인공지능 모델로 게임플레이 데이터를 수집했다. 이를 코사인 유사도로 프레임별 위치, 액션 위치, 죽은 위치, 종합 네 가지 방법으로 측정했다. 그리고 유사도를 히트맵과 게임지도 시각화를 통해 측정이 맞는지 확인했다.
유사성이 강한 3개의 집단은 인공지능과의 히트맵도 분포가 유사했다. 이후 게임지도 방식으로 시각화했다. 프레임별 위치, 액션 위치, 죽은 위치 세 가지의 시각화하여, 분석결과 게임플레이가 유사하다고 할 수 있었다.
비교하는 플레이어의 색을 다르게 표시하고, 투명도를 주어 위치가 겹치면 색이 바뀌고 표시가 진해지는 것으로 플레이의 유사함을 확인한다. 프레임별 위치, 액션 위치, 죽은 위치 세 가지 방법을 통해서 확인한다.
프레임별 위치, 액션 위치, 죽은 위치를 게임 지도 시각화하여 확인했다.
프레임별 위치, 액션 위치, 죽은 위치를 게임 지도 시각화하여 확인했다.

대상 데이터

14명 사람의 10개의 게임을 자신의 게임을 제외한 130회의 게임을 비교했다. 하나의 사람과 인공지능이 유사하다고 모든 사람과 인공지능이 유사하다고 볼 수 없다.
14명의 사람에게서 수집한 140개의 게임 데이터와 60개의 인공지능에서 수집한 600개의 게임 데이터, 총 84, 000개의 게임 데이터를 비교했다.
강화학습을 완료한 60개의 인공지능 모델과 14 명의 사람을 대상으로 실험을 하여 플레이 데이터를 수집하였다. 이때, 인공지능과 사람의 비교 실험을 위하여 플리피버드 게임의 기둥 위치를 고정한 하나의 레벨을 제작하여 실시하였다.
그리고 20, 000Step 간격으로 총 200개의모델 중 60개의 모델을 선택했다.
제작된 게임은 데이터를 수집할 하나의 레벨을 제작한다. 사람과 특정 학습량의 인공지능당 각각 10회 플레이한 데이터를 수집한다.
사람의 플레이 데이터는 14명의 사람을 대상으로 각 10회씩 총 140회를 실시하여 95, 473개의 행데이터를 수집했다. 실험은 2020년 10월 14일부터 18일까지 17명이 참여했다.
수집했다. 실험은 2020년 10월 14일부터 18일까지 17명이 참여했다. 이 중 데이터가 문제가있는 3명을 제외하고 14명으로 분석을 진행하였다.
먼저 플리피버드 게임에 제약사항인 카메라 시야 제한, 액션 간 지연, 아무것도 하지 않는 NULL 액션을 추가해 강화학습 인공지능을 생성했다. 온라인을 통해 14명의 사람의 플레이데이터와 학습량별로 생성한 60개의 강화학습 인공지능 모델로 게임플레이 데이터를 수집했다. 이를 코사인 유사도로 프레임별 위치, 액션 위치, 죽은 위치, 종합 네 가지 방법으로 측정했다.
실험은 2020년 10월 14일부터 18일까지 17명이 참여했다. 이 중 데이터가 문제가있는 3명을 제외하고 14명으로 분석을 진행하였다. 참여자의 성별로는 남자 13명(92.
인공지능의 플레이 데이터는 60개의 모델을 대상으로 각 10회씩 총 600회를 실시하여 546, 368개의 행데이터를 수집했다.

이론/모형

관측 정보는 인공지능 제약사항인 시야 제한을 위해서 시각적 관찰을 이용하여 카메라의 정보를 준다. 시각적 관찰은 카메라에 렌더링 된 이미지 정보를 Convolutional Neural Net work(CNN) 알고리즘을 이용하여 이미지의 특징을 분류한다. CNN알고리즘은 이미지를 분석하고패턴을 찾는데 유용한 알고리즘이다[21].
이 툴킷은 강화학습, 모방학습, 신경진화 등의 최신 인공지능 알고리즘을 이용하여 지능형 에이전트를 교육할 수 있는 환경을 제공한다[20]. 우리는 이 환경에서 Proximal Policy Optimization(PPO) 알고리즘을 이용하여 10개의 에이전트를 병렬로 학습시켰다.
인공지능을 개발하기 위해 유니티에서 제공하는 툴킷인 기계학습 에이전트를 사용했다. 이 툴킷은 강화학습, 모방학습, 신경진화 등의 최신 인공지능 알고리즘을 이용하여 지능형 에이전트를 교육할 수 있는 환경을 제공한다[20].

성능/효과

종합 유사도가 높은 2번 사람과 6번 사람의 게임플레이의 히트맵의 네 가지 분석 모두 높은 유사도를 보였다. 데이터 확인 결과 프레임별 위치 0.867, 액션 위치 0.879, 죽음 위치 0.999, 종합 0.915로 높은 유사도를 확인했다.
종합 유사도가 높은 6번 사람과 1, 18 0, 000Step 학습한 인공지능 히트맵의 네 가지 분석 모두 높은 유사도를 보였다. 데이터 확인결과 프레임별 위치 0.910, 액션 위치 0.903, 죽음 위치 0.995, 종합 0.936로 높은 유사도를 확인했다.
확인결과, 1, 12 0, 000–1, 140, 000Step 학습량의 인공지능은 모든게임에서 죽지 않아 유사도가 0이었다. 또한, 특이집단의 죽은 횟수가 평균 2.41회로 사람 평균 6.8 회 인공지능 평균 6.6회보다 죽은 횟수가 낮으므로 비교군이 적었으며, 집단의 유사도 평균이 –0.03 으로 적은 비교군 내에서 일반적이지 않은 위치에서 죽은 것으로 추정된다.
또한, 정확한 분석을 위해서 사람과 인공지능뿐만 아니라 사람과 사람, 사람과 사람 분석에서 유사한 집단을 사람집단을 찾아 사람집단과 인공지능을 분석하였다. 분석결과 사람과의 유사도가 0.9 이상인 인공지능 에이전트를 찾을 수 있었다.
사람과 인공지능의 게임플레이 비교평가 방법으로 코사인 유사도 방법을 사용하여, 튜링테스트보다 나은 결과를 보여줬다. 적은 수의 인원으로 사람과 인공지능이 유사한 정도를 확인할 수 있었으며, 다각도 분석을 통해 실제 사람의 플레이와 어떠한 플레이가 유사한지 분석할 수 있었다.
둘째, 행동의 정지가 없다. 셋째, 위험도가 높은 전략은 하지 않는다. 그리고 문제에 대한 해결법을 제시했다.
인공지능과 비교에서 일반적이지 않은 분포의 사람 9번, 10번, 14번 사람은 다른 사람과의 비교에도 같은 분포를 보여 이들이 평균적인 사람들과다른 플레이를 한다는 것을 알 수 있었다.
나은 결과를 보여줬다. 적은 수의 인원으로 사람과 인공지능이 유사한 정도를 확인할 수 있었으며, 다각도 분석을 통해 실제 사람의 플레이와 어떠한 플레이가 유사한지 분석할 수 있었다.
종합 유사도가 높은 1번 집단과 1, 100, 000Step 학습한 인공지능의 데이터를 히트맵과 게임지도 시각화 분석하여, 확인결과 게임플레이가 유사하다고할 수 있었다. 유사도를 중심으로 사람의 표시 순서를 바꿔서 히트맵을 재확인했다.
히트맵으로 유사도가 높은 사람들을 확인했다. 종합 유사도가 높은 2번 사람과 6번 사람의 게임플레이의 히트맵의 네 가지 분석 모두 높은 유사도를 보였다. 데이터 확인 결과 프레임별 위치 0.
종합 유사도가 높은 2번 사람과 6번 사람의 데이터를 게임지도 시각화 분석하여, 확인결과 게임플레이가 유사하다고 할 수 있었다. 프레임별 위치, 액션 위치, 죽은 위치를 게임지도 시각화하여 확인했다.
히트맵으로 유사도가 높은 사람과 인공지능을 확인했다. 종합 유사도가 높은 6번 사람과 1, 18 0, 000Step 학습한 인공지능 히트맵의 네 가지 분석 모두 높은 유사도를 보였다. 데이터 확인결과 프레임별 위치 0.
종합 유사도가 높은 6번 사람과 1, 180, 000Step 학습한 인공지능의 데이터를 게임지도 시각화 분석하여, 확인결과 게임플레이가 유사하다고 할 수 있었다. 프레임별 위치, 액션 위치, 죽은 위치를 게임 지도 시각화하여 확인했다.
또한, 일부 학습량의 경우 거의모든 사람과 유사도가 낮게 나온다. 확인결과, 1, 12 0, 000–1, 140, 000Step 학습량의 인공지능은 모든게임에서 죽지 않아 유사도가 0이었다. 또한, 특이집단의 죽은 횟수가 평균 2.

후속연구

가능하다. 그러나 플리피버드 게임은 단순한 게임으로 복잡한 게임과 다른 장르의 게임에서도 유사도 측정 방법을 적용할 수 있는지 추가적인 연구가 필요하다.

참고문헌 (22)

Hyung-ryul Son, "A game balance story that makes a fun game", pp31-45, 2014
Luis Levy and Jeannie Novak, "Game development essentials: Game QA & testing. Cengage Learning", pp58-59, 2009.
A. Drachen and A. Canossa. "Towards game play analysis via gameplay metrics", Proceedings of the 13th international MindTrek conference: Everyday life in the ubiquitous era, pp202-209, 2009.
A.DRACHEN et al. "Game analytics: Maximizing the value of player data", Springer, London, pp205-253, 2013.
Huizinga et al., "Automated defect prevention: best practices in software management". Wiley-IEEE Computer Society Press, pp74, 2007.
Unreal Automation System Overview, https://docs.unrealengine.com/ko/Programming/Automation/index.html.
Suk-ki Lee and Ho-Young Kwak., "Game Test Automation with Reinforce Learning", Proceedings of the Korean Society of Computer Information Conference, Vol 26, No.1, pp25-28, 2018.
Oriol Vinyals et al., "Grandmaster level in StarCraft II using multi-agent reinforcement learning". Nature. Vol 575. pp350-572, 2019.

상세보기
Julian Togelius and G. N. Yannakakis., "General general game AI", IEEE Conference on Computational Intelligence and Games (CIG), pp20-23, 2016.
Ahmed Khalifa et al., "Modifying MCTS for Human-like General Video Game Playing". IJCAI International Joint Conference on Artificial Intelligence. pp2514-2520, 2016
Y. Burda et al., "Exploration by Random Network Distillation,", in Int. Conf. Learning Representations, New Orleans, LA, USA, pp1-17, 2019.
BERNER, Christopher, et al. "Dota 2 with large scale deep reinforcement learning". arXiv preprint Vol 1912 No.06680, pp1-66, 2019.
P. Hingston, "A new design for a turing test for bots", Computational Intelligence and Games (CIG) 2010 IEEE Symposium on, pp345-350, 2010.
N. Shaker, J. Togelius, G. N. Yannakakis, L. Poovanna, V. S. Ethiraj, S. J. Johansson, et al., "The turing test track of the 2012 mario ai championship: entries and evaluation", Computational Intelligence in Games (CIG) 2013 IEEE Conference on, pp1-8, 2013.
Alan Turing, "Turing 1950", pp433, 1950.
Jiyoung Woo and Huy Kang Kim, "Trends of research on fraud detection in online games", Korea Institute Of Information Security And Cryptology, Vol 27, No. 4, pp14-21, 2017.
Eun-Jo Lee et al, "A Study on Game Bot Detection Using Self-Similarity in MMORPGs", Journal of the Korea Institute of Information Security & Cryptology, Vol 26, No.1, pp93-107, 2016.

원문보기 상세보기
Chang-wook Jeon and Taekyun Choi and Joonghyun Cho, "Natural language processing starting with TensorFlow and machine learning", pp122-123, 2019.
David Silver et al., "Mastering the game of go without human knowledge", Vol 550, No. 7676, Nature, pp354-359, 2017

상세보기
Unity ML-Agents Toolkit, https://github.com/Unity-Technologies/ml-agents, Unity-Technologies.
Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. pp1097-1105, 2012.
Unity ML-Agents, https://github.com/UnityTechnologies/ml-agents/blob/master/docs/Learning-Environment-Design-Agents.md, Unity-Technologies.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증