[논문]강화학습과 감정모델 기반의 지능적인 가상 캐릭터의 구현

우종하; 박정은; 오경환

doi:10.5391/jkiis.2006.16.3.259

강화학습과 감정모델 기반의 지능적인 가상 캐릭터의 구현
Implementation of Intelligent Virtual Character Based on Reinforcement Learning and Emotion Model 원문보기

퍼지 및 지능시스템학회 논문지 = Journal of fuzzy logic and intelligent systems, v.16 no.3, 2006년, pp.259 - 265

우종하 (LG전자 MC사업본부 단말연구소) , 박정은 (서강대학교 컴퓨터학과) , 오경환 (서강대학교 컴퓨터학과)

초록
AI-Helper

학습과 감정은 지능형 시스템을 구현하는데 있어 가장 중요한 요소이다. 본 논문에서는 강화학습을 이용하여 사용자와 상호작용을 하면서 학습을 수행하고 내부적인 감정모델을 가지고 있는 지능적인 가상 캐릭터를 구현하였다. 가상 캐릭터는 여러 가지 사물들로 이루어진 3D의 가상 환경 내에서 내부상태에 의해 자율적으로 동작하며, 또한 사용자는 가상 캐릭터에게 반복적인 명령을 통해 원하는 행동을 학습시킬 수 있다. 이러한 명령은 인공신경망을 사용하여 마우스의 제스처를 인식하여 수행할 수 있고 감정의 표현을 위해 Emotion-Mood-Personality 모델을 새로 제안하였다. 그리고 실험을 통해 사용자와 상호작용을 통한 감정의 변화를 살펴보았고 가상 캐릭터의 훈련에 따른 학습이 올바르게 수행되는 것을 확인하였다.

Abstract ▼ AI-Helper

Learning and emotions are very important parts to implement intelligent robots. In this paper, we implement intelligent virtual character based on reinforcement learning which interacts with user and have internal emotion model. Virtual character acts autonomously in 3D virtual environment by internal state. And user can learn virtual character specific behaviors by repeated directions. Mouse gesture is used to perceive such directions based on artificial neural network. Emotion-Mood-Personality model is proposed to express emotions. And we examine the change of emotion and learning behaviors when virtual character interact with user.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

Q학습을 이용한 가상 캐릭터의 학습이 올바르게 수행되는지 살펴보았다. 그림 12는 특정 위치로 이동 훈련의 학습 결과이다.
본 논문에서는 강화학습을 이용하여 사용자와 상호작용을 하면서 학습을 수행하고 내부적인 감정모델을 가지고 있는 지능적인 가상 캐릭터를 구현하였다. 가상 캐릭터는 여러 가지 사물들로 이루어진 3D의 가상 환경 내에서 내부상태에 의해 자율적으로 동작하며, 또한 사용자는 가상 캐릭터에게 반복적인 명령을 통해 원하는 행동을 학습시킬 수 있다.
그리고 내부적인 행동과 사용자와의 상호작용에 의해 가상 캐릭터의 감정이 변하며, 이러한 감정은 학습이나 행동에 영향을 준다. 이와 같이 자율적으로 행동하고 사용자가 원하는 대로 행동을 수행하도록 훈련을 시키며 실제 애완동물과 같이 친근함을 느낄 수 있는 가상 캐릭터를 구현하는데 목적을 두고 있다.

가설 설정

그래프이다.'Emotion의 입력에 따라 Mood가 변하며 시간이 지 남에 따라 Mood가 조금씩 감소한다. 그리고 Mood에 의해 NormP 역시 영향을 받지만 그 변화의 정도는 Mood보다 훨씬 적음을 알 수 있다.

제안 방법

6G, 메모리 1G의 IBM-PC를 사용하였다. Visual C++ 환경을 기반으로 DirectX 9.0 라이브러리를 이용하여 3D를 구현하였다. 가상캐릭터는 3D 환경 내에서 자율적으로 동작하며 현재 감정을 표현한다.
수치적이고 간단한 감정모델을 제안하였다.[9][10] 본 논문에서는 기존의 모델에 Personality라는 요소를 추가하고 Mood 요소에 감소인자(discount factor)를 도입하여 발전 시켜 Emotion-Mood-Personality 감정모델을 설계하였다.
인공신경망의 입력은 12개의 벡터를 사용하므로 모두 24이고 은닉층의 뉴런은 모두 6개를 사용하였다. 그리고 출력층의 뉴런은 5개를 사용하여 최대 5개의 제스처를 분류할 수 있도록 하였다. 분류할 수 있는 제스처의 개수가 많아지면 학습시간이 너무 오래 걸리기 때문에 제한을 두었다.
두 번째로 가상 캐릭터에게 특정 위치로 이동하도록 훈련을 시켜보았다. 먼저 새로운 제스처 '□'를 입력한 다음 이동 명령을 사용하여 원하는 위치로 움직이게 하였다.
처음에는 허용 가능한 행동의 수가 최대치를 넘도록 목표에 도달하지 못하지만 에피소드가 약 20000회 정도 반복되면 최소의 행동으로 수렴함을 볼 수 있다. 또한 중간에 목표의 위치를 다르게 하여 학습을 하는 경우에도 시간이 지남에 따라 다시 새로운 상황에 맞게 학습이 이루어졌다.
새로운 제스처는 '△‘ 모양으로 결정하였다. 먼저 가상 캐릭터를 공이 위치한 곳으로 이동시켜 공을 집도록 하였다. 중간에 공을 다시 놓는 경우가 있으므로 공을 집는 행동을 별도의 명령으로 학습을 시켰다.
본 논문에서는 여러 학습 알고리즘 중 하나인 강화학습을 이용하여 사용자와 상호작용을 하면서 학습을 수행하고 내부적인 감정모델을 가지고 있는 지능적인 가상 캐릭터를 구현하였다. 가상 캐릭터는 여러가지 사물들로 이루어진 3D의 가상 환경 내에서 내부상태에 의해 자율적으로 동작하며, 또한 사용자는 가상 캐릭터에게 반복적인 명령을 통해 원하는 행동을 학습시킬 수 있다.
상태는 현재 환경 내에서 가상 캐릭터가 가질 수 있는 모든 경우의 수를 뜻한다. 여기서는 사용자의 명령 종류, 가상 캐릭터의 위치와 현재 동작상태, 여러가지 사물들의 위치 등을 사용하였다. 행동은 가상 캐릭터가 현재 상태에서 수행할 수 있는 모든 움직임들을 나타낸다.
가상 캐릭터는 여러 가지 사물들로 이루어진 3D의 가상 환경 내에서 내부상태에 의해 자율적으로 동작하며, 또한 사용자는 가상 캐릭터에게 반복적인 명령을 통해 원하는 행동을 학습시킬 수 있다. 이러한 명령은 인공신경망을 사용하여 마우스의 제스처를 인식하여 수행할 수 있고 감정의 표현을 위해 Emotion-Mood-Personality 모델을 새로 제안하였다. 그리고 실험을 통해 사용자와 상호작용을 통한 감정의 변화를 살펴보았고 가상 캐릭터의 훈련에 따른 학습이 올바르게 수행되는 것을 확인하였다.

이론/모형

Q학습은 상태-행동 쌍에 대한 기대 응답(expected response)의 평가함수를 구하는데 사용된다. 그리고 상태-행동에 대한 평가함수 값을 구하는 방법은 동적 프로그래밍(dynamic programming) 방식을 사용한다.
2.2 마우스 제스처의 학습 및 인식
인공신경망을 구성하기 위하여 은닉층이 하나인 2층 퍼셉트론을 사용하였다. 인공신경망의 입력은 12개의 벡터를 사용하므로 모두 24이고 은닉층의 뉴런은 모두 6개를 사용하였다.

성능/효과

이러한 명령은 인공신경망을 사용하여 마우스의 제스처를 인식하여 수행할 수 있고 감정의 표현을 위해 Emotion-Mood-Personality 모델을 새로 제안하였다. 그리고 실험을 통해 사용자와 상호작용을 통한 감정의 변화를 살펴보았고 가상 캐릭터의 훈련에 따른 학습이 올바르게 수행되는 것을 확인하였다.
그리고 Mood에 의해 NormP 역시 영향을 받지만 그 변화의 정도는 Mood보다 훨씬 적음을 알 수 있다. 또한 특정 감정의 Mood가 높다 하더라도 Norm須가 낮다면 최종적인 Feeling의 값이 달라져 성격이 감정에 영향을 주는 것을 확인할 수 있었다.

후속연구

향후 연구과제로는 기존 가상 캐릭터의 행동들과 가상 환경에서의 사물들의 종류를 좀 더 다양화 시키고 보다 복잡한 행동 양식을 수행할 수 있도록 확장할 필요가 있다. 또한 학습을 위한 상태들을 결정함에 있어 많은 상황들을 더 일반적이며 적은 상태를 유지할 수 있도록 구현해야 한다.

참고문헌 (13)

Kenji Suzuki, 'Intelligent Agent System for Human- Robot Interaction through Artificial Emotion', IEEE International Conference. Vol 2, pp.1055-1060, 1998
Damian A. Isla, 'Object Persistence for Synthetic Creatures', Proceedings of the first international joint conference on Autonomous agents and multiagent systems. Part 3, pp.1356-1368, 2002
Song-Yee Yoon, 'Interactive Training for Synthetic Characters', Proceedings of American Association for Artificial Intelligence, 2000
Bruce Blumberg, 'Integrated Learning for Interactive Synthetic Characters', Proceedings of the 29th annual conference on Computer graphics and interactive techniques. SIGGRAPH, 2002
Mat Buckland, 'AI Techniques for Game Programming', Thomson Learning, 2002
A. Ortony, G. Clore, A. Collins, 'The Cognitive Structure of Emotions', Chicago University Press, 1998
Elliott C.D, 'The Affective Reasoner: A process model of emotions in a multi-agent system', Northwestern University, Evanston, IL, Ph.D Thesis, 1992
M. El-Nasr, Thomas R. loerger, John Yen, 'Emotionally Expressive Agents', 1998
N. Kubota, Y. Nojima, N. Baba, F. Kojima, T. Fukuda, 'Evolving Pet Robot with Emotional Model', Proceedings of the CEC, pp.1231-1237, 2000
N. Kubota, F. Kojima, T. Fukuda, 'Self-Consciousness and Emotion for A Pet Robot with Structured Intelligence', IFSA World Congress and 20th NAFIPS International Conference, pp.2786-2791, 2001
L. P. Kaelbling and M. L. Littman 'Reinforcement Learning: A survey', Journal of Artificial Intelligence Research 4, pp.237-285, 1996

상세보기
R. S. Sutton and A. G. Barto, 'An Introduction to Reinforcement Learning: An Introduction', MIT Press, 1998
D. P. Bertsekas and D. A. Tsitsiklis, 'Adaptive aggregation for infinite horizon dynamic programming', IEEE Transactions on Automatic Control. 34, pp.589-598, 1989

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증