[논문]행동 네트워크를 이용한 감정형 제스처 기반 대화 관리 시스템

윤종원; 임성수; 조성배

행동 네트워크를 이용한 감정형 제스처 기반 대화 관리 시스템
An Emotional Gesture-based Dialogue Management System using Behavior Network 원문보기

정보과학회논문지. Journal of KIISE. 소프트웨어 및 응용, v.37 no.10, 2010년, pp.779 - 787

윤종원 (연세대학교 컴퓨터과학과) , 임성수 (연세대학교 컴퓨터과학과) , 조성배 (연세대학교 컴퓨터과학과)

초록
AI-Helper

최근 로봇의 다양한 활용과 더불어 로봇-사람간의 상호작용에 대한 연구 또한 활발하게 진행되고 있으며, 대표적으로 자연어 처리나 대화중 제스처 생성 등의 방법이 로봇과 사람간의 의사소통에 적용되었다. 그러나 기존의 로봇-사람간의 의사소통을 위한 방법을 통해서는 정적인 의사소통만을 수행할 수 있다는 한계가 존재하며, 보다 자연스럽고 사실적인 의사소통 방법에 대한 연구가 필요하다. 본 논문에서는 보다 수준 높은 의사소통을 위해 감정형 제스처 기반 대화 관리 시스템을 제안한다. 제안하는 시스템은 베이지안 네트워크와 패턴 매칭을 이용하여 로봇과 사람간의 대화를 수행함과 동시에 로봇-사람간의 대화 도중 실시간으로 상황에 어울리는 로봇의 감정형 제스처를 생성한다 감정형 제스처 생성을 통해 로봇은 사람에게 대화를 보다 효과적으로 전달함과 더불어 사실적인 상호작용을 수행할 수 있다. 제스처 생성은 동적으로 변화하는 대화 상황에 유연하게 대처할 수 있도록 행동 네트워크를 사용하였다. 이후 제안하는 감정형 제스처 기반 시스템의 유용성을 검증하기 위해 사용성 평가를 통해 감정이니 제스처를 사용하지 않는 기존의 대화 관리 시스템과의 비교를 수행하였다.

Abstract ▼ AI-Helper

Since robots have been used widely recently, research about human-robot communication is in process actively. Typically, natural language processing or gesture generation have been applied to human-robot interaction. However, existing methods for communication among robot and human have their limits in performing only static communication, thus the method for more natural and realistic interaction is required. In this paper, an emotional gesture based dialogue management system is proposed for sophisticated human-robot communication. The proposed system performs communication by using the Bayesian networks and pattern matching, and generates emotional gestures of robots in real-time while the user communicates with the robot. Through emotional gestures robot can communicate the user more efficiently also realistically. We used behavior networks as the gesture generation method to deal with dialogue situations which change dynamically. Finally, we designed a usability test to confirm the usefulness of the proposed system by comparing with the existing dialogue system.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 대화 에이전트를 보다 유연하고 자연스럽게 만들기 위해서 계획 기반 모델을 이용해 분석 모듈을 설계한다. 또한 베이지안 네트워크 주제 추론, 키워드 패턴 매칭의 2단계 추론을 통해서 보다 정확하게 사용자의 의도를 추론한다.
본 논문에서는 로봇과 사람 간의 유연하고 사실적인 상호작용을 위해 감정형 제스처 기반 대화 관리 시스템을 제안하였다. 제안한 시스템은 대화 상황에 따라 로봇의 감정 상태를 생성하고, 상황과 감정에 적합한 제스처를 행동 네트워크를 통해 생성한다.
본 논문에서는 유연하고 사실적인 사람-로봇 간의 상호작용을 위해 제스처 기반 대화 관리 시스템을 제안한다. 제안하는 시스템은 대화 시스템과 감정 시스템, 그리고 행동 시스템으로 구성된다.
이에 착안하여 본 논문에서는 행동 네트워크를 이용하여 로봇의 제스처를 생성하는 방법을 제안한다.

제안 방법

확장시킨 행동 네트워크 시스템을 제안하였다[18丄 이후 계충적 구조를 가지는 행동 네트워크 시스템을 제안하여 모바일 로봇의 행동 생성에 적용시켰다[19]. 또한 Khoo와 Zubeir 행동 네트워크를 이용하여 컴퓨터 게임의 캐릭터 행동을 생성하였다 [20].
설계한다. 또한 베이지안 네트워크 주제 추론, 키워드 패턴 매칭의 2단계 추론을 통해서 보다 정확하게 사용자의 의도를 추론한다.
정의되었다. 또한, 베이지안 네트워크의 주제 추론을 위해서 패턴-답변 쌍에 정의된 주제에 맞춰서 총 13 개의 주제 노드를 구성하였으며, 일정과 연락처에 관련한 총 8개의 속성-값 쌍에 해당하는 개념 노드로 구성된다.
로봇의 보다 유연하고 사실적인 제스처 생성을 위해본 논문에서는 대화 시스템, 감정 시스템, 행동 생성 시스템으로 구성된 시스템을 제안한다. 그림 1은 제안하는 시스템의 모식도를 나타낸다’ 로봇은 대화로부터 감정을 생성하고 대화 도중 대화 상황과 생성된 감정 상태 표현에 적합한 제스처를 자연스럽게 생성한다.
보통 패턴-답변쌍이 많고 규칙이 복잡해지면 정보의 중복으로 인해 패턴 매칭의 성능이 저하되지만, 본 논문에서는 전체 패턴-답변쌍을 주제별로 나누고 베이지안 네트워크의 추론을 통해 질의 주제를 선택함으로써 패턴 매칭에서 고려해야 하는 패턴-답변쌍의 양과 정보의 중복을 축소한다. 패턴-답변쌍은 그림 4의 정의에 따라 XML 형식으로 저장된다.
본 논문에서 설계된 행동 네트워크는 사용자 인식 상태, 시간, 일정, 로봇 상태 등을 환경 요소로 하며 휴식하기, 인사하기, 알리기, 질문하기, 대답하기, 감정 표현하기의 6가지 목표를 가지고 총 29가지의 제스처를 생성한다. 그림 7은 설계한 행동 네트워크의 일부분을 보여준다.
OCC모델은 감정 생성을 위해 제안된 표준 모델로써 감정의 인지적 평가 이론에 기반을 두고 있으며, 강한 이론적 근거를 가지고 널리 사용되고 있다[29]. 본 논문에서는 그림 5와 같이 총 14가지의 감정 유형을 지닌 모델을 사용한다.
대표적인 방법이다. 본 논문에서는 대화 도중 발생하는 생략과 축약 등의 불확실성을 극복하기 위해 계층적 베이지안 네트워크를 사용한다. 그림 2는 대상 영역을 계층적으로 설계한 베이지안 네트워크를 보여준다.
돕는다. 본 논문의 대화 시스템에서는 베이지안 네트워크와 패턴 매칭의 2 단계 추론을 통해서 사용자의 질의를 처리한다. 베이지안 네트워크는 사용자 질의를 수행하기 위한 패턴-답변쌍의 범주인 사용자 대화의 주제를 추론하기 위하여 사용되고, 키워드를 이용한 패턴 매칭[26]은 선택된 주제에 적합한 패턴-답변쌍을 선택된다.
사용성 평가를 위해 피험자들을 대상으로 SUS질의 [3이가 제공되었디점수는 각 문항 당 “강한 부정”욜 나타내는 1점부터 “강한 긍정”올 나타내는 5점까지 5단계로 나누어서 평가되었다. 표 5는 사용성 평가에 사용된 SUS질의를 보여준다.
유용하게 사용될 수 있다. 이에 착안하여 본 논문에서는 감정형 제스처를 이용하여 로봇이 스스로의 상태를 표현하게끔 하며, 사용자로 하여금 로봇을 더욱 친근하게 느끼게 해 보다 사실적인 상호작용을 유도한다.
이후 제안하는 시스템을 사용하였을 때 감정형 제스처가 실제 시스템의 유용성에 미치는 영향을 분석하기 위해 사용성 평가를 수행하였다. 사용성 평가는 10명의 대학원생이 참가하여 진행되었다.
제안하는 시스템은 Microsoft Visual C++ 2008과 Microsoft Visual C# 2008을 이용하여 제작되었으며, Speecys 휴머노이드 로봇 상에서 동작한다. 사용자는 키보드 입력을 통해 로봇과 대화를 수행한다.
제안하는 시스템은 대화 시스템과 감정 시스템, 그리고 행동 시스템으로 구성된다. 대화 시스템은 대화의 흐름을 파악하고 베이지안 네트워크를 통한 주제 추론과 키워드 매칭을 이용한 답변 선택을 수행한다.
제안하는 시스템의 동작 과정을 분석하기 위해 대화 시나리오를 설계하고 시나리오 상에서 생성되는 제스처를 관찰하였다. 표 3은 설계한 대화 시나리오를 보여준다.
제안하였다. 제안한 시스템은 대화 상황에 따라 로봇의 감정 상태를 생성하고, 상황과 감정에 적합한 제스처를 행동 네트워크를 통해 생성한다. 제안하는 시스템의 동작 과정을 분석하기 위해 시나리오 기반 생성 제스처 분석이 이루어졌으며, 유용성을 평가하기 위해 기존의 감정형 제스처를 사용하지 않는 대화 관리 시스템과의 SUS 테스트 결과 비교가 이루어졌다.
사용성 평가는 10명의 대학원생이 참가하여 진행되었다. 평가를 위해 참가자는 표 4와 같이 다섯 가지의 태스크를 제스처를 사용하지 않는 일반적인 대화 관리 시스템, 일반적 제스처만 사용하는 시스템, 그리고 제안하는 시스템에서 각각 수행한 뒤 시스템에 대한 사용성 평가 질의를 수행하였다.

대상 데이터

사용성 평가를 수행하였다. 사용성 평가는 10명의 대학원생이 참가하여 진행되었다. 평가를 위해 참가자는 표 4와 같이 다섯 가지의 태스크를 제스처를 사용하지 않는 일반적인 대화 관리 시스템, 일반적 제스처만 사용하는 시스템, 그리고 제안하는 시스템에서 각각 수행한 뒤 시스템에 대한 사용성 평가 질의를 수행하였다.

데이터처리

제안한 시스템은 대화 상황에 따라 로봇의 감정 상태를 생성하고, 상황과 감정에 적합한 제스처를 행동 네트워크를 통해 생성한다. 제안하는 시스템의 동작 과정을 분석하기 위해 시나리오 기반 생성 제스처 분석이 이루어졌으며, 유용성을 평가하기 위해 기존의 감정형 제스처를 사용하지 않는 대화 관리 시스템과의 SUS 테스트 결과 비교가 이루어졌다.

이론/모형

로봇의 김정 생성은 주로 OCC 모델[22], Weiner 모델[23], FLAME 모델[24] 등의 감정 모델을 이용하여 이루어졌다. 감정 모델들을 이용한 로봇의 감정 생성은 인간의 인지 모델에 이론적 기반을 두고 감정을 생성할 수 있다는 장점이 존재한다.
본 논문에서는 감정 생성을 위해 OCC모델[22]을 사용한다. OCC모델은 감정 생성을 위해 제안된 표준 모델로써 감정의 인지적 평가 이론에 기반을 두고 있으며, 강한 이론적 근거를 가지고 널리 사용되고 있다[29].

성능/효과

사용성 평가 결과, 제안한 감정형 제스처 기반 대화 관리 시스템의 경우 평균 72.1 점을 얻었지만, 제스처를 사용하지 않는 일반적인 대화 관리 시스템의 경우 51.3 점, 감정이 없이 일반적 제스처만 사용하는 시스템의 경우 63.7점을 얻었다’ 이를 통해 기존의 시스템에 비해 제안하는 시스템이 사용성 측면에 있어서 보다 우수함을 증명할 수 있다. 그림 9는 사용성 평가 결과 두 시스템의 비교 결과를 보여준다.

후속연구

향후에는 감정 생성뿐만 아니라 대화를 통해 사용자의 감정을 인식하여'대화 및 제스처 생성에 반영하는 연구가 이루어져야 할 것이다. 또한 제시된 감정형 제스처가 사용성에 미치는 영향에 대한 분석뿐만 아니라 각 모듈의 성능 및 정확도에 대한 분석 역시 이루어져야 할 것이다.
이끌어가는 것은 불가능하다. 향후에는 감정 생성뿐만 아니라 대화를 통해 사용자의 감정을 인식하여'대화 및 제스처 생성에 반영하는 연구가 이루어져야 할 것이다. 또한 제시된 감정형 제스처가 사용성에 미치는 영향에 대한 분석뿐만 아니라 각 모듈의 성능 및 정확도에 대한 분석 역시 이루어져야 할 것이다.

참고문헌 (29)

A. Green and K. Eklundh, "Designing for learnability in human-robot communication," IEEE Trans. Ind. Electron., vol.50, no.4, pp.644-650, 2003.

상세보기
T. Fong, C. Thorpe, and C. Baur, "Robot, asker of questions," Robot. Auton. Syst., vol.42, no.3-4, pp.235-243, 2003.

상세보기
H. Prendinger and M. Ishizuka, "Let's talk! Socially intelligent agents for language conversation training," IEEE Trans. Syst., Man, Cybern. A, Syst. Humans, vol.31, no.5, pp.465-471, 2001.

상세보기
D. Sanford and J. Roach, "A theory of dialogue structures to help manage human-computer interaction," IEEE Trans. Syst., Man, Cybern., vol.18, no.4, pp.567-574, 1988.

상세보기
A. Ratnaparkhi, "Trainable approaches to surface natural language generation and their application to conversational dialog systems," Computer Speech and Language, vol.16, no.3-4, pp.435-455, 2002.

상세보기
M. A. Walker, O. C. Rambow and M. Rogati, "Training a sentence planner for spoken dialogue using boosting," Computer Speech and Language, vol.16, no.3-4, pp.409-433, 2002.

상세보기
E. Levin, R. Pieraccini and W. Eckert, "A stochastic model of human-machine interaction for learning dialog strategies," IEEE Trans. on Speech and Audio Processing, vol.8, no.1, pp.11-23, 2000.

상세보기
I. Bulyko and M. Ostendorf, "Efficient integrated response generation from multiple targets using weighted finite state transducers," Computer Speech and Language, vol.16, no.3-4, pp.533-550, 2002.

상세보기
N. Mitsunaga, C. Smith, T. Kanda, H. Ishiguro, and N. Hagita, "Adapting robot behavior for human- robot interaction," IEEE Trans. on robotics, vol.24, no.4, pp.911-916, 2008.

상세보기
W. Breitfuss, H. Prendinger, and M. Ishizuka, "Automatic generation of gaze and gestures for dialogues between embodied conversational agents," International Journal of Semantic Computing, vol. 2, no.1, pp.71-90, 2008.

상세보기
S. Franklin, and A. Graesser, "Is it an agent, or just a program? : A taxonomy for autonomous agents," Lecture Notes in Computer Science, vol.1193, pp.21-35, 1997.
S. Macskassy and S. Stevenson, "A conversational agent," Master essay, Rutgers University, 1996.
P. Nuguesm et al., "A conversational agent to navigate in virtual worlds," Proc. of the 11th Workshop on Language Technology, pp.23-33, 1996.
J.-H. Hong and S.-B. Cho, "A two-stage bayesian network for effective development of conversational agent," Lecture Notes in Computer Science, vol.2690, pp.1-9, 2003.
C.-J. Lee, S.-K. Jung, S.-H. Kim, and G. C.-B. Lee, "Example-based dialog modeling for practical multi-domain dialog system," Speech Communication, vol.51, no.5, pp.466-484, 2009.

상세보기
P. Maes, "How to do the right thing," Connection Science Journal, vol.1, no.3, pp.291-323, 1989.

상세보기
M. N. Nicolescu and M. J. Mataric, "Extending behavior-based systems capabilities using an abstract behavior representation," AAAI Fall Symposium on Parallel Cognition, pp.27-34, 2000.
M. N. Nicolescu and M. J. Mataric, "A hierarchical architecture for behavior-based robots," In Proc. of First Int. Joint Conf. on Autonomous Agents and Multi-Agent Systems, pp.227-233, 2002.
A. Khoo and R. Zubek, "Applying inexpensive AI techniques to computer games," IEEE Intelligent Systems, vol.17, no.4, pp.48-53, 2002.
D. Evans, "Emotion," Oxford University Press, 2001.
A. Ortony, G. Clore, and A. Collins, "The cognitive structure of emotions," Chicago University Press, 1998.
C. D. Elliott, "The affective reasoner: A process model of emotions in a multi-agent system," Northwestern University, 1992.
M. El-Nasr, T. R. Loerger, and J. Yen, "Emotionally Expressive Agents," 1998.
C.-T. Cheng, Y.-T. Yang, S.-H. Miao, and C.-C. Wong, "Motion and emotional behavior design for pet robot dog," Lecture Notes in Computer Science, vol.5744, pp.13-22, 2009.
S.-S. Lim, S.-B. Cho, "Automatic construction of hierarchical Bayesian networks for topic inference of conversational agent," Journal of Korea Information Science Society: Software and Applications, vol.33, no.10, pp.877-885, Oct. 2006.
E. Horvitz and T. Paek, "A computational architecture for conversation," Proc. 7th Int. Conf. User Modeling, pp.201-210, 1999.
C. Bartneck, "Integrating the OCC model of emotions in embodied characters," In Proc. of the Workshop on Virtual Conversational Characters: Applications, Methods, and Research Challenges, 2002.
B. R. Steunebrink, M. Dastani, and J.-J. Ch. Meyer, "A formal model of emotion-based action tendency for intelligent agents," Lecture Notes in Computer Science, vol.5816, pp.174-186, 2009.
J. Brooke, "SUS: A quick and dirty usability scale," Usability evaluation in industry, 1996.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증