초록 ▼

□ 연구의 목적 및 내용
본 과제는 1) 상황정보 인식기술, 2) 멀티모달 인터페이스 기술, 3) 멀티 상호작용을 위한 의사 결정 기술, 4) 선호도 기반 의사 결정 기술, 5) 적응형 개인화 인터페이스, 6) 지식기반 서비스 인터페이스 기술, 7) 지능슈퍼에이전트를 통한 기술 통합 등 총 7개의 세부주제로 나누어 연구한다.
1주제에서는 지식 기반 서비스를 사용자에게 제공하기 위해 RGB-D 정보로부터 사람이 활동하는 환경의 의미정보를 얻는 알고리즘을 개발하고, 2주제에서는 로봇이 인간의 분위기 및 감정을 인식하기 위해

□ 연구의 목적 및 내용
본 과제는 1) 상황정보 인식기술, 2) 멀티모달 인터페이스 기술, 3) 멀티 상호작용을 위한 의사 결정 기술, 4) 선호도 기반 의사 결정 기술, 5) 적응형 개인화 인터페이스, 6) 지식기반 서비스 인터페이스 기술, 7) 지능슈퍼에이전트를 통한 기술 통합 등 총 7개의 세부주제로 나누어 연구한다.
1주제에서는 지식 기반 서비스를 사용자에게 제공하기 위해 RGB-D 정보로부터 사람이 활동하는 환경의 의미정보를 얻는 알고리즘을 개발하고, 2주제에서는 로봇이 인간의 분위기 및 감정을 인식하기 위해 얼굴, 제스처 및 음성으로부터 사용자의 정서를 파악하는 알고리즘을 개발한다. 3주제에서는 로봇이 여러 사람과 다대일 상호작용을 위한 의사 결정 및 행동 선택 알고리즘을 개발하며, 4주제에서는 FCM을 이용하여서 사용자의 선호도가 고려된 의사 결정 메커니즘을 연구한다. 5주제에서는 로봇이 사람의 말을 듣고 질문에 답하는 VQA 시스템에 관한 연구를 진행하며, 6주제에서는 개인 특화 서비스를 위한 사용자의 성향 파악을 스마트폰 사용 패턴 분석을 통해 알아내는 연구를 하도록 한다. 마지막으로, 7주제에서는 UDREAM 플랫폼으로 개발된 알고리즘들을 에이전트화하여 지식기반 서비스를 위한 지능슈퍼에이전트를 개발한다.

□ 연구결과
본 과제의 성과로, 1주제에서는 RGB-D 센서 기반 상황정보 파악을 위한 3차원 지도 생성 알고리즘을 개발하였다. 개발한 알고리즘을 통해 동적인 환경에서 기존의 방법들보다 더 정확한 시각 주행거리를 추정할 수 있었다. 2주제에서는 음성/제스처/표정 기반 사용자 감정인식 연구를 수행하였다. 음성으로부터 MFCC 특징점을 추출하고, DNN을 이용하여 사용자의 감정 인식을 수행하였다. 또한, 표정으로부터는 FAP 특징점을 정의하고, 제스쳐로부터는 24가지의 특징점을 정의하여 ARTMAP으로 학습시켜 감정을 인식하였다. 또한 퍼지 적분을 통해 다중 모달리티를 융합하여 인식률을 높일 수 있었다. 3주제에서는 멀티 상호작용을 위한 의사결정 및 행동 선택 알고리즘을 개발하였다. 이를 위해 샴쌍둥이 형태의 로봇 플랫폼을 제안하고, 행동 선택 알고리즘을 개발하여 로봇과 상호작용할 수 있었다. 4주제에서는 선호도 기반 FCM을 이용한 의사 결정을 연구하였다. 사용자 선호도를 고려한 의사 결정을 위해 DMQEA-FCM 알고리즘을 개발하였으며, 예제 데이터셋을 이용하여 성능을 검증하였다. 5주제에서는 dynamic memory network (DMN)을 바탕으로 visual question answering (VQA) 시스템을 실제 로봇에 적용하여 사용자가 질문을 했을 때, 원하는 답변을 할 수 있었다. 6주제에서는 개인 특화 서비스 제공을 위한 실시간 업데이트 기술을 개발하였다. 사용자의 스마트폰 앱 사용 내역을 시간과 행동에 따라 분석하여, 현재 사용자의 위험 상황을 파악할 수 있었다. 7주제에서는 인간-로봇 상호작용에 필요한 다양한 기능들을 모듈화하고, 이를 바탕으로 자율 대화 시나리오, 원격 운용 시나리오 등을 보였다.

□ 연구결과의 활용계획
개발된 I²T-iOA를 이용하면 사람이 느끼는 감정을 컴퓨터와 로봇 및 스마트 디바이스가 인식할 수 있게 되어 보다 자연스러운 상호작용이 가능하여 이들로부터 효율적인 지식기반 서비스를 제공받을 수 있다. I²T-iOA를 적용한 인간-컴퓨터/로봇/디바이스 상호작용이 개발되면, 이를 이용하여 사용자가 원하는 다양한 지식기반 서비스의 제공이 가능하기에 I²T-iOA의 상용화가 가능할 것이다. 또한, 지식기반 서비스의 핵심기술 개발을 통하여 스마트 서비스의 품질이 개선되어, 이로부터 기업의 새로운 수익 구조 창출이 가능하다.

(출처 : 연구결과 요약문 5p)

Abstract ▼

□ Purpose& contents
This project comprises seven subsections: 1) recognition and classification of big user data, 2) inference for customized user service, and 3) integrated agent implementation. In addition, the three middle projects are divided into seven subsections: 1) recognition of context

□ Purpose& contents
This project comprises seven subsections: 1) recognition and classification of big user data, 2) inference for customized user service, and 3) integrated agent implementation. In addition, the three middle projects are divided into seven subsections: 1) recognition of context information, 2) multimodal interface, 3) decision making algorithm for multi-interaction, 4) preference based decision making, 5) adaptive customizing interface, 6) knowledge based service interface, and 7) integration of technologies using intelligent super agent.
Subsection 1 develops an algorithm that recognizes the semantic information of environment from RGB-D data to provide knowledge based services. Subsection 2 develops an algorithm that identifies user emotion from face, gesture and audio information to enable robots to understand the mood and emotion. Subsection 3, 4 conduct researches regarding decision making and behavior selection algorithms for robot’s many to one interaction and for user’s preference. In subsection 5, VQA system which robots listen to people and answer questions is developed. Subection 6 conducts research on user preference identification through smartphone usage analysis for customized services. Lastly, subsection 7 implements all technologies as agents using UDREAM platform and an intelligent super agent for knowledge based services.

□ Result
In subsection 1, 3D map generation algorithm based on RGB-D camera for identification of context has been developed. The developed algorithm shows better performance compared to conventional methods in estimating visual odometry in dynamic environments. In subsection 2, research on user emotion recognition based on voice and gesture has been conducted. MFCC features are extracted from voice and user’s emotion is recognized through DNN. Furthermore, FAP feature is defined from facial expression and 24 features are defined from gesture. These features are learned using ARTMAP for recognition of emotion. In addition, fuzzy integrals were able to improve recognition rate by fusing multiple modalities. In subsection 3, decision making and behavior selection algorithm for multi interaction has been developed. For this, a Siamese robot platform is suggested, behavior selection algorithm is developed and users can interact with the robot. In subsection 4, research on decision making using preference based FCM. DMQEA-FCM algorithm which considers user preference for decision making has been developed and the performance has been verified using examplary dataset. In subsection 5, we implemented a visual question answering (VQA) system based on dynamic memory network (DMN) and applied it to a real robot, In subsection 6, real-time update technique for offering customized service has been developed. The adequate app for current time and user’s situation is extracted by analyzing user smartphone app usage according to time and behavor. In subsection 7, we modularized various functions needed for HRI, and showed autonomous dialogue scenarios and remote operation scenarios.

□ Expected Contribution
The developed I2T-iOA enables computers, robots, and smart devices to recognize the emotion humans feel, which allows a natural interaction and efficient knowledge based service. The commercialization of I2T-iOA is possible because developing a human-computer/robot/device interaction service which adopts I2T-iOA will offer various knowledge-based services that match user’s need. Furthermore, the development of fundamental technologies for knowledge-based services will imporve the quality of smart services, from which companies will create new profits.

(출처 : SUMMARY 6p)

목차 Contents

• 표지 ... 1
• 목차 ... 3
• 연구계획 요약문 ... 4
• 연구결과 요약문 ... 5
• 한글요약문 ... 5
• SUMMARY ... 6
• 연구내용 및 결과 ... 7
• 1. 연구개발과제의 개요 ... 7
• 2. 국내외 기술개발 현황 ... 8
• 3. 연구수행 내용 및 결과 ... 9
• 4. 목표달성도 및 관련분야에의 기여도 ... 72
• 5. 연구결과의 활용계획 ... 75
• 6. 연구과정에서 수집한 해외 과학기술정보 ... 76
• 7. 주관연구책임자 대표적 연구실적 ... 80
• 8. 참고문헌 ... 80
• 9. 연구성과 ... 82
• 10. 국가과학기술지식정보서비스에 등록한 연구시설‧장비 현황 ... 88
• 11. 연구개발과제 수행에 따른 연구실 등의 안전조치 이행실적 ... 88
• 12. 기타사항 ... 88
• [별첨1] 대 표 연 구 성 과 ... 89
• [별첨2] 세부 목표 관련 증빙 ... 99
• 끝페이지 ... 106