초록 ▼

핵심기술
- 원격지의 로봇에 접속하여 물리적 공간 이동 없이 원격지에 존재감을 표현하기 위한 Robot platform
- 원격제어, 행동모방, 화상통신 요소기술로 구성 됨

최종목표
□ Multi-modal Input/output 기술을 활용한
텔레프레즌스 로봇 기반 원격 영어교육 시스템 개발
원격지 강사가 텔레프레즌스 로봇을 제어하여 원격지 학생들에게 영어교육을 시킬 수 있는 시스템 개발
- 원격제어 로봇 플랫폼 : 원격제어를 위한 9DOF 얼굴, 2DOF 허리, 3DOF 모바일 구동부

핵심기술
- 원격지의 로봇에 접속하여 물리적 공간 이동 없이 원격지에 존재감을 표현하기 위한 Robot platform
- 원격제어, 행동모방, 화상통신 요소기술로 구성 됨

최종목표
□ Multi-modal Input/output 기술을 활용한
텔레프레즌스 로봇 기반 원격 영어교육 시스템 개발
원격지 강사가 텔레프레즌스 로봇을 제어하여 원격지 학생들에게 영어교육을 시킬 수 있는 시스템 개발
- 원격제어 로봇 플랫폼 : 원격제어를 위한 9DOF 얼굴, 2DOF 허리, 3DOF 모바일 구동부 개발
- 원격 화상제어 : 이를 위해 화상통신을 통해 원격지를 모니터링하고 이를 기반으로 원격지 로봇을 제어하여 원격공간을 이동하며 학생들과 화상통신 할 수 있도록 함
- 상호작용 시스템 : 원격지의 학생들과 상호작용하기 위해 얼굴에 달린 암 타입 안테나를 이용하여 팔의 모션을 형상화 하고 음향을 첨가하여 상호작용 함
- 음향생성 시스템 : 감정/상황에 어울리는 음향 제작 및 감정의 입력에 따라 음향을 구성하는 템포, 피치, 음색에 영향을 끼치는 파라미터를 자동 생성하는 알고리즘 구현
- 교육콘텐츠 : 원격지 학생들에게 교육 시킬 디지털 교육 콘텐츠 개발

개발내용 및 결과
□ 주관기관(라스테크)
◯ 6가지 감정표현을 위한 암타입 안테나 개발
- 기쁨, 놀람, 슬픔, 공포, 혐오, 화남의 여섯 가지 감정의 모션이 가능한 프레임 설계 및 개발
- 왼쪽 오른쪽 각각 3DOF의 자유도가 가능하도록 설계하여 원하는 모션의 동작 구현이 가능하도록 개발
- 6가지 감정의 모션 제어 개발

◯ 원격제어 알고리즘 개발
- 원격제어 : 원격지에서 조이스틱을 통해 명령을 내릴 수 있도록 속도와 회전 값을 입력받아 이를 로봇에게 전달하여 움직일 수 있도록 개발
- 자율주행 : 스타게이저를 활용하여 Localization을 수행하고 이를 통해 Path planning과 Path following을 수행

◯ 소프트웨어 모듈
● 몰핑(Morphing)
- OpenCV를 이용하여 SURF와 RANSAC 알고리즘 구현
- 특징 점 매칭을 통해 얻은 결과 값을 이용하여 Fundamental Matrix를 값을 구하여 좌우 이미지 사이의 변환관계를 구함
● 모션인식(Idling Motion)
- 웹캠으로부터 입력받은 영상에서 사용자의 머리 회전각을 계산
- 화전각도 값은 카메라 투영 점의 중심을 원점으로 하는 오른손 좌표계 프레임과 사용자의 두 눈 사이를 원점으로 하는 오른손 좌표계 프레임 사이의 각 축에 대한 회전각을 통해 구해짐
- 결과 값은 카메라 좌표계에 대한 사용자 좌표계의 X,Y,Z 회전각 값으로 획득

◯ 디지털 콘텐츠
● 1개월 수업 가능 분량확보
● 사용자가 내용을 쉽게 이해할 수 있도록 애니메이션 기능 추가
● 강사의 작동성 향상을 위해 버튼 이벤트 기능 추가
● TCP/IP통신을 이용하여 영어교육 콘텐츠 PC에서 화면을 원격지의 강사 PC로부터 마우스 상태를 입력받아 콘텐츠 PC의 Hooking된 마우스데이터 사용

◯ SW통합 플랫폼
● 당사의 SW통합 솔루션인 SMAF(Smart Multi Agent Framework)을 활용하여 로봇의 분산 시스템 통합
. 얼굴, 허리, 구동, 센서들을 하나의 Agent로 제어하고 이 Agent간 통신할 수 있는 통신체계와 Agent관리 체계를 두어 분산된 시스템을 통합 함

□ 참여기관(KAIST)
. 상호작용을 위한 음향생성 시스템
. 감정/상황 표현 및 의도전달 음향을 생성하는 사운드 생성 모듈 개발
● 로봇의 성격에 따라 가중치를 부여, 템포, 피치, 음색에 변화를 주도록 하는 알고리즘 구현
● 로봇의 행동에 맞추어 청각 표시(auditory display)형태의 음향을 생성하는 알고리즘 구현
● 30가지 시나리오를 구성하고, 이에 어울리는 음향 제작
● Ekman이 정의한 인간의 6가지 기본 감정인 neutral, happy, sad, surprise, anger, fear에 어울리도록 구분
● 통합 소프트웨어 플랫폼과 연동할 수 있는 소프트웨어 모듈 개발
● 로봇의 성격에 따른 강중약 등의 다양화된 감정 표현을 할 수 있는 감정 음향 및 로봇의 behavior와의 동기화가 가능한 음향의 자동 생성 알고리즘 개발
● 음악적 언어로서의 감정/상황/의도 표현 음향의 효과적인 개발을 위한 음악의 구성요소 연구
● 감정/상황/의도 표현 음향 자동생성 알고리즘 개발
● 음향모듈의 로봇에 대한 적용 및 사용대상 계층의 임상 설문조사를 통한 제작 음향의 수정 보완

기술개발 배경
□ 기술개발의 필요성
◯ 영어 사교육으로 인한 학부모의 경제적 부담 한계수준
● 사교육비 증가(영어유치원, 조기어학연수, 영어학원 등)
● 영어 유치원 사교육비 천사백만 원/년 시대(메디컬 투데이 2011. 3. 4)
● 대화위주 학습기회 부족, 영어교육 전담교사의 확보 어려움

◯ 현 네트워크 영어수업의 문제점
● 초등학교 이하의 인터넷 강의 집중력 10분 이내
● 수학기준 수업내용 80%이상 이해한 학생은 초등학생 51%, 중학생 37%, 고등학생 20% 이하로 수업집중력이 매우 낮은 편 임(SBS뉴스 2013. 8. 30)
● 네트워크 강의는 강사가 학생을 모니터링하지 못하는 수업 방식으로 교사가 직접 현장에 있는 수업 방식에 비해 수업의 효율성이 현저히 떨어짐

◯ 학생들의 호기심 자극 및 집중력 유도를 위한 교육 시스템 필요
● 로봇교육의 경우 시스템 운영의 복잡도 부분을 제외하고 모든 부분에서 원어민 교육, 화상교육에 비해 월등한 효과를 보이고 있음
● 유능한 강사가 원격지 아바타 로봇을 2대 이상 운영할 경우 충분한 비용 절감 효과 발생

◯ 음향생성 시스템의 필요성
● 로봇에서 소리 표현을 사용함으로써 로봇의 감정과 의도 정보를 더욱 효과적으로 전달함으로 로봇과의 상호작용을 도울 수 있음
● 로봇의 내부 상태를 청각적으로 표현함으로써 제스처 중심으로 진행되어 온 로봇 표현 연구에 새로운 방향을 제시함
● 청각 표시의 관점에서 준 언어를 생성하고, 이를 제스처를 보조하는 표현 수단으로 사용

핵심개발 기술의 의의
◯ 신규개발
● 현재 국내에 허리관절과 얼굴모션 추종이 되는 텔레프레즌스 로봇은 존재하지 않으며, 세계적으로도 존재하지 않음
● 원격존재(Telepresence) 시스템에 대한 연구가 세계적으로 많이 진행되고 있지만 원격존재에 대한 정의도 모호하고 이에 대한 구현도 본 연구과제가 의미가 있음
● 살아있는 생명체는 아무런 동기가 없어도 조금씩 움직이고 있으며, Teleoperation에 기반 한 기존의 원격존재 로봇은 이와 같은 Idling Motion에 대한 구현이 전무함
● 본 개발은 원격지 강사가 어떠한 조작도 하지 않더라도 웹캠을 통한 인식과 제어로 Idling Motion을 구현하여 원격지에 강사가 존재하는 것과 같은 생동감을 부여 함
● 기존의 TTS를 이용한 음향 생성모듈이 아닌 순수 음향 효과를 생성하는 모듈로서 발전가능성이 크며, 앞으로 많은 연구가 필요한 기술
◯ 이전 모델 업그레이드
● 당사는 이전 모델 Roti의 단순한 Teleoperation 시스템을 Telepresence System으로 업그레이드하였음
◯ 개발난이도
● 원격제어를 통하기 때문에 원격지 학생과의 충돌 등 안전문제에 대한 고려가 매우 어려웠으며, 안전에 관련된 센서는 원격제어가 아닌 로봇 로컬에서 제어하도록 하였음
◯ 국산화 정도
● 현재 상용레벨에서 당사의 Roti와 같은 서비스 로봇은 없음
◯ 기술수출 가능성
● 홍콩 전자전, 터키 CeBIT에서 많은 관심을 받음
● 터키의 병원에서 원격진료에 활용하기 위한 협의 요청 등 세계적으로 넓은 영토의 국가에 매우 필요 함

적용 분야
◯ 초등학교 및 유치원의 방과 후 영어교육 시스템으로 활용
◯ 백화점 문화센터의 아동영어 강좌
◯ 컨퍼런스 등 대규모 행사 안내도우미 및 원격 통역서비스
◯ 공공기관의 PR-Zone의 브리핑 및 안내홍보 도우미
◯ 넓은 국토의 원격진료 시스템
◯ 원격회의 시스템
◯ 독거노인 모니터링 및 돌봄 시스템
◯ 요소기술
● Idling Motion : 완구, 로봇교육 기자재
● 음향 생성 : 애니메이션, 게임 등 인공 캐릭터 분야