초록 ▼

핵심기술
자세오차 0.5°, 드리프트 1°/sec 이하 MARG 퓨전 동작인식을 통한
쉐이크 펜 인터페이스에 의한 역동적인 모바일 아바타 커뮤니케이션

최종목표
· MARG 퓨전 알고리즘을 이용하여 드리프트 없는 사용자의
입력동작 자세를 계산
· 3D 모델링 도구를 이용한 모바일에 최적화 된 모델링 및 캐릭터
셋업
· MARG 퓨전 추적 매핑을 통한 아바타 동작 구성 알고리즘
· MARG 퓨전추적 사용자 동작인식을 통한 아바타 동작 매핑용
쉐이크 펜 인터페이스의 개발

핵심기술
자세오차 0.5°, 드리프트 1°/sec 이하 MARG 퓨전 동작인식을 통한
쉐이크 펜 인터페이스에 의한 역동적인 모바일 아바타 커뮤니케이션

최종목표
· MARG 퓨전 알고리즘을 이용하여 드리프트 없는 사용자의
입력동작 자세를 계산
· 3D 모델링 도구를 이용한 모바일에 최적화 된 모델링 및 캐릭터
셋업
· MARG 퓨전 추적 매핑을 통한 아바타 동작 구성 알고리즘
· MARG 퓨전추적 사용자 동작인식을 통한 아바타 동작 매핑용
쉐이크 펜 인터페이스의 개발
· 쉐이크 펜 인터페이스에 의한 아바타 동작 생성 저작도구의 개발
· 아바타 커뮤니케이션용 다중 계층 쉐이크 펜 인터페이스 확장
· 쉐이크 펜 인터페이스에 의한 아바타 커뮤니케이션 도구(SNS)의
개발

개발내용 및 결과
· MARG 퓨전 알고리즘을 이용하여 드리프트 없는 사용자의
입력동작 자세를 계산: 1, 2차 프로토타입 MARG 센서와
안드로이드 폰 내부장착 센서 출력을 quaternion complementary
filter를 통해 드리프트 오차가 제로에 가까운 WIMU(Wireless
Inertial Measurement Unit)의 입력 자세를 계산
· 3D 모델링 도구를 이용한 모바일에 최적화 된 모델링 및 캐릭터
셋업: 5,000폴리곤 이하의 로우폴리곤 모델링을 진행하였고
동작의 다양성과 추후 동작의 보간법을 적용할 수 있게 모션캡쳐
데이터를 데이터베이스화하여 적용
· MARG 퓨전 추적 매핑을 통한 아바타 동작 구성 알고리즘:
MARG 센서의 움직임을 SVM을 이용하여 패턴화하고 패턴
예측을 통해 사용자가 원하는 동작 데이터를 검색하여 아바타에
매칭하고 동작 데이터는 모션캡쳐 데이터인 BVH형식을 사용하여
파싱에 효율을 높이고 데이터 취득이 용이하게 함
· 사용자 동작인식을 통한 아바타 동작 매핑용 쉐이크 펜
인터페이스의 개발: 3차원 공간상에서 사용자간의 원활한 소통을
위한 인터페이스용 상황별 최소한의 기본 동작을 세분화된 관절
그룹을 이용하여 다양한 동작을 구성할 수 있게 설계
· 쉐이크 펜 인터페이스에 의한 아바타 동작 생성 저작도구의 개발:
1차 년도에 개발된 계층적 동작구성 알고리즘과 2차 년도에
개발된 관절입자 동역학을 이용한 즉흥적 동작저작 및 분석된
쉐이크 펜 UI를 토대로 관절 그룹에 따라 지정동작, 자세보간동작
및 동작변형보간 그룹으로 아바타 동작의 저작이 가능하게 개발
· 아바타 커뮤니케이션용 다중 계층 쉐이크 펜 인터페이스 확장:
쉐이크 펜의 회전 제스처를 어포던스에 기반한 제스처 메타포와
연관하여 아바타의 움직임을 구성하는 인터페이스로 확장하여
자세보간동작 및 동작변형보간 애니메이션이 가능하게 함
· 쉐이크 펜 인터페이스에 의한 아바타 커뮤니케이션 도구(SNS)의
개발: 아바타 동작을 쉐이크 펜과 폰 내장센서 움직임으로
저작하고 아바타 동작을 구동 및 전송하는 디스플레이 모듈과
채팅용 텍스트를 입출력하는 모듈을 결합한 어플리케이션 개발

기술개발배경
· 미래에는 ‘정보의 생성’ 보다 ‘정보의 전달’ 이 더 중요할 것이며,
정보 전달 의 수단으로 네트워크를 통해 언제 어디서나 쉽게
접근할 수 있는 모바일을 선호 할 것이고, 현재의 2차원적 모바일
화면보다 입체적이고 공감각적인 체감형 커뮤니케이션을 요구
· 행위동반 아바타는 감정의 행위를 통한 표현에 음성과 텍스트를
병행할 수 있어 사용자가 원하는 매체를 선택하여 감정의 표현이
가능하여 신체접촉 감정을 포함한 공감각적 커뮤니케이션이 가능
· 역동적인 모바일 아바타로 실현되는 SNS는 주관기관에서
개발되는 동작인식을 통한 아바타의 직관적인 동작생성원리가
미래 선도 핵심 원천기술개발 강화에 해당하며, 다양하지만
유니크하고 감성에 어필하는 아바타 동작의 저작이 참여기업이
가지고 있는 특화기술을 한 단계 업그레이드 하여 중소벤처의
핵심 기술 역량 제고를 이루어 과제를 통해 미래 스마트 신산업
육성이라는 본 사업의 목적을 정확하게 달성가능

핵심개발기술의 의의
· 센서퓨전: MARG 센서를 2차에 걸쳐 직접 설계, 외주 제작하고
quaternion complementary filter를 사용한 퓨전알고리즘을
이식하여 드리프트 오차가 제로에 가까운 WIMU의 실현
· 쉐이크펜 인터페이스: 쉐이크 펜 3축 가속도와 3축 자이로 회전
데이터와 터치인터페이스 및 계층구조모델과 결합된 어포던스
메타포를 통한 인터페이스로 무한의 아바타 동작이 저작가능
· 아바타저작 및 통신: MARG 센서의 데이터를 입력받아 SVM,
DTW로 패턴학습하고 부위별 BVH 모션을 이용 및 입자동역학을
이용한 즉흥저작으로 의미 있는 동작을 손쉽게 저작

적용분야
· 행위 동반 아바타를 이용한 온라인 커뮤니케이션은 기존의
텍스트, 음성, 화상통화가 갖지 못하는 특징을 갖고 있다.
가상공간상 아바타의 움직임을 통해 효과적인 커뮤니케이션을
가능케 하며 놀이적 요소를 포함 하고 있어 확장되고 진화된
형태의 커뮤니케이션 역할을 담당할 것으로 기대

Abstract ▼

Ⅱ. Objective and Necessity of Research and Development
Realization of mobile communication including the entertaining SNS by controlling the
motion of avatar using mobile device and combining the communication, since Slide &
Touch interface is limited in delivering the realistic voice and m

Ⅱ. Objective and Necessity of Research and Development
Realization of mobile communication including the entertaining SNS by controlling the
motion of avatar using mobile device and combining the communication, since Slide &
Touch interface is limited in delivering the realistic voice and motion of avatar easily.
Ⅲ. Contents and Scope of Research and Development
① Sensor Fusion: Fabrication of a shake pen prototype applying MARG fusion algorithm
② Shake pen Interface: Avatar motion mapping interface using user motion recognition
③ Authoring and Communication of Avatar: Development of the avatar motion
authoring algorithm and mobile communication application for the mobile phone.
Ⅳ. Result of Research and Development
① MARG fusion algorithm has been developed in which pose tracking error is less than
0.5°and the drift is smaller than 1°/sec.
② Avatar motion authoring algorithm and the shake pen interface through the MARG
fusion tracked user input motion recognition have been developed.
③ Avatar motion authoring tool for mobile avatar and the mobile application for the
mobile communication using the shake pen interface have been developed.
Ⅴ. Application Plan of the Result of Research and Development
As the market and technology environments are moved from the portal to the SNS and
the main trust of IT industry is migrated from the Web to the mobile, the results of
this project will be used appropriately and helpfully for the requirement of the
diversification of the SNS technology in the future.