선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 청각 및 언어장애인들에게 있어서 기본 의사소통인 수화로 표현이 가능한 동영상 콘텐츠를 제공하기 위해 수화 통역을 위한 VR 콘텐츠 시스템을 제안하였다. 자연스러운 수화 동작을 추출하기 위하여 모션 캡처 시스템과 정확한 손동작 표현을 위해 데이터 글러브를 사용하여 실제 사람과 같은 캐릭터 애니메이션을 구축하고, 동영상의 자막이나 대본을 통해 생성한 수화용 자막을 이용하여 해당 자막에 맞는 수화 애니메이션을 실시간 생성하였다.
- 본 논문에서는 청각 및 언어장애인에게 다양한 동영상 콘텐츠를 제공하기 위하여 수화 통역을 위한 VR 콘텐츠 시스템을 제안한다. 자연스러운 수화 동작을 추출하기 위해 모션 캡처 시스템과 정확한 손동작 표현을 위해 데이터 글러브를 이용하여 실제 사람과 같은 캐릭터 애니메이션을 생성하고자 하였다.
제안 방법
- 카메라는 많으면 많을수록 좋지만, 얻고자 하는 볼륨에 따라서 카메라는 조정 가능하다. 그리고 캡처 공간의 중심을 정의하고 카메라의 위치와 방향을 설정하고 각 카메라의 렌즈 왜곡률을 보정하는 과정의 캘리브레이션(Calibration)을 수행한 후 모션 캡처를 실시한다.
- 여기서는 손가락 관절 데이터 즉, 수화에서 가장 중요하게 표현되어져야 할 손동작 인식을 위해 데이터 글러브를 사용하였다. 데이터 글러브를 통해 손의 모양, 손의 방향, 그리고 운동 방향의 변화를 검출하였다.
- 데이터 글러브의 데이터는 Autodesk사의 MotionBuilder S/W를 통해 획득하게 되는데, 데이터 글러브 제작사에서 제공하는 Plug-In을 이용한다. 데이터 글러브의 정확한 데이터 획득을 위해 캘리브레이션(Calibration) 과정을 수행한다. 데이터 글러브의 캘리브레이션 방법은 각 손가락 관절을 오므렸다 폈다하는 과정을 2~3회 반복하여 설정한다.
- 데이터 글러브 데이터는 모션 캡처 데이터와 함께 동시에 획득 할 수 있으나, 모션 캡처 과정에서 후처리 과정을 거치지 않고 획득하기 때문에 부자연스럽고 부정확한 데이터가 획득된다. 따라서 본 논문에서는 모션 캡처 데이터를 먼저 획득한 후에 데이터 글러브를 이용해 손가락 관절 데이터를 획득하였다.
- 자연스러운 수화 동작을 추출하기 위해 모션 캡처 시스템과 정확한 손동작 표현을 위해 데이터 글러브를 이용하여 실제 사람과 같은 캐릭터 애니메이션을 생성하고자 하였다. 또한 자막/대본을 이용하여 자동으로 수화 통역 콘텐츠를 제작하기 위한 시스템을 개발 하였다.
- 모션 캡처를 하기 위해서는 <표2>처럼 여러 과정의 작업을 필요로 한다. 먼저 수화 연기자의 관절에 적외선에 반응하는 마커를 부착하고, 모션을 촬영할 8대의 카메라를 설정한다. 카메라는 많으면 많을수록 좋지만, 얻고자 하는 볼륨에 따라서 카메라는 조정 가능하다.
- 수화 애니메이션 생성에서는 자연스럽고 정확한 수화 애니메이션을 보여주기 위해 바디 모션 획득 파트와 손동작 모션 획득 파트로 분리하였다. 바디 모션 획득에서는 모션 캡처 시스템을 이용하였고, 손동작 모션 획득에서는 데이터 글러브를 이용하여 정확한 수화를 표현하고자 한다.
- 본 논문에서는 어린이를 대상으로 제작된 동화 “누에콩과 콩알 친구들”동영상 콘텐츠를 수화 통역 콘텐츠로 제작하였다.
- 수화 데이터베이스는 수화 단어 데이터베이스와 수화 애니메이션 데이터베이스로 구성되어 있다. 수화 단어 데이터베이스는 한국수화사전에 실린 표준 수화 단어와 문장을 데이터베이스화하고 수화 애니메이션이 해당단어에 맞도록 연동시켰다.
- 본 논문의 전체 시스템 구성은 <그림3>과 같다. 수화로 통역할 동영상 콘텐츠와 수화용 자막 파일을 불러오는 모듈과 수화 사전 데이터베이스와 수화 애니메이션 데이터베이스가 존재하는 수화 데이터베이스 모듈, 가상현실 공간에서 수화 애니메이션의 움직임을 실시간 3D 렌더링하여 화면에 보여주는 수화 뷰어 모듈, 마지막으로 기존 동영상과 최종 렌더링 화면을 동영상 파일로 저장하는 모듈로 구성된다.
- 기존 OpenGL 방식의 3D 모델링은 너무 딱딱하고 부자연스러우며 , 거북한 감이 없지 않아 있었다. 여기서는 보다 자연스럽고 친근한 캐릭터 애니메이션을 위해 모션 캡처 시스템을 이용하였다.
- 여기서는 처럼 앞에서 획득한 데이터들을 하나의 데이터로 병합하여 하나의 수화 애니메이션을 생성하고, 모션 후처리 과정을 통하여 최종 수화 애니메이션을 생성하였다.
- 이렇게 만든 수화용 자막은 해단 단어에 맞는 수화 애니메이션을 재생하기 위해 만든다. 이렇게 만든 수화용 자막과 준비한 동영상을 불러오고, 앞에서 만든 수화용 자막에 맞게 실시간으로 해당 수화 단어 데이터베이스와 수화 애니메이션 데이터베이스를 검색하여 해당하는 수화단어를 찾는다. 찾은 수화 단어의 애니메이션을 실시간으로 화면에 렌더링하게 된다.
- 본 논문에서는 청각 및 언어장애인들에게 있어서 기본 의사소통인 수화로 표현이 가능한 동영상 콘텐츠를 제공하기 위해 수화 통역을 위한 VR 콘텐츠 시스템을 제안하였다. 자연스러운 수화 동작을 추출하기 위하여 모션 캡처 시스템과 정확한 손동작 표현을 위해 데이터 글러브를 사용하여 실제 사람과 같은 캐릭터 애니메이션을 구축하고, 동영상의 자막이나 대본을 통해 생성한 수화용 자막을 이용하여 해당 자막에 맞는 수화 애니메이션을 실시간 생성하였다. 이를 기존 동영상과 생성된 수화 애니메이션을 합성하여 최종 수화 통역 콘텐츠를 제작하는 시스템을 개발할 수 있었다.
- 본 논문에서는 청각 및 언어장애인에게 다양한 동영상 콘텐츠를 제공하기 위하여 수화 통역을 위한 VR 콘텐츠 시스템을 제안한다. 자연스러운 수화 동작을 추출하기 위해 모션 캡처 시스템과 정확한 손동작 표현을 위해 데이터 글러브를 이용하여 실제 사람과 같은 캐릭터 애니메이션을 생성하고자 하였다. 또한 자막/대본을 이용하여 자동으로 수화 통역 콘텐츠를 제작하기 위한 시스템을 개발 하였다.
대상 데이터
- 가장 먼저 데이터 글러브를 인식하기 위한 설정을 한다. 데이터 글러브의 데이터는 Autodesk사의 MotionBuilder S/W를 통해 획득하게 되는데, 데이터 글러브 제작사에서 제공하는 Plug-In을 이용한다. 데이터 글러브의 정확한 데이터 획득을 위해 캘리브레이션(Calibration) 과정을 수행한다.
- 수화 데이터베이스는 수화 단어 데이터베이스와 수화 애니메이션 데이터베이스로 구성되어 있다. 수화 단어 데이터베이스는 한국수화사전에 실린 표준 수화 단어와 문장을 데이터베이스화하고 수화 애니메이션이 해당단어에 맞도록 연동시켰다.
- 수화 애니메이션 데이터베이스에는 일상생활에서 가장 많이 쓰이는 수화 단어 중 50여 개의 애니메이션을 선별하여 구축하였다.
- 여기서는 5DT사의 Data Glove를 사용하였다. Data Glove는 사용자 손목의 움직임과 5개의 손가락 골국 움직임을 센싱한다.
- 여기서는 MotionAnalysis사 Eagle Digital Motion Capture System을 이용하였으며, 총 8대의 카메라를 사용 하여 캡처 볼륨(Volume)을 형성하였다. 보통 한 사람의 액터의 모션캡처를 받기 위해 기본적으로 28개의 마커를 사용하지만, 보다 자연스럽고 정확한 모션캡처를 위해 각 관절에 33개의 마커를 부착하였다.
- 여기서는 손가락 관절 데이터 즉, 수화에서 가장 중요하게 표현되어져야 할 손동작 인식을 위해 데이터 글러브를 사용하였다. 데이터 글러브를 통해 손의 모양, 손의 방향, 그리고 운동 방향의 변화를 검출하였다.
- 여기서는 일상생활에 가장 많이 쓰이는 기본 수화 단어 약 1,000개의 데이터베이스를 구축하였다. <그림10>은 수화 단어 데이터베이스의 수화 인덱싱 샘플을 보여주고 있다.
- 수화 애니메이션 데이터베이스는 이 시스템의 핵심인 모션 캡처와 데이터 글러브를 통해 획득한 수화 애니메이션이 구축되어 있다. 획득한 애니메이션은 앞서 설명한 것처럼 3ds Max의 바이패드(Biped) 형식의 애니메이션으로 저장된다. 이를 실시간 렌더링할 Virtools 엔진에서 사용되어지는 *.
후속연구
- 수화 통역 콘텐츠는 수화 통역된 교과목의 동영상을 선택하면, <그림1>과 같이 교수의 강좌와 함께 오른쪽 하단부분에 수화통역사가 교과내용을 통역하는 화면이 나타나 학습이 용이하다. 또한 수화 통역 콘텐츠는 강의 동영상뿐만 아니라 영화, 방송, 애니메이션 등의 콘텐츠 등에도 활용될 예정이다.
- 앞으로 지금의 시스템을 기반으로 하여 수화 통역을 원하는 동영상 콘텐츠의 수화용 자막을 자동으로 생성하는 모듈과 실감나는 애니메이션을 위해서는 손동작뿐만 아니라 캐릭터의 얼굴 표정도 제어될 필요가 있다. 이에 대해서는 향후 연구에서 해결하고자 한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.