[논문]신경회로망을 이용한 저가의 실시간 립싱크 애니메이션 시스템의 구현

강이철; 김철기; 김미숙; 차의영

신경회로망을 이용한 저가의 실시간 립싱크 애니메이션 시스템의 구현
Embodiment of Low-cost Real Time Lip-Sync Animation System Using Neural Network 원문보기

강이철 (부산대학교 일반대학원 멀티미디어학과) , 김철기 (부산대학교 일반대학원 전자계산학과) , 김미숙 (부산대학교 일반대학원 멀티미디어학과) , 차의영 (부산대학교 일반대학원 전자계산학과)

최근 인터넷 기술의 발달로 인한 실시간 인터넷 동영상 서비스 등 인터넷을 이용한 방송사업이 활성화되어지고 이에 부가적으로 애니메이션이 감각적 서비스를 지원하고 있는 실정이나 고가의 모션캡쳐 시스템을 통한 캡쳐된 좌표를 적절한 보정을 한 후에 캐릭터를 움직이는 방법으로 이루어지고 있다. 이러한 모션캡쳐 시스템을 통한다면 시스템 및 장비 자체가 고가이고 또한 실시간으로 처리하기 위하여는 좌표값 보정 등이 필요하지만 본 논문에서 제안하는 좌표 추출 및 추적 기법을 이용하여 저가의 가정용 멀티미디어 오버레이 캡쳐보드와 CCD 카메라를 통하여 영상을 캡쳐하고 캡쳐된 영상좌표와 실험용 GDI object를 링크시켜 실시간으로 사람의 입술의 움직임 모양대로 애니메이션이 립싱크되어서 움직여지는 것을 볼 수 있으며, 더 나아가서 외화의 우리말 더빙시 영상처리를 통한 정교한 화면 더빙 및 가상 캐릭터를 이용한 사이버 미팅가지 가능할 것이다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 이러한 외국의 모션캡쳐 시스템의 일부인 립싱크 부분에서 국내에서 생산되어 손쉽게 구할 수 있는 저가의 멀티미디어용 오버레이 캡쳐보드와 PC용 CCD 카메라(interlace 방식)를 이용하여 실시간으로 애니메이션의 립싱크를 구현할 수 있는 기법을 제안하고자 한다.

제안 방법

이때 각 마커의 경계 임계값 설정시 마 커간의 거리를 고려하여 설정한다. 또한 다수의 마커의 추적을 위하여 본 논문에서는 병합시 사용한 신경회로망 기법 중 자율학습이 가능한 ART2 알고리즘을 적용하여 추출시 구하여진 중심점과 좌표값이 변화할 때마다 실험용 GDI Object가 이진 영상 위에 오버레이 되어 움 직일 수 있도록 링크시킨다.
신경회로망을 이용한 병합은 위의 ART2 알고리즘[4]을 응용하여 병합에 적용하고 마커의 크기가 일정함과 실험자 입의 최대 움직임 위치를 추정할 수 있으므로 일 련의 사전 지식을 바탕으로 병합을 수행하여 다수의 마커를 추출한다. 이때 각 마커의 경계 임계값 설정시 마 커간의 거리를 고려하여 설정한다.

대상 데이터

실험자는 저가의 멀티미디어용 오버레이 캡쳐보드를 펜티엄2-350MHZ 프로세서가 장착된 컴퓨터에 설치하여 interlace 방식의 저가의 PC용 CCD 카메라를 이용하였다. 이미지는 320 X 240 크기의 256 Gray 영상을 사용하였으며 초당 13프레임의 처리속도로 실험하였고 실험자의 입 주위에 총 8개의 마거를 부착하여 실험에 임하였다.
실험자는 저가의 멀티미디어용 오버레이 캡쳐보드를 펜티엄2-350MHZ 프로세서가 장착된 컴퓨터에 설치하여 interlace 방식의 저가의 PC용 CCD 카메라를 이용하였다. 이미지는 320 X 240 크기의 256 Gray 영상을 사용하였으며 초당 13프레임의 처리속도로 실험하였고 실험자의 입 주위에 총 8개의 마거를 부착하여 실험에 임하였다.

성능/효과

일반적으로 컴퓨터에서 영상을 Digitize하고 처리하는 멀티미디어용 오버 레이 캡 쳐 보드와 모션캡쳐용 Frame Grabber는 겉보기에는 비슷한 기능을 가지고 있는 듯하지만 실제로 멀티미디어용 캡쳐보드는 영상을 캡쳐하고 데이터를 편집하기 위하여 낮은 해상도와 압축기술을 기반으로 설계된 반면 모션캡쳐용 Frame Grabber는 많은 양의 Data Stream을 효과적으로 처리할 수 있도록 영상의 질을 최우선으로 고려하여 설계되어 :L 가격의 차이는 10배 이상 차이가 나는 결코 비교의 대상이 되지 않는다. 그러나 이러한 저가의 멀티미디어용 캡쳐보 드를 사용하여 실시간으로 캡쳐한 영상을 본 연咔자가 제안한 기법을 적용, 처리하여 애니메이션의 립싱크가 가능함을 우리는 실험을 통하여 확인할 수 있었다. 실험 기법으로 구현한 애니메이션 립싱크 시 입의 움직임이 무척 빠픈 경우는 마커의 좌표 추적율이 저하되는 현상이 있었으나 이는 멀티미디어용 캡쳐보드의 성능상의 문제로 보아진다.
전술한 바와 같이 실시간으로 총 8개 마커의 주출 및 추적이 90% 이상이 가능하고 이를 통한 애니메이션의 립싱크가 가능함을 증명할 수 있었다.

후속연구

실험 기법으로 구현한 애니메이션 립싱크 시 입의 움직임이 무척 빠픈 경우는 마커의 좌표 추적율이 저하되는 현상이 있었으나 이는 멀티미디어용 캡쳐보드의 성능상의 문제로 보아진다. 또한 본 실험은 마커의 수를 8개로 제한하고 고정된 환경 속에서 이뤄진 실험으로 앞으로 스테레오 비전을 이용하여 마커의 깊이 정보까지 끌어 내어보다 입체적인 애니메이션 립싱크가 가능하도록 하여야겠다. 이를 응용하고 발전시킨다면 디 나아 가시 외화의 우리말 더빙시 영상처리를 통해 정교히 더빙된 외화감상 및 가상 캐릭터를 이용한 실시간 사이버 미팅까지 가능할 것이다.
또한 본 실험은 마커의 수를 8개로 제한하고 고정된 환경 속에서 이뤄진 실험으로 앞으로 스테레오 비전을 이용하여 마커의 깊이 정보까지 끌어 내어보다 입체적인 애니메이션 립싱크가 가능하도록 하여야겠다. 이를 응용하고 발전시킨다면 디 나아 가시 외화의 우리말 더빙시 영상처리를 통해 정교히 더빙된 외화감상 및 가상 캐릭터를 이용한 실시간 사이버 미팅까지 가능할 것이다.

원문 보기

ScienceON 원문보기

*원문 PDF 파일 및 링크정보가 존재하지 않을 경우 KISTI DDS 시스템에서 제공하는 원문복사서비스를 사용할 수 있습니다.

내보내기 메뉴

내보내기 구분

파일저장
인쇄
메일전송

구성항목

기본정보
상세정보

관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관

저장형식

Text(ASCII format)
Excel format
RefWorks Direct Export
RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley

메일정보

받는사람 (필수): @
보내는사람 (선택): @
제목
내용: KISTI 검색결과 이메일 서비스

안내

총 건의 자료가 검색되었습니다.

다운받으실 자료의 인덱스를 입력하세요. (1-10,000)

검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다.

데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요)

다운로드 파일은 UTF-8 형태로 저장됩니다.
파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오.

Text(ASCII format)
Excel format

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

AI-Helper ※ AI-Helper는 을 사용합니다.

AI-Helper

안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

연합인증

신경회로망을 이용한 저가의 실시간 립싱크 애니메이션 시스템의 구현
Embodiment of Low-cost Real Time Lip-Sync Animation System Using Neural Network 원문보기

초록
AI-Helper