초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문은 동영상 내의 얼굴을 특정인 얼굴로 자동 변환 및 정합하는 기술을 제안한다. 얼굴에 나타난 동작이나 표정은 높은 자유도로 인하여 기존에 사용되어온 2차원적이고 고정된 물체 위주의 동영상 정합 기술로는 자연스러운 결과물을 얻기가 어렵다. 본 논문에서는 입력 받은 정면 유사방향의 사진으로부터 3차원 얼굴 모델을 복원한다. 각 프레임에 등장한 얼굴의 3차원 방향을 추출하여 복원한 3차원 얼굴 모델에 적용한 후 대체할 얼굴 영역에 저합시킨다. 정합 과정 시 비디오 프레임 내의 조명효과와 얼굴색 등을 분석하고 3차원 얼굴 모델에 블렌딩하여 비디오 프레임과 자연스럽게 정합할 수 있도록 한다.

본 논문은 동영상 내의 얼굴을 특정인 얼굴로 자동 변환 및 정합하는 기술을 제안한다. 얼굴에 나타난 동작이나 표정은 높은 자유도로 인하여 기존에 사용되어온 2차원적이고 고정된 물체 위주의 동영상 정합 기술로는 자연스러운 결과물을 얻기가 어렵다. 본 논문에서는 입력 받은 정면 유사방향의 사진으로부터 3차원 얼굴 모델을 복원한다. 각 프레임에 등장한 얼굴의 3차원 방향을 추출하여 복원한 3차원 얼굴 모델에 적용한 후 대체할 얼굴 영역에 저합시킨다. 정합 과정 시 비디오 프레임 내의 조명효과와 얼굴색 등을 분석하고 3차원 얼굴 모델에 블렌딩하여 비디오 프레임과 자연스럽게 정합할 수 있도록 한다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 논문에서는 3차원 얼굴 모벨 복원 맟 프레임 분석을 통해 동영상에 등장한 얼굴을 자동으로 대체하는 기법을 제안한다.
• 본 논문에서는 얼굴에 지정된 특징점으로부터 비디 오 프레임에 등장한 얼굴의 3차원 방향을 추출한다. 기존 연구에서 3차원 방향 추출과정에서 부가적으로 입력 사진올 촬영한 카메라의 초점거리를 요구[4, 5]하 던 제약조건을 단순화함으로써 3차원 얼굴 방향 추출에 소요되는 시간과 계산의 복잡도를 대폭 감소시켰다.

제안 방법

• 3차원 얼굴 모델을 생성한 후에는 합성할 동영상의 각 프레임을 동영상 전문 편집프로그램을 이용하여 추출해낸다. 그리고 3차원 얼굴 모델을 비디오 프레 임의 원본 얼굴과 유사하게 정합하기 위해서 비다오 프레임에 등장한 얼굴에 몇 개의 특징점을 지 정하여 3차원 얼굴 방향을 추출하고, 각 특징점의 위치관계 로부터 각 얼굴 특징부위(눈, 눈썹, 입 등)의 이동량 을 계산하여 3차원 얼굴 모델에 적용시켜 프레임 내의 얼굴과 유사한 방향과 표정을 짓도록 변형시킨다.
• 3차원 얼굴 모델을 생성한 후에는 합성할 동영상의 각 프레임을 동영상 전문 편집프로그램을 이용하여 추출해낸다. 그리고 3차원 얼굴 모델을 비디오 프레 임의 원본 얼굴과 유사하게 정합하기 위해서 비다오 프레임에 등장한 얼굴에 몇 개의 특징점을 지 정하여 3차원 얼굴 방향을 추출하고, 각 특징점의 위치관계 로부터 각 얼굴 특징부위(눈, 눈썹, 입 등)의 이동량 을 계산하여 3차원 얼굴 모델에 적용시켜 프레임 내의 얼굴과 유사한 방향과 표정을 짓도록 변형시킨다. 변형된 3차원 얼굴 모델을 해당 프레임에 정합시켜 특정인 얼굴로 합성된 프레임을 얻게 된다.
• 대체할 3차원 얼굴 모델이 원래의 얼굴과 비슷한 표정과 입 모양 등을 표현할 수 있도록 프레임에 등장한 얼굴을 분식하여 대체할 비디오 프레임에 등 장한 얼굴과 유사한 표정과 입술 움직임을 생성시킨 다. 또, 프레임 내에 나타난 조명효과를 분석하고 블 렌딩과 같은 이미지 처리를 수행함으로써 특정인의 얼굴로 변화된 새로운 동영상을 얻게 된다.
• 본 논문에서 구현한 시스템은 펜티엄 【II 550Mhz, 256MB RAM, OpenGL 가속 3D카드를 갖춘 PC에서 실험 하였으며, OpenGL과 Borland C++ Builder 5를 이용하여 구현하였다.
• 본 논문에서 제안하는 시스템은 정면 유사방향의 얼 굴사진으로부터 3차원 얼굴 모델을 복원하고, 각 비디 오 프레임 속에 나타난 얼굴정보(3차원 방향 맟 표정 등)를 분석하여 앞서 복원된 3차원 얼굴 모델에 적용한다. 얼굴 정보에 따라 변형된 3차원 얼굴 모델을 비디 오 프레임의 얼굴 영역에 정합한 후 조명환경, 얼굴색 등올 분석하여 블렌딩함으로써 최종적으로 합성된 동영 상을 생성한다.
• 본 논문에서 제안한 시스템은 먼저 사용자가 압력 한 정면 유사방향의 사진을 토대로 3차원 얼굴 모델을 복원하고 변형한다. 변형한 3차원 얼굴 모델읖 동 영상의 대체 얼굴 영역에 자동 정합함으로써 기존에 사용되어온 동영상 얼굴 대체 기법에 비하여 적은 시 간과 노력으로 임의의 3차원 얼굴이 합성된 새로운 동영상의 생성이 가능하게 하었다.
• 본 논문은 동영상과 3차원 얼굴 모델의 자동 정합에 관한 것으로 각 비디오 프레임에 등장한 얼굴의 3차원 방향을 추출하여, 정면 유사방향의 사진으로부터 복원 한 3차원 얼굴 모델에 추출된 3차원 얼굴 방향을 적용 한다. 대체할 3차원 얼굴 모델이 원래의 얼굴과 비슷한 표정과 입 모양 등을 표현할 수 있도록 프레임에 등장한 얼굴을 분식하여 대체할 비디오 프레임에 등 장한 얼굴과 유사한 표정과 입술 움직임을 생성시킨 다.
• 본 는문에서 제안하는 시스템에서 사용한 3차원 얼 굴 모델의 표졍 생성 및 동작 제어 기술은 파라미터 기반의 얼굴 표정 생성 기법[이을 토대로 대체할 3차원 얼굴 모델의 표정을 생성 및 변형하고 있다.
• 본 논문에서 제안하는 시스템은 정면 유사방향의 얼 굴사진으로부터 3차원 얼굴 모델을 복원하고, 각 비디 오 프레임 속에 나타난 얼굴정보(3차원 방향 맟 표정 등)를 분석하여 앞서 복원된 3차원 얼굴 모델에 적용한다. 얼굴 정보에 따라 변형된 3차원 얼굴 모델을 비디 오 프레임의 얼굴 영역에 정합한 후 조명환경, 얼굴색 등올 분석하여 블렌딩함으로써 최종적으로 합성된 동영 상을 생성한다.
• 최종적으로 생성된 3차원 얼굴 모델을 각 비디오 프 레임에 정합[6]함으로써 임의의 3차원 얼굴 모델이 비 디오 프레임에 등장한 얼굴과 합성된 새로운 동영상을 생성하였다.

성능/효과

• 4.2절에서 프레임에 얼굴을 정합한 후(그림 3-a), 프 레임 내의 조명환경과 얼굴색을 분석하여 블렌딩을 적용함으로써 최종적으로 생성될 프레임(그림 3・b)의 사실감을 높였다. 이 과정에서는 대체할 얼굴 각 부 위의 색 분포를 조사하여 블렌딩 이미지를 내부적으 로 생성하고 3차원 모델에 블렌딩을 적용하여 비디오 프레임 내의 조명환경에 일치시키고 있다.
• 본 논문에서 제안한 시스템은 먼저 사용자가 압력 한 정면 유사방향의 사진을 토대로 3차원 얼굴 모델을 복원하고 변형한다. 변형한 3차원 얼굴 모델읖 동 영상의 대체 얼굴 영역에 자동 정합함으로써 기존에 사용되어온 동영상 얼굴 대체 기법에 비하여 적은 시 간과 노력으로 임의의 3차원 얼굴이 합성된 새로운 동영상의 생성이 가능하게 하었다. 동영상 얼굴 내체 과정에서는 프레임에 나타난 표정과 조명효과를 분석하여 3차원 얼굴에 적용함으로써 주변물체나 환경과 의 조화가 유지된 사실적인 얼굴 대체가 가능하다.
• 본 논문에서 사용한 3차원 얼굴 모델 복원 알고리 즘은 사진으로부터 3차원 얼굴 모델을 복원하는 기존 연구[1, 2}가 완전한 정면사진의 입럭을 요구하는 한 계를 확장하여 정면 유사방향의 사진에서도 3차원 얼 굴 모델의 복원이 가능하게 하였다.
• 본 논문에서 제안하는 시스템을 구성하는 과정별로 소요되는 시간은 3차원 모델링의 경우 특징점 지정 후 3차원 얼굴 모델 복원 과정은 상당히 짧은 시간(1초 미 만)에 3차원 얼굴 모델의 복원이 가능하였으며, 복원된 3차원 얼굴 모델의 변형 및 비디오 프레임(320 X 240)과 의 정합 과정은 평균적으로 초당 3~4 프레임 정도의 속 도로 정합이 가능하였다.(그림 5)
• 본 논문에서는 제안하는 이미지 기반 모델링 기법 올 이용하면 완전 정면 사진(그림 2-a)뿐만 아니라 기존의 3차원 얼굴 복원 기술에서는 어려움이 있었던 정면 유사방향의 얼굴사진(그림 2土)으로부터 3차원 얼굴 모델을 복원하는 것이 가능하다.
• 생성한 3차원 얼굴 모델을 프레임에 나타난 얼굴과 흡사하게 변형할 수 있도록 3차원 변형을 적용하므로, 기존의 2차원적인 얼굴 대체기술에 비해 사실적인 결과 물을 얻을 수 있다.

후속연구

• 향후 언구로는 프레임에 등장한 얼굴의 3자원 방향을 주출하는 과정에서 초점거리 복원 등을 통해 각니디오 포레임에 나타난 원근 효과를 반영함으로써 좀 더 정확한 3차원 방향을 추출할 것이다. 또, 블렌딩을 위한 프레임 내의 조명 효과 분시 과정에서 실제 조명의 위치추적 등을 통하여 좀 더 자연스러운 3사 워 얼굴 모델와 정합이 가능하도 룩 할 것이다.
• 동영상 얼굴 내체 과정에서는 프레임에 나타난 표정과 조명효과를 분석하여 3차원 얼굴에 적용함으로써 주변물체나 환경과 의 조화가 유지된 사실적인 얼굴 대체가 가능하다. 본 논문에서 제안하는 시스템은 기존의 동영상 얼 굴 대체 분야 뿐만 아니라 인터넷 디지털 영화와 같이 개개인의 주인공화를 요구하는 동영상의 제작 등 에도 확장되어 사용될 수 있다.
• 향후 언구로는 프레임에 등장한 얼굴의 3자원 방향을 주출하는 과정에서 초점거리 복원 등을 통해 각니디오 포레임에 나타난 원근 효과를 반영함으로써 좀 더 정확한 3차원 방향을 추출할 것이다. 또, 블렌딩을 위한 프레임 내의 조명 효과 분시 과정에서 실제 조명의 위치추적 등을 통하여 좀 더 자연스러운 3사 워 얼굴 모델와 정합이 가능하도 룩 할 것이다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기