[논문]인터랙티브 미디어 플랫폼 콕스에 제공될 4가지 얼굴 변형 기술의 비교분석

전호범; 고현관; 이선경; 송복득; 김채규; 권기룡

doi:10.9717/kmms.2019.22.5.535

인터랙티브 미디어 플랫폼 콕스에 제공될 4가지 얼굴 변형 기술의 비교분석
Comparison Analysis of Four Face Swapping Models for Interactive Media Platform COX 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.22 no.5, 2019년, pp.535 - 546

전호범 (Dept of IT Convergence and Application Engineering, Pukyong University) , 고현관 (Dept of IT Convergence and Application Engineering, Pukyong University) , 이선경 (Dept of IT Convergence and Application Engineering, Pukyong University) , 송복득 (Electronics and Telecommunications Research Institute) , 김채규 (Dept of IT Convergence and Application Engineering, Pukyong University) , 권기룡 (Dept of IT Convergence and Application Engineering, Pukyong University)

Abstract ▼ AI-Helper

Recently, there have been a lot of researches on the whole face replacement system, but it is not easy to obtain stable results due to various attitudes, angles and facial diversity. To produce a natural synthesis result when replacing the face shown in the video image, technologies such as face area detection, feature extraction, face alignment, face area segmentation, 3D attitude adjustment and facial transposition should all operate at a precise level. And each technology must be able to be interdependently combined. The results of our analysis show that the difficulty of implementing the technology and contribution to the system in facial replacement technology has increased in facial feature point extraction and facial alignment technology. On the other hand, the difficulty of the facial transposition technique and the three-dimensional posture adjustment technique were low, but showed the need for development. In this paper, we propose four facial replacement models such as 2-D Faceswap, OpenPose, Deekfake, and Cycle GAN, which are suitable for the Cox platform. These models have the following features; i.e. these models include a suitable model for front face pose image conversion, face pose image with active body movement, and face movement with right and left side by 15 degrees, Generative Adversarial Network.

주제어

표/그림 (20)

그림 Fig. 1. Flowchat of face transfer technology.
그림 Fig. 2. Face detection [16].
그림 Fig. 3. Face feature extraction [16].
그림 Fig. 4. Face alignment [5].
그림 Fig. 5. Face segmentation [6].
그림 Fig. 6. Face transfer [7].
그림 Fig. 7. 3D Face feature detection [8].
표 Table. 1. Comparison Analysis
그림 Fig. 8. 68-landmarks on face [16].
그림 Fig. 9. Face swapping result of 2-D faceswap model.
표 Table 2. Test environment
그림 Fig. 10. failed results of 2-D faceswap model.
그림 Fig. 11. Output of OpenPose [27].
그림 Fig. 12. Candide-3 with 113 vertices and 168 surface[22].
그림 Fig. 13. Face swapping result of 3-D faceswap[28] model.
그림 Fig. 14. Face swapping result of OpenPose model.
그림 Fig. 15. Compare with 3-D faceswap[28] and OpenPose swap.
그림 Fig. 16. Face swapping result of Deepfake model.
그림 Fig. 17. Face swapping result of CycleGAN model.
그림 Fig. 18. Suggested face swapping model.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 이 논문에서는 위의 문제들을 수용할 수 있는 실시간 및 영상 인물 포즈 교체에 적합한 2-DFaceswap, OpenPose, Auto Encoder Deepfake,CycleGAN 4가지 모델에 대한 연구 분석 내용 및 통합 모델의 결과를 제시한다.

가설 설정

2-D faceswap 모델의 장점은 데이터 셋의 양이 적고 연산이 빠르다는 점이다. 정면 얼굴 이미지 하나와 동영상 하나만 있으면 얼굴 교체가 가능하며 얼굴 특징 벡터를 찾아내어 그에 맞게 이미지를 교체하는 연산만 필요하기 때문에 실시간으로 얼굴을 합성시킬 수 있다.

제안 방법

이번 장에서 소개하는 네 가지 모델들에 대한 구현 및 테스트 환경은 Python으로 작성되었으며 각각의 모델별로 라이브러리에 대한 의존성을 가지고 있다. Anaconda3를 사용해서 각 모델들에 대해 독립적인 환경을 구성한다. 컴퓨터의 사양은 아래와 같다.
Input 데이터로 영상 A, B를 제공하면 데이터 셋을 위한 전처리 과정으로 Extract 기능을 사용한다. MTCNN[25]을 사용해서 데이터의 얼굴을 감지하고 256*256 크기의 이미지로 정렬된 이미지를 얻는다. 영상 A와 B에서 추출한 얼굴 데이터들을 Train 기능을 통해 학습 모델을 생성한다.
[13]의 학습과정은 영상 A, B 으로부터 학습 데이터를 추출한다. MTCNN[25]을 이용하여 얼굴부분을 검출하며 파이썬의 face-alignment 패키지를 이용하여 얼굴을 정렬한다. 추출된 두 얼굴 데이터 셋을 이용해 CycleGAN의 학습을 진행한다.
3-D마스크는 Gauss-Newton[23]을 사용하여 조정하였다. 검출기에서 얻은 동영상의 얼굴 특징 벡터를 파라미터로 수식에 대입하여 정규화, 가중치, 스케일링, 회전 및 평행 이동을 한다. 이 조정 과정을 통해 교체 대상의 얼굴과 매칭되는 마스크를 만들고랜더링한다.
Convert 기능을 사용해 진행하는데 Deepfake에서는 Frame, Blur 등 Mask에 대해 최적화할 수 있도록 다양한 기능을 제공한다. 본 논문에서는 Gaussian Blur[24], Blur Size, Erosion Size, Color Matching, Dlib-CNN을 조절해서 얼굴 교체를 자연스럽게 하였다.
CycleGAN은 이미지로 구성된 두 개의 데이터셋이 있을 때 한 데이터 셋의 이미지들을 다른 데이터 셋의 스타일로 바꾸어 주는 일을 한다. 본 논문에서는 두 사람의 얼굴로 구성된 데이터 셋을 input으로 모델을 학습시킨다. 학습된 모델을 이용하여 두 사람의 얼굴을 서로 바꿀 수 있다.
MTCNN[25]을 이용하여 얼굴부분을 검출하며 파이썬의 face-alignment 패키지를 이용하여 얼굴을 정렬한다. 추출된 두 얼굴 데이터 셋을 이용해 CycleGAN의 학습을 진행한다. Convert 기능으로 학습된 모델을 이용하여 영상 A를 입력하면 B의 얼굴로 교체가 되고 그 반대인 B영상의 얼굴을 A의 얼굴로도 교체할 수 있다.

대상 데이터

Zhang는 딥러닝의 컨볼루션 인공신경망을 사용하여 얼굴의 특징점을 추출하였다. 10,000개의 학습 데이터로 인공신경망의 파라미터들을 학습하였고. 테스팅 단계에서는40x40 흑백 영상이 입력으로 들어가고, 3개의 풀링 레이어와 1개의 완전 연결 레이어를 포함하였다.
마스크 생성기에서는 소스 이미지를 받아 얼굴을 3-D매핑을 한다. 소스 이미지의 2-D 얼굴로부터 검출된 70개의 좌표를 이용하여 3-D Mask를 생성한다. 자연스러운 3-D 얼굴을 만드는 기법인 Cadide-3[22] 방식을 사용하였다.
우리가 개발한 OpenPose 모델은 본 논문의 첫 번째 모델인 2-D faceswap과는 다르게 Openpose 라이브러리를 이용하여 검출기에서 신체의 관절을 19개로 구분하고, 70개의 얼굴 특징점을 사용했다. 이 모델에서 얼굴 특징점은 눈동자(eye ball)의 좌표가 추가되었으며 얼굴 교체에서는 3-D마스크 생성기와 합성기를 이용했다.
10,000개의 학습 데이터로 인공신경망의 파라미터들을 학습하였고. 테스팅 단계에서는40x40 흑백 영상이 입력으로 들어가고, 3개의 풀링 레이어와 1개의 완전 연결 레이어를 포함하였다. 비선형 함수로는 탄젠트(tangent)함수를 사용하였고, 마지막 레이어에서는 얼굴의 특징점을 추출하는 출력 노드 외에도 '자세', '성별', '안경', '웃음'에 대한 추가적인 정보를 주는 노드를 사용한다.

이론/모형

3-D마스크는 Gauss-Newton[23]을 사용하여 조정하였다. 검출기에서 얻은 동영상의 얼굴 특징 벡터를 파라미터로 수식에 대입하여 정규화, 가중치, 스케일링, 회전 및 평행 이동을 한다.
GAN[30] 모델에서는 Image Transfer에 효과적인 CycleGAN[26]의 네트워크 구조로 학습을 진행하였다. CycleGAN은 이미지로 구성된 두 개의 데이터셋이 있을 때 한 데이터 셋의 이미지들을 다른 데이터 셋의 스타일로 바꾸어 주는 일을 한다.
이는 HOG (Histogram of Oriented Gradients) 방식의 검출기이며 슬라이딩 윈도우방식을 사용한다. 검출 알고리즘으로 Face Landmark Estimation[16]을 이용하였다. 이 알고리즘 이용해 얼굴에서 68개의 특징점들을 특징벡터로 저장한다.
우리가 개발한 OpenPose 모델은 본 논문의 첫 번째 모델인 2-D faceswap과는 다르게 Openpose 라이브러리를 이용하여 검출기에서 신체의 관절을 19개로 구분하고, 70개의 얼굴 특징점을 사용했다. 이 모델에서 얼굴 특징점은 눈동자(eye ball)의 좌표가 추가되었으며 얼굴 교체에서는 3-D마스크 생성기와 합성기를 이용했다.
소스 이미지의 2-D 얼굴로부터 검출된 70개의 좌표를 이용하여 3-D Mask를 생성한다. 자연스러운 3-D 얼굴을 만드는 기법인 Cadide-3[22] 방식을 사용하였다. Fig.

성능/효과

(d)는 얼굴 교체를 할 때에 생성된 마스크를 오버레이하여 출력한 것이다. 3-D마스크를 사용하여서 각도 변환에 있어서 2-D방식보다 자연스러운 얼굴 교체가 가능하였고 입의 움직임 또한 잘 보존한다는 장점이 있다. 하지만 눈을 감을 때 눈을 뜬 모습으로 교체가 된다는 단점이 있다.
하지만 거듭되는 연구에서 몇 가지 단점을 발견했다. 타겟 영상의 얼굴이 정면을 바라보고 있다는 것을 기준으로 했을 때, 상, 하, 좌, 우로 약 15도 이하로 움직였을 때는 자연스러운 결과를 얻을 수 있었다. 그러나 얼굴 가동 범위가 15도 이상인 경우, 장애물에 가려진 경우(손, 머리 등)에는 부자연스러운 결과를 얻었다.

후속연구

따라서 모델 선택 시 환경을 고려하여 신중하게 선택할 필요가 있다. 향후 연구에서는 자동화된 모델을 개발하여 영상 속 얼굴의 포즈에 따라 자연스러운 결과를 제공하는 모델로 개발되어, Cox의 얼굴 변형기능이 발전하기를 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Cox란?	최근에는 한국전자통신연구원[1]에서는 사용자와 미디어 사이의 상호 작용 기능을 제공하는 인터랙티브 영상 창작 플랫폼 ‘Cox’를 개발하여 줄거리를 선택하는 Branch 기능, 영상에 메시지를 보내는 Push기능, 영상과 통화하는 Tele 기능, 영상 객체와 웹을연결하는 Connection 기능 등 다양한 인터랙션 편집기능을 제공하여 인터랙티브 아트 및 영화, 체험형머신 및 기능성 동작인식 게임 그리고 인터랙티브 광고 제작 등에 활용되고 있다. 이와 관련하여 TV set-topbox와 스마트 기기를 통해 증강현실 콘텐츠와 인터랙션하는 시스템 개발[2], 리치 미디어라 불리는 시청자와 상품의 정보에 대해 인터랙션하는 광고 콘텐츠 개발[3], 인터랙티브 스토리텔링 스크립트 언어에 관한 연구[4] 등 인터랙티브 미디어와 관련된 연구들이 활발하게 진행되고 있다.
	디지털 미디어는 어떠한 방식으로 생태계를 조성해 가고 있나?	또한 모바일 인터넷 기반 웹 및 앱 중심의 콘텐츠는 소비자에게 언제 어디서나 참여하고 소통할 수 있는 기회를 제공하여 소비자 자신의 의지를 표현하고 참여자들과 공유하는 소셜 네트워크 기반 콘텐츠로 발전하였다. 이러한 디지털 미디어의 발전은 다양한 형태의 콘텐츠 소비자가 융합된 형태의 생산자로 그리고 콘텐츠의 이용자가 단방향 객체에서 양방향 주체로 변하여 스토리 전개에 능동적이고 적극적인 자세로 직접 관여하는 인터랙티브 미디어를 만들어 새로운 디지털 미디어 생태계 조성해 가고 있다.
	한 가지 모델만 이용하면 정합하기 어려운 기술들은?	영상의 얼굴을 교체할 때 교체된 얼굴이 타인의 얼굴임을 인식하지 못할 정도로 자연스러운 합성 결과를 산출 하려면 얼굴영역 검출과 특징점 추출, 얼굴 정렬과 얼굴영역 분할,3차원 자세조정 및 전의등의 기술들이 모두 정밀한 수준으로 동작해야 하고, 각 기술들이 상호보완적으로 결합되어야 한다. 3장에서 보았듯이 한 가지 모델만 이용하여 이러한 모든 기술들을 정합한다는 것은 매우 어렵다.

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증