[논문]텍스처 특징 기반 제어점 선택 알고리즘과 병렬 심층 컨볼루션 신경망을 이용한 새로운 얼굴 모핑 방법

박진혁; 임선자; 이석환; 권기룡

doi:10.9717/kmms.2022.25.2.176

Abstract ▼ AI-Helper

In this paper, we propose a compact method for anthropomorphism that uses Deep Convolutional Neural Networks (DCNN) to detect the similarities between a human face and an animal face. We also apply texture feature-based morphing between them. We propose a basic texture feature-based morphing system ...

In this paper, we propose a compact method for anthropomorphism that uses Deep Convolutional Neural Networks (DCNN) to detect the similarities between a human face and an animal face. We also apply texture feature-based morphing between them. We propose a basic texture feature-based morphing system for morphing between human faces only. The entire anthropomorphism process starts with the creation of an animal face classifier using a parallel DCNN that determines the most similar animal face to a given human face. The significance of our network is that it contains four sets of convolutional functions that run in parallel, allowing it to extract more features than a linear DCNN network. Our employed texture feature algorithm-based automatic morphing system recognizes the facial features of the human face and takes the Control Points automatically, rather than the traditional human aiding manual morphing system, once the similarity was established. The simulation results show that our suggested DCNN surpasses its competitors with a 92.0% accuracy rate. It also ensures that the most similar animal classes are found, and the texture-based morphing technology automatically completes the morphing process, ensuring a smooth transition from one image to another.

주제어

표/그림 (17)

그림 Fig. 1. The DCNN of Tibor Trnovszky [4].
그림 Fig. 2. The DCNN of Goubin Chen [5].
그림 Fig. 3. Morphing consists of two warps followed by a blend [8].
그림 Fig. 4. Example of an Image Morph [9].
그림 Fig. 5. Manual control point selection using an animator.
그림 Fig. 6. Example of an image morph.
그림 Fig. 7. The method used in panel (a) of specifying line segments is more intuitive and provides more control over the morphing process than the method used in panel (b) by aligning a grid of points to key feature locations [11].
그림 Fig. 8. Our proposed method in a block diagram.
그림 Fig. 9. Control Points Selection from the source image.
그림 Fig. 10. Control Points Selection from destination images.
그림 Fig. 11. Delaunay triangulation applied to source and destination image.
그림 Fig. 12. The example of the created animal database.
표 Table 1. Number of recognized animals by all the proposed and related DCNN methods.
표 Table 2. Simulation results of all the DCNN networks.
그림 Fig. 13. Input image or source image and the predicted Destination image.
그림 Fig. 14. The morphing process from the Source image to the Destination image.
그림 Fig. 15. Steps of the morphing process.

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 모핑 프로세스가 시작되기 전에 입력 영상 간의 유사성을 확인하기 위해 입력 영상 중 가장 유사한 동물 얼굴을 찾는 병렬 DCNN(deep convolutionalneuralnetwork)기반 동물 분류기를 사용하는 밀집 시스템을 제안한다. 또한 수동으로 모핑 과정을 진행하는 기존 방법과 달리 동물과 대상의 텍스처 특징을 사용하여 자동으로 제어점을 선택하고 모핑 영상을 생성하는 기술을 제안한다.

제안 방법

본 논문에서는 모핑 프로세스가 시작되기 전에 입력 영상 간의 유사성을 확인하기 위해 입력 영상 중 가장 유사한 동물 얼굴을 찾는 병렬 DCNN(deep convolutionalneuralnetwork)기반 동물 분류기를 사용하는 밀집 시스템을 제안한다. 또한 수동으로 모핑 과정을 진행하는 기존 방법과 달리 동물과 대상의 텍스처 특징을 사용하여 자동으로 제어점을 선택하고 모핑 영상을 생성하는 기술을 제안한다. 이를 위해서는 모핑 과정 전에 입력 값으로 받을 동물 사진이 필요한데, 이 동물들의 분류를 위해서 지수함수형 선형 유닛(ExponentialLinearUnit, ELU)과 배치 정규화 함수로 구축된 병렬 DCNN을 분류기로 사용한다.
제안 방법은 딥 러닝을 사용하여 동물의 얼굴과 인간의 얼굴 사이의 유사성을 찾아내고 그들 사이에 자동 모핑 영상을 생성하는 시스템을 구축하는 것이다. 기존의 모핑 방법은 때때로 유사도를 고려하지 않고 무작위로 선택된 영상 간에 수행되거나, 모핑의 결과를 개선하기 위해 사람이 직접 수정해야 하는 번거로움이 있다.
8은 제안 방법의 전체 단계를 보여준다. 제안 방법은 병렬 DCNN기반 동물 얼굴 분류, 제어점 선택 시스템과 마지막으로 모핑까지 총 3단계로 수행된다. 전체프로세스를 아래에서 단계별로 자세하게 설명한다.
영역을 정삼각형에 가깝도록 설정하는 이유는 만약에 둔각을 가진 홀쭉하고 긴 삼각형으로 워핑과모핑 영역을 설정할 경우, 모핑 성능에 영향을 미치게 되기 때문이다. 제안 방법은 소스 영상과 대상 영상에 제어점을 표시하여 모핑 프로세스를 시작한다. 이때, 소스 영상과 대상 영상의 가장자리를 따라 16 개의 주변 점을 설정하여 해당 점들을 모서리 점으로 하는 삼각형을 설정한다[13].
기존의 제어점 선택 시스템에서는 사용자가 컴퓨터에서 애니메이터를 사용하여 수동으로 제어점을 선택해야 했다. 제안 방법은 이 수동 선택 과정을 없애고 사용자의 개입 없이 제어점을 가져오는 자동시스템으로 대체한다. 제안된 텍스처 특징 기반 제어점 선택 알고리즘은 제어점을 찾기 위해 Viola-Jones 알고리즘[12]을 사용한다.
소스 영상에서 얼굴 특징을 찾고 제어점을 수집하는데 소스 영상과 대상 영상에서 수집되는 제어점을 각각 이동점과 고정 점이라고 한다. 제안 방법은 인간의 얼굴 점은 이동점으로, 동물의 얼굴 점은 고정점으로 지정한다.

대상 데이터

동물 얼굴 분류 실험 전, Google검색 및 기타 여러 웹사이트와 같은 다양한 비상업적 싸이트에서 영상을 수집하여 실험에 사용할 데이터 세트를 구성하였다. 데이터 세트는 곰, 고양이, 사슴, 개, 코끼리, 말, 사자, 토끼, 너구리 및 쥐와 같은 10가지 동물 영상[7] 이며, 각 동물 클래스에는 1000개의 영상이 포함되어있다. 본 실험에서는 해당 영상을 그대로 실험에 사용하지 않고 몇 가지의 수정을 가하였다.
동물 얼굴 분류 실험 전, Google검색 및 기타 여러 웹사이트와 같은 다양한 비상업적 싸이트에서 영상을 수집하여 실험에 사용할 데이터 세트를 구성하였다. 데이터 세트는 곰, 고양이, 사슴, 개, 코끼리, 말, 사자, 토끼, 너구리 및 쥐와 같은 10가지 동물 영상[7] 이며, 각 동물 클래스에는 1000개의 영상이 포함되어있다.
“선형 DCNN+Batch Normalization+ELU”에서 가장 많이 인식한 클래스는 Lion으로 200개 영상 중 192개, 가장 덜 인식한 클래스는 고양이로 200개 중 170개였다. 마지막으로본 논문에서 제안한 병렬 DCNN모델은 가장 많이 인식한 클래스는 사자로, 200개 중 194개 인식하였고 가장 적게 인식한 클래스는 코끼리로 200개 중 173개였다. Table2는 제안한 방법과 관련된 모든 방법의 전체적인 정확도를 보여준다.
4장 전체에서 병렬 DCNN과 제안된 모핑 프로세스에 대한 실험 결과를 제시하고 분석하여 제안 방법의 성능을 설명하고자 한다. 실험은 Intel Core i7CPU 3.70GHz, 16GB RAM 및 단일 NVIDIA GeForce RTX 2070 16GB GPU로 구성된 시스템에서 수행하였다.
이를 위해서는 모핑 과정 전에 입력 값으로 받을 동물 사진이 필요한데, 이 동물들의 분류를 위해서 지수함수형 선형 유닛(ExponentialLinearUnit, ELU)과 배치 정규화 함수로 구축된 병렬 DCNN을 분류기로 사용한다. 제안 방법의 전체 프로세스에 사용할 영상 데이터로 동물 10종의 얼굴 10, 000여장을 수집, 수정하였다. 본 논문은 2장에서 동물 분류, 영상 워핑 및 모핑과 관련된 기존 연구들을 소개하고 3장에서 동물 분류기에서 분류해낸 동물 영상들이 모핑 프로세스에서 어떻게 사용되는지를 포함한 제안 방법의 전체 프로세스를 설명한다.

데이터처리

12는 생성된 동물 데이터 세트 중 40개의 예제를 보여준다. 제안 방법의 성능을 객관적으로 설명하기 위해 기존 방법 중 TiborTrnovszky등[4]및 GuobinChen 등[5]이 제안한 방법과 같이 실험하고 결과를 비교하였다. 또한 제안 방법에 도달하기 전 고려되었던 여러 가지 방법들도 같이 실험하였다.

이론/모형

이동점을 설정하기 위해 얼굴, 눈, 코, 입과 같은 얼굴 특징을 찾고 Viola-Jones알고리즘을 이용해서 얼굴 특징 주위에 정사각형 모양을 그리고 해당 특징 주위의 사각형 모양을 원으로 변경한다. 그런 다음 해당 원에서 이동점을 수집한다.
제안한 모핑 프로세스는 Delaunay삼각 측량 기반워핑 시스템을 사용한다. 이 시스템은 주어진 데이터의 고정점을 모서리로 사용하여 지정된 공간을 적절한 삼각형 세트로 먼저 슬라이스한다[7].
워핑과 모핑을 적용할 동물 클래스는 입력된 사람과의 유사성을 고려하여 시스템에서 정해주지만, 동물 얼굴에 설정할 고정점은 사람의 얼굴에 설정된 제어점을 가져와서 사용자가 직접 맵핑하고 저장한다[7]. 제어점을 설정한 후에는 사람 얼굴과 동물 얼굴에 Delaunay삼각 측량 기반 맵핑 방법을 적용해서 사람 얼굴과 동물 얼굴에 설정된 모든 제어점을 연결하고 영역을 분할하여 워핑을 수행, 최종적으로 모핑을 수행한다. 원하는 모핑 영상을 생성하기 위해 전체 프로세스는 총 20프레임을 사용한다.

성능/효과

그러나 제안 방법은 소스 영상과 대상 영상 간의 유사도를 고려하여 유사성을 기반으로 모핑하기 때문에 기존 방법에 비하여 훨씬 높은 퀄리티를 가진 모핑 영상을 생성할 수 있었고 모핑 과정 전 병렬 DCNN을 사용하여 동물 얼굴과 사람 얼굴에서 특징을 추출하여 비교함으로써 특정 입력 인간 얼굴에 일치하는 동물 클래스를 찾아서 자연스러운 모핑 과정을 제공하는 것을 확인하였다. 뿐만 아니라 본 연구를 통해 텍스처 특징 기반 자동 제어점 선택 시스템을 통해 사람의 실수 가능성을 줄이면서 사용도 간편한 모핑 시스템도 구축하였다. 실험을 통해 본 연구에서 제안한 방법이 관련 연구 분야에서 제안된 기존 방법에 비해 뛰어난 적용 가능성과 효율성을 입증하였기에 그 의의가 더 크다고 할 수 있다.

참고문헌 (13)

T. Prince, Y. Fragoso, and O. Gaye, "Applications of Image Morphing Techniques to Analyze Changes in Our Environment," Open Access Library Journal, Vol. 3, No. 9, pp. 1-13, 2016.
S. Taheri and O. Toygar, "Animal Classification Using Facial Images with Score-Level Fusion," IET Computer Vision, Vol. 12, No. 5, pp, 679-685, 2018.

상세보기
K. O' Shea and R. Nash, "An Introduction to Convolutional Neural Networks," arXiv P reprint, arXiv:1511.08458, 2015.
T. Trnovszky, P. Kamencay, R. Orjesek, M. Benco, and P. Sykora, "Animal Recognition System Based on Convolutional Neural Network," Advances in Electrical and Electronic Engineering, Vol. 15, No. 3, pp. 517-525, 2017.
T.G. Chen, X. Han, Z. He, R. Kays, and T. Forrester, "Deep Convolutional Neural Network Based Species Recognition for Wild Animal Monitoring," Proceeding of 2014 IEEE International Conference on Image Processing, pp. 858-862, 2014.
T. Beier and S. Neely, "Feature-Based Image Metamorphosis," Computer. Graphics, Vol. 26, No. 2, pp. 35-42, 1992.

상세보기
R.H. Khan, Y.-S. Lee, S.-H. Lee, O.-J. Kwon, and K.-R, Kwon, "Anthropomorphic Animal Face Masking Using Deep Convolutional Neural Network Based Animal Face Classification," Journal of Korea Multimedia Society, Vol. 22, No. 5, pp. 558-572, 2019.

원문보기 상세보기
M. Delport, Morphing in Two Dimensions : Image Morphing, Master's Thesis of Stellenbosch University at science, 2007.
J. Gomes, L. Darsa, B. Costa, and L. Velho, Warping & Morphing of Graphical Objects; 1st edition, Morgan Kaufmann Publishers, San Francisco, Calif., 1998.
R. Carrol, A Warping Framework for Wide-Angle Imaging and Perspective Manipulation, Doctor's Thesis of Electrical Engineering and Computer Sciences University of California at Berkeley, 2013.
M. Steyvers, "Morphing Techniques for Manipulating Face Images," Behavior Research Methods, Instruments, & Computers, Vol. 31, pp. 359-369, 1999.

상세보기
P. Viola and M. Jones, "Rapid Object Detection Using a Boosted Cascade of Simple Features," Proceeding of International Conference on the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. I-I, 2001.
R.H. Khan, V. Caleb, S.-H. Lee, K.-W. Kang, O.-J. Kwon, and K.-R. Kwon, "Automatic Control Point Selection System Based Anthropomorphic Animal Face Masking," Proceeding of International Conference on Computing Advancements; Association for Computing Machinery, pp. 1-4, 2020.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

텍스처 특징 기반 제어점 선택 알고리즘과 병렬 심층 컨볼루션 신경망을 이용한 새로운 얼굴 모핑 방법
A New Face Morphing Method using Texture Feature-based Control Point Selection Algorithm and Parallel Deep Convolutional Neural Network 원문보기

Abstract ▼ AI-Helper

주제어

표/그림 (17)

표/그림 (17)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

참고문헌 (13)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

텍스처 특징 기반 제어점 선택 알고리즘과 병렬 심층 컨볼루션 신경망을 이용한 새로운 얼굴 모핑 방법 A New Face Morphing Method using Texture Feature-based Control Point Selection Algorithm and Parallel Deep Convolutional Neural Network 원문보기

Abstract ▼ AI-Helper

주제어

표/그림 (17) 모든 표/그림 보기

표/그림 (17) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

참고문헌 (13)

이 논문을 인용한 문헌

저자의 다른 논문 :

박진혁 (3) 권기룡 (127)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

텍스처 특징 기반 제어점 선택 알고리즘과 병렬 심층 컨볼루션 신경망을 이용한 새로운 얼굴 모핑 방법
A New Face Morphing Method using Texture Feature-based Control Point Selection Algorithm and Parallel Deep Convolutional Neural Network 원문보기

표/그림 (17)

표/그림 (17)

AI 본문요약
AI-Helper