[논문]3D 프린팅을 위한 단일 영상 기반 3D 얼굴 모델링 연구

송응열; 고완기; 유선진

doi:10.7742/jksr.2016.10.8.571

3D 프린팅을 위한 단일 영상 기반 3D 얼굴 모델링 연구
Single Image-Based 3D Face Modeling for 3D Printing 원문보기

한국방사선학회 논문지 = Journal of the Korean Society of Radiology, v.10 no.8, 2016년, pp.571 - 576

송응열 (연세대학교 전기전자공학과) , 고완기 (제주한라대학교 방송영상학과) , 유선진 (동명대학교 미디어공학과)

초록
AI-Helper

3D 프린팅은 최근 다양한 분야에서 활용 되고 있다. 다양한 활용 분야 중 사람의 얼굴을 3D 프린팅을 위해서는 먼저 3D 얼굴 데이터를 생성해야 한다. 3D 얼굴 데이터 획득을 위해 레이저 스캐너 등이 활용되고 있으나 스캔 중에 사람이 움직이면 안 되는 제약이 있다. 본 논문에서는 단일 영상 기반의 3D 얼굴 모델링 방법과 생성된 3D 얼굴을 가상 성형 등에 쓰일 수 있도록 얼굴 변형 시스템을 제안한다. 3D 얼굴 데이터 생성을 위해 3D 얼굴 데이터베이스로부터 특징점들을 정의하였다. 단일 얼굴 영상으로부터 얼굴을 특징점을 추출 한 후 3D 얼굴 데이터베이스로부터 정의된 3D 얼굴 특징점과 대응하여 입력 얼굴 영상의 3D 얼굴을 생성한다. 3D 얼굴 생성 후에 가상 성형 등의 용도를 위해 얼굴 변형 부분을 적용하였다.

Abstract ▼ AI-Helper

3D printing has recently been used in various fields. Among various applications, 3D face data must be generated for 3D face printing. A laser scanner is used to acquire 3D face data, but there is a restriction that a person should not move during scanning. In this paper, we propose a 3D face modeling method based on a single image and a face transformation system to use the generated 3D face for virtual cosmetic surgery. We have defined facial feature points from the 3D face database for 3D face data generation. After extracting feature points from a single face image, 3D face of the input face image is generated corresponding to the 3D face feature points defined from the 3D face database. After 3D face modeling, 3D face modification part is applied for use such as virtual cosmetic surgery.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

우리가 제안한 방법은 정면 얼굴 사진을 통해 사람의 3D 얼굴 데이터를 추정하여 사람의 움직임 제약이 많이 줄어들게 되고 사진 영상 기반이기 때문에 장비 가격이 상대적인 강점을 가지게 된다. 본 논문에서는 2D 영상 기반 3D 얼굴 데이터 모델링 및 이를 재해석 하여 3D 출력 하는 시스템을 제안한다. 이는 2D 인물 사진의 부분별 특징을 인식하고 분석하여 3D 모델을 생성하고, 이를 3D-Printer로 출력 하는 기술이다.
본 논문은 영상 기반의 3D 얼굴 데이터 모델링과 3D 출력을 지원하는 시스템을 제안하였다. 3D 스캐너보다 간편하고 대중화된 카메라를 이용하여 3D 얼굴 데이터를 쉽게 생성하는 방법을 제안함으로써 생성된 3D 얼굴 데이터를 다양한 분야에 적용 가능하다.
하지만 현재 1차원적 관광 서비스 산업이 발달하고 있지만 관련 콘텐츠 활용 사업은 기존의 캐릭터 상품에 의존하거나, 특색이 없는 저가형 대량 생산 제품을 판매하고 있다. 이처럼 국내 콘텐츠 관련 관광 상품을 위한 개발이 저가형 대량 생산 방식 이였다면, 본 논문은 개인 맞춤형 고부부가가치 상품 생산을 위한 사람의 얼굴 3D 모델링 기술과 이를 이용한 3D 출력 서비스 시스템을 제안한다.

제안 방법

51개의 얼굴 특징 중 얼굴 인체 측정(Anthropometri c) 정보를 이용하기 위하여 미리 정의한 특징간 거리를 측정하는 방법으로 3D 얼굴 DB에서 25개의 특징을 정의하여 측정하였다.
Cyberware 3D 레이저 스캐너로 취득된 50명의 3D 얼굴 데이터로부터 정의한 특징의 3D 위치와 특징간 거리를 측정 후 통계적 분석을 수행하였다. Fig.
Texture Mapping을 위해 Orthographic projection을 가정하여 입력 영상에 3D Face Mesh를 직접 투영하는 방식으로 Texture Mapping 수행하였다. 생성된 3D 얼굴 데이터에 Texture Mapping을 위하여 Cylindrical Ma pping 방법을 적용하였다.
ASM은 영상에서 객체의 모양을 여러 개의 점들로 표현한 통계적 모델로, 1995년 Tim Cootes와 Chri s Tayler에 의해 개발된 대표적 특징추출 알고리즘으로점 분포 모델(PDM, Point Distribution Model)을 기반으로 구성되며, 학습과정을 통해 얻어진 정보를 바탕으로 영상에서 원하는 객체의 모양을 표현 가능하다.^[7] ASM을 이용하여 얼굴 특징 추출결과를 고려하여 특징 점에 상응하는 얼굴 특징과 특징간 거리를 3D 얼굴 데이터베이스에서 추출 하였다. Fig.
매핑 좌표계 x, y, z는 반지름 r과 높이 h를 가지는 원기둥에 맵핑되고 s = u, t = v로 대응하고 텍스쳐 공간으로부터 맵핑된 u, v는 0과 1사이의 값을 가지게된다. 따라서 입력 영상에서 얼굴 모델의 Triangle Mesh를 영상 평면에 투영하고 Mesh 내부 Texture를 Texture Map으로 warping하여 이질감을 향상시켰다. TextureMap 생성 시 얼굴의 옆면은 거울을 통해 취득되며 거울에 반사된 영상과 정면 영상을 동시에 사용하므로 주변 조명에 의한 영향으로 불연속적인 Texture 문제가 발생한다.
ASM을 통해 입력 영상의 특징점을 추출하고 3D 데이터베이스에서 정의된 특징점 간의 좌표를 이용하여 실제 특징 좌표와의 거리를 Cost Function으로 설정하였고, Cost Function을 최소화 하는 특징 벡터 가중치와 3D Affine Transform 파라미터들은 Nonlinear Least Square Optimization 알고리즘인 LM(Levenberg-Marqua rdt)을 적용하여 계산 하였다. 마지막으로 계산된 파라미터를 3D 변형 가능 모델에 반영하여 입력 영상에 대한 주요 얼굴 외형을 추정하였다. Fig.
먼저 3D 얼굴의 외형을 표현하기 위하여 기존 3D 얼굴 데이터로부터 주요 특징점들에 대한 통계적인 정보를 취합하여 얼굴의 윤곽 특징을 잘 나타내는 51개의 주요 특징점을 정의 하였다. Fig.
이는 2D 인물 사진의 부분별 특징을 인식하고 분석하여 3D 모델을 생성하고, 이를 3D-Printer로 출력 하는 기술이다. 이를 위해 3D 얼굴 데이터베이스로부터 3D 얼굴 특징점을 정의하고 입력된 영상에서 얼굴 검출, 얼굴 특징점 추출, 3D 얼굴 생성, 3D data 획득, 3D 프린팅으로 이어지는 단계를 진행하게 된다. 본 논문은 2절에서 제안된 시스템에 대해 살펴보고, 3절에서는 실험 결과를 보인다.
이후 3D 공간상에서 가상의 얼굴 성형이 가능하도록 영역 기반의 얼굴 변형 시스템을 구현하였다. 사용자가 원하는 영역을 설정하고 이 부분을 변형 하여 원하는 형태로 얼굴을 변형 할 수 있도록 지원하였다.
이후 액자 형태의 출력을 지원하기 위하여 액자 형태의 바탕과 얼굴 부분을 합성하였다. 돌출 형태는 사용자가 조절 하도록 하였다.
은 특정 영역을 기반으로 변형을 진행한 예를 보이고 있다. 획득된 3D 얼굴 데이터를 3D 공간상에서 원하는 형태로 가공한 후 기존 obj 파일뿐만 아니라 3D 프린팅에 가능한 stl 형태로도 변환 저장하였다. Fig.

이론/모형

ASM을 통해 입력 영상의 특징점을 추출하고 3D 데이터베이스에서 정의된 특징점 간의 좌표를 이용하여 실제 특징 좌표와의 거리를 Cost Function으로 설정하였고, Cost Function을 최소화 하는 특징 벡터 가중치와 3D Affine Transform 파라미터들은 Nonlinear Least Square Optimization 알고리즘인 LM(Levenberg-Marqua rdt)을 적용하여 계산 하였다. 마지막으로 계산된 파라미터를 3D 변형 가능 모델에 반영하여 입력 영상에 대한 주요 얼굴 외형을 추정하였다.
Texture Mapping을 위해 Orthographic projection을 가정하여 입력 영상에 3D Face Mesh를 직접 투영하는 방식으로 Texture Mapping 수행하였다. 생성된 3D 얼굴 데이터에 Texture Mapping을 위하여 Cylindrical Ma pping 방법을 적용하였다. 이 방법은 비트맵 이미지가 오브젝트에 맵핑될 때 위치, 방향, 크기를 결정하게 되며 맵핑 좌표계라고 한다.
영상 기반 3D 얼굴 생성을 위해 3D Deformable 방법을 사용하였다.^[8]변수 조정을 통해 전체 모델의 외형을 변화 시킬 수 있는 Parametric model은 3D Affine Transform과 특징 벡터의 weight로 변경 가능 하다.
TextureMap 생성 시 얼굴의 옆면은 거울을 통해 취득되며 거울에 반사된 영상과 정면 영상을 동시에 사용하므로 주변 조명에 의한 영향으로 불연속적인 Texture 문제가 발생한다. 이를 해결하기 위하여 Gradient-Domain Blen ding Method 중 하나인 Seamless Cloning Method를 적용하였다.
특징 추출을 위해 ASM(Active Shape Model)을 사용하였다. ASM은 영상에서 객체의 모양을 여러 개의 점들로 표현한 통계적 모델로, 1995년 Tim Cootes와 Chri s Tayler에 의해 개발된 대표적 특징추출 알고리즘으로점 분포 모델(PDM, Point Distribution Model)을 기반으로 구성되며, 학습과정을 통해 얻어진 정보를 바탕으로 영상에서 원하는 객체의 모양을 표현 가능하다.

후속연구

본 논문은 영상 기반의 3D 얼굴 데이터 모델링과 3D 출력을 지원하는 시스템을 제안하였다. 3D 스캐너보다 간편하고 대중화된 카메라를 이용하여 3D 얼굴 데이터를 쉽게 생성하는 방법을 제안함으로써 생성된 3D 얼굴 데이터를 다양한 분야에 적용 가능하다. 특히, 얼굴 변형 부분을 활용 하면 얼굴 성형 수술 전에 얼굴의 원하는 부분을 변형하고 실제 출력함으로써 수술 전후의 예측을 보다 깊이 이해 할 수 있게 가능하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	3D 프린팅이 주는 이점은?	최근 3D 프린팅 기술에 대한 관심이 높아지고 있다. 3D 프린팅은 우리 일상생활 용품은 물론 자동차, 우주 항공, 관광 상품 등 기존 산업의 제조공정을 고도화 하고 제품 개발에 소요되는 시간을 단축함과 동시에 비용을 획기적으로 절감할 수 있다. 또한 전통산업의 패러다임을 변화 시키고 제조업 혁신을 가져와 스마트공장으로 변화 하면서 신 시장 창출의 동력을 기대할 수 있다. 미국 Time지는 ‘미국에서 급성장하는 10대 산업’의 하나로 3D 프린터 제조(3D Printer Manufacturin g)를 꼽은바 있으며, 미국, EU, 중국 등은 3D 프린팅 기술을 신성장동력으로 주목하고 각국 정부주도 하에 적극적으로 육성중이다.
	3D CAD 혹은 3D 모델링 소프트웨어는 어디에 사용되는가?	사용자가 가상의 데이터를 생성하는 방법은 3D CAD 혹은 3D 모델링 소프트웨어 등을 이용한다. 이는 건축설계나 3차원 계측에 3D CAD가 많이 사용되며, 3D 영상작업이 동반되는 애니메이션 캐릭터의 경우에는 3D 모델링 소프트웨어로 생성이 가능하다. 하지만 숙련된 전문가가 많은 시간을 할애해야 하는 경우가 대부분을 차지한다고 할 수 있다.
	절삭형의 단점은?	이러한 3D 프린팅 시스템은 3D 데이터만 있으면 언제어디서든지 원하는 모양을 출력 가능하게 해 주어 다양한 산업에 큰 도움이 될 수 있는 기술이다. 3D 프린팅 시스템은 3차원 모델을 출력하는 방법에 따라서 절삭형의 경우 재료를 깎아내는 방식으로 재료 손실이 많고 복잡한 구조에 어려움이 있었다면 최근 보급화된 3D 프린터는 플라스틱 계열의 재료를 녹여서 적층 형으로 쌓아 올리는 원리를 이용하는데 종래의 절삭형에 비해서 속도와 비용의 한계를 극복한 기술이라 할수 있다. 더 나아가 최근에는 다양한 소재들이 개발 되고 있어서, 티타늄, 알루미늄, 나일론, 세라믹, 금, 은 등 재료 사용이 가능하다.

참고문헌 (8)

D.Terzopoulos and K.Waters, "Physically-based facial modeling, analysis, and animation," Journal of Visualization and Computer Animation, 1(4):73-80, March 1990.

상세보기
V.Blanz, T.Vetter, "A morphable model for the synthesis of 3D faces," in SIGGRAPH 99 Conference Proceedings, ACM SIGGRAPH, 1999, pp.187-194.
N.Ersotelos, F.Dong, "Building highly realistic facial modeling and animation: Asurvey," Visual Computer, vol. 24, issue 1, January 2008, pp. 13-30.

상세보기
Tae-eun Kim, You-Shin Park,"Facial Animation Generation by Korean Text Input", The Journal of the Korea Institute of Electronic Communication Sciences, 4(2), 2009.6, 116-122
Sang-Hoon Kim, Tae-eun Kim, "A study on underwater 3D contents production", The Journal of the Korea Institute of Electronic Communication Sciences, 7(3), 2012.6, 529-536
Seung-Il Cho, Jong-Chan Kim, Kyeong-Jin Ban, Eung-Kon Kim, "A Study on 3D Panoramic Generation using Depth-map", The Journal of the Korea Institute of Electronic Communication Sciences, 6(6), 2011.12, 831-838
Cootes, T., Taylor, C., Cooper, D., Graham, J., "Active shape models-Their training and application.," Comput. Vis. Image Understand. 1995, 61, 38-59.

상세보기
Hwang, J., Yu, S., Kim, J., Lee, S., "3D Face Modeling Using the Multi-Deformable Method.," Sensors 12, 12-16 (2012)

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증