선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 3D 일반 모델 기반의 메쉬 워핑에 의한 3D 얼굴 모델링 방법을 제안하였다. 기존의 3D 일반 모델을 사용하는 방법보다 정점수를 크게 증가시켜 정교한 얼굴 모델을 구축하고 실험하였다.
- 본 논문에서는 이러한 단점들을 대체 및 개선하여 직관적으로 활용하기 편하며 경제적 부담 또한 줄일 수 있는 3D 일반 모델 기반의 메쉬 워핑에 의한 3D 얼굴 모델링 방법을 제안한다. 모델 구축 단계에서는 통계적 모델 구축을 위한 데이터 수집의 어려움과 학습과정의 복잡성 등의 단점을 보완하기 위해 3D 일반 얼굴 모델로부터 정점(vertex) 수를 크게 세분화하여 활용한다.
제안 방법
- 본 논문에서 사용한 Candide 모델[3] 또는 Warter's 모델[4]이 일반적으로 사용되며 직접 디자인한 모델[5,6]을 사용할 수도 있다. 2D 이미지들에서 얼굴의 특징점을 추출하고 shape-from-X에 기반한 알고리즘들을 사용하여 3D 좌표를 추출한다. 추출된 3D 좌표 값에 맞도록 RBF 보간을 통해 일반 모델을 변형시켜 형상 모델을 얻는다.
- 기존의 3D 일반 모델을 사용하는 방법보다 정점수를 크게 증가시켜 정교한 얼굴 모델을 구축하고 실험하였다. AAM을 이용하여 입력 얼굴 영상의 특징점을 추출 하였고, 두 단계 메쉬 워핑을 적용하여 3D 얼굴 모델의 정점들과 UV좌표를 변형하였다. 그리고 명도 기반의 깊이 값 추출을 통해 한 장의 이미지에서 깊이 값을 추출하고 3D 모델의 깊이 값을 변형하였다.
- 추출된 특징점을 바탕으로 SfM(structure-from-motion) [16]등의 방법을 통해 3D 정점 좌표 값을 계산한다. 구축된 3D 변형가능 형상 모델이 계산된 3D 정점들에 잘 정합되도록 형상 모델을 조정하여 개인화된 3D 형상 모델을 얻는다. 또한, 입력받은 2D 얼굴 이미지들로부터 텍스쳐를 구하고, 이를 3D 형상 모델에 맵핑함으로써, 최종적인 3D 얼굴 모델을 완성한다.
- 이 방법은 얼굴 인식을 위해 개발된 방법으로 3D 스캐너를 통해 구축한 3D 얼굴 데이터베이스를 주성분 분석(PCA, principal component analysis)을 사용하여 3D 변형 가능 얼굴 모델을 구축한다. 구축된 얼굴 모델을 입력된 2D 얼굴 영상에 투영했을 때 정합이 잘 되도록 변형가능한 모델을 조정하여 개인화된 3D 얼굴 모델을 얻는다. 매우 정교하고 사실적인 방법이지만, 3D 변형가능 모델을 구축할 때의 데이터 수집이 어렵고, 처리해야할 데이터도 많아 시간이 많이 걸리는 단점이 있다.
- Candide-3 얼굴 모델은 MPEG4에서 정의한 얼굴 특징점을 기반으로 모델링되었기 때문에 비교적 적은 수의 정점으로 얼굴 모델링이 가능하지만 적은 수의 정점으로 인하여 정교하고 세밀한 얼굴 모델링은 불가능하다. 그래서 본 논문에서는 Candide-3 얼굴 모델을 기반으로 정점들을 세분화하여 2,304개의 정점과 4,416개의 삼각형 폴리곤(triangle polygon)으로 구성된 얼굴 모델을 사용한다. 그림 2는 본 논문에서 사용된 3D 얼굴 모델을 보인 것이다.
- AAM을 이용하여 입력 얼굴 영상의 특징점을 추출 하였고, 두 단계 메쉬 워핑을 적용하여 3D 얼굴 모델의 정점들과 UV좌표를 변형하였다. 그리고 명도 기반의 깊이 값 추출을 통해 한 장의 이미지에서 깊이 값을 추출하고 3D 모델의 깊이 값을 변형하였다. 마지막으로 변형된 3D 얼굴 모델에 두 단계 메쉬 워핑으로 변형된 UV좌표를 사용하여 텍스쳐를 맵핑하였다.
- 모델 구축 단계에서는 통계적 모델 구축을 위한 데이터 수집의 어려움과 학습과정의 복잡성 등의 단점을 보완하기 위해 3D 일반 얼굴 모델로부터 정점(vertex) 수를 크게 세분화하여 활용한다. 그리고 입력 얼굴 영상과 3D 일반 얼굴과의 메쉬 워핑을 통한 3D 얼굴 모델링을 위한 첫 번째 단계로 입력 영상에서의 특징점을 추출한다. 이때 특징점 추출 방법은 조명에 영향을 많이 받는 색 기반 추출 방법이나 ACM(active contour model) [12], ASM(active shape model)[13]에 비해 비교적 안정적인 AAM(active appearanc model)[14]을 활용한다.
- 본 논문에서는 3D 일반 모델 기반의 메쉬 워핑에 의한 3D 얼굴 모델링 방법을 제안하였다. 기존의 3D 일반 모델을 사용하는 방법보다 정점수를 크게 증가시켜 정교한 얼굴 모델을 구축하고 실험하였다. AAM을 이용하여 입력 얼굴 영상의 특징점을 추출 하였고, 두 단계 메쉬 워핑을 적용하여 3D 얼굴 모델의 정점들과 UV좌표를 변형하였다.
- 셋째로, 명도 기반 깊이 값 추정 방법으로 3D 일반 얼굴 모델의 깊이 값을 변형하고 변형된 좌표의 정확성을 검증하였다. 넷째로, 텍스쳐 맵핑을 통해 3D 얼굴 모델을 완성시켰다.
- 이때 특징점 추출 방법은 조명에 영향을 많이 받는 색 기반 추출 방법이나 ACM(active contour model) [12], ASM(active shape model)[13]에 비해 비교적 안정적인 AAM(active appearanc model)[14]을 활용한다. 다음은 추출된 특징점을 통해 3D 일반 모델을 변형하는 방법으로 많은 대응점들을 처리하기 때문에 발생하는 시간 지연과 RBF(radial basis function)의 기저함수와 적용 범위를 지정해야하는 단점을 보완하기 위해 최소한의 대응점을 이용하여 두단계 메쉬 워핑을 적용하여 변형을 시도한다. 또한 메쉬 워핑시 3D 일반 얼굴 모델의 UV 맵도 함께 워핑함으로써 별도의 텍스쳐 맵을 구성하지 않고 자연스럽게 텍스쳐를 입힌다.
- 본 연구는 고정된 조명 환경에서 이루어졌고, 실험 PC 사양은 Intel Core2 Duo CPU E8500, DDR2 3GB memory, Geforce GT240 VGA, @info PC camera를 이용하였다. 또한 Visual C++ 2010, MFC, OpenCV, DirectX9.0 라이브러리를 이용하여 구현하였다.
- 다음은 추출된 특징점을 통해 3D 일반 모델을 변형하는 방법으로 많은 대응점들을 처리하기 때문에 발생하는 시간 지연과 RBF(radial basis function)의 기저함수와 적용 범위를 지정해야하는 단점을 보완하기 위해 최소한의 대응점을 이용하여 두단계 메쉬 워핑을 적용하여 변형을 시도한다. 또한 메쉬 워핑시 3D 일반 얼굴 모델의 UV 맵도 함께 워핑함으로써 별도의 텍스쳐 맵을 구성하지 않고 자연스럽게 텍스쳐를 입힌다. 마지막으로 3D 얼굴 모델의 깊이 정보를 계산하기 위하여 shape-from-shading에 착안하여 조명의 명도 변화에 따른 선형적 영역별 깊이 조절을 시도한다.
- 또한 메쉬 워핑시 3D 일반 얼굴 모델의 UV 맵도 함께 워핑함으로써 별도의 텍스쳐 맵을 구성하지 않고 자연스럽게 텍스쳐를 입힌다. 마지막으로 3D 얼굴 모델의 깊이 정보를 계산하기 위하여 shape-from-shading에 착안하여 조명의 명도 변화에 따른 선형적 영역별 깊이 조절을 시도한다.
- 마지막으로 3D 얼굴의 깊이 정보 유도를 위해 한 장의 정면 이미지 내에서의 명도 값 변화를 통한 깊이 값(depth value)을 추출한다. 이 방법은 고정된 조명 조건하에 수행되어야하는 단점이 있지만 일련의 이미지를 입력받아야 하고 복잡한 처리 과정을 거치는 shape-from-X 알고리즘들[15] 보다 간단하고 처리 속도가 빠르다는 장점이 있다.
- 그리고 명도 기반의 깊이 값 추출을 통해 한 장의 이미지에서 깊이 값을 추출하고 3D 모델의 깊이 값을 변형하였다. 마지막으로 변형된 3D 얼굴 모델에 두 단계 메쉬 워핑으로 변형된 UV좌표를 사용하여 텍스쳐를 맵핑하였다.
- 또한 일련의 영상을 입력받아 3D 정점 값을 계산하는 SfM을 사용하여 처리과정이 복잡하고 입력환경에 제한이 있다. 반면에 본 논문에서는 UV좌표에도 메쉬 워핑을 적용함으로써 입력 영상을 두고 UV를 맞추는 처리과정이 아닌 일반 모델의 UV자체를 변형시킴으로써 좀 더 정확한 맵핑이 가능하다. 조명조건이 고정되어야하는 단점이 있지만 한 장의 사진만을 입력받음으로 환경의 제한이 좀 더 자유롭다는 장점이 있다.
- 본 논문에서는 [18]의 조명 추정과 그림자 생성 기법을 토대로 수작업으로 조명 환경을 결정한다. 사진을 촬영할 때 조명 위치를 정해진 곳에 배치하고 가상 조명을 이를 기반으로 유사한 위치에 배치하도록 한다.
- 첫 번째로 입력 영상에서 얼굴의 특징점을 추출하고, 두 번째로 3D 정점의 좌표 값을 계산한다. 세 번째로 계산된 좌표 값으로 얼굴 모델을 변형하고, 네 번째로 텍스쳐 맵을 구성하고 텍스쳐 맵핑을 하게 된다.
- 첫째로, AAM 학습 및 얼굴 특징 추출하였고 둘째로, 3D 모델을 메쉬 워핑으로 3D 일반 얼굴 모델을 변형하는 실험을 하였다. 셋째로, 명도 기반 깊이 값 추정 방법으로 3D 일반 얼굴 모델의 깊이 값을 변형하고 변형된 좌표의 정확성을 검증하였다. 넷째로, 텍스쳐 맵핑을 통해 3D 얼굴 모델을 완성시켰다.
- Blanz와 그의 동료들은 3D 변형가능 모델 기반 3D 얼굴 모델링 방법을 제안하였다[7]. 이 방법은 얼굴 인식을 위해 개발된 방법으로 3D 스캐너를 통해 구축한 3D 얼굴 데이터베이스를 주성분 분석(PCA, principal component analysis)을 사용하여 3D 변형 가능 얼굴 모델을 구축한다. 구축된 얼굴 모델을 입력된 2D 얼굴 영상에 투영했을 때 정합이 잘 되도록 변형가능한 모델을 조정하여 개인화된 3D 얼굴 모델을 얻는다.
- 정교한 3D 일반 얼굴 모델을 바탕으로 입력 얼굴 영상의 분석과 대응관계 유도를 통해 3D 얼굴을 모델링한다. 이때 얼굴 영상 분석은 AAM 기반에서 얼굴의 특징점을 추출하고 3D 일반 얼굴 모델과의 대응관계를 위해 메쉬 워핑과 명도 변화에 기반한 깊이 값 추출후 텍스쳐 맵핑을 수행한다. 그림 1은 제안하는 3D 얼굴 모델링 방법의 흐름을 나타낸 것이다.
- 텍스쳐 맵핑을 하기 위해 입력 영상을 기반으로 텍스쳐 맵을 구성하게 되는데 이 과정에서 소요되는 시간이 얼굴 모델링에서 큰 비중을 차지 한다. 이와는 달리 본 논문에서는 이러한 처리과정을 얼굴 변형 시에 일반 모델의 UV좌표도 두 단계 메쉬 워핑을 통해 변형함으로서 별도의 텍스쳐 맵을 구성할 필요가 없다.
- 입력 이미지를 그레이 스케일 변환한 이미지에서의 샘플 포인트에 대한 명도 값과, 일반 모델에 Phong 쉐이딩을 적용하여 계산된 샘플 포인트에 해당하는 정점의 명도 값을 이용하여 일반 모델의 깊이 값을 변형한다. 그림 9는 렌더링된 3D 일반 모델의 각 샘플 포인트에 대해 식(5)를 적용하여 깊이 값을 조절한 영상이다.
- 본 논문에서 제안하는 3D 얼굴 모델링 방법은 다음과 같다. 정교한 3D 일반 얼굴 모델을 바탕으로 입력 얼굴 영상의 분석과 대응관계 유도를 통해 3D 얼굴을 모델링한다. 이때 얼굴 영상 분석은 AAM 기반에서 얼굴의 특징점을 추출하고 3D 일반 얼굴 모델과의 대응관계를 위해 메쉬 워핑과 명도 변화에 기반한 깊이 값 추출후 텍스쳐 맵핑을 수행한다.
- 제안한 일반 모델 기반의 3D 얼굴 모델링을 4단계로 나누어 실험을 진행하였다. 첫째로, AAM 학습 및 얼굴 특징 추출하였고 둘째로, 3D 모델을 메쉬 워핑으로 3D 일반 얼굴 모델을 변형하는 실험을 하였다.
- 모델링 방법마다 세부 알고리즘은 다르지만 일반적으로 다음과 같은 처리과정을 거친다. 첫 번째로 입력 영상에서 얼굴의 특징점을 추출하고, 두 번째로 3D 정점의 좌표 값을 계산한다. 세 번째로 계산된 좌표 값으로 얼굴 모델을 변형하고, 네 번째로 텍스쳐 맵을 구성하고 텍스쳐 맵핑을 하게 된다.
- 제안한 일반 모델 기반의 3D 얼굴 모델링을 4단계로 나누어 실험을 진행하였다. 첫째로, AAM 학습 및 얼굴 특징 추출하였고 둘째로, 3D 모델을 메쉬 워핑으로 3D 일반 얼굴 모델을 변형하는 실험을 하였다. 셋째로, 명도 기반 깊이 값 추정 방법으로 3D 일반 얼굴 모델의 깊이 값을 변형하고 변형된 좌표의 정확성을 검증하였다.
- 2D 이미지들에서 얼굴의 특징점을 추출하고 shape-from-X에 기반한 알고리즘들을 사용하여 3D 좌표를 추출한다. 추출된 3D 좌표 값에 맞도록 RBF 보간을 통해 일반 모델을 변형시켜 형상 모델을 얻는다. 2D 이미지들로부터 얻은 텍스쳐를 이 형상 모델에 맵핑하여 최종적인 3D 얼굴 모델을 완성한다.
- 이 방법은 기저함수와 적용 영역을 별도로 지정해 주어야한다는 단점이 있다. 하지만 본 논문에서는 두 단계 메쉬 워핑 방법을 사용함으로써 추출된 특징점 기반으로 직관적인 메쉬를 자동적으로 구성할 수 있고, 영역기반의 변형으로 주위 정점들이 좀 더 자연스럽게 변형될 수 있다. 텍스쳐 맵핑을 하기 위해 입력 영상을 기반으로 텍스쳐 맵을 구성하게 되는데 이 과정에서 소요되는 시간이 얼굴 모델링에서 큰 비중을 차지 한다.
대상 데이터
- 본 연구는 고정된 조명 환경에서 이루어졌고, 실험 PC 사양은 Intel Core2 Duo CPU E8500, DDR2 3GB memory, Geforce GT240 VGA, @info PC camera를 이용하였다. 또한 Visual C++ 2010, MFC, OpenCV, DirectX9.
- AAM 모델링에서 얼굴 특징점의 개수를 그림 6과 같이 총 59개로 지정하였다. 학습 이미지들은 고정된 환경에서 캠으로 취득한 다섯 사람에 대한 자세, 조명, 표정이 다른 150장의 영상을 사용하였다. 각 데이터들의 해상도는 640×480이며, JPEG 포맷으로 되어 있다.
이론/모형
- 다음은 입력 얼굴 영상에서 얼굴의 특징 정보를 추출하는 과정으로 본 논문에서는 AAM을 활용한다. AAM은 영상의 특징을 추출하기 위한 통계적인 모델링 방법으로 객체의 형상과 텍스쳐 정보인 통계적 모델을 입력된 영상에 검출하는 알고리즘이다.
- 본 논문에서는 3D 일반 얼굴 모델로 Candide-3 모델[3]을 사용한다. Candide-3 얼굴 모델은 MPEG4에서 정의한 얼굴 특징점을 기반으로 모델링되었기 때문에 비교적 적은 수의 정점으로 얼굴 모델링이 가능하지만 적은 수의 정점으로 인하여 정교하고 세밀한 얼굴 모델링은 불가능하다.
- AAM은 모델링 단계와 검출(fitting) 단계로 이루어진다. 본 논문에서의 AAM 기반 얼굴 특징점 추출은 Cootes 등이 제안한 방법 [14]의 내용을 기반으로 구현하였다.
- 그리고 입력 얼굴 영상과 3D 일반 얼굴과의 메쉬 워핑을 통한 3D 얼굴 모델링을 위한 첫 번째 단계로 입력 영상에서의 특징점을 추출한다. 이때 특징점 추출 방법은 조명에 영향을 많이 받는 색 기반 추출 방법이나 ACM(active contour model) [12], ASM(active shape model)[13]에 비해 비교적 안정적인 AAM(active appearanc model)[14]을 활용한다. 다음은 추출된 특징점을 통해 3D 일반 모델을 변형하는 방법으로 많은 대응점들을 처리하기 때문에 발생하는 시간 지연과 RBF(radial basis function)의 기저함수와 적용 범위를 지정해야하는 단점을 보완하기 위해 최소한의 대응점을 이용하여 두단계 메쉬 워핑을 적용하여 변형을 시도한다.
- 첫 번째 단계는 수직 스플라인에 대한 처리로서 소스 메쉬 제어점의 x좌표가 목적 메쉬의 x좌표로 이동한다. 제어점들의 x 좌표 값들에 대해 보간 함수를 적용시키고 Fant의 리샘플링 방법을 사용하여 재추출 함으로써 새로운 값들로 행 내의 각 화소들이 보간된다. 보간법은 간단한 선형 보간법에서부터 복잡한 스플라인 함수까지 다양하다.
- 3D 변형가능 형상 모델 기반 3D 얼굴 모델링 방법[11]은 변형가능 모델과 같은 방법으로 형상 모델을 구축하고 입력 이미지들로부터 얼굴의 특징점을 추출한다. 추출된 특징점을 바탕으로 SfM(structure-from-motion) [16]등의 방법을 통해 3D 정점 좌표 값을 계산한다. 구축된 3D 변형가능 형상 모델이 계산된 3D 정점들에 잘 정합되도록 형상 모델을 조정하여 개인화된 3D 형상 모델을 얻는다.
성능/효과
- 각 단계에서 변형되는 해당 위치를 계산 할 때, 3D 모델 정점 값들의 위치이면 변형되는 대응 좌표를 버퍼에 저장하게 되고 그 좌표로 3D 얼굴 모델의 정점 값들을 정렬하게 된다. 결과적으로, AAM 으로 추출된 소수의 특징점 좌표에 기반하여 총 2304개의 3D 모델 정점을 부드럽게 변형시키게 된다. 그림 4는 3D 일반 모델과 입력 영상의 특징점으로 메쉬를 구성하는 것을 개념적으로 나타낸 것이다.
- 본 논문의 3D 얼굴 모델링은 기존의 학습 모델 기반의 3D 얼굴 모델링 방법과 다른 방법을 사용함으로서 데이터 수집의 어려움을 줄이고, 3D 일반 모델 기반 변형 방법들의 과다한 계산량과 처리 과정을 줄였다. 3D 스캐너를 활용한 모델링과 같은 방법들에 비해 정교함 면에서는 부족하지만 대상의 참여도, 활용성 등의 문제에 자유롭기 때문에 3D 게임이나 가상 성형 등 인터렉티브한 활용에 더욱 편리하고 빠른 모델링 방법이 될 수 있을 것이다.
후속연구
- 또한 두 단계 메쉬 워핑의 알고리즘을 개선하여 메쉬의 역전이 가능하도록 하고 메쉬 보간시 부드러운 스플라인 함수를 사용하여 결과물의 질을 높일 것이다. 깊이 값 추출과 변형에 있어 더욱 정교한 결과를 얻을 수 있도록 구조적인 조명을 사용하고 알고리즘을 개선할 것이다. 이러한 작업들을 통해 더욱 개선된 3D 얼굴 모델링 시스템을 구축할 예정이다.
- 향후, 얼굴의 옆면과 뒷면까지 포함하도록 얼굴 모델을 확장하고 개선된 AAM 알고리즘을 적용하여 얼굴 특징점 추출 성능을 높일 것이다. 또한 두 단계 메쉬 워핑의 알고리즘을 개선하여 메쉬의 역전이 가능하도록 하고 메쉬 보간시 부드러운 스플라인 함수를 사용하여 결과물의 질을 높일 것이다. 깊이 값 추출과 변형에 있어 더욱 정교한 결과를 얻을 수 있도록 구조적인 조명을 사용하고 알고리즘을 개선할 것이다.
- 색 기반의 얼굴 특징 추출 방법은 조명 환경에 큰 영향을 받고, ACM이나 ASM 또한 조명과 자세에 영향을 많이 받고 학습 환경과 입력 환경의 차이가 심하면 추출 성능이 떨어지는 단점이 있다. 반면 본 논문에서 사용한 AAM은 텍스쳐 모델과 형상 모델을 모두 참고하기 때문에 좀 더 나은 추출 성능을 기대할 수 있다. 깊이 값을 구하는 방법으로는 두 장의 이미지를 사용하는 방법[6], 일련의 이미지를 이용하여 SfM을 사용한 방법[11]등이 있다.
- 두 장의 영상을 이용한 스마트폰에서의 3차원 얼굴 모델링[6]에서는 특징에 기반한 RBF 보간 함수로 3D 일반 모델을 변형하다보니 그림 12에서 보이는 것과 같이 턱과 같은 부분에서는 변형이 자연스럽지 못하다. 반면 본 논문에서는 메쉬 워핑을 사용하여 메쉬 영역을 기반으로 워핑이 이루어지기 때문에 RBF 보간과 같이 적용 범위를 별도로 지정해 줄 필요가 없고 좀 더 자연스러운 변형이 가능하다. 또한 기존 연구는 정면과 측면, 두 장의 사진을 사용하지만 본 논문에서는 한 장의 사진으로 충분하다.
- 향후, 얼굴의 옆면과 뒷면까지 포함하도록 얼굴 모델을 확장하고 개선된 AAM 알고리즘을 적용하여 얼굴 특징점 추출 성능을 높일 것이다. 또한 두 단계 메쉬 워핑의 알고리즘을 개선하여 메쉬의 역전이 가능하도록 하고 메쉬 보간시 부드러운 스플라인 함수를 사용하여 결과물의 질을 높일 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.