선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 하지만, 입술과 얼굴색과 같이 밝기 값의 차이가 적을 경우 그림 8과 같이 에지지가 불분명하게 생성되거나 에지가 나타나지 않는 경우가 발생하게 된다. 본 논문에서는 이러한 입술 영역에 대한 에지의 추출을 위해서 캐니에지의 임계값을 0.1으로 하여 미세한 에지들도 추출하고자 하였다. 이렇게 추출된 강조된 에지들은 그림 9과 같이 나타난다.
- 하지만, 대부분의 아바타들이기 제작된 데이터를 사용하므로 다양한 형태를 제공할 수 없으며, 사용자들은 자신의 아바타가 다른 사람과 유사하거나 동일한 형태를 나타내는 것에 만족할 수 없다[2].본 논문은 사용자 자신과 닮은 아바타를 생성하게 할 수 있는 기초연구로써, 자신만의 아바타를 만들기 위해 입력 영상에서 얼굴 영역과 얼굴의 구성요소를 정확하게 추출하는 방법에 관한 연구이다.
제안 방법
- 그림 7의 (b)와 같은 소벨의 경우 얼굴의 구성요소를 표현하기에 에지가 너무 적게 나오고 (c)와 같은 라플라시안의 경우는 반대로 조명에 민감하게 반응하는 결과를 보이는 반면(d)의 케니 에 지는 적당한 에지가 나타나므로 본 논문에서는 이중 가장 성능이 좋은 알고리듬인 케니 알고리듬을 이용하여 에지를 추출하였다. 하지만, 입술과 얼굴색과 같이 밝기 값의 차이가 적을 경우 그림 8과 같이 에지지가 불분명하게 생성되거나 에지가 나타나지 않는 경우가 발생하게 된다.
- 그렇기 때문에 본 논문에서의 내부 에너지는 일반적인 방법과 동일하게 제어점들의 곡선성을 식(5)와 같이 사용하였으며, 외부 에너지는 일반적으로 식(6)과 같이 화소값의 변화를 이용하지만, 본 논문에서는 얼굴 영역의 면적 변화를 식(7)을 이용하여 하는 것을 제안하였다.
- 사진에서의 구성요소의 경계가 한 화소 또는 두 화소로 선정되는 것은 아니기 때문에 입력 영상에서의 얼굴 영역이나 구성요소나 화소단위로 정확하게 분리할 수는 없다. 그렇기 때문에 본 논문에서의 평가는 추출된 영역이원 영상의 형태를 유지하며, 원하는 위치에 존재하였을 때를 주줄한 것으로 평가하였다. 얼굴 영역은 항상 입력 영상에서 중앙에 위치한다는 제한사항이 있으므로 얼굴 영상의 색상 정보를 이용하여 TSL색상의 분석함으로 92%의 성능을 나타냈으며, 구성요소는 각 입력 영상에서 5개(좌우측 눈과 눈썹 그리고 입)를 선택하여 테스트한 결과 83.
- 이에 본 논문에서는 T-S공간 분석을 이용하여 보다 효율적인 제어점 선정을 하고, 얼굴 영역의 면적 변화량을 외부 에너지로 한 ACM을 적용함으로써 얼굴 영역을 정확하게 추출할 수 있었다. 또한 구성요소의 추출을 위해 에지를 근간으로 하는 ACM의 방법을 제안하였다.
- 이를 근간으로 초기의 제어점을 생성하였으며, 얼굴 구성 요소의 정확한 추출을 위해서 구성요소의 캐니 에지를 이용하여 ACM의 초기 제어점으로 선정하였다. 또한 얼굴 영역의 추출을 위해서는 ACM (Active Contour Model)의 외부에너지를 화소 간의 밝기차가 아닌 얼굴 영역의 면적의 변화량을 측정하여 응용하였다. 이에 관한 세부 내용으로 2장에서 TSL 색상 공간과 마할라노비스 거리를 이용한 후보 영역의 선정 과정을 기술하고, 3장에서 변형된 ACM 방식으로 보다 정확하게 얼굴을 추출하는 방법과 얼굴 구성 요소의 정합에 관하여 서술한다.
- 본 논문에서는 레이블링을 이용하여 얼굴 후보 영역을 추출하였다. 하지만, 그림 4의(a)와 (c)와 같은 경우처럼 얼굴내부의 미추출된 요소에 의해서 레이블링시 얼굴 영역이 분할되는 문제가 발생한다.
- 본 논문에서는 얼굴 영역의 정확한 추출을 위해 다른 색상 공간보다 얼굴 영역의 추출에 효율적인 TSL 색상 공간을 이용하여 얼굴 영역의 후보위치를 선정하였다. 이를 근간으로 초기의 제어점을 생성하였으며, 얼굴 구성 요소의 정확한 추출을 위해서 구성요소의 캐니 에지를 이용하여 ACM의 초기 제어점으로 선정하였다.
- 즉 제어점들은 서로 인접한 제어점들 순으로 정렬되어야한다. 본 논문에서는 이러한 순서를 그림 10과 같이 정하기 위하여 그림 11과 같은 알고리듬으로 에지들을 재정렬하는데 이는 제어점의 세로축의 최소값과 최대값을 계산하여 이에 대한 평균을 구하고, 평균의 위에서 나타는 제어점은 좌측에서 우측으로 순서를 주고 반대의 경우 우측에서 좌측으로 순서를 정하였다.
- TSL색상공간을 이용한 얼굴 영역의 추출에서는 얼굴에 정확한 위치를 결정하기보다 향후 ACM 에 적용될 초기의 제어점의 위치를 얼굴 영역에 근사할 목적으로 사용되기 때문에 화질의 중요성보다 잡음의 제거가 더 중요하다. 본 논문에서는 이러한 조명의 영향을 최소화하기 위하여 입력영 상에 다운 샘플링을 적용하였다 다운 샘플링은 세로를 50화소로 고정하고 가로는 입력 영상의 가로세로 비율에 의해 자동으로 설정되게 하였다. 입력된 영상은 핸드폰의 특성상 조명의 영향을 많이 받으며, 영상의 질 또한 일반적인 영상들보다 많이 떨어지는 현상이 나타나게 된다.
- 얼굴 영역의 추출 알고리듬은 그림 1과 같이 구성되어 있고, 2.1에서는 색상 공간을 이용한 1차 분석 및 2차 분석에 관하여 설명하고, 2.2에서는 ACM 을 이용한 얼굴 영역의 추출, 에지를 근간으로 한 ACM 방법을 이용하여 얼굴 구성 요소를 추출하는 방법에 관하여 기술하였다.
- 하지만, 그림 4의(a)와 (c)와 같은 경우처럼 얼굴내부의 미추출된 요소에 의해서 레이블링시 얼굴 영역이 분할되는 문제가 발생한다. 이러한 문제를 보완하기 위하여 2차 분석의 단계로 마할라노비스 거리를 확장하여 적용하였다. 즉, 이 방법은 마할라노비스 거리의 확률값을 증가시키므로 좀 더 많은 얼굴 색상을 구하는 것이 다 본 논문에서는 1차 추출보다 20% 정도 추가하여 임계값을 “1.
- 본 논문에서는 얼굴 영역의 정확한 추출을 위해 다른 색상 공간보다 얼굴 영역의 추출에 효율적인 TSL 색상 공간을 이용하여 얼굴 영역의 후보위치를 선정하였다. 이를 근간으로 초기의 제어점을 생성하였으며, 얼굴 구성 요소의 정확한 추출을 위해서 구성요소의 캐니 에지를 이용하여 ACM의 초기 제어점으로 선정하였다. 또한 얼굴 영역의 추출을 위해서는 ACM (Active Contour Model)의 외부에너지를 화소 간의 밝기차가 아닌 얼굴 영역의 면적의 변화량을 측정하여 응용하였다.
- 이러한 순서를 가지기 위해 제어점들은 정렬하고, 그 후 ACM을 이용하여 제어점을 변형한다. 제어점간의 거리에 멀 경우 새로 제어점을 생성하고, 가까울 경우 제어점을 삭제하여 제어점 간의 거리가 일정한 거리를 유지하도록 하였다. 이러한 알고리듬은 최대 75회 반복하며, 그 전에 제어점 간의 변화가 없을 경우 종료하게 된 다 이러한 구성요소의 정합은 그림 5과 같이 나타나며, 3.
대상 데이터
- 본 논문에서 실험에 사용된 영상은 웹에서 모바일 카메라로 얼굴 영역만을 촬영한 사진들 중에서 너무 어둡거나 밝은 조명을 나타내는 사진들을 제외하였다. 또한 입력 영상은 얼굴 영역이 다른 객체에 의해 가려져선 안 된다는 제한과 정면을 응시한 영상으로 포즈를 제한하였다.
성능/효과
- 즉 최초에 마할라노비스에 의한 거리를 확장하였으면, 그림 3의(c)에서 배경으로 판정된 부분의 색상 또한 증가하게 되고 얼굴과 배경의 분리가 불가능하다. 본 논문에서는 1차 추출시 마 할라 노비스의 거리를 작게 선정하여 배경을 제거한 후에 마할라노비스 거리를 확장함으로써 배경을 배제하고, 얼굴 영역은 더 많이 추출할 수 있다. 이러한 연산을 한 후 얼굴 후보 영역을 레이블링 연산하면 보다 정확한 얼굴 후보 영역의 추출이 가능하다.
- 그렇기 때문에 본 논문에서의 평가는 추출된 영역이원 영상의 형태를 유지하며, 원하는 위치에 존재하였을 때를 주줄한 것으로 평가하였다. 얼굴 영역은 항상 입력 영상에서 중앙에 위치한다는 제한사항이 있으므로 얼굴 영상의 색상 정보를 이용하여 TSL색상의 분석함으로 92%의 성능을 나타냈으며, 구성요소는 각 입력 영상에서 5개(좌우측 눈과 눈썹 그리고 입)를 선택하여 테스트한 결과 83.6%의 성능을 나타내었다. 이러한 결과는 일반적인 ACM을 이용한 얼굴 영역 추출에 비해 10%의 성능 향상으로 보였으며, 얼굴 구성 요소 추출에서는 캐니에지를 적용한 방법보다 성능이 4.
- 6%의 성능을 나타내었다. 이러한 결과는 일반적인 ACM을 이용한 얼굴 영역 추출에 비해 10%의 성능 향상으로 보였으며, 얼굴 구성 요소 추출에서는 캐니에지를 적용한 방법보다 성능이 4.8% 향상되었다. 구성요소의 영역은 얼굴의 영역보다 크기가 적기 때문에 조명에 대하여 더 민감하여 추출률이 8.
- 그뿐 아니라 ACM의 성능은 제어점의 초기 위치에 많이 의존하므로 이에 대한 초기 위치 선정이 어려운 문제들이 있었다. 이에 본 논문에서는 T-S공간 분석을 이용하여 보다 효율적인 제어점 선정을 하고, 얼굴 영역의 면적 변화량을 외부 에너지로 한 ACM을 적용함으로써 얼굴 영역을 정확하게 추출할 수 있었다. 또한 구성요소의 추출을 위해 에지를 근간으로 하는 ACM의 방법을 제안하였다.
- 이러한 문제를 보완하기 위하여 2차 분석의 단계로 마할라노비스 거리를 확장하여 적용하였다. 즉, 이 방법은 마할라노비스 거리의 확률값을 증가시키므로 좀 더 많은 얼굴 색상을 구하는 것이 다 본 논문에서는 1차 추출보다 20% 정도 추가하여 임계값을 “1.7”로 설정하여 확장하였다. 본 논문에서 최초에 마할라노비스의 거리를 충분히 확장하지 않은 것은 배경과 얼굴 영역과의 분리를 위함이었다.
후속연구
- 향후에는 이렇게 추출된 얼굴 영역과 구성요소들에 색조 단순화를 적용하여 개인 아바타의 생성이 가능할 것이다. 또한 ACM에서 추출된 제어점은 3D 아바타 생성을 위한 특징점으로 사용 가능할 것으로 생각된다. 3D 아바타를 생성하기 위해서는 ACM의 제어점에서 3D 모델에 매칭을 위한 특징점을 선정하는 연구가 진행되어야 할 것이다.
- 향후에는 이렇게 추출된 얼굴 영역과 구성요소들에 색조 단순화를 적용하여 개인 아바타의 생성이 가능할 것이다. 또한 ACM에서 추출된 제어점은 3D 아바타 생성을 위한 특징점으로 사용 가능할 것으로 생각된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.