선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서, 본 논문에서는 2장에서 살펴본 SIFT 기반방법과 부분공간분석법을 적절히 결합함으로써 서로의 장단점을 보완한 새로운 얼굴인식 방법을 제안한다. 제안하는 방법에서는, 첫째로, 이미지를 지역 특징으로 나타낸다.
- 본 논문에서는 SIFT에 기반한 특징기술자로 얼굴 영상을 표현하고, 이에 부분공간분석법을 적용하여 얼굴을 인식하는 효율적인 얼굴인식 알고리즘을 제안 하였다. 제안한 방법의 유용성을 판단하기 위해 AR 데이터베이스를 이용하여 다양한 환경 변화 아래의 얼굴을 인식하였다.
제안 방법
- 사용한 데이터는 벤치마크 데이터로 잘 알려진 AR-Face 데이터베이스이다. ARFace 데이터베이스의 다양한 변형 데이터에 대하여, 기본적인 부분공간 분석법인 PCA와 LDA만 적용한 방법과, 기본적인 SIFT에 의한 방법, 그리고 dense-SIFT방법과 성능을 비교하였다.
- PCA를 활용한 얼굴인식[2]에서는 학습 데이터의 분산을 최대로 하는 선형변환을 찾기 위해, 학습 데이터 행렬의 공분산 행렬을 구한다. 공분산 행렬에 고유치 분석을 적용하여, 벡터로부터 학습 데이터의 직교 기저 벡터를 구한다. 이는 어떠한 새로운 이미지라도 고유얼굴의 가중 합으로 표현 가능함을 의미하며, 실험 이미지의 가중 합을 기존의 학습 데이터와 비교함으로써 이미지의 소속을 결정한다.
- SIFT 특징기술자는 4x4 크기의 2차원 배열 형태로 영상 정보를 표현하지만, 기본적인 PCA와 LDA의 적용을 위하여 128차원의 기술자를 1차원 벡터로 차례 대로 기록한다. 구성한 학습데이터 집합에 대해 부분공간분석법을 적용하여 저차원의 특징을 추출하고, 이를 최근접 분류기의 입력으로 사용함으로써 얼굴 인식을 수행한다.
- 실험에서는 수작업을 통해 눈 중심점으로 정렬을 맞춘 얼굴 이미지를 사용하였다[17]. 귀, 목을 포함하는 부분을 제거하였고 눈, 코 부분이 다른 이미지와 같은 선상에 있도록 모핑(morping)하였다. 마지막으로 이미지 크기를 88x64로 동일하게 변환하였다.
- 기존의 SIFT기반 특징 추출 및 인식 방법에서는 개개의 특징기술자를 영상 간의 유사도 비교의 기본 정보로 사용한 것과 달리, 제안하는 방법에서는 특징기술자를 얼굴 영상의 각 국소부분을 표현하는 방식으로 본다. 즉, 제안하는 방법에서는 특징기술자를 사용함으로써 얼굴 영상이 가지는 다양한 환경 변화에 강인한 형태로 데이터의 표현방식을 바꾸는 변환을 수행한다고 본다.
- 이로 인하여 학습 영상의 수가 많을수록 테스트 시간이 급격하게 늘어난다. 반면, 제안하는 방법은 뽑혀진 특징 벡터를 모아서 고차원의 행렬을 구성하며 여기에 통계적 특징 추출 방법인 PCA 혹은 LDA를 적용함으로써 저차원의 특징을 획득한다. 이는 학습에서 추가적인 처리 시간을 필요로 하지만, 테스트 단계에서 현저한 처리 속도 향상을 가지며, 기존의 접근 방법과 달리 많은 공간을 필요로 하는 학습 데이터를 유지할 필요가 없다.
- 그러므로 기존의 지역특징 기반 영상인식에서 사용하는 특징 검출기를 그대로 쓰는 대신 인위적인 기준으로 특징점을 추출하는 방식을 사용함으로써 얼굴인식에 있어서의 문제점을 해결하는 시도가 행해졌는데, SIFT를 사용한 경우에 있어서의 이와 같은 변형을 dense-SIFT라 부른다[12][13]. 본 논문에서는 dense-SIFT 방법을 적용하여 모든 얼굴 영상으로부터 같은 수의 특징기술자(descriptor)를 얻어 이를 이용하여 얼굴 영상을 표현한다.
- 본 연구에서는 기존의 지역적 특징추출 방법의 환경 변화에 대한 강건성(robustness)을 보존하면서, 동시에 부분 공간 분석 방법을 통하여 저차원 특징을 추출함으로써 통계적 의미를 고려하며 동시에 처리 속도를 개선한 새로운 방법을 제안한다. 제안하는 방법은 다음과 같은 과정을 거쳐 얼굴을 인식한다.
- 이렇게 얻어진 새로운 데이터 집합에 대하여, 부분공간 분석법(PCA 혹은 LDA)를 적용하여 저차원의 특징벡터 집합을 얻는다. 새로운 데이터가 주어지면, 같은 방식으로 dense-SIFT와 부분공간분석법을 통해 저차원 특징벡터를 얻고, 이를 학습데이터에 대한 특징벡터 집합들과 비교함으로써 인식을 수행하게 된다. 인식을 위해서는 최 근접 이웃 알고리즘 (Nearest Neighbor Method)을 사용한다.
-
4.2 실험조건
실험에서는 수작업을 통해 눈 중심점으로 정렬을 맞춘 얼굴 이미지를 사용하였다[17]. 귀, 목을 포함하는 부분을 제거하였고 눈, 코 부분이 다른 이미지와 같은 선상에 있도록 모핑(morping)하였다.
- 이 절에서는, 제안된 방법의 유용성을 검증하기 위하여 조명변화 및 가려짐 변형 등을 가진 데이터를 이용하여 비교실험을 수행한다. 사용한 데이터는 벤치마크 데이터로 잘 알려진 AR-Face 데이터베이스이다.
- LDA는 PCA를 통하여 얻어진 새로운 특징 집합을 대상으로 수행하였으며, 가능한 모든 기저를 분류에 사용하였다. 제안하는 DSIFT PCA와 DSIFT LDA 방법 모두 PCA와 LDA와 같은 방식으로 기저를 선택하였다.
- 따라서, 본 논문에서는 2장에서 살펴본 SIFT 기반방법과 부분공간분석법을 적절히 결합함으로써 서로의 장단점을 보완한 새로운 얼굴인식 방법을 제안한다. 제안하는 방법에서는, 첫째로, 이미지를 지역 특징으로 나타낸다. 이 과정을 통해 이미지로부터 환경 변화에 좀 더 강인한 변환을 얻을 수 있다.
- 기존의 SIFT기반 특징 추출 및 인식 방법에서는 개개의 특징기술자를 영상 간의 유사도 비교의 기본 정보로 사용한 것과 달리, 제안하는 방법에서는 특징기술자를 얼굴 영상의 각 국소부분을 표현하는 방식으로 본다. 즉, 제안하는 방법에서는 특징기술자를 사용함으로써 얼굴 영상이 가지는 다양한 환경 변화에 강인한 형태로 데이터의 표현방식을 바꾸는 변환을 수행한다고 본다. 이렇게 변환한 데이터에 부분공간 분석법을 적용하여 통계적 의미를 포함한 저차원 데이터를 얻을 수 있다.
대상 데이터
- 2개 세션에서의 각 13장의 이미지는, 표정 변화, 조명 변화, 부분적인 가려짐(partial occlusion)의 차이가 있다. 본 실험에서는 남, 여 50명씩 총 100명을 대상으로 실험하였다. 그림 2에 AR 데이터베이스로부터 주어지는 기본 영상의 예를 나타내었다.
- 이 절에서는, 제안된 방법의 유용성을 검증하기 위하여 조명변화 및 가려짐 변형 등을 가진 데이터를 이용하여 비교실험을 수행한다. 사용한 데이터는 벤치마크 데이터로 잘 알려진 AR-Face 데이터베이스이다. ARFace 데이터베이스의 다양한 변형 데이터에 대하여, 기본적인 부분공간 분석법인 PCA와 LDA만 적용한 방법과, 기본적인 SIFT에 의한 방법, 그리고 dense-SIFT방법과 성능을 비교하였다.
- 실험1에서는, 시간 변화에 따른 강인함을 알아보기 위하여, 남녀, 50명씩 총 100명에 대하여 가려짐이 없는 첫 세션의 7장의 이미지를 학습 데이터로 두고 2주 후의 두 번째 세션의 7장의 이미지를 테스트 데이터로 정하여 수행하였다. 결과는 표 1에 제시하였다.
- 실험2에서는 부분적인 가려짐에 의한 강인함을 실험하기 위해, 남녀, 50명씩 100명에 대해 첫 번째 세션의 가려짐이 없는 3장의 이미지를 학습 데이터로 나머지 10장의 그림을 테스트 데이터로 사용하였다. 첫 번째 실험과 비교할 때 PCA, LDA는 가려짐에 대해 성능 저하가 뚜렷하게 나타났다.
- 5 픽셀을 비워두고 나머지 영역에 대해서 가로, 세로 모두 두 픽셀 단위의 간격으로 조밀한(dense) 특징 점을 추출하였다. 실험에 사용된 88x64 크기의 단일 이미지로부터 1120개의 특징기술자를 얻을 수 있었다.
- AR-Face 데이터베이스는 Martinez와 Benavente가 제작하였다[16]. 이 데이터베이스는 남자 70명, 여자 56명의 정면 영상으로 이루어져 있으며, 2주 간격을 두고 촬영된 각 13장의 이미지로 구성된다. 2개 세션에서의 각 13장의 이미지는, 표정 변화, 조명 변화, 부분적인 가려짐(partial occlusion)의 차이가 있다.
데이터처리
- dense-SIFT 방법에서는 영상 전체 영역으로부터 2step pixel간격으로 특징점을 규정하고 각 특징점의 특징 기술자를 계산하여 전체 영상을 표현하는 방식을 사용한다. 이 논문에서는 dense-SIFT를 이용하여 얼굴 영상을 표현하는 방식을 사용하며, 4장의 실험에서는 기존의 SIFT 기반 방법과 제안하는 방법의 성능을 비교한다. 이때 실험을 위해서는 SIFT, dense-SIFT 모두 Vedaldi와 Fulkerson[15]의 구현을 이용하여 실험을 진행하였다.
이론/모형
- 이 장에서는 얼굴영상을 다양한 변형에 강인한 형태로 표현하기 위해 사용하는 SIFT는 특징기술자에 대하여 설명한다. SIFT는 특징점을 추출하기 scale-space DoG (Difference of Gaussian) 함수를 사용한다. DoG 함수는 가우시안 평활화(Gaussian smoothing)와 부분 샘플링을 통하여 구한 각기 다른 스케일(scale)을 가지는 이미지 피라미드(image pyramid) 간의 차로서 구해지며, 다음과 같은 식으로 정의될 수 있다.
- SIFT와 dense-SIFT 함수는 Vedaldi와 Fulkerson의 구현[15]을 사용하였으며, 실험에서의 SIFT와 DSIFT 얼굴인식은 각각 SIFT 특징점, dense-SIFT 특징점을 사용하였음을 의미한다. 학습과 테스트 얼굴 영상간의 유사도 측정은 Lowe[7]가 제안한 특징점 매칭(matching) 방법으로 판단하였다.
- 제안하는 방법의 전체적인 처리과정을 그림 1에 나타내었다. 먼저, 모든 학습 영상데이터에 대하여 denseSIFT방법을 적용하여 영상을 특징 기술자로 표현한다. 이렇게 얻어진 새로운 데이터 집합에 대하여, 부분공간 분석법(PCA 혹은 LDA)를 적용하여 저차원의 특징벡터 집합을 얻는다.
- 본 논문에서는 다양한 지역 특징 추출 방법 중 SIFT에 기반한 방법을 사용한다. SIFT(Scale Invariant Feature transform)[7]는 Lowe가 제안한 지역 특징 추출법으로, 이미 객체 인식 에서 여러 지역적 접근 방법 중 성공적인 성능을 보인 바 있다[8].
- 제안하는 방법은 다음과 같은 과정을 거쳐 얼굴을 인식한다. 우선, dense-SIFT 방법을 이용하여 가로, 세로 일정한 간격으로 SIFT 특징 기술자를 계산한다. SIFT 특징기술자는 4x4 크기의 2차원 배열 형태로 영상 정보를 표현하지만, 기본적인 PCA와 LDA의 적용을 위하여 128차원의 기술자를 1차원 벡터로 차례 대로 기록한다.
- 이 논문에서는 dense-SIFT를 이용하여 얼굴 영상을 표현하는 방식을 사용하며, 4장의 실험에서는 기존의 SIFT 기반 방법과 제안하는 방법의 성능을 비교한다. 이때 실험을 위해서는 SIFT, dense-SIFT 모두 Vedaldi와 Fulkerson[15]의 구현을 이용하여 실험을 진행하였다.
- 먼저, 모든 학습 영상데이터에 대하여 denseSIFT방법을 적용하여 영상을 특징 기술자로 표현한다. 이렇게 얻어진 새로운 데이터 집합에 대하여, 부분공간 분석법(PCA 혹은 LDA)를 적용하여 저차원의 특징벡터 집합을 얻는다. 새로운 데이터가 주어지면, 같은 방식으로 dense-SIFT와 부분공간분석법을 통해 저차원 특징벡터를 얻고, 이를 학습데이터에 대한 특징벡터 집합들과 비교함으로써 인식을 수행하게 된다.
- 새로운 데이터가 주어지면, 같은 방식으로 dense-SIFT와 부분공간분석법을 통해 저차원 특징벡터를 얻고, 이를 학습데이터에 대한 특징벡터 집합들과 비교함으로써 인식을 수행하게 된다. 인식을 위해서는 최 근접 이웃 알고리즘 (Nearest Neighbor Method)을 사용한다.
- 제안하는 방법은 dense-SIFT에 의해 추출된 지역특징 집합에 대하여 부분공간 분석법을 적용하여 저차원의 특징을 추출하여 인식에 활용한다. 이 장에서는 먼저 본 논문에서 사용하는 부분공간 분석법인 PCA와 LDA에 대하여 간단히 기술하고, 이어서 제안하는 결합 방법에 대하여 기술한다.
- SIFT와 dense-SIFT 함수는 Vedaldi와 Fulkerson의 구현[15]을 사용하였으며, 실험에서의 SIFT와 DSIFT 얼굴인식은 각각 SIFT 특징점, dense-SIFT 특징점을 사용하였음을 의미한다. 학습과 테스트 얼굴 영상간의 유사도 측정은 Lowe[7]가 제안한 특징점 매칭(matching) 방법으로 판단하였다. PCA는 99%의 정보를 보존하도록 기저를 선택하였으며, 처음의 4개의 기저를 제외하였다.
성능/효과
- dense-SIFT를 이용한 특징 추출에서는 이미지 가장 자리영역 4.5 픽셀을 비워두고 나머지 영역에 대해서 가로, 세로 모두 두 픽셀 단위의 간격으로 조밀한(dense) 특징 점을 추출하였다. 실험에 사용된 88x64 크기의 단일 이미지로부터 1120개의 특징기술자를 얻을 수 있었다.
- 결과는 표 1에 제시하였다. 기존의 PCA와 LDA와 비교할 때 제안하는 방법 (DSIFT PCA 와 DSIFT LDA)이 인상적인 인식률의 향상을 보였으며, 기본적인 SIFT방법은 기본적인 PCA와 유사하게 저조한 성능을 보였다. 조밀한 특징점을 추출하는 DSIFT방법이, 인식성능 면에서 가장 우수하였는데, 이는 사용한 특징기술자의 변형에의 강건성을 보여준다고 할 수 있다.
- 이 과정을 통해 이미지로부터 환경 변화에 좀 더 강인한 변환을 얻을 수 있다. 둘째로, 지역특징으로 표현된 영상에 대하여 전역적 특징 추출법을 취함으로써 통계적 의미를 가지는 저차원 특징을 추출 할 수 있다.
- 이에 반해 제안하는 방법의 경우에는 인식성능은 DSIFT에 비해 다소 떨어지나 수행시간에 있어서는 DSIFT에 비하여 3500배 이상 감소하였다. 이 실험을 통하여 제안하는 방법이 시간 변화에 따른 영상 변화에 강인하며, 효과적으로 dense-SIFT의 특징과 부분공간분석 방법의 특징을 결합한 것을 보여준다.
- 이에 반해 제안하는 방법은 PCA와 LDA에 비하여 인식률의 현저한 향상을 가져왔다. 이번 실험에서도 첫 번째 실험에서와 같이 denseSIFT를 이용한 경우가 가장 높은 인식률을 보여주었다. 하지만 제안하는 방법은 하나의 인식에서 dense-SIFT에 비해 1200배 이상의 처리 속도를 향상을 보여준다.
- 첫 번째 실험과 비교할 때 PCA, LDA는 가려짐에 대해 성능 저하가 뚜렷하게 나타났다. 이에 반해 제안하는 방법은 PCA와 LDA에 비하여 인식률의 현저한 향상을 가져왔다. 이번 실험에서도 첫 번째 실험에서와 같이 denseSIFT를 이용한 경우가 가장 높은 인식률을 보여주었다.
- 그러나, 표에서 확인할 수 있듯이 수행시간이 지나치게 오래 걸려서 실제 응용 시스템으로 구현되기는 어렵다는 한계를 가진다. 이에 반해 제안하는 방법의 경우에는 인식성능은 DSIFT에 비해 다소 떨어지나 수행시간에 있어서는 DSIFT에 비하여 3500배 이상 감소하였다. 이 실험을 통하여 제안하는 방법이 시간 변화에 따른 영상 변화에 강인하며, 효과적으로 dense-SIFT의 특징과 부분공간분석 방법의 특징을 결합한 것을 보여준다.
- 제안한 방법의 유용성을 판단하기 위해 AR 데이터베이스를 이용하여 다양한 환경 변화 아래의 얼굴을 인식하였다. 제안하는 방법은 실험 결과 높은 얼굴 인식 성능과 동시에 빠른 처리 속도를 보여주었다. 본 논문은 다른 특성을 가진 여러 특징 추출법의 결합한 새로운 특징추출법 개발을 위한 기초 연구로서, 향후 보다 정교한 특징추출법을 적용함으로써 인식률과 수행시간 면에서 동시에 최상의 결과를 얻는 방법을 개발할 수 있을 것으로 기대된다.
- Bicego[9]는 얼굴 영상을 일정한 격자(Grid)로 나누고 서로 같은 격자 영역의 특징만을 비교하는 SIFT-GRID 방법을 제안하였다. 제안한 방법은 기본적인 방법과 달리 매칭 (matching)과정에서 특징점들의 위치 정보를 고려함으로써, 기존의 SIFT 방법에 비해 얼굴인식 분야에서 보다 개선된 인식 성능을 보여주었다. Luo[10]는 Bicego의 방법을 개선하여 K-평균 군집화를 통한 단순 GRID가 아닌 자동적인 영역 분할을 가능하게 하는 방법을 제안 하였다.
- 실험2에서는 부분적인 가려짐에 의한 강인함을 실험하기 위해, 남녀, 50명씩 100명에 대해 첫 번째 세션의 가려짐이 없는 3장의 이미지를 학습 데이터로 나머지 10장의 그림을 테스트 데이터로 사용하였다. 첫 번째 실험과 비교할 때 PCA, LDA는 가려짐에 대해 성능 저하가 뚜렷하게 나타났다. 이에 반해 제안하는 방법은 PCA와 LDA에 비하여 인식률의 현저한 향상을 가져왔다.
- 이번 실험에서도 첫 번째 실험에서와 같이 denseSIFT를 이용한 경우가 가장 높은 인식률을 보여주었다. 하지만 제안하는 방법은 하나의 인식에서 dense-SIFT에 비해 1200배 이상의 처리 속도를 향상을 보여준다. 이러한 점에서 제안하는 방법이 인식률과 수행 시간을 동시에 볼 때 효율적인 방법이라 볼 수 있다.
후속연구
- 제안하는 방법은 실험 결과 높은 얼굴 인식 성능과 동시에 빠른 처리 속도를 보여주었다. 본 논문은 다른 특성을 가진 여러 특징 추출법의 결합한 새로운 특징추출법 개발을 위한 기초 연구로서, 향후 보다 정교한 특징추출법을 적용함으로써 인식률과 수행시간 면에서 동시에 최상의 결과를 얻는 방법을 개발할 수 있을 것으로 기대된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.