선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이 논문에서는 가시광선 대역에서 획득한 얼굴영상으로부터 열 적외선 텍스처를 예측한 다음 가시광선 얼굴 영상과 데이터 융합하여 얼굴인식에 적용하는 방법에 관하여 연구하였다. PCA에 의하여 주어진 얼굴 영상을 고유얼굴(eigenfaces)들의 가중 선형결합에 의하여 나타냄으로써, 낮은 차원의 특징벡터에 의하여 얼굴 데이터를 표현한다.
- 이 논문에서는 가시광선 얼굴영상과 그로부터 예측한 열 적외선 텍스처의 융합에 기초한 얼굴인식 방법에 관하여 연구하였다. 얼굴영상은 PCA에 의하여 고유얼굴의 가중 선형 결합에 의하여 표현함으로써, 낮은 차원의 특징벡터 공간표현으로 나타낼 수 있다.
- 가시광선 영상과 예측된 열 적외선 텍스처의 쌍은 이산 웨이블렛 변환(DWT)의 근사값과 상세값에 기초하여 독립적으로 데이터 융합된다. 이 논문에서는 대표적인 얼굴인식 알고리즘 Eigenfaces 및 Fisherfaces을 사용하여 NIST/Equinox 데이터베이스에 대하여 얼굴인식 성능을 확인하였다. 제안한 데이터 융합기법은 얼굴인식의 수신자 동작특성 (ROC; Receiver Operating Characteristics) 및 첫 번째 매칭성능을 향상시킬 수 있음을 실험을 통하여 확인하였다.
- 가시광선 영상과 열 적외선 텍스처 간의 관계는 매우 비선형적이어서 복잡하므로, 정의된 수학적 모델을 이용하여 표현하는 것이 어렵다. 이 논문에서는 신경회로망을 이용하여 가시광선 얼굴 영상의 특징 PCA 계수와 열 적외선 특징의 PCA 계수 사이의 내재된 관계를 학습시킨다. 인간의 두뇌는 관찰한 내용으로부터 새로운 것을 학습하고, 추상적인 것에 의하여 일반화시킨다는 사실을 고려하여, 신경회로망은 비선형적이고 복잡한 함수관계를 수학적 모델에 근거하지 않고 예측하는 기법을 제공한다.
가설 설정
- 그림 1. 특징공간에서 신경회로망에 의한 열 적외선 텍스처 생성과정.
제안 방법
- 예측된 열 적외선 텍스처와 가시광선 영상은 이산 웨이블렛 변환에 의하여 근사값과 상세값 성분에 대하여 독립적으로 융합되고, 얼굴인식에 사용된다. 2가지의 대표적인 얼굴인식 알고리즘 들인 Eigenfaces와 Fisherfaces을 NIST/Equinox 데이터베이스에 대해서 얼굴인식 성능을 평가하였다. 제안한 데이터 융합기법은 사용된 얼굴인식 알고리즘의 종류와 무관하게 얼굴인식의 수신자 동작특성을 향상시켰다.
- 신경회로망을 학습시킨 후에, 테스트 데이터에 포함된 모든 가시광선 영상도 마찬가지로 PCA를 이용하여 특징벡터로 변환하였다. 가시광선 얼굴 특징벡터를 학습된 신경회로망에 입력으로 사용하여, 열 적외선 특징벡터의 예측값을 출력하고, PCA 과정에 의하여 예측된 특징벡터를 이용하여 열 적외선 텍스처를 재구성한다. 예측한 열 적외선 텍스처는 주어진 가시광선 얼굴영상과 데이터 융합하여 얼굴영상에 사용된다.
- 가시광선 영상과 열 적외선 텍스처 성분을 데이터 융합하여 얼굴인식에 적용하였다. 가시광선 영상과 열 적외선 영상을 융합을 위해서 여러 다양한 접근방법들이 연구되었는데, 크게 분류하여 데이터 수준, 특징 수준, 점수 수준, 또는 결정 수준 [20] 에서의 융합방법들이 있다.
- 선택된 영상 및 그에 해당하는 열 적외선 영상들은 PCA에 의하여 30차원의 특징벡터로 변환하였다. 가시광선 특징벡터는 학습 입력으로, 열 적외선 특징벡터는 목표 출력으로 사용하여, 하나의 입력층, 2개의 중간층, 그리고 하나의 출력층으로 구성된 다층 신경회로망을 학습하였다. 입력층과 출력층은 각각 30개의 노드를 포함하고, 중간층은 각각 8개 및 6개의 노드로 구성하였다.
- 특징 수준, 점수 수준, 또는 결정 수준에 있어서의 다른 융합 기법도 가시광선 영상과 열 적외선 텍스처를 이용한 얼굴인식에 적용될 수 있다. 공산 해상도가 다른 이질적인 데이터인 가시광선 영상과 열 적외선 영상에 대해서, 데이터 수준에서의 다수준 데이터 융합 방법을 적용하였다. 두 영상 모두 먼저 이산 웨이블렛 변환 (DWT)에 의하여 근사계수 와 상세계수 로 변환한다.
- 얼굴인식 시스템은 흔히 각 개체에 대하여 잘 통제된 조명조건하에서 획득한 3장 또는 그 이상의 고 해상도 얼굴영상을 갤러리 데이터로 사용한다 [18].그렇지만 법 집행과정에서 볼 수 있는 많은 시나리오는 이러한 조건을 만족시키기 어려우므로, 이 실험에서는 갤러리 데이터로 하나의 얼굴영상만 사용하여 얼굴인식을 수행하였다.
- 예측한 열 적외선 텍스처는 주어진 가시광선 얼굴영상과 데이터 융합하여 얼굴영상에 사용된다. 데이터 융합과정에서는 이산 웨이블렛 변환 을 사용하여 가시광선 영상과 열 적외선 텍스처를 모두 제 2수준의 근사값(approximation)과 상세값(detail)로 변환하여 가중평균에 의해 융합하였다. 이 때 가시광선 영상과 열 적외선 텍스처 성분에 대한 데이터 융합의 가중치 α 와 β 는 학습 샘플에 대한 첫번째 매칭 성공율을 최대화하도록 PSO를 이용하여 최적화하여 결정한다.
- Eigenfaces에 대해서는 얼굴인식에서 우수한 성능을 보여주는 상관성을 제거한 코사인 거리값을 유사도를 결정하는 척도로 선택하였다 [19].데이터 융합된 얼굴영상에 대한 얼굴인식 성능을 가시광선 영상만을 사용하였을 경우와 수신자 동작특성 (ROC)에 의하여 비교하였다. 그림 4는 얼굴식별에 대한 수신자 동작특성을 나타낸다.
- 데이터 융합된 얼굴영상에 대한 얼굴인식의 성능을 평가하기 위하여, 각 얼굴인식 알고리즘에 대해서 유사도를 이용하여 매칭의 정도를 판단하였다. Eigenfaces에 대해서는 얼굴인식에서 우수한 성능을 보여주는 상관성을 제거한 코사인 거리값을 유사도를 결정하는 척도로 선택하였다 [19].
- ei 와 λi , i = 1, 2, …, m 를 각각 공분산 행렬 Sx의 고유벡터 및 고유값이라고 하면, 고유벡터를 변환행렬의 기저함수로 사용하였을 때, 즉 변환행렬을 P=ET으로 사용하였을 때, 선형변환 Y=PX은 변환된 데이터 벡터의 공분산행렬 YYT을 대각선행렬로 변환시킴으로써 변환된 데이터의 상관성을 제거한다. 데이터의 평균을 제거하고 변환행렬 P=ET을 이용하여 변환하고 낮은 차원의 특징공간에서 정의된 특징데이터 v를 구하고, 이를 이용하여 원래 데이터의 근사값을 예측한다.
- 여기서 v 와 w 는 각각 가시광선 얼굴영상의 특징과 그에 대응하는 열 적외선 텍스처의 특징벡터를 나타낸다. 사용된 신경회로망은 두 개의 중간층을 가지는 다층 신경회로망이며, 학습과정에서는 가시광선 영상의 특징벡터 v를 입력으로, 열 적외선 텍스처 특징벡터 w를 원하는 출력으로 하여 오차 역전파 알고리즘을 사용하여 내부 파라미터 a를 결정하였다. 신경회로망의 각 처리단위의 출력은 비선형 활성함수에 의해서 주어지는데, 입출력 계산과정은 이전 층으로부터 입력되는 데이터를 선형적으로 가중한 합으로 표현된다:
- 신경회로망을 학습시킨 후에, 테스트 데이터에 포함된 모든 가시광선 영상도 마찬가지로 PCA를 이용하여 특징벡터로 변환하였다. 가시광선 얼굴 특징벡터를 학습된 신경회로망에 입력으로 사용하여, 열 적외선 특징벡터의 예측값을 출력하고, PCA 과정에 의하여 예측된 특징벡터를 이용하여 열 적외선 텍스처를 재구성한다.
- 얼굴인식 성능의 벤치마킹을 위해 널리 사용되고 있는 Eigenfaces와 Fisherfaces를 선택하여 실험하였다 [13,14,15]. 얼굴인식 알고리즘의 성능은 NIST/Equinox 데이터베이스에 대해서 수신자 동작 특성 및 첫 번째 매칭성능을 이용하여 검증하였다 [16,17,18].
- 가시광선 영상과 열 적외선 영상을 융합을 위해서 여러 다양한 접근방법들이 연구되었는데, 크게 분류하여 데이터 수준, 특징 수준, 점수 수준, 또는 결정 수준 [20] 에서의 융합방법들이 있다. 열 적외선 텍스처 성분이 얼굴인식의 성능을 향상시킬 수 있다는 사실을 예시하기 위하여, 가시광선 영상이 열 적외선 텍스처 성분과 데이터 수준에서 융합되어 조명의 변화가 적은 새로운 영상을 생성하였다. 데이터 수준에서의 영상 융합을 하면 기존의 얼굴인식 알고리즘을 융합된 영상에 직접 적용할 수 있다.
- 예측한 열 적외선 텍스처 성분이 얼굴인식의 성능을 향상시킬 수 있음을 보이기 위하여, 가시광선 영상과 열 적외선 텍스처를 데이터 융합한 얼굴영상을 사용하여 얼굴인식을 수행하였고, 가시광선 얼굴 영상만을 사용하여 얼굴인식을 수행한 결과와 비교하였다. 얼굴인식 성능의 벤치마킹을 위해 널리 사용되고 있는 Eigenfaces와 Fisherfaces를 선택하여 실험하였다 [13,14,15].
- 전역 최적화 기법 중 하나인 Particle swarm optimization(PSO) [12]를 사용해서 첫 번째 매칭율을 목적함수로 하여 데이터 융합의 가중치 α 와 β를 결정하였다 (α = 0.53, β = 0.86).
- PCA에 의하여 주어진 얼굴 영상을 고유얼굴(eigenfaces)들의 가중 선형결합에 의하여 나타냄으로써, 낮은 차원의 특징벡터에 의하여 얼굴 데이터를 표현한다. 제안하는 얼굴인식 기법은 신경회로망을 이용하여 가시광선 얼굴 영상으로부터 그에 대응되는 열 적외선 텍스처 성분을 예측한다. 학습과정에서는 대상자의 가시광선 및 열 적외선 얼굴 영상이 주어졌을 때, 이 데이터를 정합시키고 가시광선 얼굴영상과 열 적외선 텍스처의 PCA 특징값들을 입출력 데이터로 사용하여 신경회로망의 가중치를 학습시킨다.
- 열 적외선 영상은 조명의 변화에 민감한 기존의 얼굴인식 기법의 한계를 극복하기 위한 대안으로 얼굴인식에 사용되고 있으나, 열 적외선 카메라의 보급이 제한적이어서 일반적인 응용분야에 적용이 어려운 문제가 있다. 제안한 얼굴인식 방법에서는 열 적외선 카메라를 사용하지 않고, 다층 신경회로망을 이용하여 가시광선 얼굴영상으로부터 그에 해당하는 열 적외선 텍스처를 예측함으로써 이와 같은 문제를 극복하였다. 학습과정에서는 정합된 가시광선 및 열 적외선 얼굴 영상들이 주어졌을 때, 가시광선 영상과 열 적외선 텍스처의 PCA 계수를 입출력 데이터로 사용하여 신경회로망의 내부 파라미터를 결정한다.
- 학습된 신경회로망은 낮은 차원의 특징공간에서 가시광선 영역의 영상특징으로부터 열 적외선 텍스처 특징으로의 비선형 매핑을 구현한다. 테스트 과정에서는 주어진 입력 가시광선 얼굴 영상의 PCA 성분으로부터 해당되는 열 적외선 텍스처의 PCA 성분을 예측하고, 그것으로부터 열 적외선 텍스처 영상을 생성한다. 가시광선 영상과 예측된 열 적외선 텍스처의 쌍은 이산 웨이블렛 변환(DWT)의 근사값과 상세값에 기초하여 독립적으로 데이터 융합된다.
- 학습된 신경회로망은 낮은 차원의 특징공간에서 가시광선 영상으로부터 해당하는 열 적외선 텍스처로 매핑되는 복잡한 함수를 학습한다. 테스트 과정에서는, 주어진 가시광선 입력 얼굴영상의 PCA 계수로부터 열 적외선 텍스처의 PCA 계수를 예측하고, 그로부터 열 적외선 텍스처 영상을 생성한다. 예측된 열 적외선 텍스처와 가시광선 영상은 이산 웨이블렛 변환에 의하여 근사값과 상세값 성분에 대하여 독립적으로 융합되고, 얼굴인식에 사용된다.
- 제안하는 얼굴인식 기법은 신경회로망을 이용하여 가시광선 얼굴 영상으로부터 그에 대응되는 열 적외선 텍스처 성분을 예측한다. 학습과정에서는 대상자의 가시광선 및 열 적외선 얼굴 영상이 주어졌을 때, 이 데이터를 정합시키고 가시광선 얼굴영상과 열 적외선 텍스처의 PCA 특징값들을 입출력 데이터로 사용하여 신경회로망의 가중치를 학습시킨다. 학습된 신경회로망은 낮은 차원의 특징공간에서 가시광선 영역의 영상특징으로부터 열 적외선 텍스처 특징으로의 비선형 매핑을 구현한다.
- 학습과정에서는 정합된 가시광선 및 열 적외선 얼굴 영상들이 주어졌을 때, 가시광선 영상과 열 적외선 텍스처의 PCA 계수를 입출력 데이터로 사용하여 신경회로망의 내부 파라미터를 결정한다. 학습된 신경회로망은 낮은 차원의 특징공간에서 가시광선 영상으로부터 해당하는 열 적외선 텍스처로 매핑되는 복잡한 함수를 학습한다. 테스트 과정에서는, 주어진 가시광선 입력 얼굴영상의 PCA 계수로부터 열 적외선 텍스처의 PCA 계수를 예측하고, 그로부터 열 적외선 텍스처 영상을 생성한다.
- 신경회로망의 입력 PCA 특징벡터는 가시광선 얼굴 영상 I(x,y)에서 그리고 원하는 출력 PCA 특징벡터는 열 적외선 텍스처 영상 J(x,y)에서 추출한다. 학습된 신경회로망은 주어진 가시광선 영역의 특징벡터에 대해서 비선형 매핑에 의하여 열 적외선 텍스처 성분의 PCA계수들을 구하고, 이를 이용하여 얼굴의 열 적외선 텍스처를 예측한다.
대상 데이터
- NIST/Equinox 데이터베이스는 88명의 개체로부터 획득한 1,619 쌍의 완전히 정합(registration)된 가시광선 및 열 적외선 얼굴영상들로 구성되어 있다. 가시광선 및 열 적외선 영상들은 하드웨어 설정에 의하여 1/3-화소 이내의 정확도를 가지고 정합되었다.
- 그리고 나서 히스토그램 평활화를 이용하여 얼굴영역에서 조명의 영향을 감소시킨다. 가시광선 영상 특징으로부터 열 적외선 특징으로 매핑하는 신경회로망을 학습시키기 위하여, 582쌍의 학습영상으로부터 안경을 착용하지 않은 337 쌍의 얼굴영상을 선택하였다. 안경을 착용하지 않은 영상들은 열 적외선 영상에서 안경에 의하여 눈 부분이 가려짐이 발생하는 것을 피하기 위해서 선택되었다.
- 테스트 데이터는 58명에 해당하는 979 쌍의 얼굴영상으로 구성되었고, 얼굴인식 알고리즘의 성능 평가에 사용되었다. 갤러리 데이터는 신원을 알고 있는 58명의 개체로부터 정면의 조명조건 하에서 획득한 대표적인 58개의 가시광선 얼굴영상을 선택하여 구성하였는데, 데이터 획득과정에서 각 피 실험자는 중립적인 표정을 지으며, 안경을 벗도록 하였다. 학습 및 테스트 데이터에 중복된 얼굴영상이 들어있지 않으므로, 동일한 얼굴 영상을 학습과 테스트에 동시에 사용하지 않는 실험조건을 유지하였다.
- 공간 해상도는 320×240 이고, 회색조 해상도는 가시광선 영상의 경우에는 8 비트이고, 열 적외선 영상의 경우에는 12비트를 사용하였다.
- 데이터베이스에 포함된 모든 얼굴영상들은 다양하게 변화하는 조명 조건하에서 획득되었고, 각 개체는 다른 얼굴표정을 짓도록 요청 받았으며, 안경을 쓴 개체들도 존재한다. 실험을 위해서 데이터베이스는 (1) 학습 데이터, (2) 테스트 데이터, (3) 갤러리 데이터의 세 종류의 데이터 그룹으로 구분되었다. 학습 데이터는 30명에 개체에 해당하는 582쌍의 가시광선 및 열 적외선 얼굴영상들로 구성되었고, 모두 신경회로망의 학습에 사용되었다.
- 예측한 열 적외선 텍스처 성분이 얼굴인식의 성능을 향상시킬 수 있음을 보이기 위하여, 가시광선 영상과 열 적외선 텍스처를 데이터 융합한 얼굴영상을 사용하여 얼굴인식을 수행하였고, 가시광선 얼굴 영상만을 사용하여 얼굴인식을 수행한 결과와 비교하였다. 얼굴인식 성능의 벤치마킹을 위해 널리 사용되고 있는 Eigenfaces와 Fisherfaces를 선택하여 실험하였다 [13,14,15]. 얼굴인식 알고리즘의 성능은 NIST/Equinox 데이터베이스에 대해서 수신자 동작 특성 및 첫 번째 매칭성능을 이용하여 검증하였다 [16,17,18].
- 가시광선 특징벡터는 학습 입력으로, 열 적외선 특징벡터는 목표 출력으로 사용하여, 하나의 입력층, 2개의 중간층, 그리고 하나의 출력층으로 구성된 다층 신경회로망을 학습하였다. 입력층과 출력층은 각각 30개의 노드를 포함하고, 중간층은 각각 8개 및 6개의 노드로 구성하였다.
- 학습 데이터는 30명에 개체에 해당하는 582쌍의 가시광선 및 열 적외선 얼굴영상들로 구성되었고, 모두 신경회로망의 학습에 사용되었다. 테스트 데이터는 58명에 해당하는 979 쌍의 얼굴영상으로 구성되었고, 얼굴인식 알고리즘의 성능 평가에 사용되었다. 갤러리 데이터는 신원을 알고 있는 58명의 개체로부터 정면의 조명조건 하에서 획득한 대표적인 58개의 가시광선 얼굴영상을 선택하여 구성하였는데, 데이터 획득과정에서 각 피 실험자는 중립적인 표정을 지으며, 안경을 벗도록 하였다.
- 실험을 위해서 데이터베이스는 (1) 학습 데이터, (2) 테스트 데이터, (3) 갤러리 데이터의 세 종류의 데이터 그룹으로 구분되었다. 학습 데이터는 30명에 개체에 해당하는 582쌍의 가시광선 및 열 적외선 얼굴영상들로 구성되었고, 모두 신경회로망의 학습에 사용되었다. 테스트 데이터는 58명에 해당하는 979 쌍의 얼굴영상으로 구성되었고, 얼굴인식 알고리즘의 성능 평가에 사용되었다.
성능/효과
- 그림 4는 얼굴식별에 대한 수신자 동작특성을 나타낸다. 데이터 융합된 영상은 특징값 매칭 알고리즘의 종류에 관계없이 향상된 얼굴인식 성능을 보여주는 것을 알 수 있다. 표 1은 얼굴인식의 첫 번째 매칭 성능을 비교한 것이다.
- 표 1은 얼굴인식의 첫 번째 매칭 성능을 비교한 것이다. 두 가지 알고리즘에 대해서 데이터 융합한 결과는 가시광선 얼굴영상만을 사용한 결과에 비해 인식성능이 향상되었다.
- (a)와 (e)는 각각 가시광선 영상과 열 적외선 텍스처이고, (b)-(d)는 각각 10개, 100개, 200개의 PCA계수를 사용하여 재구성한 열 적외선 텍스처이다. 많은 PCA 계수를 사용하여 재구성한 결과가 실제 측정한 열 적외선 텍스처 값에 더 유사하고 예측오차가 감소하는 것을 알 수 있다.
- 2가지의 대표적인 얼굴인식 알고리즘 들인 Eigenfaces와 Fisherfaces을 NIST/Equinox 데이터베이스에 대해서 얼굴인식 성능을 평가하였다. 제안한 데이터 융합기법은 사용된 얼굴인식 알고리즘의 종류와 무관하게 얼굴인식의 수신자 동작특성을 향상시켰다.
- 이 논문에서는 대표적인 얼굴인식 알고리즘 Eigenfaces 및 Fisherfaces을 사용하여 NIST/Equinox 데이터베이스에 대하여 얼굴인식 성능을 확인하였다. 제안한 데이터 융합기법은 얼굴인식의 수신자 동작특성 (ROC; Receiver Operating Characteristics) 및 첫 번째 매칭성능을 향상시킬 수 있음을 실험을 통하여 확인하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.