[논문]얼굴인식 템플릿 보호를 위한 Real Fuzzy Vault

이대종; 송창규; 박성무; 전명근

doi:10.5391/jkiis.2013.23.2.113

문제 정의

본 논문에서는 바이오정보에 대한 프라이버시 및 보안을 보장하기 위하여, 실수형 오류정정 부호화 코드(Real number error correcting code)를 이용한 실수형 퍼지볼트에 기반한 얼굴 템플릿의 보호기법을 제안한다. 기존에 단순한 유한체다항식에 기초하여, 다항식에 계수에 키를 Bind하여 이를 바이오 정보를 이용하여 추출하는 경우, 바이오 정보의 변동을 극복하기 위하여 에러 수정 코드나 CRC(Cyclic redundancy check)를 이용하였다.
본 논문에서는 얼굴 템플릿의 특징값에 대해서 실수형 오류정보 부호 코드화를 수행하는 실수형 퍼지 볼트 방법을 적용하고자 한다[6]. 기존에 단순한 유한체 다항식에 기초하여, 다항식에 계수에 키를 Bind하여 이를 바이오 정보를 이용하여 추출하는 경우, 바이오 정보의 변동을 극복하기 위하여 에러 수정 코드나 CRC(Cyclic redundancy check)를 이용하였다.
본 논문에서는 얼굴인식 템플릿의 특징값에 대해서 실수형 오류정보 부호 코드화를 수행하는 실수형 퍼지 볼트 방법을 새롭게 제안한다. 기존에 단순한 유한체 다항식에 기초하여, 다항식에 계수에 키를 Bind하여 이를 바이오 정보를 이용하여 추출하는 경우, 바이오 정보의 변동을 극복하기 위하여 에러 수정 코드나 CRC(Cyclic redundancy check)를 이용하였다.
따라서 이를 극복하고자 실수형 다항식의 근사화 특성을 가지는 RN(Real number) ECC(오류정정코드)가 제안되고 지문인식에 적용되었다[5]. 본 논문에서는 이러한 실수형 오류정정기법을 얼굴인식에 적용하여 실험함으로서 그 결과의 타당함을 보이고자 한다.
더욱이 다항식의 역변환을 구함에 있어서도, 기존의 대수학에서 널리 사용하고 있는 일반적인 역변화(genealized inverse)를 사용할 수 없는 제약이 있다. 이에 본 연구에서는 퍼지 볼트가 모든 실수형 연산을 기반으로 하는 실수형 퍼지 볼트를 제안하고자 한다. 이를 위래 필요한 것이 실수형 오류정보 부호화 기법(RN-ECC; real number error correcting code)이다.

가설 설정

하나의 얼굴영상이 각각의 화소 값을 갖는 2차원 배열(n × n)이라고 가정하자.

제안 방법

이 때 선택된 다항식 집합의 수는 최소 10개에서 최대 12개를 선택할 수 있다. 따라서 본 논문에서는 선택된 다항식 집합의 수인 n를 10에서 12까지 1씩 증가하면서 성능을 평가하였다. 선택된 다항식 집합의 수 n개 중에서 다항식 계수값을 복원하기 위해서는 10개의 다항식 집합을 선택해야 한다.
표 1에서 보는 바와 같이 선택된 후보 다항식 집합의 수는 오거부율에는 영향을 미치지는 않으나, 오인식률 측면에서는 가장 유사도가 높은 10개만을 선택하는 것이 오차가 가장 낮게 나타났다. 따라서 본 연구에서는 선택된 후보 다항식 집합의 수를 10으로 설정하여 제안 방법의 성능을 다양하게 분석하였다.
거짓 특징점의 삽입 위치가 얼굴의 실제 특징점의 위치와 매우 근접해 있다면 얼굴 인식률의 성능이 저하된다. 따라서 본 연구에서는 실제 얼굴 특징점과 유클리디언 거리로 0.02 이상인 값을 갖는 특징점들을 랜덤하게 선택하여 거짓 얼굴 특징점을 구축하였다.
그러나 앞에서 지적 하였다시피, 이럴 경우 구현이 복잡할 뿐더러, 오차 수정 코드로 매칭을 하는 경우에 바이오 인식 정보의 매칭을 위해 개발 된 실수형의 매칭기를 사용할 수 없는 단점이 있다. 따라서 이를 극복하고자 실수형 다항식의 근사화 특성을 가지는 RN(Real number) ECC(오류정정코드)를 적용하였다. 제안된 방법의 타당성을 검증하기 위하여 다양한 얼굴에 적용한 결과 기존 방법에 비하여 우수한 결과를 보임을 확인할 수 있었다.
그러나 앞에서 지적 하였다시피, 이럴 경우 구현이 복잡할 뿐더러, 오차 수정 코드로 매칭을 하는 경우에 바이오 인식 정보의 매칭을 위해 개발 된 실수형의 매칭기를 사용할 수 없는 단점이 있다. 따라서 이를 극복하고자 실수형 다항식의 근사화 특성을 가지는 실수형오류정정코드를 적용하였다. 여기서는 간략히 중요한 개념만을 언급하고자 한다.
인식하고자 하는 얼굴정보에 대한 특징값의 차원은 36차원이며, 이를 퍼지 템플릿에 저장된 특징벡터와 비교하기 위하여 3차원을 갖는 12개의 특징벡터로 재구성한다. 따라서 인식하고자 하는 12개의 특징벡터와 퍼지 볼트 템플릿에 있는 특징벡터와 비교하여 유사도가 가장 높은 10개 이상의 다항식 집합을 퍼지 봍트 템플릿으로부터 구한다. 이 때 선택된 다항식 집합의 수는 최소 10개에서 최대 12개를 선택할 수 있다.
퍼지 볼트 템플릿을 구축하기 위해 한 사람당 5개의 얼굴 영상을 이용하였음으로 한 사람당 3차원의 특징벡터의 수는 66개이다. 또한, 얼굴 특징값을 보호하기 위하여 200개의 거짓 특징값을 삽입하여 퍼지 볼트를 구성하였다.
를 계산하기 위해서는 랜덤 키 x와 발생행렬 G, 그리고 인증과정에서 계수값을 복원하는데 사용될 패리티 검사행렬 H 가 필요하다. 본 논문에서는 랜덤 키 x= [11, 22, 33, 44, 55, 44, 33, 22]로 임의로 설정하였고, 발생행렬 G 와 패리티 검사행렬 H 는 DCT(Discrete cosine transform)행렬에 기반을 둔 기저함수를 이용하여 생성하였다.
다항식 집합을 10개로 선택한 경우는 그 집합에 대해서만 고려하여 키 값을 복원하지만, 다항식 집합의 수를 11개 이상으로 할 경우 선택된 다항식 집합들 중에서 최적의 다항식 집합 10개를 선택하여야 한다. 본 논문에서는 모든 조합에 대한 전수조사를 실시하여 계산된 신드롬값을 이용하여 최적의 다항식 집합을 선택하였다. 예를 들어 n값이 12인 경우 신드롬값 계산을 위해 C(12,10) = 66의 다항식 집합에 대한 신드롬값을 계산하고 신드롬 값이 가장 낮은 다항식 집합을 선택하여 계수값을 복원한 후, 복원된 계수값을 이용하여 키 값을 추정하게 된다.
선택된 후보 다항식 집합에는 등록시 사용된 얼굴특징에 해당하는 다항식 집합뿐만 아니라 거짓 얼굴 특징에 의해 생성된 다항식 집합도 포함되어 있다. 이러한 후보 다항식 집합에서 본인의 얼굴특징에 해당하는 집합들을 선택하기 위하여 본 논문에서 제안된 RN-ECC 디코딩 과정이 수행된다. RN-ECC 디코딩 과정은 선택된 후보 다항식 집합에서 r 로 표현된 다항식 계수값을 추출하기 위해 필요한 모든 집합을 구성한 후, 구성된 모든 조합에 대하여 다항식 계수값 # 값을 추정하고 식 (4)에 의해 신드롬 s값을 계산한다.
인증과정에서는 우선, 검증 영상에 대한 얼굴의 특징을 추출하고 추출된 특징값과 등록과정에서 생성된 퍼지 볼트 템플릿을 비교하여 유사도가 높은 후보 다항식 집합을 선택한다. 선택된 후보 다항식 집합에는 등록시 사용된 얼굴특징에 해당하는 다항식 집합뿐만 아니라 거짓 얼굴 특징에 의해 생성된 다항식 집합도 포함되어 있다.
주성분 분석기법을 이용하여 36차를 갖는 얼굴특징을 추출하였다. 그러나 36차의 얼굴 특징 한 개만으로는 다항식에 기반한 퍼지볼트를 적용할 수 없기 때문에 36차의 벡터를 3차원을 갖는 12개의 벡터로 재구성하였다.
각 개인에 대해서 얼굴 영상의 수는 10이며, 이 영상들은 위치, 회전, 스케일, 얼굴 감정에서 변화를 주고 있다. 회전에서 변화는 최대 20도 회전하였고, 스케일에서 변화는 사람과 비디오카메라 사이에 거리를 변화하였다. 각 영상들은 디지털화되고 0에서 255까지 그레이 값을 가진 112×92 영상 크기에 의해 나타내어진다.

대상 데이터

FRR을 위해 사용된 얼굴 영상의 수는 200개(40명×5개)이고, FAR을 위해 사용된 얼굴영상의 수는 7800개(39명×5개×40set)이다.
본 논문에서 제안된 RN-ECC를 이용한 얼굴 템플릿 보호 기법의 성능을 평가하기 위하여 ORL 얼굴 데이터 베이스를 적용하였다[15]. ORL 얼굴 데이터베이스는 서로 다른 환경에서 40명으로부터 400개의 얼굴영상을 포함하고 있다. 각 개인에 대해서 얼굴 영상의 수는 10이며, 이 영상들은 위치, 회전, 스케일, 얼굴 감정에서 변화를 주고 있다.
각 영상들은 디지털화되고 0에서 255까지 그레이 값을 가진 112×92 영상 크기에 의해 나타내어진다. ORL 얼굴 데이터베이스의 일부를 그림 3에서 나타내었으며, 학습을 위해 개인당 5장의 사진을 사용하였고 나머지 얼굴영상을 이용하여 검증을 하였다.
본 논문에서 제안된 RN-ECC를 이용한 얼굴 템플릿 보호 기법의 성능을 평가하기 위하여 ORL 얼굴 데이터 베이스를 적용하였다[15]. ORL 얼굴 데이터베이스는 서로 다른 환경에서 40명으로부터 400개의 얼굴영상을 포함하고 있다.
그림 4에서는 주성분분석기법에 의해 얻어진 36개의 얼굴 특징을 3차원으로 재구성하여 얻어진 한 사람의 얼굴 특징값과 얼굴 특징값을 보호하기 위해 발생시킨 거짓 특징값을 나타냈다. 퍼지 볼트 템플릿을 구축하기 위해 한 사람당 5개의 얼굴 영상을 이용하였음으로 한 사람당 3차원의 특징벡터의 수는 66개이다. 또한, 얼굴 특징값을 보호하기 위하여 200개의 거짓 특징값을 삽입하여 퍼지 볼트를 구성하였다.

이론/모형

본 논문에서는 바이오정보에 대한 프라이버시 및 보안을 보장하기 위하여, 실수형 오류정정 부호화 코드(Real number error correcting code)를 이용한 실수형 퍼지볼트에 기반한 얼굴 템플릿의 보호기법을 제안한다. 기존에 단순한 유한체다항식에 기초하여, 다항식에 계수에 키를 Bind하여 이를 바이오 정보를 이용하여 추출하는 경우, 바이오 정보의 변동을 극복하기 위하여 에러 수정 코드나 CRC(Cyclic redundancy check)를 이용하였다. 그러나 이럴 경우 구현이 복잡할 뿐더러, 오차 수정 코드로 매칭을 하는 경우에 바이오 인식 정보의 매칭을 위해 개발 된 실수형의 매칭기를 사용할 수 없는 단점이 있다.
본 논문에서는 바이오정보에 대한 프라이버시 및 보안을 보장하기 위하여, 실수형 오류정정 부호화 코드(Real number error correcting code)를 이용한 실수형 퍼지볼트에 기반한 얼굴 템플릿의 보호기법을 제안한다. 기존에 단순한 유한체다항식에 기초하여, 다항식에 계수에 키를 Bind하여 이를 바이오 정보를 이용하여 추출하는 경우, 바이오 정보의 변동을 극복하기 위하여 에러 수정 코드나 CRC(Cyclic redundancy check)를 이용하였다. 그러나 이럴 경우 구현이 복잡할 뿐더러, 오차 수정 코드로 매칭을 하는 경우에 바이오 인식 정보의 매칭을 위해 개발 된 실수형의 매칭기를 사용할 수 없는 단점이 있다.

성능/효과

계수들이 l-비트 값인 통상 퍼지볼트 시스템의 모든 수학적 연산이 유한계 GF(2^l)에 근거하기 때문이다. 결론적으로, 다항식 P 는 차수 d = ((K/l)-1), P(x) = s₁ +s₂x+⋯+s_(K/l)x ^(K/l)-1로 표현된다. 퍼지 볼트를 위해서는 세 집합 (T,N,R)을 생성하는 것이 필요하다.
두 가지 방법을 비교하기 위하여 제안방법에서 인식 성능에 중점을 두어 거짓 특징점의 수를 700으로 설정할 때 오인식률은 0%, 오거부율은 1.5%로 나탔났으며, PCA기반의 얼굴인식 방법은 임계값이 0.2일 때 오인식률은 2.34%, 오거부율은 1.5%로 나타났다. 두 방법 모두 오거부율은 동일한 결과를 나타냈지만 시스템 성능의 중요한 척도인 오인식률 측면에서는 제안방법이 매우 우수하다.
5%로 나타났다. 두 방법 모두 오거부율은 동일한 결과를 나타냈지만 시스템 성능의 중요한 척도인 오인식률 측면에서는 제안방법이 매우 우수하다. 또한, 인식성능을 비교하지 않더라도 기존의 PCA기반의 얼굴인식방법은 개인의 얼굴정보를 보호 없이 사용하기 때문에 분실시 다른 대책이 없는 반면에 제안방법은 퍼지 볼트 템플릿에 의해 진짜 얼굴특징 정보를 보호할 수 있을 뿐만 아니라 키 값의 변경에 의해 퍼지 볼트 템플릿에 포함된 다항식 집합을 수시로 변경할 수 있음으로 보호측면에서도 우수한 성능을 보임을 확인할 수 있다.
첫 번째로, 변환함수에 사용된 사용자 지정 키값이 유출되었을 때, 역변환 가능한 함수일 경우에 원래의 원본 바이오 템플릿 정보를 얻을 수 있다는 점이다. 두 번째로, 매칭이 변환된 영역에서 이루어지므로, 인식률의 저하가 없기 위해서는, 변환 전 템플릿간의 유사도가 변환 후에도 유지 될 수 있어야 한다. 따라서 변환 함수의 선택에 따라 인식 성능이 크게 변할 수 있다는 점이다.
두 방법 모두 오거부율은 동일한 결과를 나타냈지만 시스템 성능의 중요한 척도인 오인식률 측면에서는 제안방법이 매우 우수하다. 또한, 인식성능을 비교하지 않더라도 기존의 PCA기반의 얼굴인식방법은 개인의 얼굴정보를 보호 없이 사용하기 때문에 분실시 다른 대책이 없는 반면에 제안방법은 퍼지 볼트 템플릿에 의해 진짜 얼굴특징 정보를 보호할 수 있을 뿐만 아니라 키 값의 변경에 의해 퍼지 볼트 템플릿에 포함된 다항식 집합을 수시로 변경할 수 있음으로 보호측면에서도 우수한 성능을 보임을 확인할 수 있다.
따라서 변환 함수의 선택에 따라 인식 성능이 크게 변할 수 있다는 점이다. 마지막 문제점으로 인식률을 높이기 위하여 크기가 큰 랜덤 행렬을 사용하는 경우, 바이오 정보에 의한 변별력 보다, 행렬 자체에 의한 변별력이 커져서 바이오 인식 알고리즘을 사용하는 장점자체가 없어지고, 따라서 타인 수락율이 커질 수 있는 위험이 있다는 점이다.
표 2에서는 선택된 후보 다항식 집합의 수를 10로 고정한 상태에서 제안방법과 PCA 기반의 얼굴인식 방법을 비교하여 나타냈다. 우선 제안방법의 경우 표 2에서 보는 바와 같이 오거부율은 거짓 특징의 수에 크게 상관없이 1.5%로 나타났다. 오인식률은 거짓 특징의 수가 증가할수록 감소하였다.
제안된 방법의 장점으로는 분실 시 재생성할 수 없는 얼굴영상특징점 정보와 달리 개인 키 값인 x값을 수시로 변경시킬 수 있음으로 주기적으로 키값을 변경할 수 있다는 점이다. 또한, 인증시 사용되는 퍼지 볼트 템플릿에는 개인의 얼굴인식 정보뿐만 아니라 거짓 정보를 담고 있는 얼굴 인식정보도 포함되어 있음으로 등록시 사용된 개인의 얼굴 인식정보가 없는 한 퍼지볼트 템플릿이 분실되었다 하더라도 등록된 개인의 얼굴인식정보를 추출하기 어렵다는 장점이 있다.
따라서 이를 극복하고자 실수형 다항식의 근사화 특성을 가지는 RN(Real number) ECC(오류정정코드)를 적용하였다. 제안된 방법의 타당성을 검증하기 위하여 다양한 얼굴에 적용한 결과 기존 방법에 비하여 우수한 결과를 보임을 확인할 수 있었다.
오인식률은 거짓 특징의 수가 증가할수록 감소하였다. 즉 거짓 특징점의 수가 100일때 오인식율은 0.46%, 거짓 특징점의 수가 1000일 때 오인식율은 0%로 나타났다. 거짓 특징점의 수가 증가할수록 보안성 측면에서는 잇점을 갖는다.
첫 번째로, 변환함수에 사용된 사용자 지정 키값이 유출되었을 때, 역변환 가능한 함수일 경우에 원래의 원본 바이오 템플릿 정보를 얻을 수 있다는 점이다. 두 번째로, 매칭이 변환된 영역에서 이루어지므로, 인식률의 저하가 없기 위해서는, 변환 전 템플릿간의 유사도가 변환 후에도 유지 될 수 있어야 한다.
그러나 위와 같은 과정은 실제적인 바이오인식 시스템에 적용할 때 주요 문제가 있었다. 첫 번째로, 지문이나 얼굴과 같은 바이오정보는 취득할 때 마다, 외부적 변동요인에 의해서 특징값이 달라지므로 위의 과정에서와 같이 집합 A와 B가 정확하게 일치하는 경우는 드물다. 또한, 등록과정에서 만들어진 유사식별자 S 에 대해서 Lagrange 보간에 의해서 만들어지는 재구성된 유사식별자 S^*와의 오차검출이나 수정을 위한 오류검출 및 정정코드(error correcting code)가 반드시 필요하다.
또한 거짓 특징점의 개수는 200으로 설정하여 실험하였다. 표 1에서 보는 바와 같이 선택된 후보 다항식 집합의 수는 오거부율에는 영향을 미치지는 않으나, 오인식률 측면에서는 가장 유사도가 높은 10개만을 선택하는 것이 오차가 가장 낮게 나타났다. 따라서 본 연구에서는 선택된 후보 다항식 집합의 수를 10으로 설정하여 제안 방법의 성능을 다양하게 분석하였다.

핵심어	질문	논문에서 추출한 답변
	주성분 분석 기법(PCA)은 무엇을 목적으로 하는가?	주성분 분석 기법(PCA)은 다변수 선형 데이터 분석에서 잘 알려진 기법이며 주된 개념은 데이터의 최대 분산 방향을 나타내는 상호직교 기저 벡터의 집합을 찾는 것을 목적으로 하며, 이때, PCA를 이용한 eigenface 방법은 다음과 같이 간략히 기술되어진다[14].
	바이오인식 템플릿을 보호하기 위한 기법은 무엇이 있는가?	이러한 문제점을 해결하기 위하여 바이오인식 템플릿을 보호하기 위한 기법들이 최근 들어 국내외적으로 활발하게 이루어지고 있다[1-2]. 이들 기법들은 특징벡터 변환(feature transformation)과 바이오 암호시스템(Biometric Cryptosystem)으로 나누어진다. 특징벡터 변환 방법은 역변환 가능한 변환 함수를 쓰는 경우와 역변환이 가능하지 않은 방법을 사용하는지에 따라서 다시, BioHashing과 Robust Hashing 방법으로 나누어진다.
	특징벡터 변환 방법은 어떻게 나누어지는가?	이들 기법들은 특징벡터 변환(feature transformation)과 바이오 암호시스템(Biometric Cryptosystem)으로 나누어진다. 특징벡터 변환 방법은 역변환 가능한 변환 함수를 쓰는 경우와 역변환이 가능하지 않은 방법을 사용하는지에 따라서 다시, BioHashing과 Robust Hashing 방법으로 나누어진다. 한편, 바이오 암호시스템(Biometric Cryptosystem)에 있어서는 암호화 키를 직접 바이오정보로부터 만들어 내는 방법(Key Generation)과 암호화 키를 바이오정보와 엮어서 보관한 후, 이를 필요한 경우에 바이오정보를 이용하여 다시 추출해 낼 수 있도록 하는 Key Binding 방법이 있다[3].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

얼굴인식 템플릿 보호를 위한 Real Fuzzy Vault
Real Fuzzy Vault for Protecting Face Template 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

얼굴인식 템플릿 보호를 위한 Real Fuzzy Vault Real Fuzzy Vault for Protecting Face Template 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

이대종 (59) 송창규 (10) 전명근 (101)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

얼굴인식 템플릿 보호를 위한 Real Fuzzy Vault
Real Fuzzy Vault for Protecting Face Template 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper