선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 얼굴의 포즈 변화와 가림이 발생하는 와일드(wild)환경에서 정확하고 빠르게 얼굴검출을 수행하는 두 단계(two-step)의 CNN에 기반한 방법을 제안한다. (1)멀티스케일 프로포잘 네트워크(multi-scaleproposalnetwork)는 얼굴 요소의 히트맵을 멀티스케일로 나타내고, 얼굴의 요소 정보를 이용함으로써 얼굴의 포즈 변화 또는 가림에 강인하도록 설계하였다.
- 본 논문에서는 와일드 환경에서의 얼굴 검출을 위해서 프로포잘 네트워크와 디텍션 네트워크로 구성된 두 단계의 시스템(two-stagesystem)을 제안하였다. 멀티스케일 프로포잘 네트워크(multi-scale proposalnetwork)는 얼굴 요소 히트맵을 표현한다.
제안 방법
- 방법을 제안한다. (1)멀티스케일 프로포잘 네트워크(multi-scaleproposalnetwork)는 얼굴 요소의 히트맵을 멀티스케일로 나타내고, 얼굴의 요소 정보를 이용함으로써 얼굴의 포즈 변화 또는 가림에 강인하도록 설계하였다.또한, 합성곱 층(convolutio- nal layer)이 직렬(cascade)로 연결된 완전한 합성곱신경망(fullyconvolutionalnetwork:FCN)을 이용하여 입력 이미지에 대응되는 확률 맵을 계산한다.
- 4의 디텍션 네트워크는 네 합성곱 층과 두인공 신경망 층으로 이루어져 있다.48×48의 입력 이미지가 합성곱 신경망 계층을 통과하여 분류와 얼굴 영역 회귀법의 문제에 대한 값을 제시하며, 얼굴 영역 회귀법 문제에 대해서는 얼굴 영역을 위치에 대해 왼쪽 상단을 (0, 0)으로 하는 좌표, 좌표, 가로와 세로 길이를 제시한다.패치(patch)1은 그 영역이 얼굴 영역을 포함하므로 얼굴 영역으로 판정할 확률 값으로 1과 함께 얼굴 영역의 위치 정보를 제시한다.
- ImageNet2012[15], Large-scaleCeleb Faces Attributes (CelebA)[16] 그리고 Annotated FacialLandmarksintheWild(AFLW)[14]는 신경망의 학습 과정에 사용 하였고, FaceDetectionData SetandBenchmark(FDDB)[9]을 이용하여 얼굴 검출 성능을 측정하였다.
- 제시한다. VGA의 영상에 대해 평균적으로 다섯 명의 사람이 등장하는 환경으로서, 동일한 조건에서 다른 알고리즘과 처리 속도를 비교하였다.3.
- 3의 멀티스케일 프로프잘 네트워크는 FCN 의 두 번째 합성곱 신경망 층을 기점으로 분기하여 병렬적으로 구성되어 있다.각각의 스케일에 대해두 번째 가중치와 통합 층(poolinglayer)이 다른 스트라이드(stride)의 크기를 가지며 서로 다른 얼굴 크기에 대해 최적화된 히트맵을 각각 구성한다. 스트라이드의 값이 작을수록 작은 크기의 얼굴을 표현하는 데 적합하고, 그 값이 증가할수록 큰 얼굴 크기를 잘 표현할 수 있다.
- 각각의 스케일의 신경망으로부터 출력된 다섯 번째 합성곱 층의 256개의 특징 맵(featuremap)을 정규화(normalizing) 및 스케일링(scaling)과정을 거쳐 히트맵을 얻게 된다.이 히트맵에 대해 얼굴 영역과 얼굴이 아닌 영역을 잘 구분 짓는 을 설정하여 멀티스케일의 프로포잘 네트워크의 얼굴 요소 히트맵으로부터 얼굴 영역을 선별할 수 있다.
- CelebA데이터베이스는 얼굴의 특성 정보를 포함하는 10, 177의 인물이 202, 599의 이미지에 등장하는 대규모의 이미지 데이터베이스이다. 다섯 개의 얼굴 특징점과 40개의 얼굴의 특성 정보를 포함하며, 본 논문에서는 TCDCN[17]의 얼굴 특징점 추출 알고리즘을 이용하여 확장된 68개의 얼굴 특징점을 추출하고 이중에서 얼굴 요소와 관련된 41 개를 선별하여 신경망의 학습을 위해 사용하였다. Fig.
- 또한 얼굴 경계 영역 회귀법은 더욱 정밀하게 얼굴 후보 영역을 얼굴 영역으로 이동시킴으로써 검출 성능을 향상시킨다.두 단계의 시스템을 거쳐 살아남은 얼굴 후보 영역에 대해 후처리 과정(postprocessing)의 non-maximumsup-pression(NMS)[10]를 수행하여 최종적인 얼굴 영역을 제시한다.
- 제안하는 방법에서 히트맵을 이용하여 얼굴 영역이 아니라고 판단되는 영역을 앞단에서 빠르게 제거 할뿐만 아니라 완전한 합성곱 신경망(fully convolutionalnetwork)를 이용하여 불필요한 처리 과정을 배제하였다.또한 멀티스케일 FCN에서 간단한 특징을 학습하는 낮은 계층을 공유함으로써 연산복잡도를 추가적으로 낮추었다. 이는 본 논문에서 제안하는 방법이 낮은 연산 복잡도에 의해 설계되었을 뿐만 아니라 table2를 통하여 실험적 수치와 함께 이를 검증하였다.
- 또한, 얼굴 검출 성능뿐만 아니라 제안하는 시스템의 처리속도를 다른 시스템과 비교함으로써 제안하는 방법이 얼마나 낮은 시스템 복잡도를 갖는지를 검증한다.
- (1)멀티스케일 프로포잘 네트워크(multi-scaleproposalnetwork)는 얼굴 요소의 히트맵을 멀티스케일로 나타내고, 얼굴의 요소 정보를 이용함으로써 얼굴의 포즈 변화 또는 가림에 강인하도록 설계하였다.또한, 합성곱 층(convolutio- nal layer)이 직렬(cascade)로 연결된 완전한 합성곱신경망(fullyconvolutionalnetwork:FCN)을 이용하여 입력 이미지에 대응되는 확률 맵을 계산한다. 확률 맵(또는, 히트맵)은 각각의 픽셀(pixel)값을 얼굴이 존재할 확률 값으로 매핑(mapping)한 것으로 낮은 복잡도로 후보 얼굴 영역을 정확하게 판별할 수 있으며, 인공 신경망 계층을 제외한 구조를 채택하여 입력 이미지의 크기를 재조정 하는 과정을 건너 뛸 수 있다.
- 이 데이터베이스를 이용하여 물체의 포괄적인 특징을 학습하는 합성 곱 신경망을 학습시킬 수 있다.물체가 아닌 영역으로부터 물체인 영역의 특징 정보를 선택적으로 추출하는 합성곱 신경망 계층(convolutionalneural network)을 선행 학습된 모델(pre-trainedmodel)로 이용하여 그 위에서 얼굴 검출을 위한 데이터베이스를 학습하였다.CelebA데이터베이스는 얼굴의 특성 정보를 포함하는 10, 177의 인물이 202, 599의 이미지에 등장하는 대규모의 이미지 데이터베이스이다.
- 본 논문에서 제안하는 방법은 깊은 합성곱 신경망(deepconvolutionalneuralnetwork)에 기반한 두 단계의 시스템으로 이루어져있다.첫 번째 과정으로서, 프로포잘 네트워크는 선행 학습된 모델(pre-trainedmodel)에 대해 미세조정(fine-tuning)의 학습 방법을 사용한다.
- 파라미터(parameter)이다. 수식 (5)의 손실 함수는 얼굴 영역인지 얼굴이 아닌 영역인지를 분류하는 문제를 풀기 위해 교차 엔트로피 함수(cross-entropy loss function)를 도입하고, 얼굴 영역 회귀법 문제는 추정되는 얼굴 영역의 위치 정보와 목적하는 얼굴 영역의 위치 정보의 유클리디언 거리(Euclideandistance)가 최소가 되는 네트워크를 설계한다.
- 얼굴 특징점의 위치 정보를 이용하여 얼굴 요소를 표현하는 합성곱 신경망을 학습한다.Fig.
- 첫 번째 과정으로서, 프로포잘 네트워크는 선행 학습된 모델(pre-trainedmodel)에 대해 미세조정(fine-tuning)의 학습 방법을 사용한다.얼굴의 구성요소 히트맵을 표현하기 위해 얼굴 특징점(facial landmark)을 이용하고, 이렇게 구성된 싱글 스케일(single-scale)의 완전한 합성곱 신경망(fully convolutional network: FCN)을 멀티스케일로 확장함으로써 얼굴의 크기 변화에 강인하도록 설계한다.프로포잘 네트워크의 히트맵으로부터 얼굴 후보 영역을 추출하고 각각의 영역은 얼굴 경계 영역 회귀법을 포함하는 디텍션네트워크를 거치게 된다.
- 제외한다[9].이 데이터베이스의 얼굴의 위치정보가 타원형의 형태로 제공되므로 그 타원과 공유하는 면적이 최대가 되는 가장 작은 크기의 사각형 (rectangular)의 형태로 ground-truth를 재정의 하였다. 또한, AFLW와 FDDB의 ground-truth의 미스 매치(mismatch) 문제를 다루기 위해 얼굴 검출기로부터 출력되는 얼굴 영역의 세로길이를 30% 확장하였다.
- 모델이다. 적분 영상(integral image) 기법을 이용하여 Haar-like특징 정보를 효율적으로 추출하고 이를 제안한 Adaboost의 직렬로 연결된 분류기를 이용하여 최종적인 얼굴 영역을 선별한다. 그러나 이러한 방법은 단순한 특징 정보를 이용하기 때문에 얼굴의 자세 변화 또는 가림과 같은 환경에서 얼굴 검출 성능이 크게 떨어진다[2, 3].
- Adaboost를 이용하지 않은 것과 비교해서 대략 500배 그리고 Adaboost를 이용한 것과 비교해서도 15배 정도의 처리 속도에서 이득을 보았다.제안하는 방법에서 히트맵을 이용하여 얼굴 영역이 아니라고 판단되는 영역을 앞단에서 빠르게 제거 할뿐만 아니라 완전한 합성곱 신경망(fully convolutionalnetwork)를 이용하여 불필요한 처리 과정을 배제하였다.또한 멀티스케일 FCN에서 간단한 특징을 학습하는 낮은 계층을 공유함으로써 연산복잡도를 추가적으로 낮추었다.
- 얼굴 특징점의 집합은 의 벡터 형태로 정의된다.총 41개의 얼굴 특징점 중에서 오른쪽 눈, 왼쪽 눈, 코 그리고 입을 지역화하기 위해 각각 6, 6, 9, 그리고 21개의 얼굴 특징점을 사용한다.수식(1)의 손실함수를 최소화하기 위해 확률적 기울기 하강(stochasticgradientdescent)방법을 이용한다.
- 검출 네트워크(detection network)는 멀티테스크 (multi-task)로서 분류 문제와 얼굴 영역 회귀법 문제를 풀며, 얼굴 영역을 잘 판별하고 이 얼굴 영역의 위치를 조정해 주는 역할을 하였다.추가적으로, 네거티브 예제 마이닝(hardsamplemining)기술을 사용하여 두 번째 과정의 성능을 극대화 하였다. 제안하는 방법은 얼굴 검출 성능과 처리 속도 측면에서 우수한 성능을 보였다.
대상 데이터
- VGA의 영상에 대해 평균적으로 다섯 명의 사람이 등장하는 환경으로서, 동일한 조건에서 다른 알고리즘과 처리 속도를 비교하였다.3.40GHzIntel Core i7-3770, NVIDIA GeForce GTX 980Ti의 MATLAB환경에서 검출 가능한 최소 의 얼굴 크기를 20×20로 설정하였다.고속의 알고리즘으로 알려진 비올라 존스(Viola-Jones)알고리즘과 NPDFace 알고리즘보다 빠른 처리 속도를 보일뿐만 아니라 딥러닝 기반의 Zhanetal.
- 물체가 아닌 영역으로부터 물체인 영역의 특징 정보를 선택적으로 추출하는 합성곱 신경망 계층(convolutionalneural network)을 선행 학습된 모델(pre-trainedmodel)로 이용하여 그 위에서 얼굴 검출을 위한 데이터베이스를 학습하였다.CelebA데이터베이스는 얼굴의 특성 정보를 포함하는 10, 177의 인물이 202, 599의 이미지에 등장하는 대규모의 이미지 데이터베이스이다. 다섯 개의 얼굴 특징점과 40개의 얼굴의 특성 정보를 포함하며, 본 논문에서는 TCDCN[17]의 얼굴 특징점 추출 알고리즘을 이용하여 확장된 68개의 얼굴 특징점을 추출하고 이중에서 얼굴 요소와 관련된 41 개를 선별하여 신경망의 학습을 위해 사용하였다.
- 다섯 개의 얼굴 특징점과 40개의 얼굴의 특성 정보를 포함하며, 본 논문에서는 TCDCN[17]의 얼굴 특징점 추출 알고리즘을 이용하여 확장된 68개의 얼굴 특징점을 추출하고 이중에서 얼굴 요소와 관련된 41 개를 선별하여 신경망의 학습을 위해 사용하였다. Fig. 2의 학습된 프로포잘 네트워크(proposalnetwork)에 대해 AFLW데이터베이스로부터 네거티브 예제 마이닝(hardsamplemining)기술을 이용하여 유용한 예제를 선별적으로 추출하여 Fig.4의 디텍션 네트워크(detection network)의 학습 데이터 (data)로 사용하였다.AFLW는 얼굴 검출 성능 측정을 위해 사용된 FDDB데이터 셋과 유사한 환경(예: 얼굴의 가림, 포즈 변화, 조명 변화 그리고 다양한 크기의 얼굴)을 지닌 데이터베이스로 얼굴 검출의 학습 데이터로 많이 사용된다.
- AFLW[14]데이터베이스(database)를 사용하여 5만장의 네거티브 예제를 추출하였고, 얼굴 영역을 포함하는 예제는 40%이하였다.이 예제를 선별적으로 취득하여 멀티테스크의 디텍션 네트워크의 학습을 위한 데이터베이스로 사용 한다
- 제안하는 방법의 성능을 검증하기 위해 다양한 포즈와 가림 그리고 다양한 크기의 얼굴이 존재하는 FDDB[9] 데이터베이스(database)를 사용한다. 또한, 얼굴 검출 성능뿐만 아니라 제안하는 시스템의 처리속도를 다른 시스템과 비교함으로써 제안하는 방법이 얼마나 낮은 시스템 복잡도를 갖는지를 검증한다.
- 제안하는 합성곱 신경망의 학습과 검출 성능의 검증 과정으로 네 가지의 데이터베이스(database)를 사용하였다. ImageNet2012[15], Large-scaleCeleb Faces Attributes (CelebA)[16] 그리고 Annotated FacialLandmarksintheWild(AFLW)[14]는 신경망의 학습 과정에 사용 하였고, FaceDetectionData SetandBenchmark(FDDB)[9]을 이용하여 얼굴 검출 성능을 측정하였다.
데이터처리
- 제안하는 방법의 검출 성능 및 처리 속도를 검증하기 위해 다른 얼굴 검출기의 성능과 비교 실험을 수행하였다: (1)Viola-Jones[1], (2)Pico[18], Zhan etal.[19], XZJY[20]그리고 NPDFace[21].
이론/모형
- 디텍션 네트워크의 성능을 최대화하기 위해 네거티브 예제 마이닝(hardsamplemining)기술을 사용한다. 이 기술은 일반화된 많은 예제를 사용하여 합성 곱 신경망을 학습하는 것이 아니라, 목적을 잘 표현하는 소규모의 유익한 예제를 추출하여 특정한 상황에 잘 대처하는 신경망을 학습시키는 기법이다.
- 총 41개의 얼굴 특징점 중에서 오른쪽 눈, 왼쪽 눈, 코 그리고 입을 지역화하기 위해 각각 6, 6, 9, 그리고 21개의 얼굴 특징점을 사용한다.수식(1)의 손실함수를 최소화하기 위해 확률적 기울기 하강(stochasticgradientdescent)방법을 이용한다.Caffe[12]라이브러리(library) 를 이용하며 초기의 학습 속도(initial learningrate) 는 , 가속도(momentum)의 에 대해 매세대(epoch) 수마다 학습 속도에 의 값을 곱한다.
- 또한, 과 는 각각 추정되는 얼굴 영역 위치와 이에 대해 가장 근접한 ground-truth의 얼굴 위치 정보이다. 수식(4)의 손실함수를 최소화하기 위해 확률적 기울기 하강(stochastic gradientdescent) 방법을 이용한다.Caffe[12]라이브러리(library)를 이용하며 초기의 학습 속도(initial learning rate)는 , 가속도(momentum)의 에 대해 매 세대(epoch)수마다 학습 속도에 의 값을 곱한다.
- 이미지 분류(image classification) 문제를 풀기 위해 설계된 AlexNet[11]의 구조를 선행 학습된 모델로 사용한다.이미지 분류란 영상 정보에 존재하는 물체의 특성을 파악하여 그 물체가 속한 범주를 분류하는 것으로 Fig.
- 시스템으로 이루어져있다.첫 번째 과정으로서, 프로포잘 네트워크는 선행 학습된 모델(pre-trainedmodel)에 대해 미세조정(fine-tuning)의 학습 방법을 사용한다.얼굴의 구성요소 히트맵을 표현하기 위해 얼굴 특징점(facial landmark)을 이용하고, 이렇게 구성된 싱글 스케일(single-scale)의 완전한 합성곱 신경망(fully convolutional network: FCN)을 멀티스케일로 확장함으로써 얼굴의 크기 변화에 강인하도록 설계한다.
성능/효과
- 알고리즘과 비교해서도 우수한 성능을 보였다.Adaboost를 이용하지 않은 것과 비교해서 대략 500배 그리고 Adaboost를 이용한 것과 비교해서도 15배 정도의 처리 속도에서 이득을 보았다.제안하는 방법에서 히트맵을 이용하여 얼굴 영역이 아니라고 판단되는 영역을 앞단에서 빠르게 제거 할뿐만 아니라 완전한 합성곱 신경망(fully convolutionalnetwork)를 이용하여 불필요한 처리 과정을 배제하였다.
- 이 데이터베이스의 얼굴의 위치정보가 타원형의 형태로 제공되므로 그 타원과 공유하는 면적이 최대가 되는 가장 작은 크기의 사각형 (rectangular)의 형태로 ground-truth를 재정의 하였다. 또한, AFLW와 FDDB의 ground-truth의 미스 매치(mismatch) 문제를 다루기 위해 얼굴 검출기로부터 출력되는 얼굴 영역의 세로길이를 30% 확장하였다.
- 이 얼굴 후보 영역은 그 자체로 높은 얼굴 검출 성능을 보인다.본 절의 디텍션 네트워크는 리콜율(recall rate)과 함께 혹여나 발생할 수 있는 오검출(false-positive)을 줄이는 멀티테스크의 일을 수행함으로써 검출 성능 향상에 기여한다.
- 각각의 스케일에 대해두 번째 가중치와 통합 층(poolinglayer)이 다른 스트라이드(stride)의 크기를 가지며 서로 다른 얼굴 크기에 대해 최적화된 히트맵을 각각 구성한다. 스트라이드의 값이 작을수록 작은 크기의 얼굴을 표현하는 데 적합하고, 그 값이 증가할수록 큰 얼굴 크기를 잘 표현할 수 있다.일반적으로 합성곱 신경망의 표현력은 낮은 층에서는 간단한 테두리(edge)와 같은 특징을 추출하고, 높은 층으로 이동함으로써 물체의 형상과 같은 복잡한 특징 정보를 표현하게 된다.
- 고속의 알고리즘으로 알려진 비올라 존스(Viola-Jones)알고리즘과 NPDFace 알고리즘보다 빠른 처리 속도를 보일뿐만 아니라 딥러닝 기반의 Zhanetal.알고리즘과 비교해서도 우수한 성능을 보였다.Adaboost를 이용하지 않은 것과 비교해서 대략 500배 그리고 Adaboost를 이용한 것과 비교해서도 15배 정도의 처리 속도에서 이득을 보았다.
- 38%의 추가 이득을 보였다. 이는 제안하는 방법이 얼굴 요소 정보를 이용하여 얼굴의 포즈 또는 가림에 강인한 효과를 보일 뿐만 아니라 두 번째 네트워크의 얼굴 영역 회귀법이 얼굴 영역을 정교하게 매칭(matching)함으로써 검출 성능 향상에 기여하였다.
- 추가적으로, 네거티브 예제 마이닝(hardsamplemining)기술을 사용하여 두 번째 과정의 성능을 극대화 하였다. 제안하는 방법은 얼굴 검출 성능과 처리 속도 측면에서 우수한 성능을 보였다.표준화된 FDDB데이터베이스(database)에 대해 우수한 다른 알고리즘 보다 1.
- 제안하는 방법은 얼굴 검출 성능과 처리 속도 측면에서 우수한 성능을 보였다.표준화된 FDDB데이터베이스(database)에 대해 우수한 다른 알고리즘 보다 1.38%의 추가 이득을 달성하였다.또한, 동일한 실험 환경에서 가장 낮은 처리 시간을 기록하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.