[논문]얼굴 특징점 검출을 위한 적분 회귀 네트워크

김도엽; 장주용

doi:10.5909/jbe.2019.24.4.564

얼굴 특징점 검출을 위한 적분 회귀 네트워크
Integral Regression Network for Facial Landmark Detection 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.4, 2019년, pp.564 - 572

김도엽 (광운대학교 전자통신공학) , 장주용 (광운대학교 전자통신공학)

초록
AI-Helper

최근 딥러닝 기술의 발전과 함께 얼굴 특징점 검출 방법의 성능은 크게 향상되었다. 대표적인 얼굴 특징점 검출 방법인 히트맵 회귀 방법은 효율적이고 강력한 방법으로 널리 사용되고 있으나, 단일 네트워크를 통해 특징점 좌표를 즉시 얻을 수 없으며, 히트맵으로부터 특징점 좌표를 결정하는 과정에서 정확도가 손실된다는 단점이 존재한다. 이러한 문제점들을 해결하기 위해 본 논문에서는 기존의 히트맵 회귀 방법에 적분 회귀 방법을 결합할 것을 제안한다. 여러 가지 데이터셋을 사용한 실험을 통해 제안하는 적분 회귀 네트워크가 얼굴 특징점 검출 성능을 크게 향상시킨다는 것을 보인다.

Abstract ▼ AI-Helper

With the development of deep learning, the performance of facial landmark detection methods has been greatly improved. The heat map regression method, which is a representative facial landmark detection method, is widely used as an efficient and robust method. However, the landmark coordinates cannot be directly obtained through a single network, and the accuracy is reduced in determining the landmark coordinates from the heat map. To solve these problems, we propose to combine integral regression with the existing heat map regression method. Through experiments using various datasets, we show that the proposed integral regression network significantly improves the performance of facial landmark detection.

주제어

표/그림 (6)

그림 그림 1. 제안하는 얼굴 특징점 검출 네트워크의 개요 Fig. 1. Overview of proposed facial landmark detection network
표 표 1. 제안하는 네트워크의 세부 구성 Table 1. Detail of the proposed network
그림 그림 2. 제안하는 방법(ResNet50-Int)과 비교 모델들의 NME 곡선 Fig. 2. NME curves of proposed method (ResNet50-Int) and baseline models
그림 그림 3. 제안하는 모델의 얼굴 특징점 검출 결과 (a) 성공적으로 검출한 경우 (b) 검출에 실패한 경우 Fig. 3. Examples of facial landmarks detected by proposed method (a) success cases (b) failure cases
표 표 2. 각 모델에 대한 AUC(%) Table 2. AUC (%) of each model
표 표 3. 각 모델의 프레임 당 처리 시간 (ms) Table 3. Processing time per frame (ms) of each model

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 이러한 두 가지 문제를 해결하기 위해 최근 소개된 적분 회귀(integral regression)^[2]에 기반한 얼굴 특징점 검출 방법을 제안한다. 적분 회귀는, 히트맵 회귀를 통해 얻어낸 히트맵에 argmax 연산 대신에 기대값(expectation) 연산을 적용하는 것이다.
본 논문에서는 히트맵 회귀 기반의 얼굴 특징점 검출 방법의 한계를 개선하기 위해 적분 회귀 방법을 사용하여 보다 정확한 특징점 좌표를 단일 네트워크의 출력으로 생성하는 방법을 제안하였다. 다양한 얼굴 특징점 데이터 셋에 대하여 실험한 결과, 제안하는 적분 회귀 네트워크는 기존의 히트맵 기반 방법의 성능을 크게 향상시켰으며, 기존의 state-of-theart 특징점 검출 방법보다 나은 성능을 달성하였다.
얼굴 특징점 검출(facial landmark detection)은 컴퓨터 비전에서 오랫동안 연구되어 온 중요한 문제들 중 하나이다. 이 문제의 목표는 주어진 입력 얼굴 영상으로부터 특징점(facial landmarks), 즉, 구별이 가능한 특징적인 점들의 위치를 계산하는 것이다. 이를 통해 검출된 특징점은 감정 인식, 시선 방향 검출, 얼굴 변환(face morphing) 등 다양한 응용 분야에 활용될 수 있다.

제안 방법

먼저 제안하는 네트워크에 포함된 ResNet-50의 파라미터는 ImageNet[8]을 통해 사전 학습된 모델을 사용하여 초기화하였다. 그리고 ResNet-50의 1,000개 범주의 분류에 관련된 마지막 2개 층을 제거하고, 히트맵 생성을 위한 deconvolution 및 히트맵 회귀 층을 연결하였다. 마지막으로 히트맵 출력 층 뒤에는 적분 회귀를 수행하는 모듈을 연결하였다.
다음으로 우리는 제안하는 모델의 복잡도를 평가하기 위해서 각 모델들의 수행속도를 측정하였다. 그 결과가 위의 표 3에 나타나 있다.
와 같이 계산된다. 또한 NME 그래프에 기반한 척도로써 곡선 아래 면적(area under curve; AUC)을 계산하였다. AUC는 NME 그래프 아래의 면적으로 성능을 하나의 숫자로 표현해 준다.
이를 위해 [1]의 저자가 공개한 사전 학습 모델인 FAN-Trained, [1]의 학습 조건 그대로 우리가 처음부터 다시 학습한 FAN, 제안하는 방법에 적분 회귀가 포함되지 않은 히트맵 회귀 네트워크 (ResNet50), 그리고 제안하는 방법(ResNet50-Int)의 성능을 제시하였다. 또한 적분 회귀 방법이 네트워크에 상관없이 성능을 개선한다는 것을 보이기 위해 FAN에 적분 회귀를 포함하여 학습한 FAN-Int의 성능도 함께 제시하였다.
제안하는 네트워크는 ResNet-50, deconvolution, 그리고 적분 회귀 순으로 구성된다. 먼저 제안하는 네트워크에 포함된 ResNet-50의 파라미터는 ImageNet[8]을 통해 사전 학습된 모델을 사용하여 초기화하였다. 그리고 ResNet-50의 1,000개 범주의 분류에 관련된 마지막 2개 층을 제거하고, 히트맵 생성을 위한 deconvolution 및 히트맵 회귀 층을 연결하였다.
이 때 제안하는 방법의 성능을 평가하기 위해 [1]에서 제안된 Facial Alignment Network (FAN)을 baseline으로 사용한다. 우리는 FAN에 적분 회귀 모듈을 적용하였을 때의 성능 증가를 확인하고, 또한 제안하는 네트워크의 정성적인 결과를 제시한다.
우리는 제안하는 방법의 성능을 평가하기 위해 300W 테스트 데이터셋, Menpo 학습 데이터셋, 300-VW cat1, cat2, cat3 데이터셋에 대한 실험을 수행하였다. 이를 위해 [1]의 저자가 공개한 사전 학습 모델인 FAN-Trained, [1]의 학습 조건 그대로 우리가 처음부터 다시 학습한 FAN, 제안하는 방법에 적분 회귀가 포함되지 않은 히트맵 회귀 네트워크 (ResNet50), 그리고 제안하는 방법(ResNet50-Int)의 성능을 제시하였다. 또한 적분 회귀 방법이 네트워크에 상관없이 성능을 개선한다는 것을 보이기 위해 FAN에 적분 회귀를 포함하여 학습한 FAN-Int의 성능도 함께 제시하였다.
제안하는 네트워크는 먼저 히트맵 회귀 모듈을 통해 입력 RGB 영상으로부터 히트맵을 생성한다. 이를 위해 우리는 기존 ResNet-50[7]의 마지막 두개의 층, 즉, pooling 및 linear 층을 제거하여 완전 합성곱 네트워크(fully convolutional network; FCN)를 구성하였고, 출력 히트맵의 해상도를 높이기 위하여 3개의 deconvolution 층을 추가하였다. 제안된 네트워크는 256×256 해상도의 입력 영상으로부터 ResNet-50의 층들을 거쳐서 8×8 크기의 특징 지도를 계산하고, 다시 3개의 deconvolution 층과 회귀층을 거치며 2³배 크기인 64×64의 출력 히트맵을 생성한다.
제안하는 네트워크는 ResNet-50, deconvolution, 그리고 적분 회귀 순으로 구성된다. 먼저 제안하는 네트워크에 포함된 ResNet-50의 파라미터는 ImageNet[8]을 통해 사전 학습된 모델을 사용하여 초기화하였다.
제안하는 네트워크는 먼저 히트맵 회귀 모듈을 통해 입력 RGB 영상으로부터 히트맵을 생성한다. 이를 위해 우리는 기존 ResNet-50[7]의 마지막 두개의 층, 즉, pooling 및 linear 층을 제거하여 완전 합성곱 네트워크(fully convolutional network; FCN)를 구성하였고, 출력 히트맵의 해상도를 높이기 위하여 3개의 deconvolution 층을 추가하였다.
제안하는 네트워크의 학습을 위해서 우리는 출력 히트맵 과 특징점 좌표 모두에 손실 함수(loss function)를 적용한 다. 손실 함수의 구체적인 식은 다음과 같이 평균 제곱 오차 (mean squared error; MSE) 및 L₁ 함수를 사용하여 정의된다.
제안하는 얼굴 특징점 검출 방법은 히트맵 회귀 모듈과 적분 회귀 모듈의 두 부분으로 구성된 하나의 네트워크를 통해 입력 단일 RGB 영상으로부터 68개의 얼굴 특징점에 대한 히트맵과 픽셀 좌표를 계산한다. 제안하는 네트워크의 전체적인 구조는 그림 1에, 상세한 구성은 표 1에 각각 나타나 있다.
적분 회귀 모듈은 입력으로 들어온 히트맵을 확률 분포 함수로 변환하고, 특징점 위치에 대한 기대 값을 계산하여 출력한다. 히트맵을 확률 분포 함수로 만들기 위해 히트맵에 대해 정규화를 수행한다.
]는 각각 히트맵과 특징점 좌표의 참값을 나타낸다. 히트맵의 참값은 대응하는 특징점 위치를 평균으로 하고, 표준편차가 1.0 픽셀인 가우시안 함수 로 설정하였으며, 정규화를 하지 않아 최대치가 1.0이 되도록 하였다. 제안하는 네트워크의 학습을 위한 전체 손실 함수식은 위의 두 손실 함수의 합으로 정의된다.

대상 데이터

300-VW^[12]은 114개 비디오 영상으로 구성된 데이터셋으로 114개 비디오 영상 내에 총 218,595 프레임을 포함하며, 68개 특징점의 위치가 각 프레임마다제공된다. 114개 비디오 영상 중에 64편의 영상이 테스트 데이터셋으로 사용되며 나머지 50편이 학습 데이터셋으로 사용된다. 테스트 데이터셋은 난이도에 따라 1, 2, 3으로 나뉘며 3이 가장 난이도가 높은 영상의 집합이다.
이 데이터셋은 렌더링을 통해 만들어진 측면 얼굴 영상을 많이 포함하므로 large-pose에 더 강인하도록 네트워크를 학습할 수 있다. 300W 테스트 데이터셋은 300-W Challenge^[10]에서 사용된 데이터셋으로 Indoor와 Outdoor 카테고리로 나뉘며 600장의 얼굴 영상을 포함한다. Menpo 학습 데이터셋은 FDDB^[13] 및 AFLW^[14] 데이터셋에서 추출된 데이터셋으로 정면 얼굴과 측면 얼굴을 포함한다.
300W 테스트 데이터셋은 300-W Challenge^[10]에서 사용된 데이터셋으로 Indoor와 Outdoor 카테고리로 나뉘며 600장의 얼굴 영상을 포함한다. Menpo 학습 데이터셋은 FDDB^[13] 및 AFLW^[14] 데이터셋에서 추출된 데이터셋으로 정면 얼굴과 측면 얼굴을 포함한다. 정면 얼굴 영상에는 68개 특징점 위치가 제공되며, 측면 얼굴 영상에는 39개 특징점 위치가 제공된다.
본 논문에서는 39개 특징점만이 제공되는 측면 얼굴 영상을 제외하고 68개 특징점을 가진 정면 얼굴 영상만을 사용하였다. 데이터셋은 총 9,000장의 영상을 포함하며 68개 특징점을 제공하는 영상은 6,679장이다. 300-VW^[12]은 114개 비디오 영상으로 구성된 데이터셋으로 114개 비디오 영상 내에 총 218,595 프레임을 포함하며, 68개 특징점의 위치가 각 프레임마다제공된다.
정면 얼굴 영상에는 68개 특징점 위치가 제공되며, 측면 얼굴 영상에는 39개 특징점 위치가 제공된다. 본 논문에서는 39개 특징점만이 제공되는 측면 얼굴 영상을 제외하고 68개 특징점을 가진 정면 얼굴 영상만을 사용하였다. 데이터셋은 총 9,000장의 영상을 포함하며 68개 특징점을 제공하는 영상은 6,679장이다.
얼굴 특징점 검출에 사용되는 데이터셋은 얼굴이 포함된 영상과 얼굴에 대한 특징점의 위치를 포함한다. 실험을 위하여 사용한 데이터셋은 300W-LP^[9], 300W 테스트 데이터셋^[10], Menpo 학습 데이터셋^[11], 300-VW 테스트 데이터셋 ^[12]이다. 300W-LP는 얼굴 특징점 검출에 있어서 머리 자세가 크게 틀어진 문제(large-pose)를 해결하기 위하여 [9]에서 제안된 측면 얼굴 렌더링 방법으로 300W 데이터셋을 렌더링하여 제작된 데이터셋으로 61,225장의 얼굴 영상을 포함한다.
우리는 제안하는 방법의 성능을 평가하기 위해 300W 테스트 데이터셋, Menpo 학습 데이터셋, 300-VW cat1, cat2, cat3 데이터셋에 대한 실험을 수행하였다. 이를 위해 [1]의 저자가 공개한 사전 학습 모델인 FAN-Trained, [1]의 학습 조건 그대로 우리가 처음부터 다시 학습한 FAN, 제안하는 방법에 적분 회귀가 포함되지 않은 히트맵 회귀 네트워크 (ResNet50), 그리고 제안하는 방법(ResNet50-Int)의 성능을 제시하였다.
제안된 네트워크의 평가를 위한 학습 데이터셋으로는 300W-LP 데이터셋을 사용하였고 테스트 데이터셋으로는 300-W 테스트 데이터셋, Menpo 학습 데이터셋, 300-VW 테스트 데이터셋을 사용하였다. 300-VW 테스트 데이터셋의 카테고리 1, 2, 3은 본문에서 각각 300-VW cat1, 300- VW cat2, 300-VW cat3으로 언급한다.
학습률(learning rate)과 에포크수는 각각 10^-4과 30으로 설정하였다. 제안하는 모델은 PyTorch^[16] 딥러닝 프레임워크로 구현되었으며, GTX1080Ti GPU가 사용되었다.

데이터처리

제안하는 방법의 성능을 각 테스트 데이터셋에 대하여 baseline과 함께 평가한다. 이 때 제안하는 방법의 성능을 평가하기 위해 [1]에서 제안된 Facial Alignment Network (FAN)을 baseline으로 사용한다.

이론/모형

비용 함수의 최적화를 위해 Adam^[15]을 사용하였고, 배치 사이즈는 32로 학습하였다. 학습률(learning rate)과 에포크수는 각각 10^-4과 30으로 설정하였다.
제안하는 방법의 성능을 각 테스트 데이터셋에 대하여 baseline과 함께 평가한다. 이 때 제안하는 방법의 성능을 평가하기 위해 [1]에서 제안된 Facial Alignment Network (FAN)을 baseline으로 사용한다. 우리는 FAN에 적분 회귀 모듈을 적용하였을 때의 성능 증가를 확인하고, 또한 제안하는 네트워크의 정성적인 결과를 제시한다.
따라서 기대값을 계산하기 위해 히트맵을 특징점의 위치에 대한 확률 분포 함수로 만드는 정규화(normalization) 과정이 필요하다. 이를 위해 우리는 히트맵을 ReLU 층에 통과시켜 0 이상의 값을 갖도록 만든 후 그 합으로 히트맵을 나누는 방법(sum-normalization)을 사용한다. 이는 추가적인 파라미터를 필요로 하지 않으며, 입력 히트맵을 불필요하게 변형하지 않는다는 특성을 가진다.
정량적 평가 척도로는 정규화된 평균 오차(normalized mean error; NME)^[1]를 선택하였다. NME는 다음의 수식을 통해 계산된다.

성능/효과

제안하는 모델인 ResNet50-Int는 FAN-Int를 제외한 모든 모델보다 뛰어난 성능을 보인다. ResNet50-Int와 FAN-Int의 실험 결과로부터 히트맵 회귀 기반 네트워크에 적분 회귀 모듈을 적용하는 것이 얼굴 특징점 검출의 성능을 크게 향상시킴이 증명되었다.
재 학습된 FAN은 공개된 모델인 FAN-Trained보다 좋은 성능을 보여주고 있다. 그리고, 적분 회귀 모듈이 추가되지 않은 히트맵 회귀 네트워크인 ResNet50은 FAN보다 약간 낮은 성능을 보여준다. 그러나 적분 회귀 모듈이 추가된 ResNet 50-Int 모델은 FAN보다 더 좋은 성능을 보여준다.
이는 FAN 모델의 경우 Hourglass 모듈[17]이 4개 반복된 구조로서 기본적으로 계산량이 많기 때문이다. 그리고, 히트맵 회귀 네트워크인 Res Net50과 적분 회귀 모듈을 추가한 ResNet50-Int의 처리 시간의 차이는 모든 테스트 데이터셋에서 1ms 이내이며 결과적으로 적분 회귀 모듈이 전체 복잡도에 미치는 영향은 매우 작다는 것을 알 수 있다. FAN과 FAN-Int의 처리 시간의 차이 또한 3ms 이내로 모델의 복잡도에 큰 영향을 주지 않는다.
본 논문에서는 히트맵 회귀 기반의 얼굴 특징점 검출 방법의 한계를 개선하기 위해 적분 회귀 방법을 사용하여 보다 정확한 특징점 좌표를 단일 네트워크의 출력으로 생성하는 방법을 제안하였다. 다양한 얼굴 특징점 데이터 셋에 대하여 실험한 결과, 제안하는 적분 회귀 네트워크는 기존의 히트맵 기반 방법의 성능을 크게 향상시켰으며, 기존의 state-of-theart 특징점 검출 방법보다 나은 성능을 달성하였다. 향후에는 본 연구를 3차원 특징점 검출로 확장할 계획이다.
다양한 얼굴 특징점 데이터셋을 사용한 실험을 통해 우리는 제안하는 적분 회귀 네트워크가 기존의 히트맵 기반 방법의 성능을 크게 개선한다는 것을 보인다.
그림 3(a)와 (b)는 각각 특징점을 성공적으로 검출한 경우와 검출에 실패한 경 우를 보여준다. 성공한 경우 참값에 매우 가까운 특징점을 검출하였으며 턱수염, large-pose, 가리워짐 등에 강인하게 동작한다는 것을 확인할 수 있다. 한편 얼굴이 다른 사물에 의해 매우 많이 가리워진 경우와 얼굴이 크게 회전된 경우 검출에 실패하였다.
표 2는 위 그래프의 성능 차이를 AUC를 사용하여 정량적으로 보여준다. 제안하는 모델인 ResNet50-Int는 FAN-Int를 제외한 모든 모델보다 뛰어난 성능을 보인다. ResNet50-Int와 FAN-Int의 실험 결과로부터 히트맵 회귀 기반 네트워크에 적분 회귀 모듈을 적용하는 것이 얼굴 특징점 검출의 성능을 크게 향상시킴이 증명되었다.
그러나 적분 회귀 모듈이 추가된 ResNet 50-Int 모델은 FAN보다 더 좋은 성능을 보여준다. 한편, FAN-Int의 성능이 FAN의 결과에 비해 크게 향상된 모습을 보이며, 전체 모델 중 가장 뛰어난 성능을 보인다. 표 2는 위 그래프의 성능 차이를 AUC를 사용하여 정량적으로 보여준다.

후속연구

이 문제의 목표는 주어진 입력 얼굴 영상으로부터 특징점(facial landmarks), 즉, 구별이 가능한 특징적인 점들의 위치를 계산하는 것이다. 이를 통해 검출된 특징점은 감정 인식, 시선 방향 검출, 얼굴 변환(face morphing) 등 다양한 응용 분야에 활용될 수 있다.
다양한 얼굴 특징점 데이터 셋에 대하여 실험한 결과, 제안하는 적분 회귀 네트워크는 기존의 히트맵 기반 방법의 성능을 크게 향상시켰으며, 기존의 state-of-theart 특징점 검출 방법보다 나은 성능을 달성하였다. 향후에는 본 연구를 3차원 특징점 검출로 확장할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	히트맵 회귀 방법의 단점은 무엇인가?	최근 딥러닝 기술의 발전과 함께 얼굴 특징점 검출 방법의 성능은 크게 향상되었다. 대표적인 얼굴 특징점 검출 방법인 히트맵 회귀 방법은 효율적이고 강력한 방법으로 널리 사용되고 있으나, 단일 네트워크를 통해 특징점 좌표를 즉시 얻을 수 없으며, 히트맵으로부터 특징점 좌표를 결정하는 과정에서 정확도가 손실된다는 단점이 존재한다. 이러한 문제점들을 해결하기 위해 본 논문에서는 기존의 히트맵 회귀 방법에 적분 회귀 방법을 결합할 것을 제안한다.
	Multi-task learning은 무엇인가?	Multi-task learning은 네트워크가 여러 개의 task를 동시 에 수행하게끔 학습시키는 방법이다. 이는 네트워크가 각 task를 잘 수행할 수 있도록 학습시키는 과정에서 단일 task 를 학습시키는 경우보다 더 다양한 특징들을 추출할 수 있 게 한다.
	히트맵 회귀 방법의 장점 중 하나는 무엇인가?	이러한 히트맵 회귀 방법은 직접 특징점 좌표를 회귀하는 방 법과 비교해 다음과 같은 장점을 가진다. 첫번째는 합성곱 층(convolutional layer)으로만 구성되어 네트워크 파라미터 의 개수가 적고, 따라서 과적합(over- fitting) 문제를 피할 수 있다는 것이다. 두번째는 입력 영상을 특징점 좌표로 직접 회귀하는 매핑 함수는 학습이 매우 복잡한 것으로 알려져 있 는 반면, 히트맵 회귀는 상대적으로 학습이 더 쉽다.

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증