$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

다중크기와 다중객체의 실시간 얼굴 검출과 머리 자세 추정을 위한 심층 신경망
Multi-Scale, Multi-Object and Real-Time Face Detection and Head Pose Estimation Using Deep Neural Networks 원문보기

로봇학회논문지 = The journal of Korea Robotics Society, v.12 no.3, 2017년, pp.313 - 321  

안병태 (Robotics Program, KAIST) ,  최동걸 (Department of Electrical Engineering, KAIST) ,  권인소 (Department of Electrical Engineering, KAIST)

Abstract AI-Helper 아이콘AI-Helper

One of the most frequently performed tasks in human-robot interaction (HRI), intelligent vehicles, and security systems is face related applications such as face recognition, facial expression recognition, driver state monitoring, and gaze estimation. In these applications, accurate head pose estima...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 각 실제 값(ground-truth) 바운딩 박스는 같은 방법으로 g = (gx, gy, gz) 이다. 목표는 초기 바운딩 박스 i를 실제 값(ground-truth) 박스 g로 대응하는 변환을 학습하는 것이다.
  • 본 논문에서 우리는 실시간으로 사용자의 머리 자세를 추정할 수 있는 다중 작업 깊은 신경망(multi-task deep neural network) 프레임웍을 제안하였다. 제안된 시스템은 단독 DNN 기반의 방법론과 비교하여 다중 작업학습 기반의 방법론이 다양한 데이터들에 대해 과정합 되지 않고 더 나은 정확도를 보였다.
  • 향후에는 본 연구를 기반으로 몇 가지 추가 연구를 계획하고 있다. 본 논문에서는 깊은 신경망의 학습을 위하여 실제 촬영한 이미지 데이터만 사용하였는데, 성능 개선과 다양한 응용에 손쉬운 적용을 위하여 합성(synthetic) 데이터를 활용하는 딥러닝 구조를 연구할 것이다. 또한 사용자의 얼굴 검출 및 머리 자세뿐만 아니라 동일한 특징을 사용할 것이라고 예상되는 감정인식 같은 얼굴 관련 응용들을 추가하여 보다 다양한 작업들을 위한 보다 일반적인 특징 학습을 위한 깊은 신경망 구조를 연구 할 것이다.
  • 본 연구는 식별형 방법론 중 하나인 깊은 신경망과 다중 작업 학습(multi-task learning) 방식을 사용하여 이러한 문제를 해결하였고, 실시간 계산에 유리한 그레이스케일 저해상도 영상을 사용한 강인한 머리 자세 추정법을 제안한다. 또한 제안된 방식은 정성적, 정량적 평가를 통하여 기존의 방식들에 비하여 우수성을 입증하였다.
  • Fanelli 등[9]은 깊이 센서(Kinect)를 사용하여 깊이 정보를 기반으로 얼굴 영역을 검출함으로써 원천적으로 이 문제를 해결하였다. 본 연구는 카메라 영상만을 사용하는 방법론으로써 이 문제를 해결하기 위해 바운딩 박스 회귀 기법을 도입하였다. 얼굴 검출 박스 회귀 이슈는 얼굴 검출, 자세 추정과 같이 얼굴관련 작업이기 때문에 동일한 특징세트를 공유한다고 가정하고 다중 작업 네트워크를 구성하였다.
  • 많이 중복된 검출 윈도우를 제거하고 보다 정확한 바운딩 박스를 얻기 위해 NMS를 수행한다. 본 연구에서 NMS의 목적은 인접한 여러 영역들이 바운딩 박스로 검출된 경우, 그 중 이진분류의 점수가 극대인 바운딩 박스만을 남기고 나머지를 제거하는 것이다. 그렇지만 최종 자세 추정의 성능향상을 위해서 본 연구에서는 NMS의 결과를 최종 바운딩 박스로 사용하지 않고, 보다 정확한 바운딩 박스의 위치 추정을 위해 다중 작업 네트워크에 바운딩 박스 회귀(bounding box regression) 작업을 추가하였다.

가설 설정

  • 본 연구는 카메라 영상만을 사용하는 방법론으로써 이 문제를 해결하기 위해 바운딩 박스 회귀 기법을 도입하였다. 얼굴 검출 박스 회귀 이슈는 얼굴 검출, 자세 추정과 같이 얼굴관련 작업이기 때문에 동일한 특징세트를 공유한다고 가정하고 다중 작업 네트워크를 구성하였다. 다중 작업 네트워크는 세 가지의 작업 모듈로 이루어져 있다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
컴퓨터 비전 관점에서 머리 자세 추정하는 방법은 무엇이 있는가? 컴퓨터 비전의 관점에서 머리 자세 추정이란 입력된 얼굴영상으로부터 위치와 방향(roll, pitch, yaw)을 유추하는 과정인데, 현존하는 방법론들은 크게 두 가지로 분류할 수 있다: 첫째는 얼굴의 수학적 모델을 사용하여 입력 영상에 가장 잘 정합되는 가상의 얼굴모델을 생성하여 그 모델의 자세를 추정하는 방법들이고, 둘째는 외형 정보를 바탕으로 입력 영상을 특정 자세로 분류해내는 방법들이다.
머리 자세 추정의 전통적인 방법으로 얼굴을 검출하고, 검출된 윈도우로 자세 추정을 수행할 때 성능이 저하되는 이유는 무엇인가? 그러나 단순히 검출된 윈도우로 자세 추정을 수행하게 되면 성능이 저하될 수 있다. 왜냐하면 얼굴 검출기는 일반적으로 실제 값(ground-truth) 윈도우에서 50% 이상만 걸치면 참 값(positive)으로 검출되었다고 판단하기 때문이다. 자세 추정단계에서는 얼굴의 주요 특징들의 검출 유무가 매우 중요한데, 비록 얼굴이 검출되었다고 한들 Fig.
모델링 기반의 방법의 특징은 무엇인가? 일반적으로 얼굴은 형태(shape)와 외형(appearance)의 두 가지 가변적인 항으로 수학적으로 모델링 된다. 모델링 기반의 방법은 모델을 사용하여 여러 자세와 표정의 가상의 얼굴 모형을 생성해 낼 수 있기 때문에, 가상모델이 얼굴영상에 정합이 잘 된다면 자세의 정확도도 높고 연속적인 머리 자세 값의 출력이 가능하다. Active shape models (ASMs)[1]와 active appearance models (AAMs)[2]는 아주 유명한 통계적 얼굴 모델(statistical models of face)이다.
질의응답 정보가 도움이 되었나요?

참고문헌 (15)

  1. T.F. Cootes, C.J. Taylor, D.H. Cooper, and J. Graham, "Active shape models-their training and application," Computer Vision and Image Understanding, vol. 61, pp. 38-59, 1995. 

  2. T.F. Cootes, G. Edwards, and C. Taylor, "Active appearance models," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 6, pp. 681-685, 2001. 

  3. F.D. la Torre, W.S. Chu, X. Xiong, F. Vicente, X. Ding, and J. Cohn, "Intraface," in IEEE International Conference on Automatic Face and Gesture Recognition, vol. 1, pp. 1-8, 2015. 

  4. F. Vicente, Z. Huang, X. Xiong, F.D. la Torre, W. Zhang, and D. Levi, "Driver gaze tracking and eyes off the road detection system," IEEE Transactions on Intelligent Transportation Systems, vol. 16, no. 4, pp. 2014-2027, 2015. 

  5. V. N. Balasubramanian, J. Ye, and S. Panchanathan, "Biased manifold embedding: a framework for person-independent head pose estimation," in IEEE Conference on Computer Vision and Pattern Recognition, 2007. 

  6. J. Foytik and V.K. Asari, "A two-layer framework for piecewise linear manifold-based head pose estimation," International Journal of Computer Vision, vol. 101, pp. 270-287, 2013. 

  7. X. Zhu and D. Ramanan, "Face detection, pose estimation and landmark localization in the wild," in IEEE Conference on Computer Vision and Pattern Recognition, pp. 2879-2886, 2012. 

  8. M.D. Breitenstein, D. Kuettel, T. Weise, and L. van Gool, "Real-time face pose estimation from single range images," in IEEE Conference on Computer Vision and Pattern Recognition, 2008. 

  9. G. Fanelli, M. Dantone, J. Gall, A. Fossati, and L.V. Gool, "Random forests for real time 3d face analysis," International Journal of Computer Vision, vol. 101, pp. 437-458, 2013. 

  10. Y. Lecun, B. Boser, J. Denker, D. Henderson, R. Howard, W. Hubbard, and L. Jackel, "Backpropagation applied to handwritten zip code recognition," Neural Computation, vol. 1, no. 4, pp. 541-551, 1989. 

  11. Y. Sun, X. Wang, and X. Tang, "Deep convolutional network cascade for facial point detection," in IEEE Conference on Computer Vision and Pattern Recognition, pp. 3476-3483, 2013. 

  12. B. Ahn, J. Park, and I.S. Kweon, "Real-time head orientation from a monocular camera using deep neural network," in Asian Conference on Computer Vision, pp. 82-96, 2014. 

  13. R. Girshick, J. Donahue, T. Darrell, and J. Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation," in IEEE Conference on Computer Vision and Pattern Recognition, pp. 580-587, 2014. 

  14. M. Koestinger, P. Wohlhart, P.M. Roth, and H. Bischof, "Annotated facial landmarks in the wild: A large-scale, real-world database for facial landmark localization," in IEEE International Workshop on Benchmarking Facial Image Analysis Technologies, 2011. 

  15. H. Li, Z. Lin, X. Shen, J. Brandt, and G. Hua, "A convolutional neural network cascade for face detection," in IEEE Conference on Computer Vision and Pattern Recognition, pp. 5325-5334, 2015. 

LOADING...

관련 콘텐츠

오픈액세스(OA) 유형

BRONZE

출판사/학술단체 등이 한시적으로 특별한 프로모션 또는 일정기간 경과 후 접근을 허용하여, 출판사/학술단체 등의 사이트에서 이용 가능한 논문

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로