머신비전을 사용하여 사람의 얼굴을 인식하는 다양한 연구가 진행되고 있다. 머신비전은 기계에 시각을 부여하여 이미지를 분류 혹은 분석하는 기술을 의미한다. 본 논문에서는 이러한 머신비전 기술을 적용한 얼굴을 분류하는 알고리즘을 제안한다. 이 얼굴 분류 알고리즘을 구현하기 위해 컨볼루셔널 신경망(Convolution neural network)과 Cascade 안면 검출기를 사용하였고, 피험자들의 얼굴을 분류하였다. 구현한 얼굴 분류 알고리즘의 학습을 위해 한 피험자 당 이미지 2,000장, 3,000장, 40,00장을 10회와 20회 컨볼루셔널 신경망에 각각 반복하여 학습과 분류를 진행하였고, 학습된 컨볼루셔널 신경망과 얼굴 분류 알고리즘의 실효성을 테스트하기 위해 약 6,000장의 이미지를 분류하였다. 또한 USB 카메라 영상을 실험 데이터로 입력받아 실시간으로 얼굴을 검출하고 분류하는 시스템을 구현하였다.
머신비전을 사용하여 사람의 얼굴을 인식하는 다양한 연구가 진행되고 있다. 머신비전은 기계에 시각을 부여하여 이미지를 분류 혹은 분석하는 기술을 의미한다. 본 논문에서는 이러한 머신비전 기술을 적용한 얼굴을 분류하는 알고리즘을 제안한다. 이 얼굴 분류 알고리즘을 구현하기 위해 컨볼루셔널 신경망(Convolution neural network)과 Cascade 안면 검출기를 사용하였고, 피험자들의 얼굴을 분류하였다. 구현한 얼굴 분류 알고리즘의 학습을 위해 한 피험자 당 이미지 2,000장, 3,000장, 40,00장을 10회와 20회 컨볼루셔널 신경망에 각각 반복하여 학습과 분류를 진행하였고, 학습된 컨볼루셔널 신경망과 얼굴 분류 알고리즘의 실효성을 테스트하기 위해 약 6,000장의 이미지를 분류하였다. 또한 USB 카메라 영상을 실험 데이터로 입력받아 실시간으로 얼굴을 검출하고 분류하는 시스템을 구현하였다.
Nowadays, there are many research for recognizing face of people using the machine vision. the machine vision is classification and analysis technology using machine that has sight such as human eyes. In this paper, we propose algorithm for classifying human face using this machine vision system. Th...
Nowadays, there are many research for recognizing face of people using the machine vision. the machine vision is classification and analysis technology using machine that has sight such as human eyes. In this paper, we propose algorithm for classifying human face using this machine vision system. This algorithm consist of Convolutional Neural Network and cascade face detector. And using this algorithm, we classified the face of subjects. For training the face classification algorithm, 2,000, 3,000, and 4,000 images of each subject are used. Training iteration of Convolutional Neural Network had 10 and 20. Then we classified the images. In this paper, about 6,000 images was classified for effectiveness. And we implement the system that can classify the face of subjects in realtime using USB camera.
Nowadays, there are many research for recognizing face of people using the machine vision. the machine vision is classification and analysis technology using machine that has sight such as human eyes. In this paper, we propose algorithm for classifying human face using this machine vision system. This algorithm consist of Convolutional Neural Network and cascade face detector. And using this algorithm, we classified the face of subjects. For training the face classification algorithm, 2,000, 3,000, and 4,000 images of each subject are used. Training iteration of Convolutional Neural Network had 10 and 20. Then we classified the images. In this paper, about 6,000 images was classified for effectiveness. And we implement the system that can classify the face of subjects in realtime using USB camera.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이러한 단점을 해결하기 위해 본 논문에서는 다양한 표정과 장소에서 찍은 이미지와 영상에서 사람의 얼굴 영역를 추출하여 학습하고, 인식하는 알고리즘을 제안한다. 이 알고리즘을 구현하기 위해 얼굴 영역 추출은 Cascade 안면 검출기를 사용하였고, 컨볼루셔널 신경망(Convolutional Neural Network)을 사용하여 분류하였다.
본 논문에서는 Cascade 안면 검출기를 사용하여 학습과 테스트에 필요한 얼굴 이미지를 검출하였다. 이는 외부의 배경 및 밝기와 같은 외부의 환경에 인한 인식률 감소 원인을 줄여줄 것이다.
본 논문에서는 입력으로 사용할 이미지에서 배경으로 인한 손실을 최소화하기 위해 이미지 전체를 사용하지 않고 Cascade 안면 검출기를 사용하여 얼굴 이미지를 따로 추출하였다. 이러한 방식을 이용하여 추출한 얼굴 이미지를 컨볼루셔널 신경망에 학습하고, 분류하였다.
제안 방법
본 논문에서는 이러한 머신비전의 기술을 사용하여 얼굴을 분류하였다. 얼굴은 성별, 나이, 인종 등 다양한 정보를 포함하고 있기 때문에 얼굴을 추적하고 분류하는 기술은 머신비전에서 오랫동안 연구되어왔다.
이렇게 얼굴 영역을 따로 추출하기 위해서 안면 검출기 알고리즘을 적용해야 하는데, 안면 검출기 알고리즘으로는 SURF (Speeded Up Robust Feature)와 가우시안 혼합 모델, SIFT (Scale-invariant Feature Transform), Haar 유사 특징 기반 에이다부스트 알고리즘, Cascade 안면 검출기 등이 있다 [4-7]. 본 논문에서는 얼굴 영역을 검출하기 위해 Cascade 안면 검출기를 사용하였다.
이러한 단점을 해결하기 위해 본 논문에서는 다양한 표정과 장소에서 찍은 이미지와 영상에서 사람의 얼굴 영역를 추출하여 학습하고, 인식하는 알고리즘을 제안한다. 이 알고리즘을 구현하기 위해 얼굴 영역 추출은 Cascade 안면 검출기를 사용하였고, 컨볼루셔널 신경망(Convolutional Neural Network)을 사용하여 분류하였다. 그리고 Matlab을 이용하여 제안 알고리즘의 실효성을 테스트하였다.
하-모양 특징으로 특징 값을 계산하고, 적분 영상을 적용한다. 그리고 아다부스트를 이용하여 약 분류기 중 물체 검출에 크게 기여하는 강 분류기를 만들고, 여러 개의 강 분류기를 사용하여 Cascade 구조로 구성한다. 그리고 조건에 만족하는 이미지를 분류하여 조건에 맞지 않을 경우 버리고, 조건이 맞는다면 다음 조건으로 넘어간 뒤 최종 검출로 출력하는 내용이다[14].
본 논문에서는 입력으로 사용할 이미지에서 배경으로 인한 손실을 최소화하기 위해 이미지 전체를 사용하지 않고 Cascade 안면 검출기를 사용하여 얼굴 이미지를 따로 추출하였다. 이러한 방식을 이용하여 추출한 얼굴 이미지를 컨볼루셔널 신경망에 학습하고, 분류하였다.
실험은 Matlab을 기반으로 한 Cascade 안면 검출기와 컨볼루셔널 신경망을 사용하여 구현하였다. 실험에 사용한 이미지는 피험자 3명의 얼굴이 들어가 있는 사진 12,000장을 이용해 학습을 진행하였고, 사진은 시간과 장소, 피험자의 표정을 바꿔가면서 촬영하였다.
실험에 사용한 이미지는 피험자 3명의 얼굴이 들어가 있는 사진 12,000장을 이용해 학습을 진행하였고, 사진은 시간과 장소, 피험자의 표정을 바꿔가면서 촬영하였다. 또한 테스트를 할 이미지 역시 시간과 장소, 피험자의 표정을 바꿔가면서 촬영하였다. 본 실험에서 사용한 테스트 이미지는 학습 이미지와 다른 약 12,000장의 이미지와 USB 카메라를 사용한 실시간 영상이다.
그림 3은 본 논문에서 제안한 전체 시스템의 블록다이어그램이다. 먼저 컨볼루셔널 신경망의 학습 데이터로 사용할 이미지를 선택하고, 이미지의 얼굴 영역을 Cascade 안면 검출기를 사용하여 추출한다. 컨볼루셔널 신경망의 입력 크기에 맞게 사이즈를 변경한 다음 컨볼루셔널 신경망에서 미리 지정한 반복 횟수만큼 학습을 진행하다.
먼저 컨볼루셔널 신경망의 학습 데이터로 사용할 이미지를 선택하고, 이미지의 얼굴 영역을 Cascade 안면 검출기를 사용하여 추출한다. 컨볼루셔널 신경망의 입력 크기에 맞게 사이즈를 변경한 다음 컨볼루셔널 신경망에서 미리 지정한 반복 횟수만큼 학습을 진행하다. 테스트의 경우 학습과 마찬가지로 테스트를 위해 피험자들의 영상이나 이미지를 선택하고, 영상 혹은 이미지의 얼굴 영역을 Cascade 안면 검출기를 사용하여 추출한다.
그리고 컨볼루셔널 신경망의 입력 맞게 100×100으로 크기를 변경하였고, 학습 혹은 테스트를 위해 크기를 변경한 이미지를 이용하여 컨볼루셔널 신경망 입력 데이터로 사용하였다.
기존 방식으로 컨볼루셔널 신경망을 학습시킬 때는 원본 이미지를 축소하여 컨볼루셔널 신경망의 입력데이터로 사용하였다. 하지만 본 논문에서는 6,000장, 9,000장, 12,000장의 사진을 컨볼루셔널 신경망의 입력 데이터로 사용할 때 Cascade 안면 검출기를 사용하여 피험자들이 포함되어 있는 이미지에서 얼굴 영역을 따로 추출하였다. 그리고 컨볼루셔널 신경망의 입력 맞게 100×100으로 크기를 변경하였고, 학습 혹은 테스트를 위해 크기를 변경한 이미지를 이용하여 컨볼루셔널 신경망 입력 데이터로 사용하였다.
실험에 사용한 컨볼루셔널 신경망의 구조는 LeCun의 LeNet-5를 응용하여 재구성하였다 [18]. 100×100 크기의 RGB 입력 이미지를 5×5 크기의 커널을 사용하여 96×96 크기의 convolution 층을 구성한다.
그리고 4×4 subsampling을 통하여 크기를 줄인다. 다시 convolution과 subsampling을 반복한 다음 fully connected 층에서 convolution과 subsampling을 통해 특징 추출한 데이터를 분류한다. 그림 5는 실험에 사용한 컨볼루셔널 신경망 구조를 나타낸다.
각 피험자의 얼굴을 분류하기 위해 6,000장, 9,000장, 12,000장의 이미지를 10번과 20번 각각 반복하여 학습하였다. 그리고 학습한 컨볼루셔널 신경망의 성능을 테스트하기 위해 약 12,000장의 학습데이터와 다른 이미지를 사용하여 분류하였다.
본 논문에서는 Cascade 안면 검출기를 이용하여 사진이나 영상에서 얼굴 영역을 추출하고, 컨볼루셔널 신경망을 사용하여 분류하는 방법을 제안하였고, Matlab을 사용하여 그 실효성을 테스트하였다. 그 결과 이미지 9000장을 20번 반복하여 학습 한 경우 99.
대상 데이터
실험은 Matlab을 기반으로 한 Cascade 안면 검출기와 컨볼루셔널 신경망을 사용하여 구현하였다. 실험에 사용한 이미지는 피험자 3명의 얼굴이 들어가 있는 사진 12,000장을 이용해 학습을 진행하였고, 사진은 시간과 장소, 피험자의 표정을 바꿔가면서 촬영하였다. 또한 테스트를 할 이미지 역시 시간과 장소, 피험자의 표정을 바꿔가면서 촬영하였다.
또한 테스트를 할 이미지 역시 시간과 장소, 피험자의 표정을 바꿔가면서 촬영하였다. 본 실험에서 사용한 테스트 이미지는 학습 이미지와 다른 약 12,000장의 이미지와 USB 카메라를 사용한 실시간 영상이다.
각 피험자의 얼굴을 분류하기 위해 6,000장, 9,000장, 12,000장의 이미지를 10번과 20번 각각 반복하여 학습하였다. 그리고 학습한 컨볼루셔널 신경망의 성능을 테스트하기 위해 약 12,000장의 학습데이터와 다른 이미지를 사용하여 분류하였다. 그림 6은 10번 반복하여 학습한 CNN을 사용하여 피험자들의 테스트 이미지를 분류한 결과이고, 그림 7은 20번 반복하여 학습한 컨볼루셔널 신경망을 사용하여 분류한 결과이다.
이론/모형
이 알고리즘을 구현하기 위해 얼굴 영역 추출은 Cascade 안면 검출기를 사용하였고, 컨볼루셔널 신경망(Convolutional Neural Network)을 사용하여 분류하였다. 그리고 Matlab을 이용하여 제안 알고리즘의 실효성을 테스트하였다.
컨볼루셔널 신경망에서 사용되는 활성함수로는 Rectified linear unit과 sigmoid function, softmax 등의 방법이 있다. 본 논문에서 사용된 활성함수로는 softmax 방식을 사용하였다. softmax는 식 (1)과 같이 정의되어 있다.
실험에서 사용한 subsampling 방법은 max pooling 방법으로 진행하였다. 그리고 출력을 얻기 위한 방식으로는 softmax 방법을 사용하였다.
실험에서 사용한 subsampling 방법은 max pooling 방법으로 진행하였다. 그리고 출력을 얻기 위한 방식으로는 softmax 방법을 사용하였다. softmax 방식은 출력 노드들의 확률을 얻어 최댓값으로 분류하는 방식이다.
성능/효과
이는 학습 이미지 개수도 중요하지만 학습 반복 횟수 역시도 중요하다는 것을 의미한다. 그리고 이미지가 많아질수록 과도 적합이 나타나는 것을 확인할 수 있었다. 그림 8은 USB 카메라를 통해 들어오는 이미지를 실시간으로 얼굴 분류하는 내용이다.
본 논문에서는 Cascade 안면 검출기를 이용하여 사진이나 영상에서 얼굴 영역을 추출하고, 컨볼루셔널 신경망을 사용하여 분류하는 방법을 제안하였고, Matlab을 사용하여 그 실효성을 테스트하였다. 그 결과 이미지 9000장을 20번 반복하여 학습 한 경우 99.43%와 97.32%, 99.86%의 분류율을 얻을 수 있었다.
이는 다양한 환경에서 찍은 사진이 많다고 해서 높은 분류율을 보장받을 수 없음을 의미한다. 실험 중에 컨볼루셔널 신경망의 학습을 위한 초기 뉴런 값들도 분류에서 큰 영향을 미침을 확인할 수 있었다. 또한 학습이미지의 수가 많아질수록 신경망의 각 가중치 값이 학습이미지에 적합하도록 학습되어 테스트 이미지에 낮은 확률이 나오는 것을 확인할 수 있었다.
실험 중에 컨볼루셔널 신경망의 학습을 위한 초기 뉴런 값들도 분류에서 큰 영향을 미침을 확인할 수 있었다. 또한 학습이미지의 수가 많아질수록 신경망의 각 가중치 값이 학습이미지에 적합하도록 학습되어 테스트 이미지에 낮은 확률이 나오는 것을 확인할 수 있었다.
후속연구
앞으로의 연구는 본 논문에서 제시한 방법을 통해 다양한 이미지의 과도 적합을 방지할 수 있는 방법과 뉴런의 초깃값의 설정에 대한 연구를 진행할 계획이다. 또한 더 많은 피험자들의 사진을 사용하여 얼굴을 분류하는 내용의 실험도 진행할 계획이다.
앞으로의 연구는 본 논문에서 제시한 방법을 통해 다양한 이미지의 과도 적합을 방지할 수 있는 방법과 뉴런의 초깃값의 설정에 대한 연구를 진행할 계획이다. 또한 더 많은 피험자들의 사진을 사용하여 얼굴을 분류하는 내용의 실험도 진행할 계획이다. 이 연구의 결과는 로봇 비전 혹은 머신 비전이 들어간 모든 산업에서 핵심적인 기술로 적용될 수 있을 것이다.
또한 더 많은 피험자들의 사진을 사용하여 얼굴을 분류하는 내용의 실험도 진행할 계획이다. 이 연구의 결과는 로봇 비전 혹은 머신 비전이 들어간 모든 산업에서 핵심적인 기술로 적용될 수 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
머신비전은 무엇인가?
머신비전을 사용하여 사람의 얼굴을 인식하는 다양한 연구가 진행되고 있다. 머신비전은 기계에 시각을 부여하여 이미지를 분류 혹은 분석하는 기술을 의미한다. 본 논문에서는 이러한 머신비전 기술을 적용한 얼굴을 분류하는 알고리즘을 제안한다.
안면 검출기 알고리즘으로는 어떤 것들이 있는가?
얼굴을 인식하기 위해서는 얼굴 영역을 따로 추출하는 것이 필요하다. 이렇게 얼굴 영역을 따로 추출하기 위해서 안면 검출기 알고리즘을 적용해야 하는데, 안면 검출기 알고리즘으로는 SURF (Speeded Up Robust Feature)와 가우시안 혼합 모델, SIFT (Scale-invariant Feature Transform), Haar 유사 특징 기반 에이다부스트 알고리즘, Cascade 안면 검출기 등이 있다 [4-7]. 본 논문에서는 얼굴 영역을 검출하기 위해 Cascade 안면 검출기를 사용하였다.
컨볼루셔널 신경망은 무엇의 발달로 인해 다시 주목받고 있는가?
당시 컨볼루셔널 신경망은 높은 분류율에 비해 학습의 속도가 느리다는 큰 단점이 있었다. 하지만 현재 병렬처리 프로세서인 GPU(Graphic Process Unit)의 발달로 다시 주목받고 있는 이론이다 [15].
참고문헌 (20)
K. E. Ko and K. B. Sim, "A Study on Human-Robot Interface based on Imitative Learning using Computational Model of Mirror Neuron System", Journal of Korean Institute of Intelligent Systems, vol. 23, no. 6, pp. 565-570, 2013
A. Kumar, "Computer-Vision-Based Fabric Defect Detection: A Survey", IEEE Transactions on Industrial Electronics, vol. 55, pp. 348-363, 2015
K. M. Jeong and J. H. Kim, "Face classification and analysis based on geometrical feature of face", Journal of the Korea Institute of Information and Communication Engineering, vol. 16, pp. 1495-1504, 2012
Y. Sun, X. Wang and X. Tang, "Deep Convolutional Network Cascade for Facial Point Detection", 2013 IEEE Conference on Computer Vision and Pattern Recognition, pp. 3476-3483, 2013.
S. Berretti, B. B. Amor, M. Daoudi and A. Del Bimbo, "3D facial expression recognition using SIFT descriptors of automatically detected keypoints", The Visual Computer, vol. 27, pp. 1021-1036, 2011.
J. Wang, R. Xiong and J Chu, "Facial feature points detecting based on Gaussian Mixture Models", Pattern recognition letters, vol. 53, pp. 62-68, 2015.
H. J. Go, H. B. Kim, D. H. Yang, J. H. Park and M. G. Chun, "Face Recognition Under Ubiquitous Environments", Journal of Korean Institute of Intelligent Systems, vol. 14, no. 4, pp. 431-437, 2004
J. Y. Kim and Y. S. Kim, "Face Tracking and Recognition in Video with PCA-based Pose-Classification and $(2D)^2PCA$ recognition algorithm", Journal of Korean Institute of Intelligent Systems, vol. 23, no. 5, pp. 423-430, 2013
S. I. Choi, C. H. Kim and C. H. Choi, "Shadow Compensation in 2D Images for Face Recognition", Pattern Recognition, vol. 40, no. 7, pp. 2118-2125, 2007.
S. I. Choi, "Construction of Composite Feature Vector Based on Discriminant Analysis for Face Recognition", Journal of Korea Multimedia Society, vol. 18, no. 7, pp. 834-842, 2015.
C. M. Ma, S. H. Yoo and S. K. Oh, "Design of Face Recognition Algorithm based Optimized pRBFNNs Using Three-dimensional Scanner", Journal of Korea Institute of Intelligent Systems, vol. 22, no.6, pp. 748-753, 2012.
P. Viola and M. Jones "Rapid object detection using a boosted cascade of simple features", Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 511-518, 2001.
A Jain, J Bharti and MK Gupta, "Improvements in OpenCV's Viola Jones Algorithm in Face Detection-Tilted Face Detection", International journal of Signal and Image Processing, vol. 5, pp. 21-28, 2014
W. Wang, J. Yang, J. Xiao, S. Li and D. Zhou, "Face Recognition Based on Deep Learning", Human Centered Computing, vol. 8944, pp. 812-820, 2015.
Y. Bengio, "Learning deep architectures for AI", Foundations and Trends(R) in Machine Learning, vol. 2, pp. 1-127, Jan 2009.
R. Hecht-Nielsen, "Theory of the backpropagation neural network", International Joint Conference on Neural Networks, vol. 1, pp. 593-605, 1989
Y. LeCun, L. Bottou, Y. Bengio and P. Haffner, "Gradient-based learning applied to document recognition", Proceedings of the IEEE, vol. 86, no 11, pp. 2278-2324, 2015.
D. M. Kwak, S. W. Park and H. N. Lee, Machine Learning to Deep Learning, PubPle, Seoul, 2015.
J. H. Yu, S. M. Park, K. E. Ko and K. B. Sim, "Face classification using cascade facial detection and convolutional neural network", Proceeding of Korean Institute of Intelligent Systems Fall Conference, vol. 25, no. 2, pp. 157-159, 2015
이 논문을 인용한 문헌
저자의 다른 논문 :
연구과제 타임라인
LOADING...
LOADING...
LOADING...
LOADING...
LOADING...
활용도 분석정보
상세보기
다운로드
내보내기
활용도 Top5 논문
해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다. 더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.