영화, 드라마와 같은 비디오에서 등장하는 인물을 검출하고 인식하는 기술은 일반 사용자를 대상으로 PVR(personal video recorder), 모바일 폰과 멀티미디어 공급자를 위한 얼굴 영상의 데이터베이스 관리와 같은 응용분야에 이용될 수 있다. 본 논문에서는 비디오 등장인물을 자동으로 검색하는 얼굴검출 기법을 제안한다. 본 논문에서 제안한 얼굴검출 기법은 크게 세 단계로 구성하였다. 첫 번째, 정지 영상을 생성한 후 장면전환점 검출단계, 두 번째, 색상정보를 이용한 얼굴검출 단계, 마지막으로 얼굴영역을 이용한 얼굴 특징점 검출단계로 구성하였다. 실험결과 다양한 환경에서 성공적으로 얼굴을 검출하였으며, 기존의 색상정보를 이용한 얼굴 검출기법보다 성능이 개선된 것을 확인할 수 있었다.
영화, 드라마와 같은 비디오에서 등장하는 인물을 검출하고 인식하는 기술은 일반 사용자를 대상으로 PVR(personal video recorder), 모바일 폰과 멀티미디어 공급자를 위한 얼굴 영상의 데이터베이스 관리와 같은 응용분야에 이용될 수 있다. 본 논문에서는 비디오 등장인물을 자동으로 검색하는 얼굴검출 기법을 제안한다. 본 논문에서 제안한 얼굴검출 기법은 크게 세 단계로 구성하였다. 첫 번째, 정지 영상을 생성한 후 장면전환점 검출단계, 두 번째, 색상정보를 이용한 얼굴검출 단계, 마지막으로 얼굴영역을 이용한 얼굴 특징점 검출단계로 구성하였다. 실험결과 다양한 환경에서 성공적으로 얼굴을 검출하였으며, 기존의 색상정보를 이용한 얼굴 검출기법보다 성능이 개선된 것을 확인할 수 있었다.
The technique, which is able to detect and recognize characters in videos such as a movie or TV drama, can be used for applications which are database management of a general user's facial images for the suppliers of PVR(personal video recorder), mobile phones, and multimedia, etc. In this paper, we...
The technique, which is able to detect and recognize characters in videos such as a movie or TV drama, can be used for applications which are database management of a general user's facial images for the suppliers of PVR(personal video recorder), mobile phones, and multimedia, etc. In this paper, we propose a face detection algorithm. It searches the character through cast indexing when the scene is changed in video. It is consisted of three stages. The first step is the detection-step of the scene change after producing a paused image. The second step is the face detection-step using color information. The final step is the detection-step which detects its features by the facial boundary. According to the experimental result, it has detected faces in different conditions successfully and more advanced than the existing other one that are using only color information.
The technique, which is able to detect and recognize characters in videos such as a movie or TV drama, can be used for applications which are database management of a general user's facial images for the suppliers of PVR(personal video recorder), mobile phones, and multimedia, etc. In this paper, we propose a face detection algorithm. It searches the character through cast indexing when the scene is changed in video. It is consisted of three stages. The first step is the detection-step of the scene change after producing a paused image. The second step is the face detection-step using color information. The final step is the detection-step which detects its features by the facial boundary. According to the experimental result, it has detected faces in different conditions successfully and more advanced than the existing other one that are using only color information.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
비디오 영상에서 장면 전환점 검출로 정지영상을 생성하면 프레임 기반의 유사성을 컷 추출로 인해 상당수 배제할 수 있어 색상정보를 이용한 얼굴검출 방법은 얼굴의 특징을 빠르고 쉽게 얻을 수 있고, 다른 방법에 비해 계산량을 줄일 수 있다. 따라서 본 논문에서는 실시간의 전제조건을 만족하면서 강인성을 좀 더 보장할 수 있는 기법에 연구의 목표를 두었다.
제안 방법
검출된 장면에서 얼굴을 검출하기 위해 칼라 영상에서 RGB 영상을 YCbCr 좌표계로 변환한 후, 피부색 정보를 이용하여 얼굴 후보 영역을 추출하였다. 얼굴 후보 영역 내에서 얼굴의 특징점인 눈과 입을 검출하기 위해 얼굴의 색차 성분의 특징을 이용하였다.
따라서, 본 논문에서는 영화, 드라마와 같은 동영상은 프레임간의 유사성이 높으므로 움직임과 카메라 이동에 덜 민감한 히스토그램 비교 방법을 이용하여 장면전환 검출을 수행하여 얼굴검출을 하였다. 〔그림 1〕에서와 같이 입력된 동영상을 필터링 한 후 각각의 컬러 히스토그램을 RGB 각각에 대하여 산출하고 키 프레임과 현재 프레임의 차이 값을 계산하여 임계 값보다 클 경우 현재 프레임에 대해서는 영상의 재생 순서대로 저장을 하고, 임계값을 넘지 못했을 때는 장면 전환이 이루어 졌는지 조사하고 저장하는 순서를 거치지 않는다.
위한 중요한 요소이다. 본 논문에서는 RGB 칼라 모델을 YCbCr 칼라 모델로 변환하여 색차 신호인 q와 Cr 성분만을 이용하여 피부색 영역을 검출한다. YCbCr 색공간은 식(4)와 같은 방정식으로 나타낼 수 있다⑹.
본 논문에서는 다수의 인물이 존재하는 드라마, 영화와 같은 비디오 동영상을 입력으로 사용하여 프레임 간의 히스토그램 비교를 통해 장면을 검출하였다. 검출된 장면에서 얼굴을 검출하기 위해 칼라 영상에서 RGB 영상을 YCbCr 좌표계로 변환한 후, 피부색 정보를 이용하여 얼굴 후보 영역을 추출하였다.
본 논문은 비압축된 비디오 칼라 영상에서 등장인물의 얼굴을 검출하기 위해 히스토그램 방식을 이용한 장면 전환점을 검출하여 정지영상을 생성한 후 색상 정보 기반의 방법을 사용한다. 비디오 영상에서 장면 전환점 검출로 정지영상을 생성하면 프레임 기반의 유사성을 컷 추출로 인해 상당수 배제할 수 있어 색상정보를 이용한 얼굴검출 방법은 얼굴의 특징을 빠르고 쉽게 얻을 수 있고, 다른 방법에 비해 계산량을 줄일 수 있다.
얼굴 검출 과정은 얼굴의 피부색을 이용하여 얼굴의 후보 영역을 검출. 얼굴 특징점의 색상 정보를 이용한 얼굴 특징점 검출로 이루어진다.
검출된 장면에서 얼굴을 검출하기 위해 칼라 영상에서 RGB 영상을 YCbCr 좌표계로 변환한 후, 피부색 정보를 이용하여 얼굴 후보 영역을 추출하였다. 얼굴 후보 영역 내에서 얼굴의 특징점인 눈과 입을 검출하기 위해 얼굴의 색차 성분의 특징을 이용하였다.
드라마 비디오를 이용하였다. 제안된 알고리즘의 성능 검증을 위해서 온전한 얼굴을 가진 장면전환 검출 영상과 이를 이용한 얼굴 검출에서 눈이 두 개 이상이고 입이 바르게 검출 된 경우를 정상 얼굴로 판단한다.
보였음을 알 수 있다. 측면영상은 눈과 입이 1개씩 나오기 때문에 얼굴 후보영역을 설정할 때 부수적으로 발생되는 고립점을 이용하여 얼굴영역을 최대로 설정함으로써 측면에서 얼굴 특징점이 포함되도록 하였다.
대상 데이터
실험 동영상으로는 다양한 얼굴 영역을 포함하고 있는 드라마 비디오를 이용하였다. 제안된 알고리즘의 성능 검증을 위해서 온전한 얼굴을 가진 장면전환 검출 영상과 이를 이용한 얼굴 검출에서 눈이 두 개 이상이고 입이 바르게 검출 된 경우를 정상 얼굴로 판단한다.
이론/모형
이러한 문제를 해결하고자 본 논문에서는 얼굴 특징점 검출 방법을 색상 성분 값을 이용하는 YCbCr 색상 공간에서 산출하는 식 (10), (11)을 이용하였다.
성능/효과
검출된 입의 위치를 이용하여 눈 위치 영역을 제한하였더니 눈 검출 가능성을 기존 알고리즘보다 약 30% 높일 수 있었다. 얼굴 방향에 대한 검출 성능 비교는 〔표 3〕과 같다.
제안된 알고리즘은 입의 위치를 이용하여 눈 위치 영역을 검출하므로써〔표 1〕에서와 같이 정면 얼굴과 정면에 가까운 얼굴에서는 검출률이 약 87%로 비슷한 성능을 보이나 측면에 대해서는 43%로 높은 검출률이 보였음을 알 수 있다. 측면영상은 눈과 입이 1개씩 나오기 때문에 얼굴 후보영역을 설정할 때 부수적으로 발생되는 고립점을 이용하여 얼굴영역을 최대로 설정함으로써 측면에서 얼굴 특징점이 포함되도록 하였다.
참고문헌 (9)
Young Ho Kwon, da Victoria Lobo, "Face Detection using templates," Proceedings of the 12th IARR International conference on, Vol. 1, pp. 764-767, Oct. 1994.
H. A. Rowley, S. Baluja and T. Kanade, "Neural network based face detection", IEEE Trans Pattern Analysis and Machine Intelligence, vol 20, pp. 23-38, 1998.
H. Schneiderman and T. Kanade, "A Statistical Method for 3D Object Detection Applied to Faces and Cars," Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 746-751, June 2000.
Ronghua Liang, Chun Chen, Jiajun Bu, "Real-time facial features tracker with motion estimation and feedback", IEEE Systems, Man and Cybernetics Conf., vol. 4, pp.3744-3749, Oct, 2003.
S.Z. Li, L. Zhu, Z.Q. Zhang, and H.J. Zhang, "Statistical Learning of Multi- View Face Detection," In Proc. 7th Europea Conference on Computer Vistion, Copenhagen, Denmark. May 2002.
백승호, "비디오 등장인물 검색을 위한 얼굴검출", 석사학위논문, 광운대학교, 2006년 2월.
김영구, 노진우, 고한석, "복잡한 배경의 칼라영상에서 Face and Facial Feature 검출", 대한전자공학회 하계종합학술대회 논문집, 25(1), pp.69-72, 2002년 6월
김기남, 김형준, 김희율, "방송 비디오 등장인물 자동 분석 시스템", 방송공학회논문지 9(2), pp.164-173, 2004년 6월
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.