[논문]얼굴 인식기를 통한 커스텀 데이터의 효율적 수집

최희조; 김상준; 이유진; 박경무; 김청화; 박구만

얼굴 인식기를 통한 커스텀 데이터의 효율적 수집
Collecting valid facial image dataset using face recognition 원문보기

최희조 (서울과학기술대학교 일반대학원 미디어IT공학과) , 김상준 (서울과학기술대학교 나노IT디자인융합대학원 정보통신미디어공학전공) , 이유진 (서울과학기술대학교 일반대학원 미디어IT공학과) , 박경무 (서울과학기술대학교 전자미디어IT공학과) , 김청화 (서울과학기술대학교 전자미디어IT공학과) , 박구만 (서울과학기술대학교 전자미디어IT공학과)

인물에 대한 얼굴 이미지 데이터를 수집할 때 유효하지 않은 데이터를 수작업으로 걸러내는 것은 많은 시간과 인력의 투자를 필요로 한다. 얼굴 데이터 셋을 생성할 때 FaceNet을 거쳐 불필요한 정보들을 미리 걸러내고, 사람이 직접 얼굴 데이터의 유효성을 체크하는 수고를 덜어 얼굴 데이터 셋 생성에 있어서의 번거로움을 줄이고자한다. 본 논문에서는 FaceNet을 통해서 얼굴 이미지 데이터에 대한 데이터 수집 시, 더욱 좋은 성능으로 정제된 데이터 셋을 생성하고자 하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 정제된 얼굴 데이터 수집 시 이미지를 저장하기 전에 FaceNet의 얼굴 분류기를 한번 거쳐 유효한 얼굴 영상 데이터 셋을 수집하도록 하는 시스템을 구축한다. 이 시스템에서는 데이터 수집 및 분류 시, 미리 훈련된 모델을 이용하여 추출기에 피드백을 제공하고, 이를 반영하여 데이터 셋을 생성하는데 소요되는 시간과 인력을 단축하고자 한다.

제안 방법

본 논문에서는 정제된 얼굴 데이터 수집 시 이미지를 저장하기 전에 FaceNet의 얼굴 분류기를 한번 거쳐 유효한 얼굴 영상 데이터 셋을 수집하도록 하는 시스템을 구축한다. 이 시스템에서는 데이터 수집 및 분류 시, 미리 훈련된 모델을 이용하여 추출기에 피드백을 제공하고, 이를 반영하여 데이터 셋을 생성하는데 소요되는 시간과 인력을 단축하고자 한다.
그리고 그림 2의 오른쪽 그림처럼 얼굴이 올바르게 정렬된 데이터들은 그림 3과 같이 클래스 별로 정렬 및 분류된다. 이 후, 전체 데이터에 대해 분류기를 학습시켜 얼굴 인식 및 얼굴 클러스터링을 진행한다. 검출기에 미리 학습된 분류기의 정보를 탑재하여 얼굴 클러스터링에 있어서 가이드라인으로서의 역할을 한다.

대상 데이터

제안하는 얼굴 이미지 수집 시스템의 전체적인 과정은 그림 1과 같다. 먼저, 온라인 비디오 공유 플랫폼인 유튜브(YouTube)에서 보이그룹 비투비 7명 멤버들에 대하여 총 200편의 동영상을 추출하였다. 수집한 모든 동영상에서 80 프레임마다 한 장씩 추출하여 총 120,000장의 이미지 데이터를 수집하였다.
먼저, 온라인 비디오 공유 플랫폼인 유튜브(YouTube)에서 보이그룹 비투비 7명 멤버들에 대하여 총 200편의 동영상을 추출하였다. 수집한 모든 동영상에서 80 프레임마다 한 장씩 추출하여 총 120,000장의 이미지 데이터를 수집하였다. 수집된 이미지 중 소량의 이미지를 이용하여 클래스 별로 FaceNet의 분류기 모델에 미리 학습시킨다.

이론/모형

수집된 이미지 중 소량의 이미지를 이용하여 클래스 별로 FaceNet의 분류기 모델에 미리 학습시킨다. 그 후, 수집된 전체 이미지 데이터 셋의 얼굴 검출 및 정렬을 위해 FaceNet의 MTCNN[2] (Multi Task Cascaded Convolutional Neural Network)을 사용한다. 이 과정에서 그림 2의 왼쪽 예시와 같이 얼굴이 검출 되지 않은 데이터는 유효하지 않은 데이터로 판단하여 반환한다.

성능/효과

본 논문에서 122,271장의 데이터를 FaceNet 아키텍처에 통과시킨 결과를 표 1에 나타내었다. FaceNet을 사용하기 전과 후의 결과를 비교하여 29,929장의 불필요한 데이터 셋을 필터링함으로써 이전보다 수월하게 데이터 셋을 확보할 수 있다는 것을 증명하였다. 또한, 표 2와 같이 기존에 10,000장의 정제되지 않은 데이터 셋을 정리하는데 클래스 당 평균 약 15.
FaceNet을 사용하기 전과 후의 결과를 비교하여 29,929장의 불필요한 데이터 셋을 필터링함으로써 이전보다 수월하게 데이터 셋을 확보할 수 있다는 것을 증명하였다. 또한, 표 2와 같이 기존에 10,000장의 정제되지 않은 데이터 셋을 정리하는데 클래스 당 평균 약 15.9시간이 들었던 반면에, 위의 시스템을 통해 평균 약 14.3시간으로 시간이 단축되는 것이 확인된다. 따라서, 학습을 위한 데이터를 만드는 작업에서의 오류율도 크게 줄어들 것으로 예상된다.

후속연구

검출기에 미리 학습된 분류기의 정보를 탑재하여 얼굴 클러스터링에 있어서 가이드라인으로서의 역할을 한다. 이는 얼굴 클러스터링에 대한 label이 없기 때문에 클러스터링에 대한 정확도를 판단할 수 없는 부분을 보완하여 작업자의 편의를 제공 할 것으로 예상된다.
향후 계획으로는 본 논문의 시스템을 자동화하여 데이터 셋 생성의 효율성을 높이고, 시스템의 성능을 개선할 예정이다. 이를 위해 데이터 증강(Data augmentation) 등의 방법을 통해 데이터 셋의 양을 더욱 늘려서 시스템의 유효성에 대하여 실험할 예정이며, 확보해놓은 데이터들을 이용해 FaceNet의 실시간 비디오 분량체크기를 만들어 동영상 내의 등장인물의 얼굴을 실시간으로 인식하여 동영상 내 총 등장시간을 확인할 수 있는 프로그램을 개발 중이고, 이에 따른 얼굴 검출 및 얼굴 인식의 정확도를 높이는 연구를 진행할 예정이다.
향후 계획으로는 본 논문의 시스템을 자동화하여 데이터 셋 생성의 효율성을 높이고, 시스템의 성능을 개선할 예정이다. 이를 위해 데이터 증강(Data augmentation) 등의 방법을 통해 데이터 셋의 양을 더욱 늘려서 시스템의 유효성에 대하여 실험할 예정이며, 확보해놓은 데이터들을 이용해 FaceNet의 실시간 비디오 분량체크기를 만들어 동영상 내의 등장인물의 얼굴을 실시간으로 인식하여 동영상 내 총 등장시간을 확인할 수 있는 프로그램을 개발 중이고, 이에 따른 얼굴 검출 및 얼굴 인식의 정확도를 높이는 연구를 진행할 예정이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

얼굴 인식기를 통한 커스텀 데이터의 효율적 수집
Collecting valid facial image dataset using face recognition 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

얼굴 인식기를 통한 커스텀 데이터의 효율적 수집 Collecting valid facial image dataset using face recognition 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

얼굴 인식기를 통한 커스텀 데이터의 효율적 수집
Collecting valid facial image dataset using face recognition 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper