[논문]휴대용 멀티미디어 기기를 위한 실시간 얼굴 추적 시스템

윤석기; 한태희

문제 정의

본 논문에서는 저전력 실시간 하드웨어 기반 얼굴 추적 시스템을 제안한다. 이 시스템의 주된 목적은 이동식 멀티미디어 시스템에서 얼굴 기반 AF, AWB 그리고 AE 동작을 가능하게 하는데 있다.
시스템을 제안한다. 이 시스템의 주된 목적은 이동식 멀티미디어 시스템에서 얼굴 기반 AF, AWB 그리고 AE 동작을 가능하게 하는데 있다. 나아가, Adaboost 알고리즘과 색상 기반 평균이동 (meanshift) 알고리즘(2)의 적용은 다측면 (Multi-view) 얼굴추적 성능을 향상시킨다.
따라서, 본 논문은 안정적인 다측면 얼굴 추적과 계산량 감소를 위해 얼굴 검출과 추적을 통합 구현하는 전략을 취했다. 초기 얼굴 좌표의 획득을 위해 일정 간격의 첫 프레임에만 얼굴 검출기를 사용하여 초기 얼굴 좌표를 얻고, 뒤에 이어지는 프레임에는 검출 결과를 바탕으로 얼굴 추적을 실시하는 방법을 사용한다.
본 논문에서는 하드웨어 기반의 실시간으로 동작하는 저전력 얼굴 추적 시스템을 제안하였다. 제안하는 하드웨어는 얼굴 검출기와 함께 동작해서 실시간으로다 측면 얼굴 추적 이 가능하고 조명 변화에 강인함을 보였으며, 저전력으로 구현되어 휴대용 멀티미디어 기기 적용에 적합함을 보였다.

제안 방법

취했다. 초기 얼굴 좌표의 획득을 위해 일정 간격의 첫 프레임에만 얼굴 검출기를 사용하여 초기 얼굴 좌표를 얻고, 뒤에 이어지는 프레임에는 검출 결과를 바탕으로 얼굴 추적을 실시하는 방법을 사용한다. 이 방법을 통해서, 기존의 독립적인 방법에 비해 세 가지 이득을 얻을 수 있다.
얼굴 추적 성능 개선을 위해서 에지를 사용하는 얼굴검출기와 연동하여 기존의 에지만이나 또는 색상만으로 검출 및 추적하던 알고리즘을 상호 보완하였으며, 저전력을 위해 메모리 액세스를 줄이고자 했고, 메모리와 로직의 동작의 분석을 통해 면적을 감소시키는데 주안점을 두었다.
따라서, 일상적인 디지털캠코더의 사용 환경을 고려하여 최대 10명으로 사양을 제한하였다. 추적 가능 얼굴의 크기는 너무 작을 경우 스케일링을 여러 번 해야 해서 성능이 감소하고 너무 클 경우 얼굴 색상 히스토그램 메모리가 많이 필요하기 때문에, 실험을 통해서 47x47 픽셀로 크기를 정하였다.
영상 피라미드 생성부는 크게 두 가지 기능을 한다. 첫째, 센서로부터 들어오는 입력 영상을 메모리 크기와 얼굴 정보를 잃지 않는 범위 내에서 휴대용 멀티미디어 크기에 비례해서 작은 크기로 스케일링하고, 둘째. 얼굴 크기에 따른 얼굴 추적을 용이하게 하기 위해, 입력 영상을 3가지 피라미드 이미지로 스케일링 하는 역할을 하게 된다.
본 논문에서는 색상 bin이 존재하는 부분의 정보를 얻기 위해, 색상 히스토그램 생성부에서 색상 히스토그램 생성 시에 색상의 범위를 8개 부분으로 나누어 존재하는 Cb, Cr 각각의 색상 정보를 8-비트 플래그로 생성해서 유사도 검사 부로 전달하게 하였다. 그림 6에서 8-비트 플래그는 4-비트인 Cb, Cr 값의 상위 2-비트(Cb[3:2], Cr[3:2D를 모니터링하여, 한번이라도 값이 존재하면 'high'로 세팅되도록 만들었다.
본 시스템의 영상 피라미드부에서는 얼굴 추적 시 색상 히스토그램 생성 시 필요한 메모리 요구량과 메모리 연산량을 줄이기 위해, 얼굴 크기에 따른 영상 계층 피라미드를 구성하는데, 원영상으로부터 수평과 수직으로 각각 2:1로 스케일링을 하여 먼저 180x120 크기의 원 영상을 90x60 크기의 영상으로 구성한 후, 마지막으로 45x30 크기의 영상 계층 피라미드를 생성한다. 각 영상 피라미드마다 추적 가능한 얼굴의 크기를 제한해서 색상 히스토그램이 최대 47x47 픽셀이 넘는 것을 제한한다.
따라서 본 시스템에서는 bi-linear 타입의 스케일러를 특징화된 영상 피라미드 크기 및 스케일링 비율에 맞추어 수정하였다. 우선, 스케일링 비율이 1/2로 고정되어있으므로 각 픽셀에 대한 가중치가 필요 없기 때문에 가중치 처리를 위한 곱셈기 및 뺄셈기의 제거가 가능하였고, 스케일링 비율이 1/2보다 작은 경우에 화소가 필터를 거치지 않아 발생할 수 있는 엘리어싱을 막기 위한 프리스케일러 (pres 맞추케일)의 구현도 필요가 없어져, 덧셈기와 쉬프트 연산만으로 로직 구현이 가능하였다.
우선, 스케일링 비율이 1/2로 고정되어있으므로 각 픽셀에 대한 가중치가 필요 없기 때문에 가중치 처리를 위한 곱셈기 및 뺄셈기의 제거가 가능하였고, 스케일링 비율이 1/2보다 작은 경우에 화소가 필터를 거치지 않아 발생할 수 있는 엘리어싱을 막기 위한 프리스케일러 (pres 맞추케일)의 구현도 필요가 없어져, 덧셈기와 쉬프트 연산만으로 로직 구현이 가능하였다. 또한, 얼굴 추적 시스템 내부에케일RAM 타입의 프레임 버퍼를 사용함으로써, 수직 방향으로의 스케일링 시 필요한 라인 버퍼도 스케일러 내부에서 제거하였다.
검증 환경을 사용하였다. FPGA는 Xilinx사의 Virtex-4를 사용하였고, Trace32를 통해 ARM7을 제어하여 얼굴 검출기 및 추적기를 동작시켰다. 입력 영상 데이터는 검증 보드 안에 내장되어 있는 DRAM 메모리칩에 테스트 영상을 미리 저장하였다.
메모리 연산 제어를 통한 메모리 소모 전력을 예측하기 위해 전력 예측기区를 사용하였다. 시뮬레이션은 게이트 레벨 worst-case에서 수행되었다.
본 논문에서는 디지털 캠코더의 응용 프로그램에 맞추어 하드웨어의 성능, 크기 등을 고려하였다. 표 4는 설계된 추적기의 성능을 나타내었다.
각 실험은 초기 프레임에 얼굴 검출이 동작하여 초기 얼굴의 좌표를 획득한 뒤, 연속되는 후속 프레임들은 얼굴 추적 시스템이 동작하는 본 논문의 알고리즘을 적용시켰다. 실험 결과에 의하면, 정면 얼굴뿐만 아니라 그림 10의 (a), (b), (c), (d), (e)와 같이 다측면 및 다중의 얼굴이 실시간으로 추적이 가능했다.
추적 가능한 최대 얼굴의 크기가 47x47 이므로 한 명의 얼굴 색상 히스토그램을 만드는 최대 필요 사이클은 47x47(memory read cycles 수)가 된다. 따라서 색상 히스토그램을 만드는 시간이 전체 추적 시간의 12% 정도 차지하게 되므로 성능 향상을 위해 파이프라이닝을 적용하였다.

대상 데이터

영역을 선택한다. 우리는 특징 영역으로서 YCbCr 색상 공간을 선택하였다. 색상 히스토그램은 식 (1), (2) 각각에 의해 생성된다.
여기서, 짝수나 홀수 필드의 선택은 둘 중 처음 추적을 시작한 필드만 계속 선택되게 된다. 하드웨어는 최대 입력을 기준으로 PAL을 수평으로 1/4, 수직으로 1/2 스케일링 다운하여 180x144 로 정하고, 최대 추적 가능한 얼굴 수는 10명으로 설계되었다.
얼굴 검출 시스템은 Verilog HDL로 기술되었고, 삼성 65nm CMOS 라이브러리로 합성하였다. 표 2는 전체 얼굴 검출 시스템에 대한 결과 나타낸다.
위한 프레임 버퍼이다. 프레임 버퍼 메모리가 전체 칩 사이즈의 氏%를 차지하고 있지만, 칩 사이즈를 줄이기 위해 외부 SDRAM 메모리로 프레임 버퍼를 옮길 경우, 외부 메모리 이용으로 인한 전력소모 증가 및 시스템 버스의 대역폭 공유로 발생하는 동작 성능 감소 등의 trade-off가 발생할 수 있어 내장 메모리를 사용하였다.

이론/모형

위해 전력 예측기区를 사용하였다. 시뮬레이션은 게이트 레벨 worst-case에서 수행되었다.

성능/효과

유사도 검사부는 색상 히스토그램부로부터 Cb, Cr 각각 4-비트의 색상 플래그를 받아 히스토그램 메모리 제어부에서 발생하는 메모리 주소와 OEN(read enable)과 제어 신호를 멀티플렉싱 하여 필요 없는 메모리 액세스를 막는다. 이 방법을 적용하면, L1 거리 계산 시 약 75 % 정도의 메모리 액세스 감소를 볼 수 있어 저전력 및 추적 시간 감소에 상당히 유리하지만, 필요한 하드웨어는 "비트 레지스터, 2-입력 멀티플렉서 등 전체 면적의 0.2 %에 불과하다.
실험을 통해 얻어진 결과를 적용하면, 그림 7의 (d)의 메모리 구조를 가지게 되어 약 18% 정도의 히스토그램 메모리 면적 감소 효과를 볼 수 있고, 얼굴 추적 시스템 전체 면적 대비 2.8%의 면적이 감소한다.
하지만, 하나의 수평 라인이 끝나게 되면 다시 메모리 주소를 계산해야 할 뿐만 아니라, 전체적으로 기본적으로 필요한 천이상태 사이클이 필요하게 되어 결과적으로는, 한 명의 색상 히스토그램을 생성하는 시간이 적용 이전 대비 평균 23% 정도 감소하였다. 반면, 파이프라 이닝을 구현하기 위해 로직이 추가적으로 필요해서 면적 측면에서는 trade-off가 존재했으나, 전체 얼굴 추적 시간에서 컬러 히스토그램을 생성하는 시간이 큰 부분을 차지하므로 파이프라이닝 적용을 선택하게 됐다.
각 영상 피라미드마다 추적 가능한 얼굴의 크기를 제한해서 색상 히스토그램이 최대 47x47 픽셀이 넘는 것을 제한한다. 따라서 얼굴의 크기가 95 픽셀 이상인 얼굴은 두 번의 스케일링을 거쳐 3단계의 피라미드 계층에서야 추적이 가능해 지고, 얼굴 크기가 47보다는 크고 95보다 작은 경우는 한 번의 스케일링이 필요하며, 얼굴 크기가 47 픽셀보다 작은 얼굴은 원 영상에서 스케일링 없이 바로 추적이 가능하다. 각 피라미드 단계에서 추적하는 얼굴 크기는 표 1과 같다.
하지만, 얼굴 추적 시스템 내부에서 스케일된 영상은 외부 디스플레이용으로 사용되지 않을 뿐만 아니라, 식 (3)에서와 같이 색상 히스토그램 생성을 위해 검출된 얼굴 좌표 내의 간략화되고, 유사한 얼굴 색상 데이터만 필요하므로 B-Splines과 같은 하드웨어 사이즈가 크고, 복잡한 알고리즘이 필요하지 않았다. 입력 영상을 B-Splines 알고리즘과 bi-linear 알고리즘을 각각 사용하여 다운 스케일링을 하고 얼굴 색상 히스토그램을 생성하는 실험을 한 결과, 두 히스토그램 간에 0.972의 강한 양의 상관도와 0.21 정도의 L1 거리차만 보여 주어 전체적인 추적 성능에 큰 차이를 보이지 않았다.
이와 같이 본 얼굴 추적 시스템에 적합한 최적화 작업을 통해 범용 bi-linear 타입의 스케일러 대비 76% 면적이 감소하였다.
시뮬레이션 결과는 메모리 연산 제어 방법을 적용하기 전보다 약 70% 정도의 전력 감소 효과가 있었다. 이것은 얼굴 색상 히스토그램에 존재하는 색상 bin이 ID장 [절에서 예측한 것처럼 25%이하임을 나타낸다.
그림 11의 (b)는 얼굴 검출기와 얼굴 추적기가 동시에 동작하여, 저조도의 환경 변화에 대해 얼굴 검출의 한계를 보완하여, 색상 정보를 이용해서 얼굴이 추적 가능함을 보여준다. 이 같은 결과는 본 시스템이 명암 정보가 부족한 급격한 조도의 변화에서도 false negative rate을개선해 주어, AdaBoost 얼굴 검출 알고리즘을 보완해 조명 변화에 강인함을 보여준다.
제안하는 하드웨어는 얼굴 검출기와 함께 동작해서 실시간으로다 측면 얼굴 추적 이 가능하고 조명 변화에 강인함을 보였으며, 저전력으로 구현되어 휴대용 멀티미디어 기기 적용에 적합함을 보였다. 또한, 매 프레임마다 얼굴 추적 정보 제공이 가능하여 얼굴 기반 응용 소프트웨어에 대해 성능 향상 및 확장성을 제공할 수 있었다.
제안하는 하드웨어는 얼굴 검출기와 함께 동작해서 실시간으로다 측면 얼굴 추적 이 가능하고 조명 변화에 강인함을 보였으며, 저전력으로 구현되어 휴대용 멀티미디어 기기 적용에 적합함을 보였다. 또한, 매 프레임마다 얼굴 추적 정보 제공이 가능하여 얼굴 기반 응용 소프트웨어에 대해 성능 향상 및 확장성을 제공할 수 있었다.
얼굴 후보의 색상 분포는 추적을 위해 피부색 모델의 색상분포와 비교되는데, 색상 기반 방법은 계산량 면에서 효율적이다, 그러나 이 방법은 커널 계산 복잡도가 상당히 증가하는 단점이 있어서 실시간으로 동작가능 하도록 커널 기반 객체 추적 알고리즘을 발전시켰다国 제안하는 논문은 [5]의 방법의 연장선에 있다. 이 알고리즘의 구현은 실시간으로 다측면 얼굴 추적을 가능하게 함으로써, Adaboost 얼굴 검출 알고리즘의 단점을 보완하고, false negative를 제거하는 성능 향상이 가능하다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 휴대용 멀티미디어 기기를 위한 실시간 얼굴 추적 시스템
Real-Time Face Tracking System for Portable Multimedia Devices 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

Keyword

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

참고문헌 (7)

이 논문을 인용한 문헌

저자의 다른 논문 :

활용도 분석정보

활용도 Top5 논문

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 휴대용 멀티미디어 기기를 위한 실시간 얼굴 추적 시스템 Real-Time Face Tracking System for Portable Multimedia Devices 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

Keyword

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

참고문헌 (7)

이 논문을 인용한 문헌

저자의 다른 논문 :

한태희 (29)

활용도 분석정보

활용도 Top5 논문 더보기

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 휴대용 멀티미디어 기기를 위한 실시간 얼굴 추적 시스템
Real-Time Face Tracking System for Portable Multimedia Devices 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

활용도 Top5 논문