디지털 도어락, 디지털 카메라, 비디오 감시 시스템 등에서 사용되는 기존의 얼굴 검출 시스템은 비교적 낮은 해상도의 영상 처리를 사용하고 있으며 이를 위해서 소프트웨어 기반의 구현을 하고 있다. 하지만 이 경우에는 높은 해상도를 위한 얼굴 검출이 어려울 뿐만 아니라 수행해야할 영산 처리 양이 많기 때문에 실시간으로 얼굴을 검출하는데 어려움이 있다. 실시간 임베디드 시스템에서 HD(High Definition) 영상을 위한 효과적인 얼굴 검출을 위해서는 하드웨어적인 접근이 필요하다. 이에 본 논문에서는 얼굴 검출을 위해 사용되는 전처리 과정 중에 하나이며 처리시간이 많이 소요되는 국부 이진 패턴(LBP, Local Binary Pattern) 연산을 하드웨어 구조를 제시하고 설계했다. 그리고 제시한 하드웨어 구조를 FPGA(Field Programmable Gate Array) 칩을 통해서 구현 및 검증을 통해 고해상도 HD급 영상에서 효율적인 얼굴 검출이 가능 한 것을 확인했다.
디지털 도어락, 디지털 카메라, 비디오 감시 시스템 등에서 사용되는 기존의 얼굴 검출 시스템은 비교적 낮은 해상도의 영상 처리를 사용하고 있으며 이를 위해서 소프트웨어 기반의 구현을 하고 있다. 하지만 이 경우에는 높은 해상도를 위한 얼굴 검출이 어려울 뿐만 아니라 수행해야할 영산 처리 양이 많기 때문에 실시간으로 얼굴을 검출하는데 어려움이 있다. 실시간 임베디드 시스템에서 HD(High Definition) 영상을 위한 효과적인 얼굴 검출을 위해서는 하드웨어적인 접근이 필요하다. 이에 본 논문에서는 얼굴 검출을 위해 사용되는 전처리 과정 중에 하나이며 처리시간이 많이 소요되는 국부 이진 패턴(LBP, Local Binary Pattern) 연산을 하드웨어 구조를 제시하고 설계했다. 그리고 제시한 하드웨어 구조를 FPGA(Field Programmable Gate Array) 칩을 통해서 구현 및 검증을 통해 고해상도 HD급 영상에서 효율적인 얼굴 검출이 가능 한 것을 확인했다.
Existing face detection systems, which are used for digital door locks, digital cameras, video surveillance systems, and so on, are software-based implementation for relatively low level resolution images. Therefore, in this case, there are difficulties in detecting faces in a real-time fashion due ...
Existing face detection systems, which are used for digital door locks, digital cameras, video surveillance systems, and so on, are software-based implementation for relatively low level resolution images. Therefore, in this case, there are difficulties in detecting faces in a real-time fashion due to the increasing amount of operational processing as well as in allowing the requirements of face detections for HD(High Definition) resolutions. A hardware approach is necessary to efficiently find faces for HD images in real-time embedded systems. This paper proposes and implements a hardware architecture for an LBP(Local Binary Pattern) operation which is a time-consuming part as one of preprocessing steps for face detection. The hardware architecture proposed in this research has been implemented and tested with a FPGA(Field Programmable Gate Array) chip, and shown that the approach guarantees efficient face detection for HD images.
Existing face detection systems, which are used for digital door locks, digital cameras, video surveillance systems, and so on, are software-based implementation for relatively low level resolution images. Therefore, in this case, there are difficulties in detecting faces in a real-time fashion due to the increasing amount of operational processing as well as in allowing the requirements of face detections for HD(High Definition) resolutions. A hardware approach is necessary to efficiently find faces for HD images in real-time embedded systems. This paper proposes and implements a hardware architecture for an LBP(Local Binary Pattern) operation which is a time-consuming part as one of preprocessing steps for face detection. The hardware architecture proposed in this research has been implemented and tested with a FPGA(Field Programmable Gate Array) chip, and shown that the approach guarantees efficient face detection for HD images.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서 HD급 영상에서 얼굴 검출의 실시간 처리를 위한 LBP 연산 모듈을 설계 및 구현하였다. 하드웨어를 블록 다이어그램으로 설계하고 HDL(Hardware Description Language)을 사용하여 최종적으로 Spartan-6 FPGA 보드를 이용하여 구현하였다.
따라서 이를 가능하게 하기 위해서는 하드웨어적인 접근이 필요하다. 이에 본 논문에서는 얼굴 검출을 위한 전처리 과정 중의 하나인 LBP 연산을 하드웨어로 설계하여 HD급 영상에서 얼굴 검출의 효율성을 증가시켰다.
제안 방법
본 논문에서 하드웨어로 설계한 LBP 연산를 FPGA 보드를 이용하여 구현 및 동작을 확인했다. 시뮬레이션 결과를 통해 확인된 하드웨어를 Xilinx Spartan-6 FPGA 보드를 이용해서 구현했다[8].
소프트웨어로 구성된 얼굴 검출 시스템을 프로파일링(profiling)하여 분석을 실시했다. 이를 통해 가장 많은 실행 시간을 요구하는 부분을 찾았다[7].
하드웨어를 블록 다이어그램으로 설계하고 HDL(Hardware Description Language)을 사용하여 최종적으로 Spartan-6 FPGA 보드를 이용하여 구현하였다. 실시간으로 입력되어지는 스트리밍 방식의 표준 디스플레이 신호에서 라인 버퍼를 사용하여 실시간 처리가 가능하도록 설계 했으며, 이를 MicroBlaze 소프트코어 플랫폼에 IP화하여 내장하였다. 그리고 소프트웨어의 작성을 통해 이를 검증해본 결과 실시간으로 HD급 화면에서의 LBP 연산이 가능함을 확인했으며, 이를 통해 보다 효율적인 얼굴 검출이 가능할 것으로 기대된다.
시뮬레이션 결과를 통해 확인된 하드웨어를 Xilinx Spartan-6 FPGA 보드를 이용해서 구현했다[8]. 제안하는 시스템을 임베디드 시스템에 내장 가능하게 구성하기 위해서 Xilinx 사의 MicroBlaze 소프트코어(softcore)를 활용한 플랫폼 기반 설계를 진행했다. [그림 9]는 제안하는 시스템을 IP(Intellectual Property)화하여 Core Connection PLB Slave 버스에 연결한 것을 나타냈다.
본 논문에서 HD급 영상에서 얼굴 검출의 실시간 처리를 위한 LBP 연산 모듈을 설계 및 구현하였다. 하드웨어를 블록 다이어그램으로 설계하고 HDL(Hardware Description Language)을 사용하여 최종적으로 Spartan-6 FPGA 보드를 이용하여 구현하였다. 실시간으로 입력되어지는 스트리밍 방식의 표준 디스플레이 신호에서 라인 버퍼를 사용하여 실시간 처리가 가능하도록 설계 했으며, 이를 MicroBlaze 소프트코어 플랫폼에 IP화하여 내장하였다.
대상 데이터
본 연구에서는 22×22 크기의 LBP 연산 학습 영상을 기준으로 얼굴 검출을 진행했다.
데이터처리
본 논문에서 하드웨어로 설계한 LBP 연산를 FPGA 보드를 이용하여 구현 및 동작을 확인했다. 시뮬레이션 결과를 통해 확인된 하드웨어를 Xilinx Spartan-6 FPGA 보드를 이용해서 구현했다[8]. 제안하는 시스템을 임베디드 시스템에 내장 가능하게 구성하기 위해서 Xilinx 사의 MicroBlaze 소프트코어(softcore)를 활용한 플랫폼 기반 설계를 진행했다.
이론/모형
얼굴 검출 시스템은 영상에서 다양한 크기의 얼굴을 검출하기 위한 영상 축소(image scale), 얼굴에 대한 특징 검출을 위한 LBP 연산, 얼굴 검출 및 학습에 필요한 Adaboost 학습 알고리즘(learning algorithm)으로 구성되어 있다. 이번 장에서는 얼굴 검출에 필요한 배경지식에 대해서 기술한다.
여러 번의 축소를 통해서 다양한 크기의 얼굴들을 찾아 낼 수 있다. 영상 축소 방법에는 선형 보간법(linear interpolation), 양방향 선형 보간법(bilinear interpolation) 등과 같은 다양한 방법이 있지만 본 논문에서는 실시간 처리 시에 처리할 연산이 가장 적은 최근린(nearest neighbor) 방식을 사용했다[3～4]. [그림 1]는 최근린 방식 영상 축소 방법에 대해 그림으로 나타냈다.
성능/효과
이를 통해 가장 많은 실행 시간을 요구하는 부분을 찾았다[7]. 그 결과 LBP 연산과정에서 각각 CPU의 속도와는 상관없이 평균적으로 전체 알고리즘의 40% 정도의 실행 시간 LBP를 수행하는데 사용하는 것을 확인할 수 있다. [표 1]과 [그림 6]은 이에 대한 수행 시간의 비율 및 평균 시간결과를 표와 그래프로 나타했다.
[표 1]과 [그림 6]은 이에 대한 수행 시간의 비율 및 평균 시간결과를 표와 그래프로 나타했다. 이 결과를 통해 LBP 연산 과정을 하드웨어화 함으로써 HD급 영상에서의 얼굴 검출 속도를 향상 시킬 수 있다.
후속연구
실시간으로 입력되어지는 스트리밍 방식의 표준 디스플레이 신호에서 라인 버퍼를 사용하여 실시간 처리가 가능하도록 설계 했으며, 이를 MicroBlaze 소프트코어 플랫폼에 IP화하여 내장하였다. 그리고 소프트웨어의 작성을 통해 이를 검증해본 결과 실시간으로 HD급 화면에서의 LBP 연산이 가능함을 확인했으며, 이를 통해 보다 효율적인 얼굴 검출이 가능할 것으로 기대된다.
질의응답
핵심어
질문
논문에서 추출한 답변
얼굴 검출 시스템은 어떤 분야에서 사용되어 왔나?
얼굴 검출 시스템은 스마트 폰, 디지털 카메라, 디지털 도어락 등 다양한 응용분야에서 소프트웨어를 기반으로 구현 및 사용되어 왔다[1～2].
Adaboost 학습 알고리즘은 어떤 방식으로 샘플 데이터의 분포를 재조정하나?
Adaboost 학습 알고리즘은 Freund와 Schapire가 1995년도에 처음 제시하였으며 도박사가 경마에 배팅을 결정 할 때 이전까지의 데이터를 기반으로 어떻게 하면 더 높은 확률로 승리할 수 있을까 하는 발상에서 시작됐다[6]. 학습을 통해 오분류 데이터의 높은 가중치를 부여하고, 반대로 정분류된 데이터는 낮은 가중치를 부여하는 방식으로 샘플 데이터의 분포를 재조정한다. [그림 3]는 Freund와 Schapire가 제시한 알고리즘 전체이다.
얼굴 검출 시스템은 어떻게 구성되어 있나?
얼굴 검출 시스템은 영상에서 다양한 크기의 얼굴을 검출하기 위한 영상 축소(image scale), 얼굴에 대한 특징 검출을 위한 LBP 연산, 얼굴 검출 및 학습에 필요한 Adaboost 학습 알고리즘(learning algorithm)으로 구성되어 있다. 이번 장에서는 얼굴 검출에 필요한 배경지식에 대해서 기술한다.
참고문헌 (8)
R.McCready, "Real-time face detection on a configurable hardware platform", M.S. thesis, Department of Electronics Computer Engineering, University of Toronto, Toronto, Canada, 2000.
Duy Nguyen, David Halupka, Parham Aarabi, and Ali Sheikholesalami, "Real time Face detection and Lip feature extraction using FPGA", IEEE Transactions on Systems, Man and Cyberetics Art, Vol. 36, no. 4, pp.902-912, 2006.
Gregory A. Baxes, Digital image processing : principle and application, Willey, pp105-130 ,1994
김태완, 노현진, 오철균, 김익동, 정연모, "HD급 영상에서의 얼굴 검출을 위한 실시간 영상 축소기의 설계", 한국정보처리학회 춘계학술대회 논문집, 제18권, 제1호, 2011년 5월
Maenpaa and Topi, Local binary pattern approach to texture analysis-extensions and applications, Univ. Oulu, 2003.
Y. Freund, and R. E. Schapire, "A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting", Journal of Computer and System Sciences, Vol. 55, pp. 119-139, 1997.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.