[논문]지능형 자동차용 고성능 영상인식 엔진

여준기; 천익재; 석정희; 노태문

doi:10.5909/jbe.2013.18.4.535

지능형 자동차용 고성능 영상인식 엔진
High-Performance Vision Engine for Intelligent Vehicles 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.18 no.4, 2013년, pp.535 - 542

여준기 (한국전자통신연구원 혼성신호처리연구실) , 천익재 (한국전자통신연구원 혼성신호처리연구실) , 석정희 (한국전자통신연구원 혼성신호처리연구실) , 노태문 (한국전자통신연구원 혼성신호처리연구실)

초록
AI-Helper

본 논문에서는 고속 및 고인식률의 성능을 갖는 영상인식 엔진 구조를 제안한다. 본 엔진은 2단계의 특징점 추출 및 분류 알고리즘을 수행하여 자동차와 보행자를 인식할 수 있다. 엔진의 인식률을 높이기 위해 HOG 특징점 값과 LBP 특징점 값을 같이 사용하여 알고리즘을 구성하였으며, 처리 속도를 높이기 위해 병렬 구조를 개선하여 하드웨어를 설계하였다. 실험결과를 통해 설계한 엔진이 초당 90프레임의 인식 처리가 가능하며 FPPW $10^{-4}$ 하에서 97.7%의 보행자 인식률을 가짐을 보인다.

Abstract ▼ AI-Helper

In this paper, we proposed a advanced hardware engine architecture for high speed and high detection rate image recognitions. We adopted the HOG-LBP feature extraction algorithm and more parallelized architecture in order to achieve higher detection rate and high throughput. As a simulation result, the designed engine which can search about 90 frames per second detects 97.7% of pedestrians when false positive per window is $10^{-4}$.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만, EyeQ 시리즈와 IMAPCAR 시리즈의 자료들에서는 처리속도와 인식률, 알고리즘의 처리 구조 등과 관련한 구체적인 사항들이 포함되어 있지 않아, 영상인식을 위한 임베디드 시스템 연구 및 구현에 활용되기는 어려운 점이 있다. 본 논문에서는 기존에 자동차에서의 응용을 고려하여 자동차와 보행자에 대해 높은 인식률과 함께 빠른 처리가 가능하도록 개발하였던 ETRI Vision Engine (EVE)^[11]을 개선한 결과를 보임으로써 지능형 자동차용 영상인식 임베디스 시스템 연구 및 개발의 바탕을 제공하고자 한다.
본 논문에서는 지능형 자동차용 영상인식 임베디스 시스템 연구 개발의 바탕을 제공하고자 기존 개발된 영상인식 엔진을 개선하여 적은 하드웨어 부담으로 인식률과 처리 속도를 높이고, 자동차와 보행자를 동시에 인식할 수 있게 한 하드웨어 엔진의 개발 결과를 소개하였다. 개발된 엔진은 LBP 특징점 추출 알고리즘을 HOG 특징점 추출 알고리즘과 동시에 처리하는 구조를 채택하였으며 이를 통하여 보행자를 97% 이상 인식할 수 있다.

제안 방법

Adaboost 분류기에서 최종 강분류기의 결과에서 참으로 판단된 윈도우 정보는 태스크 큐에 저장되어, 해당 윈도우의 HOG-LBP 알고리즘 처리와 상관없이 Haar-Adaboost 처리가 진행될 수 있도록 하였다.
EVE2의 인식 처리속도 분석 과정에서는 엔진 자체의 개선 결과와 함께 시스템 상에서의 DMAC(Direct Memory Access Controller) 일부 기능의 개선을 반영하였으며, 이를 바탕으로 시뮬레이션 방법을 사용하였다. 이를 통해 EVE2는 초당 90 프레임의 VGA 영상을 처리할 수 있음을 확인 하였다.
HOG 윈도우 버퍼는 4x4 픽셀 크기의 셀을 2x2 형태로 구성한 블록을 하나의 단위로 저장하기 위하여 12x12 픽셀 크기로 구성하였으며, 인접한 블록의 처리에 데이터를 재활용할 수 있도록 설계되었다. HOG 특징점 추출기는 HOG 윈도우 버퍼에 저장된 블록에 대해 HOG 특징점 추출 연산을 수행하고, 이에 대해 HOG용 SVM 분류기는 SVM 메모리에 저장된 가중치 값을 읽어 가중합 연산과 함께 모든 블록에 대한 누적 연산을 수행하는 방법으로 최종 SVM 결과를 얻는다.
또한 이 Haar 윈도우 버퍼는 자동차 인식과 보행자 인식에 동시에 사용된다. Haar 특징점 추출기는 Adaboost 메모리에서 각 Haar 필터의 크기, 위치, 종류에 대한 정보를 따라 연산을 수행하며, Adaboost 분류기는 Haar 필터 결과를 가지고 해당하는 약분류기 연산을 수행하며 이를 누적하여 최종 결과를 출력한다.
이를 위해 추가된 블록은 그림에서 굵은 실선으로 표시하였다. LBP 특징점 추출과 관련된 하드웨어는 HOG 특징점 추출 관련 하드웨어와 병렬로 수행되도록 구성하였으며, 각 SVM 분류기의 결과는 제어기에서 한꺼번에 판단하여 HOG-LBP 알고리즘 결과를 도출할 수 있도록 하였다. 이 뿐만 아니라 각 SVM 분류기의 결과를 개별적으로 최종 판단에 사용함으로써 LBP 알고리즘을 Haar-Adaboost, HOG-SVM에 이은 3차 단계의 인식 알고리즘으로도 수행할 수 있도록 함으로써 알고리즘 구성의 유연성을 부여하였다.
EVE2는 EVE에서의 다소 낮은 보행자 인식률의 개선을 위하여 인식대상 판별 과정 중 2차 인식 알고리즘 수행에서는 [1]의 논문과 같이 HOG 특징점 추출과 함께 LBP(Local Binary Pattern) 특징점 추출 알고리즘을 동시에 사용하였다. 또한 자동차와 보행자를 동시에 인식하기 위해서 보행자 판별 하드웨어와 자동차 판별 하드웨어를 병렬로 구성하였다. 다만 영상 크기 변환, 인식 윈도우 추출은 자동차와 보행자에 동일하게 사용될 수 있으므로 하나의 하드웨어로 구성하였다.
영상 축소기는 외부 메모리에 저장된 원본영상을 32x480 픽셀 단위로 읽어 64x480 픽셀 크기의 메모리에 저장하여 이를 20% 단계로 축소하는 과정을 거치며 각 축소된 이미지는 영상 축소기 내부에 각각 저장되도록 하였다. 그리고 이러한 원본크기의 이미지와 축소된 이미지는 윈도우 버퍼로 이동되면서 인식에 활용된다.
LBP 특징점 추출과 관련된 하드웨어는 HOG 특징점 추출 관련 하드웨어와 병렬로 수행되도록 구성하였으며, 각 SVM 분류기의 결과는 제어기에서 한꺼번에 판단하여 HOG-LBP 알고리즘 결과를 도출할 수 있도록 하였다. 이 뿐만 아니라 각 SVM 분류기의 결과를 개별적으로 최종 판단에 사용함으로써 LBP 알고리즘을 Haar-Adaboost, HOG-SVM에 이은 3차 단계의 인식 알고리즘으로도 수행할 수 있도록 함으로써 알고리즘 구성의 유연성을 부여하였다. 자동차와 보행자의 동시인식 처리를 위해서는 처리속도 저하를 막기 위해 자동차와 보행자에 대한 각 특징점 추출 알고리즘 및 분류 알고리즘 처리 하드웨어를 구분하여 구성하였다.
또한 블록별로 만들어지는 36개의 특징값을 동시에 처리하던 기존과는 달리 사이클당 9개씩 생성하여 연산함으로써 지연시간의 추가 없이 하드웨어를 절감하였다. 이러한 방법은 LBP 특징점 추출기 및 분류기에도 적용하여 설계하였다.
LBP 알고리즘 및 자동차와 보행자의 동시인식을 가능하게 하기 위해서는 연산 및 제어 로직뿐만 아니라 Adaboost 메모리, SVM 메모리 등이 추가되어야 하기 때문에 하드웨어의 크기에 대한 부담이 커지게 된다. 이러한 부담을 줄이고자 특징점 추출 및 분류 알고리즘을 수행하는 하드웨어를 최적화하였다.
이 뿐만 아니라 각 SVM 분류기의 결과를 개별적으로 최종 판단에 사용함으로써 LBP 알고리즘을 Haar-Adaboost, HOG-SVM에 이은 3차 단계의 인식 알고리즘으로도 수행할 수 있도록 함으로써 알고리즘 구성의 유연성을 부여하였다. 자동차와 보행자의 동시인식 처리를 위해서는 처리속도 저하를 막기 위해 자동차와 보행자에 대한 각 특징점 추출 알고리즘 및 분류 알고리즘 처리 하드웨어를 구분하여 구성하였다. 다만 영상 축소기와 Haar 윈도우 버퍼는 자동차와 보행자에 대한 구분 없이 하나로 구성하였다.

이론/모형

그림 3은 EVE를 개선하여 개발된 EVE2(ETRI Vision Engine version 2)의 영상인식 알고리즘 수행 구조를 EVE 의 수행 구조와 비교하여 보여준다. EVE2는 EVE에서의 다소 낮은 보행자 인식률의 개선을 위하여 인식대상 판별 과정 중 2차 인식 알고리즘 수행에서는 [1]의 논문과 같이 HOG 특징점 추출과 함께 LBP(Local Binary Pattern) 특징점 추출 알고리즘을 동시에 사용하였다. 또한 자동차와 보행자를 동시에 인식하기 위해서 보행자 판별 하드웨어와 자동차 판별 하드웨어를 병렬로 구성하였다.
보행자에 대한 인식률 분석을 위해서 INRIA 보행자 DB^[14]를 사용하였다. 그림 6은 기존 EVE와 EVE2의 보행자 인식률 성능을 비교하여 보여준다.

성능/효과

HOG 윈도우 버퍼는 4x4 픽셀 크기의 셀을 2x2 형태로 구성한 블록을 하나의 단위로 저장하기 위하여 12x12 픽셀 크기로 구성하였으며, 인접한 블록의 처리에 데이터를 재활용할 수 있도록 설계되었다. HOG 특징점 추출기는 HOG 윈도우 버퍼에 저장된 블록에 대해 HOG 특징점 추출 연산을 수행하고, 이에 대해 HOG용 SVM 분류기는 SVM 메모리에 저장된 가중치 값을 읽어 가중합 연산과 함께 모든 블록에 대한 누적 연산을 수행하는 방법으로 최종 SVM 결과를 얻는다. LBP관련 블록은 HOG 블록과 유사하게 구성되어 있으며, 하나의 블록크기는 8x8로 구성하였다.
본 논문에서는 지능형 자동차용 영상인식 임베디스 시스템 연구 개발의 바탕을 제공하고자 기존 개발된 영상인식 엔진을 개선하여 적은 하드웨어 부담으로 인식률과 처리 속도를 높이고, 자동차와 보행자를 동시에 인식할 수 있게 한 하드웨어 엔진의 개발 결과를 소개하였다. 개발된 엔진은 LBP 특징점 추출 알고리즘을 HOG 특징점 추출 알고리즘과 동시에 처리하는 구조를 채택하였으며 이를 통하여 보행자를 97% 이상 인식할 수 있다. 또한 시스템적인 개선을 포함하여 초당 90프레임의 인식 처리가 가능하게 되었다.
하지만 이 정규화 연산을 그림 5와 같이 SVM의 가중합 연산 이후로 옮기게 되면 수행되는 연산의 수를 줄일 수 있으며, 이를 통한 하드웨어 면적 절감이 가능하다. 또한 블록별로 만들어지는 36개의 특징값을 동시에 처리하던 기존과는 달리 사이클당 9개씩 생성하여 연산함으로써 지연시간의 추가 없이 하드웨어를 절감하였다. 이러한 방법은 LBP 특징점 추출기 및 분류기에도 적용하여 설계하였다.
EVE2의 인식 처리속도 분석 과정에서는 엔진 자체의 개선 결과와 함께 시스템 상에서의 DMAC(Direct Memory Access Controller) 일부 기능의 개선을 반영하였으며, 이를 바탕으로 시뮬레이션 방법을 사용하였다. 이를 통해 EVE2는 초당 90 프레임의 VGA 영상을 처리할 수 있음을 확인 하였다. 이는 카메라 3개의 입력에 대해 실시간으로 처리 가능한 수준이다.

후속연구

향후에는 엔진 자체의 알고리즘 수행 외에 전처리와 후처리를 통한 엔진의 인식률 보완 및 처리 속도 개선, 보다 다양한 알고리즘의 빠른 적용을 가능하게 하는 병렬 프로세서 혼용구조에서의 알고리즘 구현에 대한 연구를 수행하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	EyeQ 시리즈와 IMAPCAR 시리즈가 임베디드 시스템 연구 및 구현에 활용되기 어려운 이유는?	하지만, EyeQ 시리즈와 IMAPCAR 시리즈의 자료들에서는 처리속도와 인식률, 알고리즘의 처리 구조 등과 관련한 구체적인 사항들이 포함되어 있지 않아, 영상인식을 위한 임베디드 시스템 연구 및 구현에 활용되기는 어려운 점이 있다. 본 논문에서는 기존에 자동차에서의 응용을 고려하여 자동차와 보행자에 대해 높은 인식률과 함께 빠른 처리가 가능하도록 개발하였던 ETRI Vision Engine (EVE)[11]을 개선한 결과를 보임으로써 지능형 자동차용 영상인식 임베디스 시스템 연구 및 개발의 바탕을 제공하고자 한다.
	본 논문에서 Haar 특징점 추출을 위해서 무엇을 수행하는가?	Haar 특징점 추출을 위해서 Haar 윈도우 버퍼에는 누적 영상이 계산되어 저장된다. 이 때 4x4 픽셀 블록에 대한 누적영상(Integral Image)을 사용하는 경우 보행자 인식을 위한 윈도우의 누적영상은 8x16 크기가 사용되지만, 다음 위치의 윈도우에 대해 연산을 수행하기 위해서는 이전 픽셀의 누적값을 저장하고 있어야 하며, 이를 위해 Haar 윈도우 버퍼는 8x17로 설계되었다.
	본 논문에서 EVE2는 자동차와 보행자를 동시에 인식하기 위해서 HW를 어떻게 구성하였는가?	EVE2는 EVE에서의 다소 낮은 보행자 인식률의 개선을 위하여 인식대상 판별 과정 중 2차 인식 알고리즘 수행에서는 [1]의 논문과 같이 HOG 특징점 추출과 함께 LBP(Local Binary Pattern) 특징점 추출 알고리즘을 동시에 사용하였다. 또한 자동차와 보행자를 동시에 인식하기 위해서 보행자 판별 하드웨어와 자동차 판별 하드웨어를 병렬로 구성하였다. 다만 영상 크기 변환, 인식 윈도우 추출은 자동차와 보행자에 동일하게 사용될 수 있으므로 하나의 하드웨어로 구성하였다.

참고문헌 (14)

X. Wang, T.X. han, and S. Yan, "An HOG-LBP human detector with partial occlusion handling," International Conference on Computer Vision, 32-39, 2009.
G. Gan and J. Cheng, "Pedestrian Detection Based on HOG-LBP Feature," International Conference on Computational Intelligence and Security, 1184-1187, 2011.
C. Zeng, H. Ma, and A. Ming, "Fast human detection using mi-SVM and a cascade of HOG-LBP features," IEEE International Conference on Image Processing, 3845-3848, 2009.
S.-H. Yoon, C.-G. Lyuh, I.-J. Chun, J.-H. Suk, and T. M. Roh, "A New Support Vector Compression Method Based on Singular Value Decomposition", ETRI Journal, vol. 33, no. 4, 652-655, Aug, 2011.

원문보기 상세보기
W.-J. Park, D.-H. Kim, S. Suryanto, C.-G. Lyuh, T. M. Roh, and S.-J. Ko, "Fast human detection using selective block-based HOG-LBP," IEEE International Conference on Image Processing, 601-604, 2012.
H. Cho, P.E. Rybski, A. Bar-Hillel, and W. Zhang, "Real-time pedestrian detection with deformable part models," IEEE Intelligent Vehicles Symposium, 1035-1042, 2012.
S. Lee, H. Son, J. C. Choi, and K. Min, "HOG feature extractor circuit for real-time human and vehicle detection," IEEE Region 10 Conference, 2012.
S. Kim, S. Park, S. Lee, S. park, and K. Cho, "Design of high-performance pedestrian and vehicle detection circuit using Haar-like features," IEEE Region 10 Conference, 2012.
http://www.mobileye.com
http://www.nec.com
C.-G. Lyuh, I.-J. Chun, J.-H. Suk, S.-H. Yoon, and T. M. Roh, "High-Speed Vision Engine for Intelligent Vehicles," Workshop on Image Prodessing and Image Understanding, 2012.
P. Viola and M. J. Jones, "Robust Real-Time Face Detection,", International Journal of Computer Vision, vol. 57, no. 2, pp. 137-154, 2004.

상세보기
N. Dalal, "Finding People in Images and Videos," PhD thesis, Institut National Polytechnique de Grenoble, 2006.
N. Dalal and B. Triggs, "Histogram of oriented gradient for human detection," IEEE Computer Vision and Pattern Recognition, 886-893, 2005.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증