[논문]비음수 텐서 분해를 이용한 차량 인식

반재민; 강현철

doi:10.5573/ieie.2015.52.5.136

비음수 텐서 분해를 이용한 차량 인식
Vehicle Recognition using Non-negative Tensor Factorization 원문보기

Journal of the Institute of Electronics and Information Engineers = 전자공학회논문지, v.52 no.5, 2015년, pp.136 - 146

반재민 (인천대학교 정보통신공학과) , 강현철 (인천대학교 정보통신공학과)

초록
AI-Helper

차량 인식을 기반으로 하는 능동 제어는 지능형 자동차의 구현에 필요한 핵심 기술이며. 차폐 영역(occlusion)이 빈번하게 발생하는 도심에서 차량을 인식하기 위하여 차량의 부분적인 모습만으로도 차량을 인식할 수 있는 부분 기반 차량 표현이 필요하다. 본 논문에서는 지역적인 특징을 기저벡터로 사용하는 비음수 텐서 분해(non-negative tensor factorization, NTF)를 이용하여 차량을 표현하고, NTF 분해 계수를 특징으로 차량 인식률을 검증하였다. 실험 결과, 제안하는 방법이 기존의 비음수 행렬 분해를 사용한 경우에 비하여 보다 직관적인 부분 표현이 가능하며, 도심 영상에서도 보다 강건하게 차량을 인식함을 보여주었다.

Abstract ▼ AI-Helper

The active control of a vehicle based on vehicle recognition is one of key technologies for the intelligent vehicle, and the part-based image representation is necessary to recognize vehicles with only partial shapes of vehicles especially in urban scene where occlusions frequently occur. In this paper, we implemented a part-based image representation scheme using non-negative tensor factorization(NTF) and realized a robust vehicle recognition system using the NTF feature. The result shows that the proposed method gives more intuitive part-based representation and more robust recognition in urban scene.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만 곱셈 갱신 규칙은 구현이 간편한 장점을 가지고 있지만 수렴속도가 느리다는 단점을 지니고 있다. 따라서 본 논문에서는 적절한 기저의 개수를 찾는 방법을 제안하였다. 그러나 학습 데이터의 수가 증가하면 많은 계산량으로 인해 기저 텐서와 계수 행렬의 생성에 많은 시간이 요구된다.
본 논문에서는 비음수 텐서 분해 기법을 이용하여 차량의 부분적인 특징을 표현함으로써 복잡한 도심 영상에서 발생할 수 있는 차폐 영역에 강인하고 기존의 차량 인식 알고리즘 보다 좋은 성능을 갖는 차량 인식 방법을 제안한다. Ⅱ장에서는 제안하는 비음수 분해 기법에 대하여 소개한다.
본 논문은 차폐 영역이 빈번히 발생하는 도심 영상에서 적용 가능한 NTF를 이용한 차량 인식 방법을 제안하였다. 도심 영상은 다른 차량에 의해 가려진 차량, 표지판, 가로수 등에 의해 부분만 보이는 차량 등의 차량 인식에 있어 인식률을 저하시키는 요소들이 다수 포함되어 있어 차폐 영역을 포함한 차량 후보에 대하여 인식 단계에서 강인하여야 한다.

제안 방법

NTF의 성능평가를 위하여 차량 인식에 많이 사용하고 있는 Haar 특징과 선형 변환 방식 중 대표적인 PCA, 유사한 부분 기반 표현으로 분해하는 NMF와 SNMF, NTF를 비교하였다.
PCA의 경우 적은 수의 고유값으로 표현이 가능하기 때문에 상위 100개의 고유 값을 선정하여 분류하였고, NMF, SNMF, NTF의 기저 행렬 개수는 목적 함수가 수렴하는 구간의 최소가 되는 개수에 근사화하고 선정된 개수에 대하여 인식률을 실험하였다. 실험된 각 알고리즘에 따른 인식률을 표 3에 나타내었다.
두 영상의 밝기 차이의 영향을 줄이기 위하여 전처리 과정이 필요하며, 밝기 정보를 정규화하고 질감을 향상시키는 작업을 수행한다. 스테레오 비전은 질감이 두드러진 점을 매칭할 때 좋은 성능을 보이기 때문에 이를 위하여 Laplacian of Gaussian을 이용하여 전처리 과정을 수행한다.
도심 영상은 다른 차량에 의해 가려진 차량, 표지판, 가로수 등에 의해 부분만 보이는 차량 등의 차량 인식에 있어 인식률을 저하시키는 요소들이 다수 포함되어 있어 차폐 영역을 포함한 차량 후보에 대하여 인식 단계에서 강인하여야 한다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위해서 이용하여 특정 범위 내의 객체들을 후보 영역으로 추출한 뒤 후보 영역에서 차량의 부분을 표현하는 NTF의 기저 텐서와 계수 행렬을 이용하여 차량 인식을 수행하였다.
따라서 학습 이미지 텐서는 2304(48×48) × 200으로 구성되어 있으며 특징의 개수인 계수 행렬의 수를 증가시키며 기존의 차량 인식 알고리즘과 인식률을 비교하였다.
학습에 사용된 차량 학습 이미지는 그림 8과 같으며, 검출을 수행하는 거리의 최대 범위를 30m로 설정하였다. 모든 학습 이미지는 48x48의 크기로 정규화 하였으며 정규화한 이미지를 3차원 큐브 형태의 텐서로 구성하여 기저 텐서와 계수 행렬로 분해하였다. 학습 데이터는 총 200개의 이미지를 사용하였으며, 각 클래스 구분은 정상 차량 이미지, 차폐 영역이 존재하는 차량 이미지로 구성되어 있다.
본 논문에서는 스테레오 비전(stereo vision)을 이용하여 도로 영상에서 차량 후보를 검출하며, 제안하는 차량 인식 시스템의 전체적인 구성은 그림 4와 같다.
제안하는 NTF의 각 행렬의 분해는 먼저 임의의 값을 mode-n matricization된 각 차원의 행렬에 적용 시킨 후 기저 텐서와 계수 행렬에 대하여 NMF의 곱셈 갱신 규칙을 확장시켜 식 (9)와 같이 나타내며 이 갱신 규칙은 텐서 G를 근사하는 값으로 갱신한다.
는 틀리게 인식된 수를 나타낸다. 차량 인식에 많이 사용하는 Haar 특징과 PCA, NMF, SNMF와 LVQ2 신경회로망^[21]을 결합한 방법과 제안한 NTF를 비교하여 제안한 차량 인식 시스템에 대한 성능을 평가하였다.

대상 데이터

실험에 사용된 영상은 맑은 날 주간을 기준으로 전방을 주행하는 차량과 주차되어 있어 겹침이 발생한 차량, 가로수나 표지판 등의 물체에 가려진 차량, 눈이나 그림자에 의해 조도가 다른 차량 등을 다수 포함하고 있다. 실험 환경은 Intel(R) Core(TM) i5-2400 @ 3.16GHz, windows 7 32bit 환경에서 visual studio 2010과 OpenCV 라이브러리를 사용하였다.
의 1344×391 해상도의 스테레오 이미지를 30 fps 영상으로 편집하여 사용하였으며 카메라 보정 파라미터는 각각의 영상에 따라 제공된 파라미터를 사용하였다. 실험에 사용된 영상은 맑은 날 주간을 기준으로 전방을 주행하는 차량과 주차되어 있어 겹침이 발생한 차량, 가로수나 표지판 등의 물체에 가려진 차량, 눈이나 그림자에 의해 조도가 다른 차량 등을 다수 포함하고 있다. 실험 환경은 Intel(R) Core(TM) i5-2400 @ 3.
제안하는 알고리즘을 성능 평가를 위하여 KITTI Vision Benchmark[22]의 1344×391 해상도의 스테레오 이미지를 30 fps 영상으로 편집하여 사용하였으며 카메라 보정 파라미터는 각각의 영상에 따라 제공된 파라미터를 사용하였다.
차량 후보 영역 검출은 차량 후보 영역의 위치를 영상 내에서 빠르게 찾고자 하며, 스테레오 비전 기반 방법은 차량의 위치와 거리 정보를 동시에 얻을 수 있는 장점이 있다. 차량 후보 영역을 검출하기 위하여 깊이 맵을 생성하고 생성된 깊이 맵에서 특정 비율과 크기를 만족하는 약 30m 이내의 모든 객체를 추출한다. 깊이 맵은 좌우 영상의 대응 화소를 매칭 알고리즘을 사용하여 추출하기 때문에 두 영상의 대응 위치를 정확하게 검출하는 것이 정확한 깊이 맵을 생성하는데 필수적이며, 실시간성이 요구되기 때문에 매칭 알고리즘의 복잡도가 높지 않아야 한다.
모든 학습 이미지는 48x48의 크기로 정규화 하였으며 정규화한 이미지를 3차원 큐브 형태의 텐서로 구성하여 기저 텐서와 계수 행렬로 분해하였다. 학습 데이터는 총 200개의 이미지를 사용하였으며, 각 클래스 구분은 정상 차량 이미지, 차폐 영역이 존재하는 차량 이미지로 구성되어 있다. 따라서 학습 이미지 텐서는 2304(48×48) × 200으로 구성되어 있으며 특징의 개수인 계수 행렬의 수를 증가시키며 기존의 차량 인식 알고리즘과 인식률을 비교하였다.

데이터처리

제안한 방법에서는 각 프레임에 대하여 검출 단계와 검증 단계를 수행하는 동안 후보 영역의 수가 감소하기 때문에 실험에 사용된 입력 영상들의 각 프레임에 존재하는 평균적인 전체 차량 수와 그에 따른 제안된 방법의 평균적인 검출된 영역의 수, 검증된 영역의 수를 표 1에서 비교하였다. 검출 영역은 약 30m 이내의 모든 객체를 추출하기 때문에 실제로 검출된 후보 영역에서는 창문, 보행자 등의 차량 이외의 객체가 포함되어 있으며, 검증 단계에서는 이를 보완하기 때문에 실제 차량 수와 근사하게 감소하는 것을 볼 수 있다.
표 4는 차량 후보 영역의 크기에서 약 10∼50% 차폐 영역이 발생한 차량 이미지에 대한 인식 결과를 비교하였다.

이론/모형

두 영상의 밝기 차이의 영향을 줄이기 위하여 전처리 과정이 필요하며, 밝기 정보를 정규화하고 질감을 향상시키는 작업을 수행한다. 스테레오 비전은 질감이 두드러진 점을 매칭할 때 좋은 성능을 보이기 때문에 이를 위하여 Laplacian of Gaussian을 이용하여 전처리 과정을 수행한다. 이는 스무딩 된 영상에서 지역적 최대값을 찾고, 식 (10)의 SAD(Sum of Absolute Difference)를 계산하여 대응점을 검출한다.

성능/효과

제안한 방법에서는 각 프레임에 대하여 검출 단계와 검증 단계를 수행하는 동안 후보 영역의 수가 감소하기 때문에 실험에 사용된 입력 영상들의 각 프레임에 존재하는 평균적인 전체 차량 수와 그에 따른 제안된 방법의 평균적인 검출된 영역의 수, 검증된 영역의 수를 표 1에서 비교하였다. 검출 영역은 약 30m 이내의 모든 객체를 추출하기 때문에 실제로 검출된 후보 영역에서는 창문, 보행자 등의 차량 이외의 객체가 포함되어 있으며, 검증 단계에서는 이를 보완하기 때문에 실제 차량 수와 근사하게 감소하는 것을 볼 수 있다.
또한 NTF는 NMF와 다르게 다양한 특성을 정의하여 차원 확장이 가능하기 때문에 실제 응용에서 고려되는 조도, 날씨 등의 외부적인 요인에 의하여 인식률이 저하되는 점을 방지할 수 있다. 따라서 본 논문에서 제안한 방법이 기존의 차량인식 알고리즘보다 차량 인식 성능이 향상 되었으며, 특히 차폐 영역이 존재하는 후보 영역에 대한 인식률은 NMF보다 최대 12% 향상됨을 확인할 수 있다.
그림 10은 제안된 방법에 따라 기저 행렬의 개수를 설정하고 분해를 하였을 때 생성되는 기저 행렬의 예를 나타내었다, 생성된 기저 행렬들은 차량의 각 부분을 표현하고 있기 때문에 인식 단계에서 유용한 특징으로 사용될 수 있다. 따라서 적절한 기저 행렬의 개수를 선택함으로써 차량의 각 부분을 표현하는 기저 행렬에 나타나는 형태와 형태에 따른 인식률의 변화가 밀접하게 연관되어 있음을 알 수 있다.
많은 차량이 겹쳐져 있거나 시설물, 사람에 의해 가려진 환경의 도심 영상을 대상으로 실험한 결과 기존의 차량 인식 알고리즘보다 제안한 방법이 높은 인식률을 보이는 것을 확인 할 수 있었다. 기존의 차량 인식 알고리즘은 차폐 영역에 대하여 비교적 낮은 인식률을 보이기 때문에 이는 잠재적 위험을 감지 할 수 없다는 것을 의미하지만, 제안한 방법은 차폐 영역에 대하여 크게 영향을 받지 않는 장점이 있다.
목적함수의 벡터 F(r)이 수렴하기 시작하는 구간인 약 20개 이하의 기저 행렬의 경우 기저 행렬들이 부분 기반 표현을 만족하지 못하고 전체를 표현하게 되는 결과를 보였으며, 다시 증가하는 구간이 시작되는 약 60개 이상의 기저 행렬의 경우 기저 행렬들이 중복되는 경우가 많았으며 차량의 각 부분을 표현하는 기저 행렬을 생성하지 못하였다.
제안된 NTF를 이용한 차량 인식 방법은 차폐 영역을 위한 기저 벡터들을 생성함으로써 차폐 영역의 존재에도 불구하고 인식률을 유지할 수 있었으며, 음영 지역에서 조도 감소로 인한 낮은 대비를 가지는 후보 영역에 비하여 최대 15%, 평균적으로 5.5%의 인식률이 향상됨으로써 강인함을 보였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	선형 변환 방식은 어떤 방식을 사용하는가?	선형 변환 방식은 대부분 고차원의 데이터를 저차원의 데이터로 줄이는 방식을 사용함으로써 실시간성을 보장할 수 있다. 대표적인 선형 변환 방식으로는 데이터의 상관행렬(covariance matrix)에서 변동이 심한 방향을 찾아내는 주성분 분석(principal component analysis)[7], 학습 단계에서 클래스의 구분에 중점을 두는 선형 판별식 분석(linear discriminant analysis)[8], 통계적 독립성을 이용하여 독립적인 성분만을 추출하는 독립 성분 분석(independent component analysis)[9] 등이 있다.
	대표적인 선형 변환 방식의 문제점은 어떻게 보완할 수 있는가?	그러나 기존의 대표적인 선형 변환 방식들은 영상의 전체적인 모습을 대상으로 특징을 추출하기 때문에 물체의 모습이 가려지는 경우 인식 성능의 저하를 초래하게 된다. 따라서 차폐 영역이 존재하는 도심 영상에서 차량을 인식하기 위하여서는 부분 기반 영상 표현(part-based image representation)을 이용하여 차량을 표현하여 차량의 부분적인 모습으로도 인식할 수 있어야 한다. 대표적인 부분 기반 표현 기법으로는 비음수 행렬 분해(non-negative matrix factorization, NMF)과 비음수 텐서 분해(non-negative tensor factorization, NTF) 기법이 있다.
	대표적인 선형 변환 방식은 무엇인 있는가?	선형 변환 방식은 대부분 고차원의 데이터를 저차원의 데이터로 줄이는 방식을 사용함으로써 실시간성을 보장할 수 있다. 대표적인 선형 변환 방식으로는 데이터의 상관행렬(covariance matrix)에서 변동이 심한 방향을 찾아내는 주성분 분석(principal component analysis)[7], 학습 단계에서 클래스의 구분에 중점을 두는 선형 판별식 분석(linear discriminant analysis)[8], 통계적 독립성을 이용하여 독립적인 성분만을 추출하는 독립 성분 분석(independent component analysis)[9] 등이 있다. 그러나 기존의 대표적인 선형 변환 방식들은 영상의 전체적인 모습을 대상으로 특징을 추출하기 때문에 물체의 모습이 가려지는 경우 인식 성능의 저하를 초래하게 된다.

참고문헌 (23)

Z. Sun, "On-Road Vehicle Detection: A Review," IEEE Trans. Pattern Analysis and Machine Intelligence, vol.28, no.9, pp.694-711, 2006.

상세보기
D. Balcones et al., Real-time Vision-Based Vehicle Detection for Rear-End Collision Mitigation Systems," LNCS 5717, pp. 320-325, 2009.
N. Srinivasa, "A Vision-Based Vehicle Detection and Tracking Method for Forward Collision Warning," IEEE Intelligent Vehicle Symp., pp.626-631, 2002.
Joel C. McCall and Mohan M. Trivedi, "Video- Based Lane Estimation and Tracking for Driver Assistance: Survey, System, and Evaluation," IEEE Trans. on Intelligent Transportation Systems, Vol. 7, No. 1, pp. 20-37, March 2006.

상세보기
Wei Liu, XueZhi Wen, Bobo Duan, Huai Yuan and Nan Wang, "Rear Vehicle Detection and Tracking for Lane Change Assist," 2007 IEEE Intelligent Vehicle Symposium, Istanbul, Turkey, pp. 252-257, June 2007.
P. Kelly, N. E. O'Cornnor and A. F. Smeaton, "A Framework for Evaluating Stereo-Based Pedestrian Detection Techniques," IEEE Trans. on Circuits and Systems for Video Technology, Vol. 18, No. 8, pp. 1163-1167, Aug. 2008.

상세보기
J. Wu and X. Zhang, "A PCA Classifier and Its Application in Vehicle Detection," IEEE Int'l Joint Conf. Neural Networks, 2001.
S. Mika, "Fisher discriminant analysis with kernels," IEEE Conference on Neural Networks for Signal Processing IX, pp.41-48, 1999.
A. Hyvarinen, "Fast and Robust Fixed-Point Algorithm for Independent Component Analysis," IEEE Trans. Neural Networks, vol.10, no.3, pp. 626-634, 1999.

상세보기
D. D. Lee and H. S. Seung, "Learning the Parts of Objects by Non-negative Matrix Factorization," Nature, vol. 401, pp.788-791, 1999.

상세보기
A. Shashua and T. Hazan, "Non-negative Tensor Factorization with Applications to Statistics and Computer Vision," International Conference on Machine Learning, Bonn, Germany, 2005.
D. D. Lee and H. S. Seung, "Algorithms for Non-negative Matrix Factorization," Advances in Neural Information Processing Systems, Vol. 13, pp. 556-562, MIT Press, 2001.
S. Z. Li, X. W. Hou, H. J. Zhang and Q. S. Cheng, "Learning spatially localized part-based representation," IEEE Int. Conference on Computer Vision Pattern Recognition, Kauai, Hawaii, pp. 207-212, 2001.
M. Hwang and H. Kang, "A Vehicle Recognition Using Part-based Representations," LNEE 235, pp. 309-316, 2013. 6.
Y. C. Cho and S. Choi, "Nonnegative features of spectro-temporal sounds for classification," Pattern Recognition Letters, vol. 26, no. 9, pp.1327-1336, 2005.

상세보기
P. O. Hoyer, "Non-negative matrix factorization with sparseness constraints," The Journal of Machine Learning Research, vol.5, pp.1457-1469, 2004.
Seungjin Choi, "Algorithms for Orthogonal Nonnegative Matrix Factorization," IEEE Int. Joint Conference on Neural Networks, Hong Kong, pp. 1828-1832, 2008. 6.
D. Zhang, S. Chen and Z. Zhou, "Two-Dimensional Non-negative Matrix Factorization for Face Representation and Recognition," LNCS 3723, pp.350-363, 2005.
L. de Lathauwer, B. de Moor, and J. Vandewalle, "A Multilinear Singular Value Decomposition," SIAM J. Matrix Anal. appl., vol.21, no.4, pp.1253-1278, 2000.

상세보기
R. A. Harshman, "Foundations of PARAFAC Procedure: Models and Conditions for an Exploratory. Multi-modal Factor Analysis," UCLA Working Papers in Phonetics, 1970.
M. K. Gullu, E. Yaman, and S. Erturk, "Image sequence stabilization using fuzzy adaptive Kalman filtering," Electronic Letters., vol.39, no.5, pp. 429-431, Mar. 6, 2003.

상세보기
KITTI Vision Benchmark, http://www.cvlibs.net/, 2010.
T. G. Kolda and Brett W. Bader, "Tensor Decompositions and Applications," SIAM Review, Vol. 51, No.3, pp.455-500, 2009.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증