[논문]동영상에서 보행자 추적을 위한 변형된 HOG 특징 추출에 관한 연구

김회준; 박영수; 김기봉; 이상훈

doi:10.15207/jkcs.2019.10.3.039

동영상에서 보행자 추적을 위한 변형된 HOG 특징 추출에 관한 연구
Modified HOG Feature Extraction for Pedestrian Tracking 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.10 no.3, 2019년, pp.39 - 47

김회준 (광운대학교 플라즈마바이오디스플레이학과) , 박영수 (광운대학교 인제니움학부대학) , 김기봉 (대전보건대학 컴퓨터정보학과) , 이상훈 (광운대학교 인제니움학부대학)

초록
AI-Helper

본 논문에서는 실시간으로 보행자를 추적할 때 배경 제거를 이용하여 변형된 HOG(Histogram of Oriented Gradients) 특징 추출을 제안하였다. 기존의 HOG 특징 추출은 연산량이 많아 추적 속도가 느린 문제가 있다. 배경 제거를 통해 연산량 감소와 추적률을 향상시키기 위해 연구하였다. 불필요한 영역에서의 특징 추출을 감소시키기 위해 HSV 색공간에서 S 채널과 V 채널을 이용하여 영역 제거를 진행하였다. 영상의 평균 S 채널과 V 채널로 배경 제거 후 입력 영상이 전체적으로 어두워 객체 추적에 실패하는 경우가 있다. 이러한 경우를 방지하기 위해 히스토그램 평활화를 하였다. 제거된 영역에서 추출되는 HOG 특징이 감소되고, 객체에서는 명확한 HOG 특징이 추출되어 객체 추적 속도와 추적률이 향상되었다. 본 실험에서는 다수의 보행자나 한명의 보행자가 존재하는 영상, 배경이 복잡한 영상, 흔들림이 심한 영상을 가지고 실험하였다. 제안하는 방법은 기존의 HOG-SVM 방법과 비교하여 처리 속도는 약 41.84% 향상되었으며 오 추적률은 약 52.29% 감소되어 개선된 추적률을 보였다.

Abstract ▼ AI-Helper

In this paper, we proposed extracting modified Histogram of Oriented Gradients (HOG) features using background removal when tracking pedestrians in real time. HOG feature extraction has a problem of slow processing speed due to large computation amount. Background removal has been studied to improve computation reductions and tracking rate. Area removal was carried out using S and V channels in HSV color space to reduce feature extraction in unnecessary areas. The average S and V channels of the video were removed and the input video was totally dark, so that the object tracking may fail. Histogram equalization was performed to prevent this case. HOG features extracted from the removed region are reduced, and processing speed and tracking rates were improved by extracting clear HOG features. In this experiment, we experimented with videos with a large number of pedestrians or one pedestrian, complicated videos with backgrounds, and videos with severe tremors. Compared with the existing HOG-SVM method, the proposed method improved the processing speed by 41.84% and the error rate was reduced by 52.29%.

주제어

표/그림 (18)

그림 Fig. 1. HSV Color Coordinate (a) HSV Cylinder (b) HSV Cone
그림 Fig. 2. Image of gradient direction (a) Original Image (b) Gradient direction
그림 Fig. 3. Margin and Support Vector
그림 Fig. 4. Flowchart of the Proposed Method
그림 Fig. 5. Remove Background(HSV) (a) Original Video (b) Remove background
그림 Fig. 6. Difficult to Distinguish between Objects (a) Remove Background Video (b) Indistinguishable Objects
그림 Fig. 7. Remove Background and Equalization (a) Gray Video and Histogram (b) Equalization Video and Histogram
그림 Fig. 8. Distinct objects of equalization (a) Equalization Video (b) Distinct Objects
그림 Fig. 9. HOG Feature Video (a) HOG Feature of Original Video (b) HOG Feature of Proposed Method
그림 Fig. 10. HOG-SVM Tracking Result (a) HOG Feature Video (b) SVM Tracking Video
그림 Fig. 11. Experiment Results 1 (Walking1) (a) Original Video (b) HOG-SVM Tracking (c) Proposed Method Tracking
그림 Fig. 12. Experiment Results 2 (Jogging2) (a) Original Video(b) HOG-SVM Tracking (c) Proposed Method Tracking
그림 Fig. 13. Experiment Results 3 (Walking2) (a) Original Video(b) HOG-SVM Tracking (c) Proposed Method Tracking
그림 Fig. 14. Experiment Results 4 (Human8, Couple) (a) Original Video (b) HOG-SVM Tracking (c) Proposed Method Tracking
그림 Fig. 15. Experiment Results 5 (David3, Human2, 7) (a) Original Video (b) HOG-SVM Tracking (c) Proposed Method Tracking
그림 Fig. 16. Experiment Results 6 (Human9) (a) Original Video (b) HOG-SVM Tracking (c) Proposed Method Tracking
표 Table 1. Tracking Processing Speed (FPS, ms)
표 Table 2. Average for Consecutive Error Tracking Frame

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 객체 추적을 위해 HOG 특징이 추출될 때 다양한 기울기의 방향성과 크기를 감소시켜 연산 처리 속도의 향상과 객체 추적률 향상을 연구하였다. 불필요한 영역에서의 특징 추출을 감소시키기 위해 HSV 색공간에서 S 채널과 V 채널을 이용하여 영역 제거를 진행하였다.
본 논문에서는 기존의 HOG 특징에서 불필요한 배경 영역을 제거하여 특징 벡터를 감소시켜 연산량을 줄이고 검출률을 향상시키는 연구를 진행하였다.
Table 2는 기존의 HOG-SVM 객체 추적 방법과 제안하는 방법을 통한 HOG-SVM 방법의 연속 오 추적 프레임의 평균 길이를 결과 비교한 표이다. 영상에서 객체 추적을 진행할 때 연속되는 추적 실패 프레임의 수를 감소시켜 향상된 추적 성능을 나타내기 위한 표이다. 연속되는 오 추적 프레임 수가 감소되면 대상 객체에 대한 명확한 특징 정보가 보존되고 있음을 나타낸다.

제안 방법

영역 제거를 하기 위해 영상에서 HSV 색공간에서 보통 배경과 객체는 대비되는 S 채널과 V 채널을 갖는 특징을 이용하였다. RGB to HSV 변환을 적용[15]하고 영상 전체의 S 채널과 V 채널을 이용하여 영역을 제거하였다. 제거된 영상에서 원 영상이 전체적으로 어두워 객체 구별하기 어려운 경우가 있기 때문에 히스토그램 평활화를 하였다.
배경과 보행자는 HSV 색공간에서 각각 다른 S 채널과 V 채널을 갖는다. S 채널과 V 채널을 이용하여 배경과 보행자를 분리하기 위해 RGB to HSV 변환하였다. 변환된 영상에서 S 채널과 V 채널이 주변과 대비되는 부분을 기준으로 불필요한 영역의 픽셀 값을 0으로 처리하여 배경을 제거하였다.
본 논문에서는 OpenCV와 OTB-2015에서 제공하는 보행자 영상으로 실험을 하였다. 각각의 영상들은 다수의 보행자가 존재하는 영상과 한명의 보행자가 존재하는 영상, 주변 배경이 복잡한 영상, 흔들림이 심하거나 보행자의 뒷모습이 촬영된 영상으로 실험하였다.
히스토그램 평활화는 영상에서 각 명암의 빈도는 변경하지 않고, 누적 빈도수를 계산한다. 계산된 누적 빈도수를 정규화하여 평활화를 하였다. Fig.
입력 영상에서 각 픽셀의 변화량의 각도와 크기를 고려하여 히스토그램 형태의 특징을 추출하는 방법이다. 대상 영역을 일정 크기의 셀로 분할하고, 각 픽셀마다 기울기를 계산하여 각 기울기에 대한 히스토그램을 구한다. HOG 특징은 히스토그램으로 구성되어 기하학적 변화에 강한 특징을 갖는다.
본 논문에서 제안하는 보행자 추적 방법은 HOG 알고리즘을 통해 특징을 추출하기 전 단계에서 진행된다. 먼저 배경 영역을 제거하기 위해 RGB to HSV 변환을 적용하였다. 원 영상이 어두운 경우에 영역 제거된 영상에서 히스토그램 평활화를 하였다.
원 영상이 어두운 경우에 영역 제거된 영상에서 히스토그램 평활화를 하였다. 밝기 문제가 해결된 영상에 HOG 알고리즘을 진행하여 특징을 추출한 후 SVM 분류기로 보행자를 추적하였다. Fig.
S 채널과 V 채널을 이용하여 배경과 보행자를 분리하기 위해 RGB to HSV 변환하였다. 변환된 영상에서 S 채널과 V 채널이 주변과 대비되는 부분을 기준으로 불필요한 영역의 픽셀 값을 0으로 처리하여 배경을 제거하였다. 기준으로 잡은 S 채널과 V 채널은 영상 전체의 평균 S 채널과 V 채널을 사용하였다.
10은 생성된 HOG 특징에 대해 SVM 분류기를 적용하여 보행자 추적된 결과 영상이다. 보행자와 배경의 특징은 서로 다른 군집을 이룬다는 특징을 이용하여 구분하였다.
본 논문에서 제안하는 보행자 추적 방법은 HOG 알고리즘을 통해 특징을 추출하기 전 단계에서 진행된다. 먼저 배경 영역을 제거하기 위해 RGB to HSV 변환을 적용하였다.
본 논문에서는 객체 추적을 위해 HOG 특징이 추출될 때 다양한 기울기의 방향성과 크기를 감소시켜 연산 처리 속도의 향상과 객체 추적률 향상을 연구하였다. 불필요한 영역에서의 특징 추출을 감소시키기 위해 HSV 색공간에서 S 채널과 V 채널을 이용하여 영역 제거를 진행하였다. 배경 제거에는 입력 영상의 평균 S 채널과 V 채널을 이용하였다.
영역 제거를 하기 위해 영상에서 HSV 색공간에서 보통 배경과 객체는 대비되는 S 채널과 V 채널을 갖는 특징을 이용하였다. RGB to HSV 변환을 적용[15]하고 영상 전체의 S 채널과 V 채널을 이용하여 영역을 제거하였다.
원 영상이 전체적으로 어두워 객체 추적에 실패하는 경우를 방지하기 위해 히스토그램 평활화를 진행하였다. 처리된 영상에 HOG 특징을 추출하여 SVM 분류기로 객체 추적을 하였다.
배경 제거 후 원 영상이 전체적으로 어두워 보행자 추적에 실패하는 경우가 있다. 이러한 경우를 방지하기 위해 배경 제거 후 히스토그램 평활화를 하였다.
원 영상에서 특징을 추출하기 위해 HOG 알고리즘을 진행하면 불필요한 영역에 다양한 방향성과 크기를 가진 특징 벡터가 존재하여 연산량이 많아진다. 이러한 특징 벡터를 감소시켜 연산량을 줄이기 위해 배경 영역을 제거하였다.
RGB to HSV 변환을 적용[15]하고 영상 전체의 S 채널과 V 채널을 이용하여 영역을 제거하였다. 제거된 영상에서 원 영상이 전체적으로 어두워 객체 구별하기 어려운 경우가 있기 때문에 히스토그램 평활화를 하였다. 처리된 영상에 HOG 특징을 얻고 보행자를 구분하기 위해 SVM 분류기를 적용하여 보행자 추적을 진행하는 방법이다.
제안하는 방법에서는 생성된 HOG 특징에 보행자 객체 추적하기 위해 보행자 특징 벡터가 학습되어 있는 선형분류기 SVM을 사용하였다. 보행자를 인식하기 위해 구성된 학습 데이터인 Daimler Data set[19]을 이용하였다.
기존의 방법은 보행자가 그림자에 의해 어두워지거나 주변 배경이 복잡하여 객체 추적에 실패하였다. 제안하는 방법으로 어두운 경우를 해결하고 배경 제거를 하여 개서된 추적 결과와 처리 속도를 나타내었다.
원 영상이 전체적으로 어두워 객체 추적에 실패하는 경우를 방지하기 위해 히스토그램 평활화를 진행하였다. 처리된 영상에 HOG 특징을 추출하여 SVM 분류기로 객체 추적을 하였다. 오 추적 프레임 수가 감소되어 개선된 추적률을 보였다.
추출된 특징의 방향성과 크기를 비교하기 위해 영상의 일부 영역을 확대하였다. Fig.
평활화 처리된 영상에서 HOG 특징을 추출하기 위해 8 × 8 크기의 필터가 슬라이딩하며 각 픽셀마다 기울기 방향을 구하였다.

대상 데이터

제안하는 방법에서는 생성된 HOG 특징에 보행자 객체 추적하기 위해 보행자 특징 벡터가 학습되어 있는 선형분류기 SVM을 사용하였다. 보행자를 인식하기 위해 구성된 학습 데이터인 Daimler Data set[19]을 이용하였다.
본 논문에서는 OpenCV와 OTB-2015에서 제공하는 보행자 영상으로 실험을 하였다. 각각의 영상들은 다수의 보행자가 존재하는 영상과 한명의 보행자가 존재하는 영상, 주변 배경이 복잡한 영상, 흔들림이 심하거나 보행자의 뒷모습이 촬영된 영상으로 실험하였다.

데이터처리

기존의 HOG-SVM 방법과 제안하는 HOG 특징 추출 방법을 비교 분석하였다. 제안하는 방법이 기존의 방법보다 추적률과 처리 속도가 향상된 것이 확인되었다.

성능/효과

제안하는 방법을 통해 불필요한 영역에서의 특징이 감소되어 개선된 객체 추적 속도를 보였다. 기존의 객체 추적 방법보다 제안하는 방법의 초 당 처리되는 프레임 수가 평균 약 68.79% 향상되었다. 프레임 당 처리 시간은 평균 약 41.
16도 마찬가지로 배경이 복잡하고 화면 흔들림이 있는 영상에서 객체 추적을 진행한 영상이다. 기존의 방법보다 제안하는 방법이 개선된 처리 속도를 보였지만 주변의 배경이 완전히 제거되지 않고, 주변 배경에서 사람과 비슷한 특징이 추출되어 오 검출이 발생하였다.
배경 제거에는 입력 영상의 평균 S 채널과 V 채널을 이용하였다. 배경영역에서의 기울기의 방향성과 크기가 감소되어 처리 속도가 향상되었다.
본 논문에서는 다수의 보행자와 복잡한 배경, 화면의 흔들림 등 다양한 환경에서의 객체 추적 결과가 개선되었고 연산 처리 속도 또한 향상되었다.
9의 (a)는 기존의 HOG 특징을 생성한 영상이고, (b)는 제안하는 HOG 특징 추출을 통해 생성된 HOG 특징이다. 제안하는 방법으로 배경 영역에서 다양한 기울기 방향성과 크기가 감소된 것을 보였다.
기존의 방법은 배경이 복잡하고 흔들림이 심해 객체 추적에 실패하는 결과를 보였다. 제안하는 방법을 통해 복잡한 배경을 제거하였고 방향성이 적은 특징을 추출하여 화면 흔들림에도 개선된 객체 추적 결과를 나타내었다.
제안하는 방법을 통해 불필요한 영역에서의 특징이 감소되어 개선된 객체 추적 속도를 보였다. 기존의 객체 추적 방법보다 제안하는 방법의 초 당 처리되는 프레임 수가 평균 약 68.
기존의 방법은 다중 객체나 복잡한 배경에서 객체 추적에 빈번히 실패하였다. 제안하는 방법을 통해 영역 제거와 평활화로 복잡한 배경이 제거되고 객체 구분이 명확하게 되어 연속 오 추적률이 평균 약 52.29% 감소되어 개선된 결과를 보였다.
기존의 방법은 보행자 주변 배경에 다양한 HOG 특징이 추출되어 객체 추적에 빈번히 실패하였다. 제안하는 방법을 통해 주변 배경을 제거되어 개선된 객체 추적 결과를 보였다.
기존의 HOG-SVM 방법과 제안하는 HOG 특징 추출 방법을 비교 분석하였다. 제안하는 방법이 기존의 방법보다 추적률과 처리 속도가 향상된 것이 확인되었다.
8은 보행자 객체 구별이 어려운 경우가 해결된 영상이다. 처리된 영상에 HOG 특징을 추출하면 배경 제거된 영역에서는 HOG 특징인 기울기 방향성이 작고, 보행자 영역에서는 기울기 방향성이 크게 추출되었다.

후속연구

향후 연구 방향으로는 배경 전체의 제거와 객체 추적률을 향상시키는 연구가 필요하다. 또한 HOG 특징 추출을 기반으로 하는 연구에 응용될 수 있다.
제안하는 방법은 배경을 S 및 V 채널을 이용하여 제거를 진행하기 때문에 완전히 제거되지 않아 오 추적이 발생하는 경우가 있다. 향후 연구 방향으로는 배경 전체의 제거와 객체 추적률을 향상시키는 연구가 필요하다. 또한 HOG 특징 추출을 기반으로 하는 연구에 응용될 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	HSV은 무엇인가?	HSV 색공간은 색을 표현하는 하나의 방법이며 색상 (Hue), 채도(Saturation), 명도(Value)의 좌표를 사용하여 특정 색을 지정한다. 색상 값 Hue는 가시광선 스펙트럼을 고리모양으로 배치한 상태에서 가장 파장이 긴 빨간 색을 0°로 하였을 경우의 상대적인 배치 각도를 나타낸다.
	보행자 추적의 역할 분야는?	보행자 추적은 동작 인식, 비디오 감시, 교통 제어, 사람과 컴퓨터 상호 작용과 같은 다양한 분야에서 중요한 역할을 한다[1]. 또한 문자 인식, 얼굴 인식 등 다양한 분야에서 추적이 가능하다[2-4].
	HOG-SVM의 문제점은?	기존의 HOG-SVM[13,14] 보행자 검출 알고리즘은 높은 검출 성능을 보여준다. 그러나 특징량이 입력 영상의 크기에 따라 정해지고 불필요한 영역에서의 특징들이 존재하여 연산량이 많아 처리 속도가 느리고, 검출률이 저하되는 문제점이 있다.

참고문헌 (19)

H. Song, Y. Zheng & K. Zhang. (2016). Robust visual tracking via self-similarity learning. Electronics Letters, 53(1), 20-22. DOI : 10.1049/el.2016.3011
J. Y. Kim. (2015). Method on Detection Specific Region Using License Plate Edge Feature In Car Image. Master dissertation. Kwangwoon University, Seoul.
J. H. Park. (2017). Improved face detection algorithm using color distribution and shape characteristics. Master dissertation. Kwangwoon University, seoul.
S. K. Pyo, G. S. Lee, Y. S. Park, S. H. Lee. (2018). A license plate detection method based on contour extraction that adapts to environmental changes. Journal of the Korea Convergence Society, 9(9), 31-39.
M. Cen & C. Jung. (2017). Complex Form of Local Orientation Plane for Visual Object Tracking. IEEE Access, 5, 21597-21604. DOI : 10.1109/ACCESS.2017.2756699

상세보기
L. Lan, X. Wang, S. Zhang, D. Tao, W. Gao & T. S. Huang. (2018). Interacting Tracklets for Multi-Object Tracking. IEEE Transactions on Image Processing. 27(9). 4585-4597 DOI : 10.1109/TIP.2018.2843129

상세보기
R. Yu, I.. Cheng, B. Zhu, S. Bedmutha & A. Basu. (2018). Adaptive Resolution Optimization and Tracklet Reliability Assessment for Efficient Multi-Object Tracking. IEEE Transactions on Circuits and Systems for Video Technology. 28(7). 1623-1633. DOI : 10.1109/TCSVT.2017.2668278

상세보기
Q. Xie, O. Remil, Y. Guo, M. Wang, M. Wei & J. Wang. (2018). Object Detection and Tracking Under Occlusion for Object-Level RGB-D Video Segmentation. IEEE Transactions on Multimedia. 20(3). 580-592. DOI : 10.1109/TMM.2017.2751965

상세보기
T. H. Yoo, G. S. Lee & S. H. Lee. (2012). Window Production Method based on Low-Frequency Detection for Automatic Object Extraction of GrabCut. Journal of Digital Convergence, 10(8), 211-217
H. H. Han, G. S. Lee, J. Y. Lee & S. H. Lee. (2012). Region Segmentation Technique Based on Active Contour for Object Segmentation, Journal of Digital Convergence, 10(3), 167-172.
J. C. Han, B. C. Koo & K. J. Cheoi. (2017). Obstacle Detection and Recognition System for Autonomous Driving Vehicle. Journal of Convergence for Information Technology, 7(6), 229-235. DOI : 10.22156/CS4SMB.2017.7.6.229
M. K. Kwon & H. S. Yang. (2017). A scene search method based on principal character identification using convolutional neural network. Journal of Convergence for Information Technology, 7(2), 31-36. DOI : 10.22156/CS4SMB.2017.7.2.031
A. H. Ahmed, K. Kpalma & A. O. Guedi. (2017, December). Human Detection Using HOG-SVM, Mixture of Gaussian and Background Contours Subtraction. In 2017 13th International Conference on Signal-Image Technology & Internet-Based Systems (SITIS) (pp. 334-338). IEEE.
B. Meus, T. Kryjak & M. Gorgon. (2017, September). Embedded vision system for pedestrian detection based on HOG+SVM and use of motion information implemented in Zynq heterogeneous device. In Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA), (pp. 406-411). IEEE.
J. H. Kim. (2015). A Study on Tracking in Video Using Modified Particle Filter. Master dissertation. Kwangwoon University, Seoul.
N. Dalal & B. Triggs. (2005, June). Histograms of oriented gradients for human detection. In Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on (Vol. 1, pp. 886-893). IEEE.
C. Cortes, & V. Vapnik. (1995). Support-vector networks. Machine learning, 20(3), 273-297.

상세보기
J. H. Baek, J. S. Kim & E. T. Kim. (2014, May). Pedestrian detection with NIR sensor-based HOG-SVM. Institude of Control, Robotics and Systems. (pp. 650-651).
Daimler Mono Ped. Detection Benchmark Data set. http://www.gavrila.net

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증