[논문]HOG 알고리즘과 CNN을 이용한 객체 검출 시스템에 관한 연구

박병준; 김현식

doi:10.17662/ksdim.2024.20.3.013

[국내논문] HOG 알고리즘과 CNN을 이용한 객체 검출 시스템에 관한 연구
Research on Objects Tracking System using HOG Algorithm and CNN

디지털산업정보학회논문지 = Journal of the Korea Society of Digital Industry and Information Management, v.20 no.3, 2024년, pp.13 - 23

박병준 (서일대학교 소프트웨어공학과) , 김현식 (서일대학교 소프트웨어공학과)

Abstract ▼ AI-Helper

For the purpose of predicting credit card customer churn accurately through data analysis Detecting and tracking objects in continuous video is essential in self-driving cars, security and surveillance systems, sports analytics, medical image processing, and more. Correlation tracking methods such as Normalized Cross Correlation(NCC) and Sum of Absolute Differences(SAD) are used as an effective way to measure the similarity between two images. NCC, a representative correlation tracking method, has been useful in real-time environments because it is relatively simple to compute and effective. However, correlation tracking methods are sensitive to rotation and size changes of objects, making them difficult to apply to real-time changing videos. To overcome these limitations, this paper proposes an object tracking method using the Histogram of Oriented Gradients(HOG) feature to effectively obtain object data and the Convolution Neural Network(CNN) algorithm. By using the two algorithms, the shape and structure of the object can be effectively represented and learned, resulting in more reliable and accurate object tracking. In this paper, the performance of the proposed method is verified through experiments and its superiority is demonstrated.

Keyword

표/그림 (10)

그림 <그림 1> 객체 추적 영상 이미지 (위 : 영상 A, 아래 : 영상 B)
그림 <그림 2> 움직임 검출 이미지 (위 : 영상 A, 아래 : 영상 B)
그림 <그림 3> 잔여 노이즈 객체가 있는 이미지 (위 : 영상 A, 아래 : 영상 B)
그림 <그림 4> 노이즈 제거 후 객체 이미지
그림 <그림 5> 시스템 구조
표 <표 1> 알고리즘 별 계산 속도
그림 <그림 6> 영상 A에 대한 객체 추적 결과
그림 <그림 7> 영상 B에 대한 객체 추적 결과
표 <표 2> 개별 데이터별 객체 인식 정확도
그림 <그림 8> 객체 추적 실패 영상

AI 본문요약
AI-Helper

문제 정의

CNN 학습 과정에서 입력 데이터를 가지고 성능 분석을 진행하며 학습된 Model의 성능 향상 실험을 진행한다. 이를 통해서 본 논문에서 제시한 HOG + CNN Model 혼합 방식이 성능 향상에 미치는 영향을 알아본다[10].
측정 실험은 Intel i5 10400 CPU, Windows 10, Microsoft Visual Studio 2022를 이용하여 평가하였다. 이 실험은 기존의 영상 처리 방법과 제안하고 있는 알고리즘을 테스트하는 것을 목적으로 하였다. 특히, 관심 영역을 설정하여 전체 처리 시간을 실시간 처리에 맞게 단축하는 방법을 연구하였다.

제안 방법

본 논문에서는 이러한 문제점을 해결하고 영상인식의 효율을 높이기 위해서 비디오 시퀀스 내의 이전 프레임과 후속 프레임을 비교하여 시간 경과에 따른 배경 변화를 모니터링하여 불필요한 노이즈를 제거, 변화가 발생하는 영역 내에서 객체의 움직이는 영역을 식별한다. 즉 배경에서 객체의 변화를 추적하여 움직임의 상대적 움직임을 측정한다.
본 논문에서는 보다 효율적인 영상인식을 위해 연속적인 프레임 신호에서 선행 프레임과 후속 프레임의 데이터를 병치하여 고정 프레임 간에 전환되는 물체를 식별하고 배경의 변경 사항을 파악하여 객체와 배경을 구분할 수 있도록 한다. 이 과정을 통해 물체와 배경 간의 경계를 더 명확하게 구분할 수 있다.
이 과정에서 CNN 방식은 초기 동영상의 프레임 데이터를 입력으로 그대로 사용할 경우, 실시간 처리 자체가 불가능할 정도로 계산량이 많아지는 단점을 가지고 있다. 따라서 이러한 문제를 해결하기 위해 객체로부터 HOG 기능의 히스토그램 데이터를 수집한 후 이 데이터를 CNN 모델의 입력 데이터로 추출하는 프로세스를 거친다. CNN 학습 과정에서 입력 데이터를 가지고 성능 분석을 진행하며 학습된 Model의 성능 향상 실험을 진행한다.
이 실험은 기존의 영상 처리 방법과 제안하고 있는 알고리즘을 테스트하는 것을 목적으로 하였다. 특히, 관심 영역을 설정하여 전체 처리 시간을 실시간 처리에 맞게 단축하는 방법을 연구하였다.
실험 데이터에서 침식 확장 과정을 거친 후 이미지를 자세히 살펴보면 모든 노이즈 사례가 성공적으로 제거되지는 않았음을 알 수 있으며, 추가 관찰 결과 해당 물체와 관련된 픽셀 데이터가 손실된 것으로 나타났다. 본 연구에서는 이 잔존하는 노이즈 문제를 해결하기 위해 관심 영역에만 특수 가중치 값을 포함한 재계산 절차를 거치는 표적 접근법을 채택하였다. 제안된 방법론에서 나타나는 탐지 정확도의 저하는 기둥 근처에서 또는 지나가는 다른 사람들과의 상호 작용 중에 추가 계산이 갑자기 급증하는 경우에 기인할 수 있는 것으로 분석된다.
본 논문에서는 단순 차감법 알고리즘을 이용한 픽셀 기반 객체 추적의 단점인 객체가 변화 하였을 때 제대로 추적하지 못하는 문제를 해결하기 위해 움직임 가중치를 히스토그램으로 업데이트하며 다음 찾을 객체를 추적하였다. 그 결과 프레임별 객체 비교를 통해 물체 감지의 정확도를 크게 향상시켰으며, 프레임 간 데이터와 통합되므로 프로세스의 계산 효율성 또한 향상되었다.

대상 데이터

영상 추적은 움직임이 발생하였을 때 이미지 프레임 내에 등록된 객체의 데이터를 이용한다. 이 과정 전반에 걸쳐 물체의 움직임과 위치 이동에 대한 지속적인 경계가 유지되므로 정확한 객체 추적의 결과를 얻을 수 있다[1].
본 논문에서 사용한 학습의 기반이 되는 데이터는 Caltech Vision Lab의 보행자 데이터를 이용하였다[8]. 처리 속도를 높이기 위해, 컬러(RGB)로 이루어진 영상의 화소를 그레이 영상으로 변환 하였다.

성능/효과

이는 <표 1>에서 확인할 수 있는데, HOG 방법이 기존의 NCC(Normalized Cross Correlation) 방법에 비해 시간당 계산량(Calculation time)을 약 15% 증가시켰으나 객체 탐지율(Object Tracking Rate)의 경우 약 18% 높아 졌음을 확인할 수 있다
이와 달리, 본 논문에서 제안하고 있는 HOG와 CNN을 결합한 탐지 방식의 경우, 영상의 객체를 추적하여 평균값을 구한 결과 계산량이 증가하기는 하지만 실시간 탐지를 수행하는데 문제가 되지 않는 수준이며 오탐지가 최소화되며 객체 탐지율이 상당히 높아졌음을 <표 1>에서와 같이 실험을 통해 확인할 수 있었다
실험을 통해서 제안한 알고리즘이 두 가지 알고리즘을 겸행함으로써 기존의 영상 차감 알고리즘 객체 추적 방법에 비하여 연산량이 늘어나 연산 속도는 늦어졌지만 더 정밀하게 객체 추출 및 추적이 가능하다는 것을 확인하였다. 객체를 추적하는 과정에서 처리 속도는, 30프레임 이상으로 기존방식에 비해 연산과정이 많은 만큼 6∼7프레임 정도의 속도 저하가 있었다.
<표 2>는 실험 영상 별 개별 프레임에 따른 객체 인식 정확도를 나타내고 있으며 <그림 6>과 <그림 7>은 객체를 추적하여 인식하는 과정을 보여주고 있다[11]. 실험 결과를 살펴보면 영상 A의 경우, 가운데 기둥을 통과하면서 검출율이 약간 감소하지만 영상 B는 장애물이 없는 상태에서 초기 검출율이 거의 일정하게 유지되고 있음을 보여준다. 또한 두 영상 데이터 모두에서 보행자 검출 성능이 단일 이미지에 의존하는 기존 객체 검출 방식에 비해 상대적으로 높은 것을 확인할 수 있었다.
실험 결과를 살펴보면 영상 A의 경우, 가운데 기둥을 통과하면서 검출율이 약간 감소하지만 영상 B는 장애물이 없는 상태에서 초기 검출율이 거의 일정하게 유지되고 있음을 보여준다. 또한 두 영상 데이터 모두에서 보행자 검출 성능이 단일 이미지에 의존하는 기존 객체 검출 방식에 비해 상대적으로 높은 것을 확인할 수 있었다.
하지만 영상 B의 경우에는 별다른 장애물이 없기에 초기 감지율이 거의 일정하게 유지되고 있는 것을 볼 수 있다. 이를 통해서 단일 이미지를 사용하는 기존의 객체 검출 방식에 비해 보행자 검출 성능이 우수함을 확인하였다.
실험 데이터에서 침식 확장 과정을 거친 후 이미지를 자세히 살펴보면 모든 노이즈 사례가 성공적으로 제거되지는 않았음을 알 수 있으며, 추가 관찰 결과 해당 물체와 관련된 픽셀 데이터가 손실된 것으로 나타났다. 본 연구에서는 이 잔존하는 노이즈 문제를 해결하기 위해 관심 영역에만 특수 가중치 값을 포함한 재계산 절차를 거치는 표적 접근법을 채택하였다.
객체의 추적을 시작하기 전에 배경 이미지를 분리한 후 객체의 각 프레임을 기반으로 업데이트 및 분석하여 객체와 배경을 구별하는 기술은 객체 추적 시스템 초기 단계이며 필요한 객체를 보다 정밀하게 추적함으로써 모니터링 시스템의 정밀도를 높이는 데 매우 효과적이라는 것이 입증되었다. 본 연구에서는 단순한 추론 방법을 통해 배경을 업데이트하지 않는 픽셀 기반 업데이트 문제를 해결하기 위해 학습 목적의 데이터를 생성하였다.
본 연구에서는 단순한 추론 방법을 통해 배경을 업데이트하지 않는 픽셀 기반 업데이트 문제를 해결하기 위해 학습 목적의 데이터를 생성하였다. 그 결과 프레임별 객체 비교를 통해 객체 감지의 정확도가 크게 향상되었다. 각 정보가 배경 상태를 기반으로 하는 프레임 간 데이터와 통합되므로 프로세스의 계산 효율이 향상되었고 특히 배경 환경이 변화하는 관심 영역 내의 객체와 관심 없는 객체(노이즈)를 보다 정확하게 구분할 수 있었다.
그 결과 프레임별 객체 비교를 통해 객체 감지의 정확도가 크게 향상되었다. 각 정보가 배경 상태를 기반으로 하는 프레임 간 데이터와 통합되므로 프로세스의 계산 효율이 향상되었고 특히 배경 환경이 변화하는 관심 영역 내의 객체와 관심 없는 객체(노이즈)를 보다 정확하게 구분할 수 있었다. 빛과 객체의 변화와 같은 외부의 변화에 민감한 기존의 이미지에서의 객체를 추적하는 방법과 관련된 문제는 계층적 객체 감지, 업데이트 및 프레임 간 조사를 포함하는 객체 추적을 위한 전처리 단계를 통해 보다 효과적으로 완화할 수 있었다.
각 정보가 배경 상태를 기반으로 하는 프레임 간 데이터와 통합되므로 프로세스의 계산 효율이 향상되었고 특히 배경 환경이 변화하는 관심 영역 내의 객체와 관심 없는 객체(노이즈)를 보다 정확하게 구분할 수 있었다. 빛과 객체의 변화와 같은 외부의 변화에 민감한 기존의 이미지에서의 객체를 추적하는 방법과 관련된 문제는 계층적 객체 감지, 업데이트 및 프레임 간 조사를 포함하는 객체 추적을 위한 전처리 단계를 통해 보다 효과적으로 완화할 수 있었다.
본 논문에서는 단순 차감법 알고리즘을 이용한 픽셀 기반 객체 추적의 단점인 객체가 변화 하였을 때 제대로 추적하지 못하는 문제를 해결하기 위해 움직임 가중치를 히스토그램으로 업데이트하며 다음 찾을 객체를 추적하였다. 그 결과 프레임별 객체 비교를 통해 물체 감지의 정확도를 크게 향상시켰으며, 프레임 간 데이터와 통합되므로 프로세스의 계산 효율성 또한 향상되었다. 특히 환경이 변화하는 상태에서 관심 영역 내의 객체와 관심없는 노이즈를 보다 정확하게 구분할 수 있었다.
특히 환경이 변화하는 상태에서 관심 영역 내의 객체와 관심없는 노이즈를 보다 정확하게 구분할 수 있었다. 또한 CNN Model에 프레임 이미지를 그대로 데이터로 입력하면 이미지의 규모에 따라 학습 계산의 복잡성이 기하급수적으로 급증한다는 것을 알 수 있는데 HOG의 히스토그램 데이터를 학습 프로세스에 통합함으로써 CNN 모델에서 원 프레임의 이미지를 학습하는 것에 비해 계산 작업량이 실시간 처리를 할 수 있을 정도로 눈에 띄게 감소하였다. 이러한 감소는 학습 단계에서 계산에 필요한 양을 최소화 할 수 있기 때문이며 결과적으로 HOG 함수를 학습 데이터 생성에 활용하면 학습 부담을 줄이면서 실시간 데이터 분석 영역에 이용할 수준으로 크게 줄일 수 있다는 것을 확인할 수 있었다.
또한 CNN Model에 프레임 이미지를 그대로 데이터로 입력하면 이미지의 규모에 따라 학습 계산의 복잡성이 기하급수적으로 급증한다는 것을 알 수 있는데 HOG의 히스토그램 데이터를 학습 프로세스에 통합함으로써 CNN 모델에서 원 프레임의 이미지를 학습하는 것에 비해 계산 작업량이 실시간 처리를 할 수 있을 정도로 눈에 띄게 감소하였다. 이러한 감소는 학습 단계에서 계산에 필요한 양을 최소화 할 수 있기 때문이며 결과적으로 HOG 함수를 학습 데이터 생성에 활용하면 학습 부담을 줄이면서 실시간 데이터 분석 영역에 이용할 수준으로 크게 줄일 수 있다는 것을 확인할 수 있었다.
이러한 연구 결과는 앞으로 더 효율적이고 정밀한 객체 추적 시스템의 발전을 위한 기초 데이터로 활용될 수 있을 것으로 기대되며 소규모 시스템에서 보다 효율적인 시스템 개발을 가능하게 할 것이다. 본 논문은 정지영상이 아닌 동영상에서 전 처리를 진행하며 연속적으로 추적을 수행하기 때문에 기존 방법들에 비해서 시간 단위 연산이 증가하는 문제점이 발생하였다. 때문에 향후 연구에서는 알고리즘의 최적화 및 간소화를 통해 연산량을 줄이고 다양한 데이터와 보다 정밀한 알고리즘을 이용하는 방법에 대한 지속적인 연구를 수행할 예정이다.

후속연구

실시간 동작에서 이러한 연산 문제를 해결하려면 데이터 업데이트 시간을 줄이던지 하드웨어 상에서 멀티프로세싱 계산 또는 최적화 기능을 활용하여 타이밍 속도를 높이는 것이 매우 중요하다. 하지만 이러한 기술 발전에도 불구하고 업데이트 시간과 타이밍에 대한 지속적인 딜레마는 여전히 중요한 문제이므로 향후 지속적인 연구가 필요하다.
이러한 연구 결과는 앞으로 더 효율적이고 정밀한 객체 추적 시스템의 발전을 위한 기초 데이터로 활용될 수 있을 것으로 기대되며 소규모 시스템에서 보다 효율적인 시스템 개발을 가능하게 할 것이다. 본 논문은 정지영상이 아닌 동영상에서 전 처리를 진행하며 연속적으로 추적을 수행하기 때문에 기존 방법들에 비해서 시간 단위 연산이 증가하는 문제점이 발생하였다.
본 논문은 정지영상이 아닌 동영상에서 전 처리를 진행하며 연속적으로 추적을 수행하기 때문에 기존 방법들에 비해서 시간 단위 연산이 증가하는 문제점이 발생하였다. 때문에 향후 연구에서는 알고리즘의 최적화 및 간소화를 통해 연산량을 줄이고 다양한 데이터와 보다 정밀한 알고리즘을 이용하는 방법에 대한 지속적인 연구를 수행할 예정이다.

참고문헌 (12)

Feng Zhao, Qingming Huang and Wen Gao, "Image Matching by Normalized Cross-Correlation," IEEE International Conference on Communications, 2006, pp.729-732.
Miranto, S. R. Sulistiyanti and F. X. Arinto Setyawan, "Adaptive Background Subtraction for Monitoring System," International Conference Information Communication Technology, 2019, pp.153-156.
N.Dalal and B.Triggs, "Histograms of oriented gradients for human detection," Conference on Computer Vision and Pattern Recognition, Vol.2, June 2005, pp.886-893.
Y. Taigman, M. Yang, M. Ranzato, & L. Wolf, "DeepFace: Closing the Gap to Human-Level Performance in Face Verification," IEEE conference on computer vision and pattern recognition, 2014, pp.1701-1708.
J. G. Choe, J. H. Lee, D. G. Kang, and S. H. Seo, "Comparison and Verification of Deep Learning Models for Automatic Recognition of Pills," Journal of Digital Contents Society, Vol.21, no.3, Mar. 2020, pp.445-452.
H. J. Zhang, A. Kankanhalli, and S. W. Smoliar, "Automatic partitioning of full-motion video," ACM Multimedia Systems, Vol.1, 1993, pp.10-28.
H.B.Lu Y.J.Zhang, Y.R.Yao, "Robust Gradual Scene Change Detection," International Conference on Image Processing, Vol.3, 1999, pp.304-308.
Caltech Vision Lab, https://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/
D.S. Bolme, J.R. Beveridge, B.A. Draper, and Y.M. Lui, "Visual Object Tracking Using Adaptive Correlation Filters," IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2010, pp. 2544-2550.
J.F. Henriques, R. Caseiro, P. Martins, and J.Batista, "High-Speed Tracking with Kernelized Correlation Filters," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.37, 2015, pp.583-596.

상세보기
H. Nam and B. Han, "Learning Multi-Domain Convolutional Neural Networks for Visual Tracking," IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp.4293-4302.
Bo Zhang, W eifeng T ian and Zhihua Jin. "Joint tracking algorithm using particle filter and mean shift with target model updating," Chinese Optics Letters, Vol.4, 2006, pp.569-572.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증