[논문]교통신호제어를 위한 HOG 기반 보행자 검출 및 행동패턴 인식

양성민; 조강현

doi:10.5302/j.icros.2013.13.1858

교통신호제어를 위한 HOG 기반 보행자 검출 및 행동패턴 인식
HOG based Pedestrian Detection and Behavior Pattern Recognition for Traffic Signal Control 원문보기

제어·로봇·시스템학회 논문지 = Journal of institute of control, robotics and systems, v.19 no.11, 2013년, pp.1017 - 1021

Abstract ▼ AI-Helper

The traffic signal has been widely used in the transport system with a fixed time interval currently. This kind of setting time was determined based on experience for vehicles to generate a waiting time while allowing pedestrians crossing the street. However, this strict setting causes inefficient problems in terms of economic and safety crossing. In this research, we propose a monitoring algorithm to detect, track and check pedestrian crossing the crosswalk by the patterns of behavior. This monitoring system ensures the safety for pedestrian and keeps the traffic flow in efficient. In this algorithm, pedestrians are detected by using HOG feature which is robust to illumination changes in outdoor environment. According to a complex computation, the parallel process with the GPU as well as CPU is adopted for real-time processing. Therefore, pedestrians are tracked by the relationship of hue channel in image sequence according to the predefined pedestrian zone. Finally, the system checks the pedestrians' crossing on the crosswalk by its HOG based behavior patterns. In experiments, the parallel processing by both GPU and CPU was performed so that the result reaches 16 FPS (Frame Per Second). The accuracy of detection and tracking was 93.7% and 91.2%, respectively.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

제안된 방법을 구현한 시스템은 인텔 I5 CPU 750 및 GTX 550 Ti 그래픽카드를 사용하였으며, 영상의 크기는 540*960이고 입력 영상은 실시간으로 초당 25프레임이다. 본 논문에는 동일 보행자를 검출 및 추적하므로, 한 명 또는 여러 명의 보행자 검출 및 추적에 대해서 실험을 하였다. 그림 6은 횡단보도에서 한명, 두 명이 있을 경우에 대한 실험 결과 영상이다.
본 논문은 특징 검출 방법인 HOG와 특정 거리 및 색상의 상관계수를 이용한 도로의 횡단보도에 있는 보행자를 추출하고 추적하여 이의 행동패턴 검출하여 교통신호제어를 보다 효율적으로 수행하고자 하는 목표를 갖고 실험 연구를 보였다. 교통신호의 실시간 제어하기 위한 목표로 영상의 고속처리를 위해 CPU와 GPU를 쓴 병렬처리 시스템으로 구성하여 실시간 비전처리가 가능한 교통신호제어에 대한 연구 방법을 제안하였다.
본 연구는 비전센서를 이용하여 횡단보행자 검출 및 추적에 의한 결과를 바탕으로 교통신호등을 제어하는 시스템 구현을 제안한다. 카메라영상을 통해서 보행자를 검출하는 방법으로 Haar-like Feature 기반의 패턴 추출방법, 기울기의 방향성 즉, HOG (Histogram of Oriented Gradient) 및 LRF (Local Receptive Field), 그리고 배경 차연산 방법을 통한 방법 등이 주로 연구되고 있다[1-5].
본 연구에서는 기울기 방향 히스토그램(HOG)을 이용한 보행자 검출 방법을 제시한다. HOG는 다량의 특징벡터를 계산하기 때문에 연산량이 많고 그에 따른 실시간 동작에 어려운 단점을 가지고 있다.
보행자 검출 및 추적 모두 90% 이상의 정밀도를 보여주고 있으며, CPU와 GPU를 융합하여 실제 환경에 적용 가능한 처리속도를 보여준다. 이러한 결과는 실제 도로 환경에서 교통제어로 바로 적용하기 위한 기초적인 시스템 구현을 해보았다. 이는 본 논문에서 제시하는 시스템은 횡단보도 영역에서의 보행자의 안전과 원활한 차량의 흐름을 효율적으로 높이는 연구에 바탕이 되는 기초 연구로 사용할 수 있다.

제안 방법

계산된 변화에 대한 밝기영상분포의 크기 m의 변화와 방향 θ를 이용하여 8×8 픽셀 크기를 하나의 셀로 나타내고, 이 셀 내부의 밝기의 변화에 대한 방향에 대해 히스토그램을 작성한다.
본 논문은 특징 검출 방법인 HOG와 특정 거리 및 색상의 상관계수를 이용한 도로의 횡단보도에 있는 보행자를 추출하고 추적하여 이의 행동패턴 검출하여 교통신호제어를 보다 효율적으로 수행하고자 하는 목표를 갖고 실험 연구를 보였다. 교통신호의 실시간 제어하기 위한 목표로 영상의 고속처리를 위해 CPU와 GPU를 쓴 병렬처리 시스템으로 구성하여 실시간 비전처리가 가능한 교통신호제어에 대한 연구 방법을 제안하였다. 보행자 검출 및 추적 모두 90% 이상의 정밀도를 보여주고 있으며, CPU와 GPU를 융합하여 실제 환경에 적용 가능한 처리속도를 보여준다.
본 연구에서는 HOG 특징을 이용하여 외부환경에서 보행자를 검출하였다. 그 다음 보행자의 행동패턴을 정의 및 추적을 하고 보행자 횡단 유/무를 판단하는 알고리즘을 제시한다. 마지막으로 GPU 및 CPU를 병렬처리로 수행함으로써 실시간에 적합한 처리속도를 제안하였다.
또한 실험에서는 보행자 추출과 추적 실험을 하였다. 제안된 방법과 Haar-like feature를 이용하여 검출 및 추적 정밀도와 연산처리 결과를 비교하였다.
그 다음 보행자의 행동패턴을 정의 및 추적을 하고 보행자 횡단 유/무를 판단하는 알고리즘을 제시한다. 마지막으로 GPU 및 CPU를 병렬처리로 수행함으로써 실시간에 적합한 처리속도를 제안하였다. II 장에서는 HOG를 이용한 보행자 검출 및 추적에 대해 설명하고, III 장에서는 보행자 행동패턴을 이용한 횡단 유/무 판단과 GPU와 CPU를 이용한 병렬처리 과정에 대해 설명한다.
표 2. 보행자 추적에 대한 추적 정밀도 비교.
본 연구에서는 HOG 특징을 이용하여 외부환경에서 보행자를 검출하였다. 그 다음 보행자의 행동패턴을 정의 및 추적을 하고 보행자 횡단 유/무를 판단하는 알고리즘을 제시한다.
여기서 작성된 방향성분은 0~360°를 0°~+180° 기준으로 하여 나타내었으며, 매 20°씩 9개의 방향에 대한 히스토그램을 작성하였다.
그림 6은 횡단보도에서 한명, 두 명이 있을 경우에 대한 실험 결과 영상이다. 일반적으로 횡단보도를 횡단하는 보행자는 다수이지만, 본 논문에서는 한명과 두 명을 대상으로 보행자 검출 및 추적 실험을 실시하였다. 그림 6에서는 전형적으로 보행자가 한 명인 경우와 여러 명(두 명의 경우)의 동일한 횡단보도에서 투영되는 상황을 보이고 있으며 주황색의 보도영역, 노란색의 대기영역에 대한 보행자의 검출 및 추적의 실험결과 영상을 보이고 있다.
제안한 알고리즘의 성능을 평가하기 위해 울산대학교 캠퍼스내의 횡단보도에서, 한 명의 보행자와 다수의 보행자를 구성하여 실험을 실시하였다. 제안된 방법을 구현한 시스템은 인텔 I5 CPU 750 및 GTX 550 Ti 그래픽카드를 사용하였으며, 영상의 크기는 540*960이고 입력 영상은 실시간으로 초당 25프레임이다.
따라서 교통 환경에 대한 불필요한 차량 대기시간에 대한 조사가 필요하였다. 조사결과 울산광역시내 2차선에서 4차선까지 각각 10개의 횡단보도의 신호시스템에서 보행자 교통신호시간 및 보행자신호에 따른 보행자 유/무의 조사를 실시하였다. 조사한 결과 2차선에서 4차선까지 보행자 신호가 시간당 평균 20회, 18회, 16회를 보였다.
SVM을 이용하여 학습 데이터를 작성하기 위해 900개의 보행자 영상과 1800개의 보행자가 없는 영상을 사용하였으며 이는 MIT [8]와 INRIA [9]가 제공하는 데이터 집합을 사용하였다. 학습된 데이터를 이용하여 입력영상으로부터 보행자를 검출한다.
횡단보도 영역에서 차량의 원활한 교통 흐름을 위해 보행자의 행동패턴 정의를 통한 횡단 여부를 판단한다. 일반적인 보행자의 경우 횡단보도를 횡단하기 위해 보도영역 바깥의 대기영역과 같은 일정 공간에서 반대편의 신호등의 신호를 보며 대기한다.

대상 데이터

이렇게 얻어진 특징벡터 집합은 Linear SVM (Support Vector Machine)을 이용하여 보행자와 비보행자로 나누어 학습을 시킨다[7]. SVM을 이용하여 학습 데이터를 작성하기 위해 900개의 보행자 영상과 1800개의 보행자가 없는 영상을 사용하였으며 이는 MIT [8]와 INRIA [9]가 제공하는 데이터 집합을 사용하였다. 학습된 데이터를 이용하여 입력영상으로부터 보행자를 검출한다.
이는 부분적인 조명의 차이, 각종 영상 잡음의 영향을 줄이기 위함이다[4,6]. 본 논문에서는 84개의 블록을 생성하였다. i행 j열의 셀(i,j )의 특징량(9차원)을 F_{i, j} = [f₁,f₂ ⋯ f₉]로 나타낸다.
제안한 알고리즘의 성능을 평가하기 위해 울산대학교 캠퍼스내의 횡단보도에서, 한 명의 보행자와 다수의 보행자를 구성하여 실험을 실시하였다. 제안된 방법을 구현한 시스템은 인텔 I5 CPU 750 및 GTX 550 Ti 그래픽카드를 사용하였으며, 영상의 크기는 540*960이고 입력 영상은 실시간으로 초당 25프레임이다. 본 논문에는 동일 보행자를 검출 및 추적하므로, 한 명 또는 여러 명의 보행자 검출 및 추적에 대해서 실험을 하였다.

데이터처리

또한 실험에서는 보행자 추출과 추적 실험을 하였다. 제안된 방법과 Haar-like feature를 이용하여 검출 및 추적 정밀도와 연산처리 결과를 비교하였다. 그림 7은 각 방법에 대한 검출결과를 비교한 영상이다.
표 3. 제안한 방법에 대한 연산 처리 속도 비교.

성능/효과

교통신호의 실시간 제어하기 위한 목표로 영상의 고속처리를 위해 CPU와 GPU를 쓴 병렬처리 시스템으로 구성하여 실시간 비전처리가 가능한 교통신호제어에 대한 연구 방법을 제안하였다. 보행자 검출 및 추적 모두 90% 이상의 정밀도를 보여주고 있으며, CPU와 GPU를 융합하여 실제 환경에 적용 가능한 처리속도를 보여준다. 이러한 결과는 실제 도로 환경에서 교통제어로 바로 적용하기 위한 기초적인 시스템 구현을 해보았다.
조사결과 울산광역시내 2차선에서 4차선까지 각각 10개의 횡단보도의 신호시스템에서 보행자 교통신호시간 및 보행자신호에 따른 보행자 유/무의 조사를 실시하였다. 조사한 결과 2차선에서 4차선까지 보행자 신호가 시간당 평균 20회, 18회, 16회를 보였다. 그러나 각 신호들 중에서 보행자가 없는 경우가 각 차선에서 시간당 평균 2회, 8회 그리고 5회가 발생하는 것이 조사를 통해 알 수 있었다.
그림 7은 각 방법에 대한 검출결과를 비교한 영상이다. 표 1에서와 같이 제안된 방법이 Haar-like Feature 방법보다 보행자 검출에 대해 한명의 보행자가 있을 경우 8.1%, 두 명의 보행자가 있을 경우 7.25%로 높은 검출 정밀도를 나타냈다. 보행자 추적에 대해서는 표 2에서와 같이 한 명의 보행자의 경우 CAMShift 보다 10.

후속연구

이러한 결과는 실제 도로 환경에서 교통제어로 바로 적용하기 위한 기초적인 시스템 구현을 해보았다. 이는 본 논문에서 제시하는 시스템은 횡단보도 영역에서의 보행자의 안전과 원활한 차량의 흐름을 효율적으로 높이는 연구에 바탕이 되는 기초 연구로 사용할 수 있다. 하지만 본 논문에서는 카메라가 가지는 외부환경에 대한 시간대별, 실제 횡단보도의 크기에 따른 다양한 경우의 실험결과를 획득하지 못하였으며, 비전센서 기반의 보행자 검출 시 다수의 보행자의 경우 개인별 보행자의 행동패턴을 감안하기 위한 은폐(occlusion)나 실시간 추적에 따른 정지, 이상 행동(abnormal behavior) 등에 대해 해결 방법 등은 향후 과제로 남겨 놓고 있다.
이는 본 논문에서 제시하는 시스템은 횡단보도 영역에서의 보행자의 안전과 원활한 차량의 흐름을 효율적으로 높이는 연구에 바탕이 되는 기초 연구로 사용할 수 있다. 하지만 본 논문에서는 카메라가 가지는 외부환경에 대한 시간대별, 실제 횡단보도의 크기에 따른 다양한 경우의 실험결과를 획득하지 못하였으며, 비전센서 기반의 보행자 검출 시 다수의 보행자의 경우 개인별 보행자의 행동패턴을 감안하기 위한 은폐(occlusion)나 실시간 추적에 따른 정지, 이상 행동(abnormal behavior) 등에 대해 해결 방법 등은 향후 과제로 남겨 놓고 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	울산광역시내 교통 환경에 대한 불필요한 차량 대기시간에 대한 조사 결과는 어떠한가?	따라서 교통 환경에 대한 불필요한 차량 대기시간에 대한 조사가 필요하였다. 조사결과 울산광역시내 2차선에서 4차선까지 각각 10개의 횡단보도의 신호시스템에서 보행자 교통신호시간 및 보행자신호에 따른 보행자 유/무의 조사를 실시하였다. 조사한 결과 2차선에서 4차선까지 보행자 신호가 시간당 평균 20회, 18회, 16회를 보였다. 그러나 각 신호들 중에서 보행자가 없는 경우가 각 차선에서 시간당 평균 2회, 8회 그리고 5회가 발생하는 것이 조사를 통해 알 수 있었다. 이와 같이 불필요한 차량의 대기시간은 발생하면 차량의 연료 소비 증가를 야기한다.
	카메라영상을 통해서 보행자를 검출하는 방법에는 무엇이 있는가?	본 연구는 비전센서를 이용하여 횡단보행자 검출 및 추적에 의한 결과를 바탕으로 교통신호등을 제어하는 시스템 구현을 제안한다. 카메라영상을 통해서 보행자를 검출하는 방법으로 Haar-like Feature 기반의 패턴 추출방법, 기울기의 방향성 즉, HOG (Histogram of Oriented Gradient) 및 LRF (Local Receptive Field), 그리고 배경 차연산 방법을 통한 방법 등이 주로 연구되고 있다[1-5]. 이 특징을 학습하고 분류하는 방법으로는 SVM (Support Vector Machine), 적응향상 (adaboost) 알고리즘 그리고 신경망 이론 등이 많이 적용되고 있다.
	보행자 및 차량의 통행량이 적은 소도시에서 신호시스템은 어떤 문제가 있는가?	이와 같은 신호시스템은 보행자 및 차량의 통행량이 많은 대도시의 횡단보도 영역에서 효율적으로 운영된다. 하지만 보행자 및 차량의 통행량이 적은 소도시의 도로 및 일반국도의 횡단보도 영역에서는 보행자가 없음에도 불구하고 현재 신호시스템에 의해 불필요한 차량 대기시간이 발생한다. 따라서 교통 환경에 대한 불필요한 차량 대기시간에 대한 조사가 필요하였다.

참고문헌 (10)

P. Viola, M. Jones, and D. Snow, "Detecting pedestrians using patterns of motion and appearance," International Journal of Computer Vision, vol. 63, no. 2, pp. 153-161, 2005.

상세보기
R. Ronfard, C. Schmid, and B. Triggs, "Learning to parse pictures of people," The 7th ECCV, vol. 4, pp. 700-714, 2002.
B.-R. Lee, Q.-B. Truong, H.-S. Kim, and Y.-H. Bae, "A study on the pedestrian detection on the road using machine vision," Journal of Institute of Control, Robotics and Systems (in Korean), vol. 17, no. 5, pp. 490-498, May 2011.

원문보기 상세보기
N. Dalal and B. Triggs, "Histograms of oriented gradients for human detection," IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 886-893, June 2005.
S.-T. An and J.-J. Lee, "Detection and tracking of humans using particle swarm optimization," Proc. of 2011 ICROS Daejeon Chungcheong Branch Conference (in Korean), pp. 40-44, Dec. 2011.
G.-G. Lee and W.-Y. Kim, "Measuring pedestrian traffic using feature-based regression in the spatiotemporal domain," International Journal of Control, Automation, and Systems, vol. 10, no. 2, pp. 328-340, 2012.

원문보기 상세보기
V. Vapnik, John Wiley & Sons, "Statistical Learning Theory," New York, 1998.
http://cbcl.mit.edu/software-datasets/PedestrianData.html
http://pascal.inrialpes.fr/data/human
nVIDIA Corporation, "CUDA 2.3 Programming Guide," in http://www.nvidia.com/object/cuda_develop.html, 2009.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증