최근 도로상의 비디오 영상에서 다양한 저차원 정보를 바탕으로 자동 차량 흐름 파악과 사고 탐지에 관해 관심이 높아지고 있다. 본 논문에서는 CCTV 동영상 교통관리시스템을 이용하여 자동으로 차량의 흐름을 파악하고 이를 이용하여 교통체증과 더 나아가 사고탐지를 위한 알고리즘과 그 응용에 대해 연구하였다. 이를 위하여 우선 움직임 객체를 시공간 관계 모델링을 통해 차량의 실제 궤적과 매핑하고 이를 통해 차량의 흐름 파악에 사용하였다. 또한 시공간 관계 모델링과 차량의 실제 궤적간 매핑을 위해 TSR (Tangent Space Representation) 알고리즘을 사용하였다. 또한, 객체의 움직임 추출을 위해 먼저 차(Differece)영상을 이용하여 움직임 객체 추출을 하였고, 이를 통하여 객체의 움직임 트래킹(Tracking)을 하고 각 객체에 번호를 부여하여 동시에 여러 객체를 인식시키고 이를 저장하였다. 이를 통하여 의미적 움직임 객체를 인식하고, 차량 흐름을 파악하는 어플리케이션을 구현하였다. 본 연구를 통해 기본적인 움직임 객체에 대한 의미적인 결과를 얻을 수 있었고, 나아가 CCTV를 이용한 자동 사고 탐지에 관한 연구로 확장시킬 수 있을 것으로 기대된다.
최근 도로상의 비디오 영상에서 다양한 저차원 정보를 바탕으로 자동 차량 흐름 파악과 사고 탐지에 관해 관심이 높아지고 있다. 본 논문에서는 CCTV 동영상 교통관리시스템을 이용하여 자동으로 차량의 흐름을 파악하고 이를 이용하여 교통체증과 더 나아가 사고탐지를 위한 알고리즘과 그 응용에 대해 연구하였다. 이를 위하여 우선 움직임 객체를 시공간 관계 모델링을 통해 차량의 실제 궤적과 매핑하고 이를 통해 차량의 흐름 파악에 사용하였다. 또한 시공간 관계 모델링과 차량의 실제 궤적간 매핑을 위해 TSR (Tangent Space Representation) 알고리즘을 사용하였다. 또한, 객체의 움직임 추출을 위해 먼저 차(Differece)영상을 이용하여 움직임 객체 추출을 하였고, 이를 통하여 객체의 움직임 트래킹(Tracking)을 하고 각 객체에 번호를 부여하여 동시에 여러 객체를 인식시키고 이를 저장하였다. 이를 통하여 의미적 움직임 객체를 인식하고, 차량 흐름을 파악하는 어플리케이션을 구현하였다. 본 연구를 통해 기본적인 움직임 객체에 대한 의미적인 결과를 얻을 수 있었고, 나아가 CCTV를 이용한 자동 사고 탐지에 관한 연구로 확장시킬 수 있을 것으로 기대된다.
Recently, there are interested in the automatic traffic flowing and accident detection using various low level information from video in the road. In this paper, the automatic traffic flowing and algorithm, and application of traffic accident detection using traffic management systems are studied. T...
Recently, there are interested in the automatic traffic flowing and accident detection using various low level information from video in the road. In this paper, the automatic traffic flowing and algorithm, and application of traffic accident detection using traffic management systems are studied. To achieve these purposes, the spatio-temporal relation models using topological and directional relations have been made, then a matching of the proposed models with the directional motion verbs proposed by Levin's verbs of inherently directed motion is applied. Finally, the synonym and antonym are inserted by using WordNet. For the similarity measuring between proposed modeling and trajectory of moving object in the video, the objects are extracted, and then compared with the trajectories of moving objects by the proposed modeling. Because of the different features with each proposed modeling, the rules that have been generated will be applied to the similarity measurement by TSR (Tangent Space Representation). Through this research, we can extend our results to the automatic accident detection of vehicle using CCTV.
Recently, there are interested in the automatic traffic flowing and accident detection using various low level information from video in the road. In this paper, the automatic traffic flowing and algorithm, and application of traffic accident detection using traffic management systems are studied. To achieve these purposes, the spatio-temporal relation models using topological and directional relations have been made, then a matching of the proposed models with the directional motion verbs proposed by Levin's verbs of inherently directed motion is applied. Finally, the synonym and antonym are inserted by using WordNet. For the similarity measuring between proposed modeling and trajectory of moving object in the video, the objects are extracted, and then compared with the trajectories of moving objects by the proposed modeling. Because of the different features with each proposed modeling, the rules that have been generated will be applied to the similarity measurement by TSR (Tangent Space Representation). Through this research, we can extend our results to the automatic accident detection of vehicle using CCTV.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
비디오에서는 시간의 흐름에 따른 움직이는 객체사이의 위상관계가 필요하며, 이를 시간에 따라 나누어 보면 한 객체가 움직이고 있을 때, 한 객체는 멈추어 있다고 말할 수 있다. 따라서 본 논문에서는 가장 기본이 되는 고정 객체와 이동 객체 사이의 관계에 대해 표현하고, 이를 확장하도록 하겠다. <그림1>에서 도로에 설치된 CCTV영상을 이용하여 고정객체로는 교차로, 건널목 등이라고 가정한다.
본 논문에서는 과 같은 과정을 통하여 의미적 차량 흐름 자동 분석을 하였다.
본 연구에서는 CCTV를 이용한 차량 흐름 탐지에 관해 연구하였으며, 비디오에서 가장 중요한 의미적정보인 객체의 움직임에 대한 의미적 표현에 관해 연구했다. 움직임 객체의 시간관계(Temporal relation), 위상관계(Topological relation), 방향관계(Directional relation)를 이용하여 객체의 움직임에 대한 정보를 얻고, 모션 동사를 매핑함으로써 의미적인 요소를 부여할 수 있었다.
위 두 접근법을 바탕으로 본 논문에서는 움직임객체의 시공간적 특징을 이용하여 일반적인 객체의 움직임을 정의하고, 이들의 움직임을 모션 동사를 이용하여 어휘적으로 매칭시켜 의미적인 객체의 움직임을 정의해보고자 한다. 즉, CCTV 동영상을 이용하여 자동으로 차량의 흐름을 파악해보았다.
가설 설정
따라서 본 논문에서는 가장 기본이 되는 고정 객체와 이동 객체 사이의 관계에 대해 표현하고, 이를 확장하도록 하겠다. <그림1>에서 도로에 설치된 CCTV영상을 이용하여 고정객체로는 교차로, 건널목 등이라고 가정한다. 또한 이동객체는 도로를 주행하는 차량으로 설정하고 객체는 MBR(minimum bounding rectangle)로 추출하였으며 고정 객체의 정의로 고정 객체는 파란색 사각형으로 이동 객체는 빨간색 사각형으로 표현하고 있다.
<그림 1>에서 보듯이 실험하고자 하는 도로 CCTV영상에서 고정 객체로는 교차로, 건널목 등이라고 가정하며 이 또한 MBR로 표현하여 정의한다. 이를 통해 “교차로로 들어간다(enter)”, “교차로를 통과하다(go through)”, “좌회전하다(turn left)”, “우회전하다(turn right)” 등의 의미적 정보를 추출할 수 있다.
제안 방법
실험을 위해 C#을 사용하여 어플리케이션을 구현하였으며 입력영상으로는 교통 CCTV영상을 이용하였고 영상 크기는 300*240으로 처리하였다. 도로영상 데이터베이스로부터 교통영상을 입력받아 객체의 궤적을 추출하고 각 객체마다 라벨링을 부여하여 움직임 객체를 추적하였다.
또한 각 방향에 맞춰 Levin의 동사의 분류 중 ‘verbs of Inherently directed motion’[8]과 링귀스틱 온톨로지인 WordNet[11]을 이용하여 움직임 동사(Motion verb)를 각각 매핑하였으며, 이를 통하여 교차로에서 차량의 진행 방향에 따른 관계를 설정하였다.
또한, 객체의 움직임 처리를 위해 먼저 차(Differece)영상을 이용하여 움직임 객체의 추출을 하였고, 이를 통하여 객체의 움직임 트래킹(Tracking)과 각 객체에 번호를 부여하여 동시에 여러 객체를 인식시키고 이를 저장하였다. 이를 통하여 의미적 움직임 객체를 인식하고 저장하였다.
장면 분석을 거친 후 각 장면별로 객체를 추출하고 움직임이 없는 고정 객체와 이동 객체를 정의하였다. 여기서 교차로를 고정 객체로 정의하고 움직임 객체의 궤적을 추출하여 저장하며 차량들의 모션을 통해 움직임을 의미적으로 파악하였다.
<그림 8>와 같은 차(difference)영상을 median filter와 Threshold연산을 통하여, 노이즈를 제거하고, 이미지를 보정한다. 이렇게 보정한 이미지를 이용하여 인접 영역과의 병합과정을 거쳐 객체를 추출한다.
본 연구에서는 CCTV를 이용한 차량 흐름 탐지에 관해 연구하였으며, 비디오에서 가장 중요한 의미적정보인 객체의 움직임에 대한 의미적 표현에 관해 연구했다. 움직임 객체의 시간관계(Temporal relation), 위상관계(Topological relation), 방향관계(Directional relation)를 이용하여 객체의 움직임에 대한 정보를 얻고, 모션 동사를 매핑함으로써 의미적인 요소를 부여할 수 있었다. 이와 같이 제안한 의미적인 움직임 객체의 시공간 관계 모델과 비디오에서 움직임 객체의 궤적을 통해 객체의 의미적인 움직임을 분석하였다.
움직임 인식 과정을 통해서 얻은 궤적 정보를 바탕으로 TSR을 사용하여 과 같은 모델간의 유사도 측정을 하였다.
. 이동객체는 개체수가 한정되지 않기 때문에 이를 각 객체별로 라벨링하여 표현하였다. 객체 추출과 라벨링에 대해서는 3장에서 자세히 설명하도록 하겠다.
즉, CCTV 동영상을 이용하여 자동으로 차량의 흐름을 파악해보았다. 이를 위하여 우선 움직임 객체 사이의의 시공간 관계를 모델링하였으며, 구축된 모델을 차량의 실제 궤적과 매핑하고 이를 통해 차량의 흐름 파악에 사용하였다. 여기서 시공간 관계 모델링과 차량의 실제 궤적간 매핑을 위해 TSR(Tangent Space Representation) 알고리즘을 사용하였다.
비디오 내에서 시간에 따른 움직임 객체의 개수는 일정치 않기 때문에 모든 움직임 객체를 라벨링(Labeling)을 하여 리스트로 관리하는 것이 필요하다. 이를 위해 초기 인식되어진 객체를 저장하며, 이전 프레임과의 차(difference) 이미지에 대하여 객체 영역과의 포함정도를 통해 움직임 객체의 라벨을 결정한다. 현재 영역이 인식되어진 객체 라벨번호와 비교하여 포함관계가 있다면 동일한 라벨넘버를 부여하며, 그렇지 못한 경우에는 새로운 라벨 넘버를 부여한다.
또한, 객체의 움직임 처리를 위해 먼저 차(Differece)영상을 이용하여 움직임 객체의 추출을 하였고, 이를 통하여 객체의 움직임 트래킹(Tracking)과 각 객체에 번호를 부여하여 동시에 여러 객체를 인식시키고 이를 저장하였다. 이를 통하여 의미적 움직임 객체를 인식하고 저장하였다.
움직임 객체의 시간관계(Temporal relation), 위상관계(Topological relation), 방향관계(Directional relation)를 이용하여 객체의 움직임에 대한 정보를 얻고, 모션 동사를 매핑함으로써 의미적인 요소를 부여할 수 있었다. 이와 같이 제안한 의미적인 움직임 객체의 시공간 관계 모델과 비디오에서 움직임 객체의 궤적을 통해 객체의 의미적인 움직임을 분석하였다. 이를 위해 각 시공간 관계 모델에 대한 규칙을 설정하고, 특히 방향성을 갖는 경우 TSR을 이용하였다.
이는 장면 분석 단계에서 카메라로부터 들어온 영상에 대해 프레임 간 배경연산 처리를 행한 후 각 이미지에서 움직임 객체에 대한 영역을 추출한다. 장면 분석을 거친 후 각 장면별로 객체를 추출하고 움직임이 없는 고정 객체와 이동 객체를 정의하였다. 여기서 교차로를 고정 객체로 정의하고 움직임 객체의 궤적을 추출하여 저장하며 차량들의 모션을 통해 움직임을 의미적으로 파악하였다.
위 두 접근법을 바탕으로 본 논문에서는 움직임객체의 시공간적 특징을 이용하여 일반적인 객체의 움직임을 정의하고, 이들의 움직임을 모션 동사를 이용하여 어휘적으로 매칭시켜 의미적인 객체의 움직임을 정의해보고자 한다. 즉, CCTV 동영상을 이용하여 자동으로 차량의 흐름을 파악해보았다. 이를 위하여 우선 움직임 객체 사이의의 시공간 관계를 모델링하였으며, 구축된 모델을 차량의 실제 궤적과 매핑하고 이를 통해 차량의 흐름 파악에 사용하였다.
대상 데이터
실험을 위해 C#을 사용하여 어플리케이션을 구현하였으며 입력영상으로는 교통 CCTV영상을 이용하였고 영상 크기는 300*240으로 처리하였다. 도로영상 데이터베이스로부터 교통영상을 입력받아 객체의 궤적을 추출하고 각 객체마다 라벨링을 부여하여 움직임 객체를 추적하였다.
이와 같은 궤적 검색을 위한 대상으로 움직임 인식 단계에 의해 자동으로 주석이 생성된 영상을 이용한다. 총 35개의 영상에서 784개의 궤적을 추출하였으며 539개 움직임에 대해 정확한 의미를 파악하였다. 본 실험에서 도로영상 데이터베이스로부터 입력받은 영상에 대한 궤적추출에 대한 인덱싱 비율인 Recall Rate 평균 68.
최종적으로 교통 흐름 탐지를 위한 모션을 추가하였는데, 고정된 객체와 움직임 객체가 겹치는 부분에 대하여 의 5가지 모델(E-'leave', D-'depart',C-'go_into', B-'approach', A-'go to')과 이들의 중간 단계인 'enter'와 ‘exit' 그리고 방향성을 갖는 4가지 모델(’H-'turn_right', I-'go_through', J-'return', K-'turn_left')을 가지고 실험을 하였다.
이론/모형
TSR(Tangent Space Representation)[10]은 주로 2, 3차원 객체의 형태(shape)에 대한 유사도를 측정할 때 많이 사용된 방법이나 본 논문에서는 궤적간 유사성측정을 위해 적용하였다. 객체의 형태는 선으로 구성되어있고, 이 선은 좌표간의 연결이라고 할 수 있기 때문에, 궤적을 TSR로 표현할 수 있다.
이를 위하여 우선 움직임 객체 사이의의 시공간 관계를 모델링하였으며, 구축된 모델을 차량의 실제 궤적과 매핑하고 이를 통해 차량의 흐름 파악에 사용하였다. 여기서 시공간 관계 모델링과 차량의 실제 궤적간 매핑을 위해 TSR(Tangent Space Representation) 알고리즘을 사용하였다.
이와 같이 제안한 의미적인 움직임 객체의 시공간 관계 모델과 비디오에서 움직임 객체의 궤적을 통해 객체의 의미적인 움직임을 분석하였다. 이를 위해 각 시공간 관계 모델에 대한 규칙을 설정하고, 특히 방향성을 갖는 경우 TSR을 이용하였다.
성능/효과
본 실험의 Precision Rate 분석 결과는 복잡한 궤적이나 움직임 객체가 여러 개가 있는 샘플은 객체 추출부분에서 문제점을 보였다. 각각의 궤적들은 총(320, 240) pixel로 구성이 되는데 객체의 움직임을 추출하는 과정에서 8 pixel 단위로 객체를 추출하기 때문에 이 보다 작은 객체는 인식하지 못하여 92.9%의 결과를 얻었다.
총 35개의 영상에서 784개의 궤적을 추출하였으며 539개 움직임에 대해 정확한 의미를 파악하였다. 본 실험에서 도로영상 데이터베이스로부터 입력받은 영상에 대한 궤적추출에 대한 인덱싱 비율인 Recall Rate 평균 68.8%를 보이고 있으며 인덱싱 된 영상으로부터 의미적 움직임 객체 인식이 된 확률인 Precision Rate는 92.9%를 얻었다. 이는 입력영상의 각 영상별 Recall Rate를 살펴보면 <그림 13>과 같다.
본 실험의 Precision Rate 분석 결과는 복잡한 궤적이나 움직임 객체가 여러 개가 있는 샘플은 객체 추출부분에서 문제점을 보였다. 각각의 궤적들은 총(320, 240) pixel로 구성이 되는데 객체의 움직임을 추출하는 과정에서 8 pixel 단위로 객체를 추출하기 때문에 이 보다 작은 객체는 인식하지 못하여 92.
실험에서 움직임에 대해 정확한 의미를 파악하여 평균 68.8%의 Recall Rate와 92.9%의 Precision Rate을 얻었는데, 특히 Recall Rate 분석 결과에서 객체 추출시 MBR의 문제점과 이 객체의 궤적 추출시 트랙킹 문제로 인하여 오차가 발생하였다. 이를 통해서 영상처리기반 객체 추출과 탐지는 아직까지 영상에 종속적이며 영상에 따라 많은 문제와 편차를 가지고 있음을 보여준다.
후속연구
향후 이러한 문제에 대한 개선을 위해 칼만 필터(Kalman Filter)등을 이용하여 움직임 객체의 추출 성능을 향상시킬 필요성이 있으며 움직임뿐만 아니라, 소리, 자막 등 추출된 다른 의미적 특징들을 통합과 방향성을 갖지 않는 모션 동사와 교차로의 신호 대기시간을 이용하여 자동 사고 탐지에 대하여 연구를 진행할 계획이다.
질의응답
핵심어
질문
논문에서 추출한 답변
비디오 데이터의 색인(Indexing)과 검색(Retrieving)과 관련하여 어떤 연구 방향으로 나눌 수 있는가?
비디오 데이터의 색인(Indexing)과 검색(Retrieving)과 관련하여 크게 2 가지의 연구방향으로 나눌 수 있다[1]. 첫째는 비디오 내 객체의 컬러(Color), 형태(Shape), 질감(Texture) 등의 시각적인 특징과 오디오(Audio)와 음악(Music) 등의 청각적인 특징을 이용하는 것이고[2-3], 둘째는 비디오 내 객체의 시공간적 특징을 이용하여 비디오의 특정 부분을 검색, 색인하는 연구이다[4-6]. 전자의 경우는 스포츠 비디오와 같은 특정 비디오에 대한 연구들이 활발하게 이루어지고 있으나 비디오마다 시각적인 특징과 청각적인 특징이 서로 다르므로 이를 일반화시키기에는 다소 무리가 있다.
본 논문에서 시공간 관계 모델링과 차량의 실제 궤적간 매핑을 위해 어떤 알고리즘을 사용했는가?
이를 위하여 우선 움직임 객체를 시공간 관계 모델링을 통해 차량의 실제 궤적과 매핑하고 이를 통해 차량의 흐름 파악에 사용하였다. 또한 시공간 관계 모델링과 차량의 실제 궤적간 매핑을 위해 TSR (Tangent Space Representation) 알고리즘을 사용하였다. 또한, 객체의 움직임 추출을 위해 먼저 차(Differece)영상을 이용하여 움직임 객체 추출을 하였고, 이를 통하여 객체의 움직임 트래킹(Tracking)을 하고 각 객체에 번호를 부여하여 동시에 여러 객체를 인식시키고 이를 저장하였다.
신(Scene)은 무엇인가?
비디오에서 의미를 가지는 최소의 단위가 신(Scene)이며, 여기서 가장 중요한 요소 중 하나가 객체(Object)이다. 이 객체는 시간의 흐름에 따라 객체사이의 위상관계와 방향관계로 객체를 표현할 수 있는데, 비디오 상에서는 각 객체가 독립적으로 존재하고 각각에 대한 색상, 형태, 움직임 위치 정보의 저차원 정보를 추출해야하므로 비록 다른 시간에 발생한 이벤트라 할지라도 이를 동 시간에 움직이는 객체로 생각해볼 수 있다.
참고문헌 (11)
Z. A. Aghbari, Studies on Modeling and Querying Video Databases, Ph. D. Dissertation, Kyushu University, 2001.
S. F. Chang, W. Hsu, L. Kennedy, L. Xie, A. Yanagawa, E. Zavesky, and D. Q. Zhang, 'Video search and high-level feature extraction," Proc. Text Retrieval Conf. Video Retrieval Evaluation, pp. 1-8, Oct. 2005.
A. Ekin, A. Tekalp, and R. Mehrotra, "Automatic soccer video analysis and summarization," IEEE Trans. Image Processing, vol. 12, no. 7, pp. 796-807, July. 2004.
J. W. Chang and Y. J. Kim, "Spatial-match iconic image retrieval with ranking in multimedia databases," Proc. Int. Conf. Advances in Web-Age Information Management, pp. 3-13, July. 2001.
W. Ren, M. Singh, and S. Singh, "Image retrieval using spatial context," Proc. Int. Workshop on Systems, Signals and Image Processing, pp. 44-49, Nov. 2002.
P. Y. Chen and A. L .P. Chen, "Video retrieval based on video motion tracks of moving objects," Proc. SPIE, vol. 5307, pp. 550-558, Dec. 2003.
M. Cho, C. Choi, J. Choi, H. Yi, and P. Kim, "Trajectory annotation and retrieval based on semantics," Lecture Note in Computer Science 4918, pp. 251-264, July. 2008.
B. Levin, English Verb Classes and Alternations : A Preliminary Investigation, The University of Chicago Press, 1993.
김영주, "배경 분리 기반의 실시간 객체 추적을 위한 개선된 적응적 배경 혼합 모델," 한국컴퓨터정보학회 논문지, 제10권, 제6호, pp. 187-193, 2005. 12.
M. Hwang, S. Baek, H. Kong, J. Shin, W. Kim, S. Kim, and P. Kim, "Adaptive-tangent space representation for image retrieval based on Kansei," Lecture Note in Artificial Intelligence 4293, pp. 828-837, Nov. 2006.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.