본 논문에서는 무대에서의 방송용 카메라를 위한 자동 객체추적 시스템을 구현한다. 객체추적을 위해서 Open-CV 기반의 파이썬 프로그램을 탑재한 PC, 라즈베리파이 3, 모바일 장치를 사용한다. 영상 객체추적 방법으로는 mean-shift, CAMshift, GMM을 이용한 백그라운드모델링, SURF를 이용한 템플레이트 기반 추적, CMT, TLD 등의 방법들이 있다. CAMshift 알고리즘은 고속 및 성능의 강인함으로 실시간 추적에 효율적이지만, 본 논문에서는 CMT 알고리즘을 이용한 방송용 카메라의 영상 객체추적 시스템을 구현한다. 이것은 정적 및 적응형 일치성 때문에 최적의 영상 추적 방법이다. 제안된 시스템은 무대에서의 실시간 연속적인 객체추적을 위한 효율적이고 강인한 영상 추적 시스템에 잘 응용될 수 있다.
본 논문에서는 무대에서의 방송용 카메라를 위한 자동 객체추적 시스템을 구현한다. 객체추적을 위해서 Open-CV 기반의 파이썬 프로그램을 탑재한 PC, 라즈베리파이 3, 모바일 장치를 사용한다. 영상 객체추적 방법으로는 mean-shift, CAMshift, GMM을 이용한 백그라운드 모델링, SURF를 이용한 템플레이트 기반 추적, CMT, TLD 등의 방법들이 있다. CAMshift 알고리즘은 고속 및 성능의 강인함으로 실시간 추적에 효율적이지만, 본 논문에서는 CMT 알고리즘을 이용한 방송용 카메라의 영상 객체추적 시스템을 구현한다. 이것은 정적 및 적응형 일치성 때문에 최적의 영상 추적 방법이다. 제안된 시스템은 무대에서의 실시간 연속적인 객체추적을 위한 효율적이고 강인한 영상 추적 시스템에 잘 응용될 수 있다.
In this paper, we present an automatic image object tracking system for Studio cameras on the stage. For object tracking, we use the OpenCV-based Python program using PC, Raspberry Pi 3 and mobile devices. There are many methods of image object tracking such as mean-shift, CAMshift (Continuously Ada...
In this paper, we present an automatic image object tracking system for Studio cameras on the stage. For object tracking, we use the OpenCV-based Python program using PC, Raspberry Pi 3 and mobile devices. There are many methods of image object tracking such as mean-shift, CAMshift (Continuously Adaptive Mean shift), background modelling using GMM(Gaussian mixture model), template based detection using SURF(Speeded up robust features), CMT(Consensus-based Matching and Tracking) and TLD methods. CAMshift algorithm is very efficient for real-time tracking because of its fast and robust performance. However, in this paper, we implement an image object tracking system for studio cameras based CMT algorithm. This is an optimal image tracking method because of combination of static and adaptive correspondences. The proposed system can be applied to an effective and robust image tracking system for continuous object tracking on the stage in real time.
In this paper, we present an automatic image object tracking system for Studio cameras on the stage. For object tracking, we use the OpenCV-based Python program using PC, Raspberry Pi 3 and mobile devices. There are many methods of image object tracking such as mean-shift, CAMshift (Continuously Adaptive Mean shift), background modelling using GMM(Gaussian mixture model), template based detection using SURF(Speeded up robust features), CMT(Consensus-based Matching and Tracking) and TLD methods. CAMshift algorithm is very efficient for real-time tracking because of its fast and robust performance. However, in this paper, we implement an image object tracking system for studio cameras based CMT algorithm. This is an optimal image tracking method because of combination of static and adaptive correspondences. The proposed system can be applied to an effective and robust image tracking system for continuous object tracking on the stage in real time.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 첫 번째 방식인 라즈베리 파이를 stand alone 으로 사용하는 방법을 사용하여 구현하는 것을 보인다.
본 연구에서는 객체 추적 기술로 알려진 CMT 알고리즘을 기반으로 객체를 추적하고 자동으로 영상장비를 제어하기 위해 Raspberry Pi를 이용하여 실시간으로 영상을 추적하면서 추적된 객체의 중앙좌표와 프레임의 중앙좌표를 비교하여 영상장비가 이동하여야 하는 수치에 대한 정보를 도출하고 도출된 정보를 기반으로 방송영상 장비가 지정된 객체를 따라 추적할 수 있음을 검증하였고 이러한 검증 사례를 기반으로 영상 처리 분야에 기여하고자 한다.
제안 방법
하지만 CMT 알고리즘은 추적하고자 하는 객체를 키 포인트로 분해하여 초기에 있었던 키포인트를 찾는 방식으로 optical flow 알고리즘을 사용하여 이전 프레임으로부터 지금 프레임까지의 키포인트를 추적하거나 OpenCV에서 제공해주는 descriptors를 활용하여 전체 프레임을 대상으로 비교한다. 그리고 이 두 가지 방식을 조합하여 추적하고자 하는 객체 타겟과 일치도가 가장 높은 객체를 찾는 방법을 사용한다[1].
본 논문에서는 라즈베리 파이를 활용하여 객체 추적기법의 실험을 진행하기 위해 라즈베리 파이 3과 라즈베리 파이 카메라 V2를 사용하였으며 운영체제는 라즈비안 4.9 버전을 사용하여 진행하였다. CMT 알고리즘의 기반이 되는 컴퓨터 비전(Computer Vision) 라이브러리인 OpenCV의 경우에는 2.
본 논문에서는 라즈베리 파이와 라즈베리 파이 카메라 모듈을 이용하여 사용자가 추적하길 원하는 객체정보를 입력받고 해당 정보를 이용하여 OpenCV 기반의 CMT 알고리즘 기반 객체 추적 외에도 객체 위치에 따른 촬영 장비가 이동하여야 하는 이동 정보 도출, 추적 객체 변경 기능 등의 기능을 구현하기 위해 CMT 스크립트의 일부를 수정하였다.
OpenCV 기반 파이썬 프로그램을 사용하여 프로그램을 시작하면서 그림 2와 같이 동영상의 첫 frame에서 추적하고자 하는 객체의 프레임 박스(파란색으로 표시된 부분)를 설정할 수 있다. 본 논문에서는 프레임 박스가 설정되면 객체추적을 통해 객체가 화면의 중앙부분에 나타나도록 구현한다.
본 연구에서 라즈베리 파이를 그림 1과 같은 시스템 구조를 동일하게 표현하기 위해 stand alone 방식으로 구현하고 실험을 통해 검증하였다. 제안된 시스템은 무대에서의 방송용 카메라를 위한 실시간 연속적인 객체추적을 위한 효율적이고 강인한 영상추적 시스템에 잘 응용될 수 있다.
본 연구에서는 CMT 알고리즘에 기반 하여 객체추적 실험을 진행하기 위해 Python 언어를 기반으로 제작되어진 스크립트를 이용하였으며[2], 방송용 카메라에서의 객체 추적에 이용하기 위해 프로그램의 일부분을 수정하여 구현하였다.
촬영 장비의 이동 정보 도출과 가시화를 함께 제공하기 위해 OpenCV 라이브러리에서 선과 원형을 그릴 때 사용되는 arrowedLine, circle 이라는 함수들을 활용하였고 추적 객체 변경 기능을 위해 매 프레임마다 사용자의 입력을 대기하다 키보드의 “R”키에 해당하는 입력을 수신하게 되면 재생되고 있는 Window를 종료하고 종료된 프레임을 기준으로 추적하고자 하는 객체를 입력받을 수 있도록 정지된 프레임이 담겨있는 Window를 다시 제공하고 사용자로부터 추적하고자 하는 객체를 입력받도록 하였다.
OpenCV 기반 파이썬의 CMT 알고리즘과 Adaboost 알고리즘을 이용한 소스코드에 서보 모터 제어 코드를 같이 넣어서 실행하였다. 프레임 박스 단위로 CMT 알고리즘이 추적하고, 추적 결과에 대한 데이터를 이용하여 서보 모터를 제어하였다. 서보 모터는 응답 시간이 빨라 매 프레임마다 제어하게 하였다.
이론/모형
OpenCV 기반 파이썬의 CMT 알고리즘과 Adaboost 알고리즘을 이용한 소스코드에 서보 모터 제어 코드를 같이 넣어서 실행하였다. 프레임 박스 단위로 CMT 알고리즘이 추적하고, 추적 결과에 대한 데이터를 이용하여 서보 모터를 제어하였다.
후속연구
본 연구에서 라즈베리 파이를 그림 1과 같은 시스템 구조를 동일하게 표현하기 위해 stand alone 방식으로 구현하고 실험을 통해 검증하였다. 제안된 시스템은 무대에서의 방송용 카메라를 위한 실시간 연속적인 객체추적을 위한 효율적이고 강인한 영상추적 시스템에 잘 응용될 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
mean shift 알고리즘의 단점은 무엇인가?
객체를 추적하는 기법으로는 CMT 알고리즘 외에도 mean shift, CAMshift 등의 방식이 있다. mean shift 알고리즘의 경우 local minimum에 빠지기 쉽다는 문제점이 존재하며 대상의 크기 변화 및 형태 변화에 반응할 수 없는 단점이 존재한다. CAMshift 알고리즘의 경우에는 탐색 윈도우 크기를 조절할 수 있는 장점이 있지만 조도변화가 심하거나 잡음이 심한 배경에 있는 곳에서는 성능이 떨어지는 단점이 있다.
OpenCV란 무엇인가?
OpenCV(Open Source Computer Vision)는 오픈 소스 컴퓨터 비전 라이브러리로 실시간 이미지 프로세싱에 중점을 둔 영상 처리 라이브러리이다[3]. 영상 처리란 컴퓨터가 알고리즘을 사용하여 물체 또는 글씨를 인식하기 위한 컴퓨터 과학(Computer Science) 분야 기술로 2진화 되어 있는 영상 또는 사진들을 알고리즘을 통해 정보를 추출하거나 가공하는 것을 뜻한다.
Intel에서 OpenCV 라이브러리를 개발하게 된 이유는 어떠한 문제점을 극복하기 위해서인가?
영상 처리란 컴퓨터가 알고리즘을 사용하여 물체 또는 글씨를 인식하기 위한 컴퓨터 과학(Computer Science) 분야 기술로 2진화 되어 있는 영상 또는 사진들을 알고리즘을 통해 정보를 추출하거나 가공하는 것을 뜻한다. 하지만 영상이나 사진에 있는 정보를 추출하기 위해서는 대학 심화과정 이상의 수학적 접근이 요구되기에 OpenCV가 나오기 전까지는 컴퓨터 비전 학문에 대한 연구가 많이 진행되지 않았다.
참고문헌 (9)
Nebehay, Georg and Pflugfelder, Roman "Clustering of Static-Adaptive Correspondences for Deformable Object Tracking" Computer Vision and Pattern Recognition
D. Comaniciu, V. Ramesh and P. Meer, "Kernel-based object tracking", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, no. 5, pp.564-577, May 2003.
Kari Pulli, Anatoly Baksheev, Kirill Kornyakov and Victor Eruhimov, "Real-time computer vision with OpenCV", Communications of the ACM, 2012, 55, 61-69
Kwak Kwangjin, Kim Jeongjoon, "Mobile Device User Trajectory Analysis and Route Recommendation Method based on Intersection Region Indexing", JCCT Vol.1 No.1
Vinayagam Mariappan, Minwoo Lee, Juphil Cho, Jaesang Cha, OnBoard Vision Based Object Tracking Control Stabilization Using PID Controller, IJACT Vol.4 No.4
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.