[논문]영상처리와 거리센서를 융합한 객체 추적용 드론의 연구

양우석; 천명현; 장건우; 김상훈

영상처리와 거리센서를 융합한 객체 추적용 드론의 연구
A Study of Object Tracking Drones Combining Image Processing and Distance Sensor 원문보기

양우석 (국립한경대학교 전기전자제어공학과) , 천명현 (국립한경대학교 전기전자제어공학과) , 장건우 (국립한경대학교 전기전자제어공학과) , 김상훈 (국립한경대학교 전기전자제어공학과)

드론의 대중화에 따른 사고위험의 증가로 안전한 조종 방법에 대한 연구의 필요성이 대두되었다. 따라서 조종자의 조종능력에 구애받지 않는 자율비행제어기술이 필요하게 되었고, 이를 보다 안정적으로 구현하기 위하여 자율주행 소프트웨어 플랫폼으로 주목받고 있는 Robot Operating System(ROS)를 사용하였다. ROS를 기반으로 Laser Range Finder(LRF)와 Particle Filter를 사용하여 자율적으로 객체추적이 가능하며 지능적으로 장애물을 회피하여 비행 할 수 있는 안정적인 자율비행제어시스템을 구현하고자 한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러므로 본 연구에서는 영상기반 객체 추적 기법과 Laser Range Finder (LRF)를 이용한 거리 측정 기능을 이용하여 조종자의 조종능력에 구애 받지 않고 안정적인 비행을 할 수 있는 자율비행제어기술을 확보하고자 한다.
하지만 임베디드보드에서 실행하였을 때의 전제척인 처리속도가 드론 제어에 적용 가능할 만큼 빠르지 못하였다. 따라서 OpenTLD 알고리즘을 Particle Filter알고리즘으 로 변경하여 속도를 높이고자 하였다.
본 논문에서는 드론의 자율주행을 위한 비전기반 객체 추적 알고리즘을 제안하기 위한 연구를 진행하였다. 결과적으로 마커의 인식이 완료된 이후에 Particle Filter를 사 용하는 것이 드론의 제어에 가장 적합하다는 결론을 얻을 수 있었다.
추후 연구에서 Particle Filter를 보다 정확하고 빠른 객체 추적이 가능하도록 개선하고 LRF의 거리정보를 이용한 장애물 회피 및 실내주행시 지도작성 알고리즘을 추가하여 조종자의 조종능력에 구애 받지 않는 완전한 자율주행 알고리즘을 완성하는 것을 목표로 하고 있다.

제안 방법

가장 기본적인 검출 알고리즘인 템플릿 매칭을 통한 마커 검출방법과 템플릿 매칭과 OpenTLD 알고리즘을 사용한 방법, 템플릿 매칭과 Particle Filter를 사용한 방법을 비교하여 가장 적합한 방법을 선정하도록 하였고 Particle Filter의 Particle 개수는 각각 200, 250, 300개로 변경하여 실험하였다.
다양한 드론에 알고리즘을 적용하기 위해 리눅스와 ROS가 설치된 카드 크기의 임베디드보드(HardKernel社, Odroid-XU4)와 웹캠을 사용하여 최소한의 크기로 드론의 자율주행을 구현 할 수 있도록 하였다.
현재 사용 중인 마커는 색 정보와 엣지정보를 이용하여 마커 검출이 보다 용이하도록 설계되었다. 따라서 색 정보의 왜곡을 막기 위하여 조명의 변화에 강건하며 인간의 시각 시스템과 유사한 HSV(Hue-Saturation-Value)색공간으로 영상을 변형 후 기존의 Red, Blue 에 해당하는 HSV 값으로 각각 이진화 영상을 만들고 원본영상의 엣지 정보를 추출하여 Red 및 Blue 이진화 영상과 엣지 영상을 더해준다.[그림2]이후 윤곽선 검출을 이용하여 영상 내의 사각형을 찾아 각 사각형에서 추출한 이미지와 마커의 원본이미지를 TemplateMatching하여 마커의 위치를 찾게 된다.
객체 검출 및 추적 방법으로 먼저 TemplateMatching을 사용하여 마커(Marker)를 검출하려는 시도를 해 보았으나 화면 내 모든 픽셀에 대하여 Template에 대한 연산을 실 시하게 되므로 드론 제어에 사용가능한 만큼의 실시간 처리가 불가능하였다. 따라서 추적 알고리즘인 OpenTLD 알고리즘과 Particle Filter 알고리즘을 TemplateMatching과 결합한 후 각각의 성능을 비교하여 보고 적합한 방법을 선정하기로 하였다.
결과적으로 마커의 인식이 완료된 이후에 Particle Filter를 사 용하는 것이 드론의 제어에 가장 적합하다는 결론을 얻을 수 있었다. 또한 LRF를 이용하여 객체와의 거리를 판단하는 방법을 사용하여 추적하고자하는 마커와 일정한 거리를 유지 할 수 있도록 하였다.
먼저 마커를 검출하기 위한 TemplateMatching에 앞서 정확도를 높이기 위한 전처리를 실시한다. 현재 사용 중인 마커는 색 정보와 엣지정보를 이용하여 마커 검출이 보다 용이하도록 설계되었다.
본 논문에서는 Template Matching을 이용하여 영상 내 Marker의 좌표를 찾아 Particle Filter의 초기상태를 설정해준다. 이후 Particle Filter는 관심영역(Marker)의 3차원 색상 히스토그램을 구하여 초기화 되고 추적을 시작하게 된다.
임베디드보드인 Odroid 상에서 영상처리를 통하여 안정적으로 드론을 조작하기 위해 빠른 속도로 영상의 처리가 가능해야 하며 실시간 처리가 가능하여야 하므로 초당 프레임 수를 각 알고리즘의 성능평가 지표로 삼았다.

이론/모형

TemplateMatching을 시행하여 찾아낸 마커의 위치를 사용하여 마커의 움직임을 추적하는데, 먼저 오픈소스 추적기인 OpenTLD(Tracking-Learning-Detection)알고리즘 을 적용하여 보았다. OpenTLD 알고리즘은 ‘Positive - Negative’ 학습을 이용한 간단한 머신러닝을 사용하여 추적하고자 하는 관심영역의 특징을 학습하고 그것을 통하 여 영상 내 특정 영역 위주로 관심영역을 추적하게 된다.

성능/효과

각각의 객체 검출 및 추적 방법을 비교하여 본 결과 화면 내 모든 픽셀에 대하여 TemplateMatching을 실시하는 방법은 약 3 FPS의 처리속도를 보여주었다. 3FPS의 속도로는 실시간 추적이 불가능하고 마커 이동에 따른 드론의 제어가 불가능하므로 보다 속도를 향상시킨 방법을 사용해야 한다는 것을 알 수 있었다.
Particle Filter를 사용한 추적시에는 약 27 FPS의 처리 속도를 보여주었고 가장 실시간 처리에 가까운 성능을 보여주는 것을 확인할 수 있었다. 또한 Particle의 개수에 따라 처리속도 및 정확도가 달라졌는데 Particle의 개수 150개 일 때에는 처리속도가 빠른 반면 정확도가 떨어졌고 파티클의 개수가 많아질수록 정확도는 높아지지만 속도가 느려지는 것을 알 수 있었다.
각각의 객체 검출 및 추적 방법을 비교하여 본 결과 화면 내 모든 픽셀에 대하여 TemplateMatching을 실시하는 방법은 약 3 FPS의 처리속도를 보여주었다. 3FPS의 속도로는 실시간 추적이 불가능하고 마커 이동에 따른 드론의 제어가 불가능하므로 보다 속도를 향상시킨 방법을 사용해야 한다는 것을 알 수 있었다.
또한 Particle의 개수에 따라 처리속도 및 정확도가 달라졌는데 Particle의 개수 150개 일 때에는 처리속도가 빠른 반면 정확도가 떨어졌고 파티클의 개수가 많아질수록 정확도는 높아지지만 속도가 느려지는 것을 알 수 있었다. 결과적으로 Paritcle의 개수가 200개일 때 가장 효율적인 성능을 보여 주었다.
본 논문에서는 드론의 자율주행을 위한 비전기반 객체 추적 알고리즘을 제안하기 위한 연구를 진행하였다. 결과적으로 마커의 인식이 완료된 이후에 Particle Filter를 사 용하는 것이 드론의 제어에 가장 적합하다는 결론을 얻을 수 있었다. 또한 LRF를 이용하여 객체와의 거리를 판단하는 방법을 사용하여 추적하고자하는 마커와 일정한 거리를 유지 할 수 있도록 하였다.
Particle Filter를 사용한 추적시에는 약 27 FPS의 처리 속도를 보여주었고 가장 실시간 처리에 가까운 성능을 보여주는 것을 확인할 수 있었다. 또한 Particle의 개수에 따라 처리속도 및 정확도가 달라졌는데 Particle의 개수 150개 일 때에는 처리속도가 빠른 반면 정확도가 떨어졌고 파티클의 개수가 많아질수록 정확도는 높아지지만 속도가 느려지는 것을 알 수 있었다. 결과적으로 Paritcle의 개수가 200개일 때 가장 효율적인 성능을 보여 주었다.
OpenTLD와 Particle Filter모두 Marker인식을 위해 TemplateMatching을 사용하게 되므로 ROI설정 전까지 약 3 FPS의 처리속도를 보여주지만 관심영역 설정 이후에는 보다 빠른 처리속도로 영상처리가 가능하였다. 먼저 Open TLD는 마커 추적시 약 7 FPS의 속도로 추적이 가능하였으나 실시간 추적에 부적합한 속도로 제어신호를 전송하 게 되므로 비행 안정성이 떨어지는 것이 예상되었다.

핵심어

질문

논문에서 추출한 답변

드론의 제어 방법은 어떻게 나눌 수 있는가?

드론의 제어 방법은 크게 원격-수동비행제어, 자율비행 제어로 나눌 수 있는데 드론이 대중화되면서 송수신기 및 컨트롤러를 이용한 원격-수동비행제어 방식의 저가 드론 을 주변에서 쉽게 접하게 되었다.

ROS의 구성요소에는 무엇이 있는가?

ROS의 구성요소에는 크게 Master와 Package, Node, Topic이 있다. 각 기능을 담고 있는 Package를 설치 혹은 작성하게 되면 기능을 수행하는 Node가 실행되게 되고 Node간의 Publish/Subscribe를 통하여 Topic을 주고받게 되는 것이 Publisher-Subscriber 통신 모델이다.

Robot Operating System(ROS)는 무엇을 제공하는가?

현재 많은 분야에서 자율주행 소프트웨어 플랫폼의 기반 시스템으로 Robot Operating System (ROS)을 채택하고 있다. ROS는 다양한 데이터 종류와 통신 경로를 제공하는데에 적합한 TCP/IC 기반의 Publisher-Subscriber 통신 모델을 제공하고 있으며 개발을 위한 시각화 도구와 물리 시뮬레이션 도구 및 디버깅 도구 등의 다양한 개발 도구를 제공한다. 또한 다년간 축적된 방대한 로봇 및 센서 라이브러리를 제공하기 때문에 자율 주행 소프트웨어의 개발에 유리하다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

영상처리와 거리센서를 융합한 객체 추적용 드론의 연구
A Study of Object Tracking Drones Combining Image Processing and Distance Sensor 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

영상처리와 거리센서를 융합한 객체 추적용 드론의 연구 A Study of Object Tracking Drones Combining Image Processing and Distance Sensor 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

영상처리와 거리센서를 융합한 객체 추적용 드론의 연구
A Study of Object Tracking Drones Combining Image Processing and Distance Sensor 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper