선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 더욱이 영상처리 같은 경우 일반적으로 연산량이 많고 계산과정이 복잡하기 때문에 실시간성을 보장하기 위해서는 그 효율성을 충분히 고려해야 한다[3]. 따라서 본 논문에서는 이러한 문제점들을 해결하기 위한 하나의 제안으로서 실험실 수준의 고정익 무인항공기에서 운용할 수 있도록 소형화, 경량화를 목표로 하여 임베디드 시스템을 이용한 영상센서기반 목표물 탐지 및 추적 시스템을 구현하였다. 본 시스템은 임베디드 프로세서가 탑재된 컨트롤러를 이용함으로써 고속 컴퓨터에 비해 소형화 및 경량화 된 온보드 형태로 무인항공기에 탑재하여 실제 비행 실험과 데스크탑 PC와의 비교를 통해 그 성능을 검증하고자 하였다.
- 영상처리 보드에 포팅된 임베디드 리눅스는 임베디드 시스템의 메모리나 동작 속도 등을 고려하여 임베디드 기기 및 시스템에서도 충분히 작동하도록 파일 시스템 및 용량을 최소로 하여 개발된 운영체제이다. 따라서 사용할 수 있는 메모리 자원 및 용량과 기능 등이 제한되어 있으며, 본 연구에서는 시스템 최적화 및 용량을 최소화하기 위해 다른 기능들은 배제하고 단순히 영상처리 알고리즘을 수행하는 동작만을 수행하는 임베디드 시스템을 구현하고자 하였다. 영상처리 알고리즘으로 구성된 어플리케이션은 OpenCV 라이브러리를 이용하여 C언어로 작성하였으며[5][6], 리눅스 환경에서 비디오 디바이스를 제어하고 사용하기 위한 API인 V4L(Video For Linux)를 병용하였다[7].
- 본 논문에서는 임베디드 컨트롤러 기반의 무인항공기 영상센서기반 목표물 탐지 및 추적 시스템 개발을 위해 ARM 프로세서가 탑재된 상용 개발보드를 이용하여 진행하였다.
- 따라서 본 논문에서는 이러한 문제점들을 해결하기 위한 하나의 제안으로서 실험실 수준의 고정익 무인항공기에서 운용할 수 있도록 소형화, 경량화를 목표로 하여 임베디드 시스템을 이용한 영상센서기반 목표물 탐지 및 추적 시스템을 구현하였다. 본 시스템은 임베디드 프로세서가 탑재된 컨트롤러를 이용함으로써 고속 컴퓨터에 비해 소형화 및 경량화 된 온보드 형태로 무인항공기에 탑재하여 실제 비행 실험과 데스크탑 PC와의 비교를 통해 그 성능을 검증하고자 하였다.
제안 방법
- Adaptive ROI는 그림 9와 같이 목표물을 찾기 위해서 매 프레임 왼쪽, 오른쪽, 위, 아래 네 방향으로 지속적으로 스캔을 하면서 목표물을 찾아가게 되며, 목표물을 찾게 되면 목표물의 중심점을 찾아 계산하고, 중심점 위에 원으로 마킹이 되도록 하였다.
- 무인항공기 온보드 영상처리 시스템에서 영상센서를 통해 특정색상을 기반으로 목표물을 탐지하고 추적하는 영상처리 알고리즘을 적용하기 위해 영상처리 어플리케이션을 작성하였다. CPU의 부하를 줄이고자 그림 4와 같이 텍스트 기반의 콘솔(Console) 형식으로 어플리케이션을 작성하여 영상처리와 동시에 원본 영상을 저장할 수 있도록 하였다.
- Host PC와 타겟보드와의 데이터 교환은 Host 시스템 상의 데이터를 타겟보드에서 고속으로 접근할 수 있다는 장점이 있는 NFS서비스를 이용하였다. 부트로더(Bootloader)는 운영체제가 시동이 되기 이전에 커널이 올바르게 동작되기 위해 필요한 모든 세팅을 담당하는 부분으로서, 일반적으로 FLASH ROM의 시작번지(0x00000000 ~ 0x0003FFFF, 256KB)에 저장이 되어 있으므로 타겟보드의 전원을 인가함과 동시에 실행된다.
- ROI가 목표물보다 작아지게 되는 경우에 오탐지 가능성이 발생하기 때문에 목표물을 에워싼 ROI 박스로부터 10픽셀 정도의 마진을 두었으며, Threshold 값 이상의 값을 가지는 경우에만 파란색으로 인식을 하도록 하였다. 따라서 Threshold값 이하의 값을 가지는 경우에는 ROI 과정 및 중심점 연산 과정을 수행하지 않으며 설정된 ROI 내에서 다시 탐색을 시작하도록 한다.
- YUV 포맷을 RGB 형태로 변환한 후, RGB 형태의색 공간에서 특정 색상의 값을 추출하기 위해서는 우선 RGB 포맷의 3채널 영상을 Red, Green, Blue 각각의 1채널 영상으로 분리한 다음, 전체 영상 중 특정 색상, 밝기 정보를 가진 부분을 걸러내기 위해, 그레이 영상으로 변환한다. 이는 RGB 컬러 영상으로 처리할 경우에는 한 프레임 당 데이터 크기가 크고 화소값 기반의 영상 처리를 수행하는 경우 많은 시간이 소요될 수 있기 때문이다.
- 또한 개발보드가 무인항공기에 탑재되어야 하므로 부팅이 끝나면 자동으로 어플리케이션이 실행되어야 할 필요가 있다. 따라서 영상처리 어플리케이션을 임베디드 리눅스 시스템 초기화 파일에 등록하여, OS의 부팅이 끝나면 자동으로 일련의 루틴들을 실행하도록 하였다.
- 본 연구에서 사용된 개발보드는 RGB색상을 표현할 때 Red 5비트, Green 6비트, Blue 5비트 총 16비트 (16bpp)만을 표현하도록 되어 있는데 일반적으로 RGB로 표현되는 색상은 총 24비트의 정보를 갖게 되므로 이를 16비트로 표현하기 위해서는 Red와 Blue에서 하위 3비트, Green에서 하위 2비트를 버린 값으로 수정하였다. 또한 프레임 버퍼의 내용을 변경하기 위해 mmap()시스템 콜을 사용하여 프레임 버퍼에 대한 접근을 메모리에 대한 접근으로 바꾸어 사용하도록 하여 고속의 입ㆍ출력이 가능하도록 하였다.
- 6 버전을 포팅하였다. 또한, Host PC에서 작성한 코드를 컴파일해서 실행파일 형태로 만든 후, 타겟보드에서 실행을 하기 위해 GCC 크로스 컴파일러를 설치하여 임베디드 시스템 환경에 맞는 형태로 크로스 컴파일 하는 과정을 수행하였다.
- 무인항공기 온보드 영상처리 시스템에서 영상센서를 통해 특정색상을 기반으로 목표물을 탐지하고 추적하는 영상처리 알고리즘을 적용하기 위해 영상처리 어플리케이션을 작성하였다. CPU의 부하를 줄이고자 그림 4와 같이 텍스트 기반의 콘솔(Console) 형식으로 어플리케이션을 작성하여 영상처리와 동시에 원본 영상을 저장할 수 있도록 하였다.
- 그림1은 온보드 영상기반 탐지 및 추적 시스템의 작동 프로세스를 나타낸 것이다. 무인항공기에 탑재된 김벌 카메라로부터 입력된 영상을 RGB 포맷으로 변환하여 특정 색상을 가진 물체를 지속적으로 추적하는 영상처리를 수행한다. 색상기반 영상추적 알고리즘에 의해서 탐지 및 추적이 수행되는 결과에 대한 데이터는 SD메모리에 저장이 되어 분석이 가능하며, 임무 수행 영상은 영상 모뎀을 통해 GCS로 송신되어 실시간으로 처리 결과를 모니터링 할 수 있게 된다.
- 배터리 전원을 공급할 수 있도록 배터리 연결선과 카메라 영상 입·출력을 위한 RCA 케이블을 별도로 제작하여 입력부는 김벌 카메라와 연결하고, 출력부는 아날로그 영상을 송신하는 영상 모뎀에 연결하여 획득한 영상을 지상으로 송신할 수 있도록 구성하였다.
- 본 논문에서 온보드 영상처리 시스템 개발을 위해 사용된 영상처리용 개발보드는 그림 2의 상용 임베디드 개발보드인 Android S3C6410 개발보드를 이용하여 목적에 맞게 시스템 변경 작업을 수행하였다.
- 본 연구에서 사용된 개발보드는 RGB색상을 표현할 때 Red 5비트, Green 6비트, Blue 5비트 총 16비트 (16bpp)만을 표현하도록 되어 있는데 일반적으로 RGB로 표현되는 색상은 총 24비트의 정보를 갖게 되므로 이를 16비트로 표현하기 위해서는 Red와 Blue에서 하위 3비트, Green에서 하위 2비트를 버린 값으로 수정하였다. 또한 프레임 버퍼의 내용을 변경하기 위해 mmap()시스템 콜을 사용하여 프레임 버퍼에 대한 접근을 메모리에 대한 접근으로 바꾸어 사용하도록 하여 고속의 입ㆍ출력이 가능하도록 하였다.
- 본 연구에서 적용한 색상기반 탐지 및 추적 알고리즘은 특정한 색상을 가진 지상의 물체를 탐지하고 추적하는 알고리즘으로서, RGB 색 공간 포맷에서 영상처리를 수행하게 된다. 그림 6은 영상처리 시스템의 프로세스를 나타낸다.
- 이 때, GUI를 지원하는‘make xconfig’ 컴파일 옵션을 이용하여 개발에 필요한 부분들만 커널에 포함하였다. 본 연구에서는 영상 처리용 어플리케이션 개발을 위해 리눅스 운영체제에서 비디오 디바이스를 제어하고 사용하기 위한 API인 V4L(Video For Linux)를 사용하였으며, 커널 빌드 후 zImage라는 커널 이미지가 생성이 되고, 이미지 파일을 타겟보드로 다운로드 하여 커널을 동작시키게 된다.
- 본 연구에서는 영상처리 결과를 LCD를 통해서 확인해보기 위하여 리눅스 시스템 그래픽 표현 장치인 프레임 버퍼(Frame buffer)를 이용하였는데, 이를 응용 프로그램에서 제어할 수 있도록 만들어진 프로그램은 프레임 버퍼 드라이버(Frame buffer driver)가 된다. 프레임 버퍼 디바이스는 ‘/dev’ 디렉토리 내에/dev/fbX 형태로 존재하며, 프레임 버퍼 장치 드라이버를 이용하여 타겟보드에 부착된 LCD에 영상을 표시한다.
- 온보드 영상처리 개발보드를 무인항공기에 탑재하고 총 세 번의 비행실험을 통해 온보드 영상처리 시스템의 성능을 평가하였다. 수동비행을 통해, 탐지및 추적하고자 하는 파란색 목표물 상공을 지속적으로 선회하였으며, 이 중 100 프레임을 추출하여 입력 영상으로부터 목표물을 탐지 및 추적하고 중심점을 계산한 후, 목표물 탐지 및 추적 결과 비교를 위해 SD메모리에 저장된 320x240 픽셀 크기의 원본 영상으로부터 고성능 CPU의 데스크탑 PC(Intel Core i5 CPU 750, 2.67GHz, 4GB RAM)에서 수행한 결과와 비교하였다. 그림 13은 온보드 영상처리 시스템으로부터 목표물 탐지 및 추적을 수행한 결과이다.
- 시스템 적용 환경 구축에서는 실제 시스템에 적용 하기 위해 필요한 라이브러리 및 응용 프로그램들에 대한 환경을 구축하였다. 영상처리 알고리즘 작성을 위해 C언어 기반의 컴퓨터 비전 관련 라이브러리인 OpenCV 라이브러리를 타겟보드에 포팅하였다.
- 실제 비행실험에 앞서 지상 테스트를 통해 시스템의 안정성 및 성능을 확인하였다. 지상테스트 결과 목표물 탐지 및 추적 영상처리 속도는 평균 146.
- 영상센서를 기반으로 하는 고정익 무인항공기 영상임무의 고급기술화를 위한 기초연구로서, 저전력 프로세서인 ARM 프로세서가 탑재된 개발보드를 이용하여 소형화, 경량화를 목표로 하는 고정익 무인항공기용 온보드 영상처리 시스템을 구현하고, 목표물 탐지 및 추적 알고리즘을 적용하였다.
- 영상처리 부분에 대한 지상테스트는 그림 21과 같이 320x240 픽셀 사이즈의 영상에 대해 수행하였으며, 움직이는 파란색 물체를 탐지 및 추적하도록 하였다. 움직이는 물체를 가정하여 파란색 물체를 임의의 방향으로 움직이도록 하였으며 탐지된 물체에 대해 중심점을 잘 찾는 것을 확인하였다.
- 영상처리 어플리케이션 실행에 앞서 아날로그 영상 출력이 잘 수행되는지 확인하기 위해 그림 5와 같이 CCD 카메라를 통해 들어오는 아날로그 영상에 대한 출력을 확인하였다. 또한 개발보드가 무인항공기에 탑재되어야 하므로 부팅이 끝나면 자동으로 어플리케이션이 실행되어야 할 필요가 있다.
- 온보드 영상처리 개발보드를 무인항공기에 탑재하고 총 세 번의 비행실험을 통해 온보드 영상처리 시스템의 성능을 평가하였다. 수동비행을 통해, 탐지및 추적하고자 하는 파란색 목표물 상공을 지속적으로 선회하였으며, 이 중 100 프레임을 추출하여 입력 영상으로부터 목표물을 탐지 및 추적하고 중심점을 계산한 후, 목표물 탐지 및 추적 결과 비교를 위해 SD메모리에 저장된 320x240 픽셀 크기의 원본 영상으로부터 고성능 CPU의 데스크탑 PC(Intel Core i5 CPU 750, 2.
대상 데이터
- 시스템 적용 환경 구축에서는 실제 시스템에 적용 하기 위해 필요한 라이브러리 및 응용 프로그램들에 대한 환경을 구축하였다. 영상처리 알고리즘 작성을 위해 C언어 기반의 컴퓨터 비전 관련 라이브러리인 OpenCV 라이브러리를 타겟보드에 포팅하였다.
이론/모형
- 무인항공기에 장착된 카메라의 영상좌표는 그림 7과 같으며, 카메라 좌표계는 핀홀 카메라 모델을 사용한다. 목표물의 영상 좌표와 3차원 좌표계 사이의 관계식은 식 (1)과 같다.
- 영상 입·출력 디바이스에 대한 초기화 및 해제는 V4L에서 담당하며, 영상포맷 변환 및 목표물 탐지 및 추적 알고리즘은 OpenCV 라이브러리를 이용하여 작성하였다.
- 영상기반 목표물 탐지 및 추적 알고리즘은 임베디드 시스템이 가진 한계와 특수성 등을 고려하여 연산량이 적고 단순한 알고리즘인 색상 기반 목표물 탐지 및 추적 알고리즘을 적용하였다.
- 임베디드 시스템에서의 알고리즘 처리 속도 향상을 위하여 카메라 입력영상에 대하여 관심영역 (Region of Interest)을 설정하여 연산하도록 하였으며, 추적 물체의 크기에 따라 관심영역의 크기가 적응적으로 변하는 Adaptive ROI방식을 적용하였다.
성능/효과
- Adaptive ROI를 적용하였을 색상기반 목표물 탐지 알고리즘에 대한 평균 처리시간은 그림 10에서 나타난 것처럼 139.61ms로서 Adaptive ROI를 적용하지 않았을 때의 평균 처리시간인 307.09ms보다 처리시간이 2배 이상 향상된 것을 확인하였다.
- 데스크탑 PC에서 동일 영상 및 Threshold 값으로 연산 수행하였을 때와 비교하여 탐지된 목표물에 대한 중심점 계산 결과와의 픽셀 거리 오차는 4픽셀 이내로서 목표물 탐지 및 추적이 온보드 시스템 상에서 이루어지는 것을 확인하였다.
- 온보드 영상처리 시스템의 요구 목표 성능을 고려하여 시스템 최적화 방안을 모색하였으며 지상테스트를 통하여 안정성을 확인하였다. 비행실험을 통해 성능을 검증하였으며, 비행실험 결과 320x240(pixels) 해상도의 영상에서 평균 138ms의 처리속도로 파란색의 목표물을 탐지하고 추적하는 것을 확인하였다.
- 3ms를 나타내었다. 시스템 오작동이나 강제 종료 상황 발생 시 데이터에 대한 손실여부를 확인하기 위해 시스템을 강제 종료시킨 상황에서도 시스템이 종료되기 전까지에 대한 영상 데이터 및 중심점 데이터가 저장이 된 것을 확인하였다. 영상처리 시스템을 무인항공기에 탑재한 후, 엔진 파워를 점차적으로 증가하여 안정성을 테스트 하였으며 엔진 파워를 최대로 한 상태에서도 고주파 진동으로 인한 비정상 종료 상황이 발생하지 않았으며, 전원 공급도 일정하게 유지되는 것을 확인하였다.
- 시스템 오작동이나 강제 종료 상황 발생 시 데이터에 대한 손실여부를 확인하기 위해 시스템을 강제 종료시킨 상황에서도 시스템이 종료되기 전까지에 대한 영상 데이터 및 중심점 데이터가 저장이 된 것을 확인하였다. 영상처리 시스템을 무인항공기에 탑재한 후, 엔진 파워를 점차적으로 증가하여 안정성을 테스트 하였으며 엔진 파워를 최대로 한 상태에서도 고주파 진동으로 인한 비정상 종료 상황이 발생하지 않았으며, 전원 공급도 일정하게 유지되는 것을 확인하였다. 저장된 영상 데이터 확인 결과 약간의 노이즈가 발생하였으나 연속적인 시간지연은 발생하지 않았다.
- 온보드 영상처리 시스템의 요구 목표 성능을 고려하여 시스템 최적화 방안을 모색하였으며 지상테스트를 통하여 안정성을 확인하였다. 비행실험을 통해 성능을 검증하였으며, 비행실험 결과 320x240(pixels) 해상도의 영상에서 평균 138ms의 처리속도로 파란색의 목표물을 탐지하고 추적하는 것을 확인하였다.
- 영상처리 부분에 대한 지상테스트는 그림 21과 같이 320x240 픽셀 사이즈의 영상에 대해 수행하였으며, 움직이는 파란색 물체를 탐지 및 추적하도록 하였다. 움직이는 물체를 가정하여 파란색 물체를 임의의 방향으로 움직이도록 하였으며 탐지된 물체에 대해 중심점을 잘 찾는 것을 확인하였다. 그림 12의 오른쪽 영상은 왼쪽 영상에 대한 원본영상이며, 노이즈가 섞인 처리 결과영상과 달리 깨끗한 화질의 원본 영상을 획득한 것을 확인할 수 있다.
- 실제 비행실험에 앞서 지상 테스트를 통해 시스템의 안정성 및 성능을 확인하였다. 지상테스트 결과 목표물 탐지 및 추적 영상처리 속도는 평균 146.3ms를 나타내었다. 시스템 오작동이나 강제 종료 상황 발생 시 데이터에 대한 손실여부를 확인하기 위해 시스템을 강제 종료시킨 상황에서도 시스템이 종료되기 전까지에 대한 영상 데이터 및 중심점 데이터가 저장이 된 것을 확인하였다.
- 그림 15는 중심점 픽셀좌표에 대한 거리 오차를 나타낸 것이다. 측정 결과, 세 번의 실험에서 중심점 픽셀좌표에 대한 픽셀 거리 오차는 각각 2.95픽셀, 3.85픽셀, 3.95픽셀로서 4픽셀 이내의 오차 범위 내에서 목표물을 탐지하고 추적하는 것을 확인하였으며, 결과를 표 2에 정리하였다.
후속연구
- 본 연구를 통해 온보드 영상처리 시스템의 효용성을 평가하였으며, 차 후 고속 연산이 가능한 프로세서를 이용하여 다양한 영상임무 수행 및 외부변수에 대한 강인성 향상 방안 등 성능개량에 대한 연구가 추가적으로 이루어져야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.