본 논문은 무인기를 통해 획득한 영상정보의 해상도를 향상시키기 위해 복수영상 기반 초해상도 기법을 적용하고, 이를 통한 무인기의 지상 목표물 인식 능력 향상에 대한 내용을 담고 있다. 이를 검증하기 위해 기체 제작 및 제어 시스템을 구축하였고, 무인기와 지상의 목표물을 이용해 설계한 알고리즘을 검증하였다. 실험 결과 초해상도 기법 적용 전, 후 영상을 비교하였을 때 RMSE는 0.0677에서 0.0315, NRMSE는 7.4030%에서 3.5726%로, PSNR은 23.3885dB에서 30.0036dB, SSIM은 0.6996에서 0.8948로 향상되었음을 확인하였다. 이를 통해 본 알고리즘을 적용하여 무인기 영상의 해상도를 향상시킬 수 있음을 검증하였다.
본 논문은 무인기를 통해 획득한 영상정보의 해상도를 향상시키기 위해 복수영상 기반 초해상도 기법을 적용하고, 이를 통한 무인기의 지상 목표물 인식 능력 향상에 대한 내용을 담고 있다. 이를 검증하기 위해 기체 제작 및 제어 시스템을 구축하였고, 무인기와 지상의 목표물을 이용해 설계한 알고리즘을 검증하였다. 실험 결과 초해상도 기법 적용 전, 후 영상을 비교하였을 때 RMSE는 0.0677에서 0.0315, NRMSE는 7.4030%에서 3.5726%로, PSNR은 23.3885dB에서 30.0036dB, SSIM은 0.6996에서 0.8948로 향상되었음을 확인하였다. 이를 통해 본 알고리즘을 적용하여 무인기 영상의 해상도를 향상시킬 수 있음을 검증하였다.
This paper describes the application of Multi-frame based super-resolution method to enhance resolution of image information from the UAV, and the improvement of UAV's ground target recognition ability. To verify this algorithm, we designed a flight/ground control system, and the UAV, and then the a...
This paper describes the application of Multi-frame based super-resolution method to enhance resolution of image information from the UAV, and the improvement of UAV's ground target recognition ability. To verify this algorithm, we designed a flight/ground control system, and the UAV, and then the algorithm was validated using the UAV system with ground target. As a result of the comparison between the pre-applied image and post-applied one shows that the RMSE is from 0.0677 to 0.0315, NRMSE is from 7.4030% to 3.5726%, PSNR is from 23.3885dB to 30.0036dB, and SSIM is from 0.6996 to 0.8948. Through these results, we validate this study can enhance the resolution of UAV's image using Multi-frame based super-resolution algorithm.
This paper describes the application of Multi-frame based super-resolution method to enhance resolution of image information from the UAV, and the improvement of UAV's ground target recognition ability. To verify this algorithm, we designed a flight/ground control system, and the UAV, and then the algorithm was validated using the UAV system with ground target. As a result of the comparison between the pre-applied image and post-applied one shows that the RMSE is from 0.0677 to 0.0315, NRMSE is from 7.4030% to 3.5726%, PSNR is from 23.3885dB to 30.0036dB, and SSIM is from 0.6996 to 0.8948. Through these results, we validate this study can enhance the resolution of UAV's image using Multi-frame based super-resolution algorithm.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 무인항공기의 감시 및 정찰 임무의 효율을 향상시키기 위하여 무인기 영상의 해상도를 소프트웨어적인 방법으로 개선시키는 연구를 담고 있다. 알고리즘 설계 뿐 아니라 이를 검증하기 위한 시스템을 직접 구축하였으며, 비행 실험을 통해 얻은 영상을 이용하여 연구를 진행하였다.
본 논문에서는 이러한 복수영상을 이용하는 방법에 초점을 두고 무인기의 화질을 개선하는 연구 내용을 다루고 있으며, 뿐만 아니라 이를 검증하기 위한 기체, 비행 제어 시스템, 지상 제어 시스템 구축에 대한 내용을 포함하고 있다.
가설 설정
또한 2장에서 설명한 알고리즘의 신뢰성을 측정하기 위해 고성능 영상장비를 통해 얻은 입력 영상을 고의적으로 열화시켰다. 이는 실제 무인기의 임무수행 상황에서 영상의 화질이 악화될 경우를 가정한 것이다. 그러므로 2장의 알고리즘은 열화된 영상에 적용되며, 원본 영상은 초해상도 복원 결과 영상의 성능 비교용 기준으로 사용된다.
제안 방법
위와 같은 과정을 거쳐 σ × k개의 열화영상을 얻을 수 있다. 각 열화영상 프레임에서 패치별로 검색을 실시하여 가장 유사한 패치를 추출한다. 수집한 패치 정보들은 임시 보관공간에 저장되었다가 현재프레임의 확대 스케일 영상에 결합하여 고해상도 복원 영상을 획득하게 된다[10].
1에서 수행한 알고리즘 검증과는 달리, 입력 영상을 직접 복원해야 하므로 해당 실험에서는 성능의 기준이 될 영상이 없다. 그러므로 복수영상 기반의 결과 영상을 기준으로 삼아 입력 영상이 개선된 정도와 단일영상 기반 알고리즘과의 성능 비교를 실시하였다.
Bai는 스케일이 변하더라도 단일 프레임보다 멀티 프레임이 유사한 패치를 많이 보유하는 것을 증명하였다[9]. 그러므로 본 연구에서는 여러 프레임을 이용하는 복수영상 기반 초해상도 알고리즘을 적용하기로 하였다. Fig.
또한 2장에서 설명한 알고리즘의 신뢰성을 측정하기 위해 고성능 영상장비를 통해 얻은 입력 영상을 고의적으로 열화시켰다. 이는 실제 무인기의 임무수행 상황에서 영상의 화질이 악화될 경우를 가정한 것이다.
본 연구에서 설계한 알고리즘 및 시스템을 검증하기 위한 실험은 다음과 같은 단계로 이루어진다. 먼저 멀티콥터를 이용한 알고리즘 사전 검증과 영상 해상도 향상의 정도를 수치적으로 분석한다. 알고리즘의 성능을 검증한 이후 개발한 무인기 시스템에 적용하여 비행 실험을 실시하여 결과를 분석한다.
본 논문에서 설명한 알고리즘의 사전 검증이 모두 완료된 이후, 부산대학교 양산캠퍼스 무인기비행시험센터에서 PNUAV-8의 비행 성능 및 안전성 테스트와 GCS간의 통신 테스트, 자율 비행 성능 테스트를 실시하였다. 이후 영상장비를 탑재하여 알고리즘 검증을 다시 진행하였다.
본 실험에 쓰일 기체 및 지상 제어 시스템을 제작하는 동안 기존에 보유하고 있던 상용 멀티콥터를 이용하여 실제 비행환경에서의 사전 테스트를 진행하였다.
본 연구에서 사용한 알고리즘의 효용성을 검증하기 위하여 원본 영상 Fig. 17의 해상도를 가우시안 필터와 영상 스케일 축소를 통해 Fig. 18과 같은 비교용 열화 영상을 만들었다. 이 열화 영상에 본 연구의 결과물을 적용하여 어느 정도의 해상도 개선이 이루어졌는지 원본 영상과 대조하였다.
본 연구에서는 기체에 GoPro 카메라를 장착하였으며 이를 통해 RGB 컬러영상을 획득할 수 있다. 일반적인 그레이스케일(gray-scale) 이미지는 한 픽셀의 값이 양의 정수로 이루어져있으며, 이는 해당 픽셀의 밝기를 나타낸다.
본 연구에서는 여러 프레임(ft,ft-1,ft-2)을 동시에 이용함으로서 같은 영역에서 강인한 특징 patch를 추출할 확률을 높였다. 또한 보간법으로 최 인접 보간법을 적용하였다.
본 연구에서 사용한 PNUAV-8의 영상장비는 아날로그 모뎀을 사용하기 때문에 노이즈가 심하며 해상도가 높지 않다. 설계한 알고리즘의 성능은 4.1절에서 검증되었기 때문에, 무인기로부터 전송되는 영상에 바로 본 연구에서 개발한 알고리즘을 적용하였다.
본 논문에서는 무인항공기의 감시 및 정찰 임무의 효율을 향상시키기 위하여 무인기 영상의 해상도를 소프트웨어적인 방법으로 개선시키는 연구를 담고 있다. 알고리즘 설계 뿐 아니라 이를 검증하기 위한 시스템을 직접 구축하였으며, 비행 실험을 통해 얻은 영상을 이용하여 연구를 진행하였다. Table 1에서 나타나 있는 본 연구의 알고리즘을 적용한 결과를 보았을 때 해상도 향상은 상당한 수준 이루어졌으며, 특히 PSNR의 수치에 의하면 원본에 가깝게 향상되었음을 확인할 수 있다.
이는 영상 정보 인식에 악영향을 끼친다. 이러한 문제점을 해결하기 위해 확대 스케일 영상에 초해상도 알고리즘을 적용하여 화질을 개선한다.
본 논문에서 설명한 알고리즘의 사전 검증이 모두 완료된 이후, 부산대학교 양산캠퍼스 무인기비행시험센터에서 PNUAV-8의 비행 성능 및 안전성 테스트와 GCS간의 통신 테스트, 자율 비행 성능 테스트를 실시하였다. 이후 영상장비를 탑재하여 알고리즘 검증을 다시 진행하였다.
지면 기준 고도 50m에서 촬영한 영상 데이터를 노트북 PC로 전송한 후, 색상 기반 목표물 인식 알고리즘과 ROI 추적 알고리즘, 그리고 초해상도 알고리즘의 정상 작동 여부와 화질 개선 정도를 측정하였다.
대상 데이터
Figure 12는 본 연구의 검증을 위해 제작한 고정익 무인항공기 PNUAV-8이다. 단발 RC 글로우엔진을 이용하였고, 영상 촬영 및 목표물 타격을 위한 안정적인 비행을 하기 위해 고익기의 형상을 채택하였다. 기체의 내부에는 AHRS, GPS 등의 센서 모듈, 지상 제어 시스템과의 통신 모듈, 배터리, 연료통, 비행 제어 시스템, 김벌 및 카메라 등이 탑재되어 있다.
사용된 멀티콥터는 Fig. 14에 나와 있는 DJI社에서 제작한 Inspire이고, 실험은 부산대학교 양산캠퍼스에 위치한 무인기비행시험센터 활주로에서 진행되었으며, Fig. 15와 같은 지상 목표물을 제작한 후 설치하였다.
영상 시스템은 Fig. 13과 같이 김벌, 카메라, 그래버 보드, 영상 통신용 아날로그 모뎀으로 구성되어 있다. 이 때 사용되는 영상모뎀은 아날로그 방식을 사용하며, 주파수 대역은 5.
18과 같은 비교용 열화 영상을 만들었다. 이 열화 영상에 본 연구의 결과물을 적용하여 어느 정도의 해상도 개선이 이루어졌는지 원본 영상과 대조하였다.
데이터처리
먼저 열화 영상과 결과 영상의 RMSE(Root Mean Square Error)를 계산하였다. RMSE는 0에 수렴할수록 원본 영상과 가깝다고 할 수 있다.
먼저 멀티콥터를 이용한 알고리즘 사전 검증과 영상 해상도 향상의 정도를 수치적으로 분석한다. 알고리즘의 성능을 검증한 이후 개발한 무인기 시스템에 적용하여 비행 실험을 실시하여 결과를 분석한다.
이론/모형
)을 동시에 이용함으로서 같은 영역에서 강인한 특징 patch를 추출할 확률을 높였다. 또한 보간법으로 최 인접 보간법을 적용하였다.
13과 같이 김벌, 카메라, 그래버 보드, 영상 통신용 아날로그 모뎀으로 구성되어 있다. 이 때 사용되는 영상모뎀은 아날로그 방식을 사용하며, 주파수 대역은 5.8GHz이다. 이는 기체와 메인 GCS 콘솔 간의 통신 주파수인 2.
이에 본 연구에서는 인식된 목표물의 영상에 Mean shift 알고리즘을 적용하여[5] Fig. 6과 같은 차례로 ROI가 목표물을 지속적으로 추적할 수 있도록 하였다.
저해상도 입력영상에 최인접 보간법, 이중 선형 보간법, 이중 입방 보간법 등을 적용하여 확대 스케일 영상을 만든다[7]. Fig.
성능/효과
단일영상 기반과 복수영상 기반을 비교하면 근소하지만 후자가 개선되었음을 확인하였다. SSIM의 경우도 근소하지만 복수영상 기반이 단일영상 기반보다 더 개선됨을 확인하였다. 이를 통해 종합적으로 복수영상 기반 초해상도 알고리즘이 단일영상을 사용했을 때보다 성능이 뛰어나다는 것을 확인할 수 있었으며 실제 임무를 수행중인 무인기의 영상을 개선할 수 있다는 점 또한 확인하였다.
알고리즘 설계 뿐 아니라 이를 검증하기 위한 시스템을 직접 구축하였으며, 비행 실험을 통해 얻은 영상을 이용하여 연구를 진행하였다. Table 1에서 나타나 있는 본 연구의 알고리즘을 적용한 결과를 보았을 때 해상도 향상은 상당한 수준 이루어졌으며, 특히 PSNR의 수치에 의하면 원본에 가깝게 향상되었음을 확인할 수 있다.
26에서 볼 수 있듯 해상도가 개선되었다. 그리고 복수영상을 기반으로 해상도를 복원했을 때가 가우시안 노이즈가 많이 개선되었기 때문에 단일영상을 기반으로 할 때보다 성능이 다소 향상됨을 확인하였다.
2082의 값을 가지며, 이는 입력 영상의 노이즈가 개선됨을 의미한다. 단일영상 기반과 복수영상 기반을 비교하면 근소하지만 후자가 개선되었음을 확인하였다. SSIM의 경우도 근소하지만 복수영상 기반이 단일영상 기반보다 더 개선됨을 확인하였다.
000이며, 시각적 이미지로 나타내면 일치하는 부분은 백색이 되기 때문에 순수한 백색으로 표시된다. 본 연구에서는 열화 영상의 경우 0.6996, 결과 영상은 0.8948의 SSIM을 가지며 결과 영상의SSIM 이미지가 백색에 가깝다.
위와 같은 과정을 거쳐 설계한 알고리즘이 영상 해상도 개선에 효과가 있음을 검증하였다.
SSIM의 경우도 근소하지만 복수영상 기반이 단일영상 기반보다 더 개선됨을 확인하였다. 이를 통해 종합적으로 복수영상 기반 초해상도 알고리즘이 단일영상을 사용했을 때보다 성능이 뛰어나다는 것을 확인할 수 있었으며 실제 임무를 수행중인 무인기의 영상을 개선할 수 있다는 점 또한 확인하였다. 다만 4.
후속연구
연산 속도의 문제만 해결되면 같은 영상장비를 이용하더라도 무인기의 영상을 활용한 감시 및 정찰 임무 등의 효율성이 크게 증가 할 수 있다. 무인기뿐만 아니라 관측용 인공위성 분야에서도 초해상도 영상 복원 기술을 연구하고 있으므로[13] 본 연구의 효용성이 높다고 생각한다.
이는 일반적으로 그래픽카드로 알려진 GPU에 내장된 수백개의 코어를 이용해 단순 계산을 병렬로 처리하는 방식이다. 이를 이용하면 픽셀 단위로 연산을 진행하는 영상 처리에 있어서 연산 속도의 비약적인 향상을 기대할 수 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
예제기반 초해상도 영상복원의 장단점은?
이때 패치(patch)란 비교를 위한 원본과 후보영상의 국소 영역을 의미한다. 예제기반(example-based) 초해상도 영상복원은 단일영상을 사용해서 고해상도 영상으로 복원할 수 있는 장점이 있지만, 계산양이 많으며, 입력 영상과 학습 영상들의 특성이 이질적인 경우 복원 성능이 크게 저하되는 단점이 있다.
사전기반 영상 복원기법은 무엇인가?
W. Freeman은 다양한 고해상도 영상들을 저해상도 영상으로 변환하여 각각 대응되는 해상도 패치 쌍을 참조하는 사전기반 영상 복원기법을 제안하였다[2]. 이때 패치(patch)란 비교를 위한 원본과 후보영상의 국소 영역을 의미한다.
무인항공기의 장점은 무엇인가?
특히 근래에는 무인항공기 기술에 대한 요구가 높다. 이는 사람이 탑승하지 않으므로 다양한 크기와 형태를 가지며, 조종사의 위험을 고려하지 않아도 되기에 위험한 임무를 장시간 수행할 수 있다. 무인항공기의 주된 임무는 바로 정찰 및 목표물 수색, 감시이며 이러한 임무를 수행하는 무인항공기에는 영상 장비가 탑재된다.
참고문헌 (13)
T. Lehmann, C. Gonner, and K. Spitzer, "Survey: interpolation methods in medical image processing," IEEE Trans. Medical Imaging, vol1. 18, no. 11, November 1999, pp. 1049-1075.
W. Freeman, T. Jones, and E. Pasztor, "Example-based super-resolution," IEEE Computer Graphics and Applications, vol. 22, no.2, pp. 56-65, March/April 2002.
D. Glasner, S. Bagon, and M. Irani, "Super-resolution from a single image," Proc. IEEE Int. Conf. Computer Vision, pp. 349-356, September 2009.
G. Freedman and R. Fattal, "Image and video upscaling from local self-examples," ACM Trans. Graphics, vol. 30, no. 2, pp. 12.1-12.11, April 2011.
COMANICIU, Dorin; RAMESH, Visvanathan; MEER, Peter. Real-time tracking of non-rigid objects using mean shift. In: Computer Vision and Pattern Recognition, 2000. Proceedings. IEEE Conference on. IEEE, 2000. p. 142-149.
S. Farsiu, M. Robinson, M. Elad, and P. Milanfar, "Fast and robust multiframe super resolution," IEEE Trans. Image Processing, vol. 13, no. 10, pp. 1327-1344, October 2004.
T. Lehmann, C. Gonner, and K. Spitzer, "Survey: interpolation methods in medical image processing," IEEE Trans. Medical Imaging, vol1. 18, no. 11, pp. 1049-1075, November 1999.
T. S. Huang and R. Y. Tsai, "Multi-frame image restoration and registration," Adv. Comput. Vis. Image Process., vol. 1, 1984, pp. 317-339.
W. Bai, J. Liu, M. Li, and Z. Guo, "Multi-frame super-resolution using refined exploration of extensive self-examples," MMM, pp. 403-413, January January 2013.
Jeong, Seokhwa, Inhye Yoon, and Joonki Paik. "UHD TV Image Enhancement using Multi-frame Example-based Super-resolution." Journal of the Institute of Electronics and Information Engineers 52.3 (2015): 154-161.
Zhao, Nan, et al. "Multi-Frame Image Super-Resolution Based on Regularization Scheme." Control, Automation and Systems Engineering (CASE), 2011 International Conference on. IEEE, 2011.
Shin, Jeongho. "Superresolution Restoration From Directional Rectangular Blurred Images." Journal of Broadcast Engineering 19.1 (2014): 109-117.
MOUSTAFA, Marwa, et al. Satellite Super Resolution Image Reconstruction Based on Parallel Support Vector Regression. In: International Conference on Advanced Machine Learning Technologies and Applications. Springer International Publishing, 2014. p. 223-235.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.