[논문]프레임동영상의 근실시간 센서모델 보정시스템 개발 및 성능분석

권혁태; 고진우; 김상희; 박세형

doi:10.9766/kimst.2018.21.3.315

문제 정의

따라서 아핀 불변 방법론들의 계산 부하를 피하면서도 촬영 기하가 상이한 문제를 극복하기 위하여 입력 동영상의 촬영 기하에 따라 참조영상을 기준 자료로부터 3차원으로 합성하는 방식을 제안하였다^[3]. 본 논문에서는 프레임 센서 보정을 통한 좌표결정 정확도 개선을 확인한 이전 연구를 바탕으로 동영상 재생에 따른 센서모델 보정 시스템을 제안한다.
. 본 논문에서는 프레임 센서 보정을 통한 좌표결정 정확도 개선을 확인한 이전 연구를 바탕으로 동영상 재생에 따른 센서모델 보정 시스템을 제안한다. 근실시간 처리를 위하여 프레임 영상과 참조영상 정합 외에 인접 프레임 간 정합을 통한 센서모델 보정 방법을 융합하고, 구현한 시스템에서 모의 동영상으로 수행한 보정 결과를 분석하였다.
본 연구에서는 경사 촬영된 무인항공기 동영상 프레임의 센서모델을 보정하기 위하여 촬영 기하가 유사한 경사 영상을 기준 지형자료로부터 합성하여 참조 영상으로 활용하는 방법론을 제안하고 소프트웨어 시스템으로 구현하여 모의실험을 수행하였다. 실험 결과, 제안하는 방법론을 통하여 동영상 센서모델을 보정하여 오차를 개선할 수 있었고, 경사 참조 영상을 활용하는 것이 정사 영상을 그대로 이용하는 것보다 보정 성능이 우수함을 확인하였다.

가설 설정

이 논문에서 제안하는 참조 영상은 입력 프레임과 유사한 촬영 기하로 만들어진 프레임 영상이다. 입력 센서모델이 오차를 포함하고 있지만 입력 센서모델로 촬영한 가상의 장면이 입력 프레임과 중복되는 영역이 있다고 가정하면, 이 가상의 장면을 기준 지형자료로부터 합성한 것이 참조 영상이 된다.

제안 방법

본 논문에서는 프레임 센서 보정을 통한 좌표결정 정확도 개선을 확인한 이전 연구를 바탕으로 동영상 재생에 따른 센서모델 보정 시스템을 제안한다. 근실시간 처리를 위하여 프레임 영상과 참조영상 정합 외에 인접 프레임 간 정합을 통한 센서모델 보정 방법을 융합하고, 구현한 시스템에서 모의 동영상으로 수행한 보정 결과를 분석하였다.
제안 방법론과 개발 시스템의 유효성을 검증하기 위하여 먼저 기준 지형자료로부터 합성한 참조 영상과의 정합을 통한 센서모델 보정 성능과 인접 프레임 정합을 통한 센서모델 보정 성능 평가 실험을 수행하였다. 다음으로 실제 구현 시스템에서 모의 동영상을 입력하여 센서모델을 보정하는 사례를 분석하였다.
다음으로 인접 프레임 정합을 통한 센서모델 보정 실험을 수행하였다. 상대 기준 센서모델을 부여하기 위하여 모의 항적의 첫 프레임에서 지상좌표가 주어진 참조 영상과 정합을 통해 센서모델을 보정하고, 이를 기준으로 이후 항적에서 인접 프레임 정합만 수행하여 센서모델을 보정하였다.
동영상 센서모델 보정 성능 분석을 위한 제어인자들로서, 구역은 5수준(안흥, 태안 일대 5개 구역), 각 구역 당 화각은 3수준(광/중/협시계), 촬영 고도는 4수준(12/10/7/5 km)으로 하였다. 또한 제어인자들의 수준을 임의 조합하여 연속된 100개의 임의 항적을 생성하는 시뮬레이션을 10회 반복하여 실험을 수행하였다.
동영상 센서모델 보정 시스템 성능 확인을 위해 입력 동영상을 모의하는 지형자료와 참조 영상을 합성할 기준 지형자료를 서로 다르게 하여 모의실험을 수행하였다. 입력 동영상은 25 cm급 항공영상으로 합성한 3차원 지형을 중시계, 25,000 ft 상공에서 좌표지향(고각 -42도)으로 촬영하는 장면을 모의한 HD급(1280×720) 30 fps 동영상으로 하고, 약 3 cm급 드론 정사영상을 기준 지형자료로 하여 센서모델 보정 시스템을 실행하였다.
동영상 좌표결정 시스템을 위한 센서모델 보정 성능 분석을 위해 이전 연구^[3]에서와 같이 입력 동영상과 참조영상을 동일한 지형자로로부터 합성하여 영상 정합이 잘 작동하도록 통제한 실험을 계획하였다. 본 논문에서는 동영상 프레임 내 표적 위치결정을 목적으로 하므로 센서모델 외부표정요소(위치, 자세)의 정확한 복원^[8]은 특성치에서 제외하였다(Table 1).
또한 동일한 모의실험 환경에서 인접 프레임 정합을 융합하여 처리 속도와 보정 결과의 변화를 확인하였다. 인접 프레임 정합을 통한 센서모델 보정에서 필요한 상대적인 기준 센서모델을 생성하기 위하여 먼저 참조 영상과의 정합을 단독으로 수행하고, 이후 인접 프레임 간 정합을 융합하여 실행하였다.
동영상 센서모델 보정 성능 분석을 위한 제어인자들로서, 구역은 5수준(안흥, 태안 일대 5개 구역), 각 구역 당 화각은 3수준(광/중/협시계), 촬영 고도는 4수준(12/10/7/5 km)으로 하였다. 또한 제어인자들의 수준을 임의 조합하여 연속된 100개의 임의 항적을 생성하는 시뮬레이션을 10회 반복하여 실험을 수행하였다.
1절의 방법론을 구현한다. 먼저 입력 센서모델에 따라 기준 지형자료로부터 참조 영상을 3차원으로 합성하고, 동영상 프레임과 참조 영상 간 정합 및 공간후방교회법을 통해 센서모델을 보정한다. 이후 보정 센서모델은 센서모델 보정기(Sensor model updater)에 보고되고, 인접 프레임 정합의 상대 기준 프레임 센서모델(Ref.
먼저, 경사 합성영상의 효용성을 확인하기 위하여 경사 참조 영상을 합성하는 제안 방법론과 센서 촬영각을 직하방으로 하고 원 영상에 포함된 피사체가 가급적 포함되도록 고도 변경을 통해 촬영거리를 보정한 정사 참조 영상과의 보정 결과를 비교하였다. 영상 정합은 OpenCV CUDA SURF 알고리즘을 사용하였고, 각 영상에서 3,000개 정도의 특징점이 추출되도록 모수를 조정하였다.
다음으로 인접 프레임 정합을 통한 센서모델 보정 실험을 수행하였다. 상대 기준 센서모델을 부여하기 위하여 모의 항적의 첫 프레임에서 지상좌표가 주어진 참조 영상과 정합을 통해 센서모델을 보정하고, 이를 기준으로 이후 항적에서 인접 프레임 정합만 수행하여 센서모델을 보정하였다. 앞의 실험과 동일하게 제어 인자 조합 당 100개의 임의항적을 생성하는 시뮬레이션을 10회 반복하였다.
2절의 방법론을 따라 상대 기준 프레임으로부터 현재 입력 프레임 간 정합을 누적하여 센서모델을 보정한다. 새로운 보정 센서모델을 센서모델 보정기에 보고하고 다음 프레임의 영상 정합 및 보정을 위하여 영상 프레임과 함께 상대 기준 센서모델로 설정한다.
윈도 환경에서 SURF를 포함한 다양한 영상 정합 알고리즘을 선택하여 실험할 수 있도록 구성하였고, 영상 정합과 센서모델 보정 결과를 영상 비교와 분석 그래프를 통해 시각적으로 확인하는 기능을 제공하도록 하였다.
또한 동일한 모의실험 환경에서 인접 프레임 정합을 융합하여 처리 속도와 보정 결과의 변화를 확인하였다. 인접 프레임 정합을 통한 센서모델 보정에서 필요한 상대적인 기준 센서모델을 생성하기 위하여 먼저 참조 영상과의 정합을 단독으로 수행하고, 이후 인접 프레임 간 정합을 융합하여 실행하였다.
입력 동영상은 25 cm급 항공영상으로 합성한 3차원 지형을 중시계, 25,000 ft 상공에서 좌표지향(고각 -42도)으로 촬영하는 장면을 모의한 HD급(1280×720) 30 fps 동영상으로 하고, 약 3 cm급 드론 정사영상을 기준 지형자료로 하여 센서모델 보정 시스템을 실행하였다.
입력 동영상은 25 cm급 항공영상으로 합성한 3차원 지형을 중시계, 25,000 ft 상공에서 좌표지향(고각 -42도)으로 촬영하는 장면을 모의한 HD급(1280×720) 30 fps 동영상으로 하고, 약 3 cm급 드론 정사영상을 기준 지형자료로 하여 센서모델 보정 시스템을 실행하였다. 입력 동영상의 센서모델 오차는 보정 효과가 잘 드러나도록 센서 ECEF 위치에서 x, y축으로 각각 20 m 거리로 일괄 부여하였다.
공간후방교회법을 위한 제어점을 정합쌍 중에서 선택하는데, 본 연구에서는 3차원 합성을 통해 촬영기하를 유사하게 유지하였으므로 영상 정합에는 아핀 변환을 고려하지 않는 GPU 가속 SURF^[4] 알고리즘을 적용하였다. 정합 결과의 신뢰성을 높이기 위하여 Preemtive- RANSAC^[5]으로 대응쌍을 거르고 영상 프레임을 구획으로 나누어 공간적으로 고르게 분포하는 점들을 선택하여 최적화 과정의 과적합을 피한다.
제안 방법론과 개발 시스템의 유효성을 검증하기 위하여 먼저 기준 지형자료로부터 합성한 참조 영상과의 정합을 통한 센서모델 보정 성능과 인접 프레임 정합을 통한 센서모델 보정 성능 평가 실험을 수행하였다. 다음으로 실제 구현 시스템에서 모의 동영상을 입력하여 센서모델을 보정하는 사례를 분석하였다.
프레임 카메라의 공선조건식을 이용하여 카메라의 외부표정요소(위치, 자세)를 구하는 공간후방 교회법에는 최소제곱법을 통한 일반적인 비선형 최적화 기법을 적용하였다. 공간후방교회법을 위한 제어점을 정합쌍 중에서 선택하는데, 본 연구에서는 3차원 합성을 통해 촬영기하를 유사하게 유지하였으므로 영상 정합에는 아핀 변환을 고려하지 않는 GPU 가속 SURF^[4] 알고리즘을 적용하였다.

대상 데이터

이 논문에서 제안하는 참조 영상은 입력 프레임과 유사한 촬영 기하로 만들어진 프레임 영상이다. 입력 센서모델이 오차를 포함하고 있지만 입력 센서모델로 촬영한 가상의 장면이 입력 프레임과 중복되는 영역이 있다고 가정하면, 이 가상의 장면을 기준 지형자료로부터 합성한 것이 참조 영상이 된다.

이론/모형

7. Geolocation error of the grid points in the frame-frame matching method. Dash line indicates the input error level(14.
프레임 카메라의 공선조건식을 이용하여 카메라의 외부표정요소(위치, 자세)를 구하는 공간후방 교회법에는 최소제곱법을 통한 일반적인 비선형 최적화 기법을 적용하였다. 공간후방교회법을 위한 제어점을 정합쌍 중에서 선택하는데, 본 연구에서는 3차원 합성을 통해 촬영기하를 유사하게 유지하였으므로 영상 정합에는 아핀 변환을 고려하지 않는 GPU 가속 SURF^[4] 알고리즘을 적용하였다. 정합 결과의 신뢰성을 높이기 위하여 Preemtive- RANSAC^[5]으로 대응쌍을 거르고 영상 프레임을 구획으로 나누어 공간적으로 고르게 분포하는 점들을 선택하여 최적화 과정의 과적합을 피한다.
먼저, 경사 합성영상의 효용성을 확인하기 위하여 경사 참조 영상을 합성하는 제안 방법론과 센서 촬영각을 직하방으로 하고 원 영상에 포함된 피사체가 가급적 포함되도록 고도 변경을 통해 촬영거리를 보정한 정사 참조 영상과의 보정 결과를 비교하였다. 영상 정합은 OpenCV CUDA SURF 알고리즘을 사용하였고, 각 영상에서 3,000개 정도의 특징점이 추출되도록 모수를 조정하였다.

성능/효과

각 성분별 평균은 많이 개선된 것으로 보이나, RMSE가 참조 영상 정합 때보다 증가하였다. (1)-(3) 중심점 RMSE가 약 6.5 m로 증가하였고, 입력 오차의 절반 이하로 보정되었다. 프레임 회차에 따른 RMSE 그래프(Fig.
앞의 실험과 동일하게 제어 인자 조합 당 100개의 임의항적을 생성하는 시뮬레이션을 10회 반복하였다. 각 성분별 평균은 많이 개선된 것으로 보이나, RMSE가 참조 영상 정합 때보다 증가하였다. (1)-(3) 중심점 RMSE가 약 6.
실험 결과, 제안하는 방법론을 통하여 동영상 센서모델을 보정하여 오차를 개선할 수 있었고, 경사 참조 영상을 활용하는 것이 정사 영상을 그대로 이용하는 것보다 보정 성능이 우수함을 확인하였다. 또한, 인접 프레임 간 정합을 융합하여 한계 오차 내에서 HD급 동영상의 센서모델을 근실시간으로 보정할 수 있었다.
모의실험을 통하여 제안 시스템은 HD급 프레임 동영상의 센서모델을 한계오차 내에서 갱신주기 10Hz 이상으로 보정 할 수 있음을 확인하였다.
72 m는 오차가 적절히 부여되었음을 나타낸다. 보정 결과, 위치 성분별로 편차가 크게 줄어들고 (1)-(3) RMSE가 0.5 m 수준으로 개선되었다.
7)에서 오차 누적 현상과 예외적인 정합 오류 현상을 확인할 수 있는데, 특히 정합 오류가 크게 발생한 지역은 특징점 정합이 어려운 해상 또는 산림지대로 파악되었다. 실험 결과 예외적인 오류를 방지하고 주기적으로 정확한 기준 센서모델을 제공할 수 있다면 인접 프레임 정합을 통해 센서모델을 보정할 수 있음을 확인하였다.
본 연구에서는 경사 촬영된 무인항공기 동영상 프레임의 센서모델을 보정하기 위하여 촬영 기하가 유사한 경사 영상을 기준 지형자료로부터 합성하여 참조 영상으로 활용하는 방법론을 제안하고 소프트웨어 시스템으로 구현하여 모의실험을 수행하였다. 실험 결과, 제안하는 방법론을 통하여 동영상 센서모델을 보정하여 오차를 개선할 수 있었고, 경사 참조 영상을 활용하는 것이 정사 영상을 그대로 이용하는 것보다 보정 성능이 우수함을 확인하였다. 또한, 인접 프레임 간 정합을 융합하여 한계 오차 내에서 HD급 동영상의 센서모델을 근실시간으로 보정할 수 있었다.
이상의 결과를 종합하여 인접 프레임 간 정합 융합을 통해 한계 오차 내에서 HD급 동영상 센서모델을 갱신주기 10 Hz 이상 근실시간으로 보정할 수 있음을 확인하였다.

후속연구

제안 시스템을 실용화하기 위하여 우선적으로 다양한 동영상 입력과 지형자료에 대한 검증이 필요하다. 이를 위해 동영상 모의기를 개발하는 한편, 실제 촬영 동영상을 이용해 검증 실험을 수행할 예정이다. 또한, 센서모델 보정이 영상 정합을 기반으로 하므로 입력 동영상과 기준 지형자료가 필연적으로 상이한 운용환경을 고려하여 이종영상 간 강인한 영상 정합 연구를 계획하고 추진 중에 있다.
제안 시스템을 실용화하기 위하여 우선적으로 다양한 동영상 입력과 지형자료에 대한 검증이 필요하다. 이를 위해 동영상 모의기를 개발하는 한편, 실제 촬영 동영상을 이용해 검증 실험을 수행할 예정이다.

핵심어	질문	논문에서 추출한 답변
	동영상만으로 센서의 자기 움직임을 파악할 때 장점은?	동영상만으로 센서의 자기 움직임(ego-motion)을 파악하는 것은 GPS 단절/교란 상태 등 예외상황에 대처 할 수 있는 장점을 제공한다. 그러나 추정 품질을 위해 번들 조정을 하는 등 계산량이 많고 상대적인 움직임의 위치를 확정하기 위해서는 기준점이 필요하다.
	무인항공기의 동영상 센서를 활용한 감시정찰 시스템의 소요가 급증하는 이유는?	무인항공기의 동영상 센서를 활용한 감시정찰 시스템은 신속하고 정확한 센서-슈터의 순기를 단축할 뿐만 아니라 체공시간에 따라 무중단 감시(persistence surveillance)를 가능하게 하므로 소요가 급증하고 있다. 표적정보 및 작전활용 측면에서 동영상 프레임에 포착된 표적의 지상좌표 획득이 필수적이다.
	참조영상을 기준 자료로부터 3차원으로 합성하는 방식을 제안하게 된 원인은?	이 방법론은 일반적으로 경사 회전 영상인 동영상 프레임과 정사영상과의 정합을 시도하게 되는데, 정합 기법의 적용 가능 범위에서 양질의 결과를 얻을 수 있다. 그러나 경사도가 증가할수록 정사영상과 차이가 커지는 고경사 동영상의 특성상, affine-SIFT[2]와 같은 아핀 불변 방법론에서 지적하는 바와 같이, 잘 알려진 SIFT 계열의 회전 및 스케일 불변 정합으로는 양질의 대응쌍을 구하기 어렵다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

프레임동영상의 근실시간 센서모델 보정시스템 개발 및 성능분석
Development and Performance Analysis of a Near Real-Time Sensor Model Correction System for Frame Motion Imagery 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

프레임동영상의 근실시간 센서모델 보정시스템 개발 및 성능분석 Development and Performance Analysis of a Near Real-Time Sensor Model Correction System for Frame Motion Imagery 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

김상희 (8)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

프레임동영상의 근실시간 센서모델 보정시스템 개발 및 성능분석
Development and Performance Analysis of a Near Real-Time Sensor Model Correction System for Frame Motion Imagery 원문보기

AI 본문요약
AI-Helper