[논문]군사용 적외선 영상의 안정화 성능 개선 및 Zynq SoC 구현

최현; 김영민; 강석훈; 조중휘

doi:10.14372/iemek.2018.13.1.17

문제 정의

계산된 GMV에서 이동과 같은 급격한 흔들림을 노이즈라고 했을 때 칼만 필터를 적용하면 노이즈가 제거된 작은 떨림에 대한 데이터가 남게 된다. 본 논문에서는 GMV와 칼만 필터를 적용한 값의 차를 바탕으로 영상의 떨림및 이동과 같은 급격한 흔들림을 구분하여 안정화를 진행한다.
이와 같은 방법은 설계자의 경험 수준에 따라 성능 차이가 나며 설계 시간이 오래 걸리는 문제점도 있어 최근에는 C언어를 수정하여 하드 웨어로 구현하는 HLS (High-Level Synthesis) 방법이 채택되고 있다. 본 논문에서는 HLS[6] 개발 도구중 하나인 Xilinx SDSoC (Software-Defined SoC) 개발 환경에서 고속화 구현을 진행하였다. SDSoC는 개발자가 C 언어로 동작을 기술하면 선택된 Zync 디바이스에 하드웨어 및 소프트웨어 시스템을 구현하는 유용한 SoC 개발 환경이다.
본 논문에서는 열 영상 관측 시 떨림과 이동에 따른 영상 흔들림을 보정하기 위한 새로운 방법을 제안하였다. 기존 알고리즘의 문제점을 해결하기 위해 소벨 에지 검출 및 3SS를 사용하여 움직임 벡터를 계산하고 칼만 필터를 통해 영상 손실을 줄이면서 영상의 이동과 떨림 안정화를 개선한 알고리즘을 제안하였다.
그러나 캐니 알고리즘은 다량의 에지를 추출함에 따라 관측 영역에 바다, 하늘 등의 다량의 에지가 포함되는 경우 관심영역 (Region Of Interest)이 잘못 선정되어 안정화 성능이 떨어지고 칼만 필터 적용 오류로 영상 정보 손실이 크며, 연산량 증가로 실시간 처리에 문제점이 있다. 본 논문에서는 입력 영상의 에지 추출을 보다 간단한 소벨 (Sobel) 에지 알고리즘을 사용하여 특징을 추출하고 이 특징 영상을 관심영역으로 선정하고 TM을 수행하는 방법과 계산된 움직임 벡터에 칼만 필터를 적용하여 단순 흔들림과 이동에 따른 급격한 흔들림을 구분해서 안정화를 진행해 영상 정보 손실을 개선하는 새로운 영상 안정화 알고리즘을 제안한다. 제안된 알고리즘의 처리 속도 향상을 위하여 Xilinx의 HLS (High Level Synthesis) 기법에 따른 하드웨어-소프트웨어 동시 설계 방법을 사용하여 ARM과 FPGA를 내장한 Zynq 디바이스에 구현하여 실시간 동작을 확인한다.
안정화 성능 향상을 위하여 본 논문에서는 그림 4와 같은 NS 차트로 표현되는 알고리즘을 제안한다.

제안 방법

각각 동영상에서 첫째 프레임의 중앙 320x240 영역을 기준 영역으로 지정하고 기준 영역과 이후 200 프레임의 동일 영역 사이의 PSNR (Peak Signal-to-Noise-Ratio)를 계산하여 표 1에 제시하였다.
관심영역 선정에 적합한 에지 추출 알고리즘을 선택하기 위해 캐니 에지 및 소벨 에지 추출 알고리즘을 비교해 보았다. 두 에지 추출 알고리즘의 결과를 그림 5에 나타내었다.
본 논문에서는 열 영상 관측 시 떨림과 이동에 따른 영상 흔들림을 보정하기 위한 새로운 방법을 제안하였다. 기존 알고리즘의 문제점을 해결하기 위해 소벨 에지 검출 및 3SS를 사용하여 움직임 벡터를 계산하고 칼만 필터를 통해 영상 손실을 줄이면서 영상의 이동과 떨림 안정화를 개선한 알고리즘을 제안하였다. 실험을 통해 제안 기법이 기존 알고 리즘보다 2~3dB 성능이 개선됨을 확인 하였고 손실률도 평균 26% 개선됨을 확인하였다.
그림 1 (a)와 (b)는 정지영상에 가까워 프레임차이가 매우 적으나, [3]의 특징 추출에 따라 (e)와 같이 과도한 특징 차이를 나타내어 움직임 벡터가 (0, 0)이어야 하는데 (3, 0)으로 계산되는 문제점을 발견하였다. 둘째, BMA를 수행할 때서브-블록 중 가장 작은 SAD (Sum of Absolute Differences)값을 갖는 움직임 벡터만을 추출하고 그 벡터만을 사용하여 안정화를 수행하여 성능 저하의 요인으로 분석된다. 셋째, 영상의 이동과 같은 급격한 떨림을 고려하지 않았기 때문에 이와 같은 경우 안정화 결과 그림 2와 같이 나타난다.
캐니 에지 알고리즘은 소벨 보다 많은 에지 검출 결과를 보이지만 관심영역 선정에 불필요한 에지까지 추출하고, 연산 복잡도가 소벨 에지보다 높아 실시간 처리에 적합하지 않다. 따라서 본 논문에 서는 실험을 바탕으로 설정한 임계값을 바탕으로 소벨 필터링 값을 이진화 하여 사용한다.
ZC702 환경에서 제안 알고리즘의 초당 프레임은 11fps로 고속화의 필요성을 확인했다. 따라서 프로파일링을 통해 병목 현상이 생기는 함수를 파악하고 HLS를 사용하여 고속화를 진행했다. 640x480 입력 영상의 실시간 처리 (30fps)를 목표로 한다.
본 논문에서 제안하는 알고리즘을 이오시스템에서 제공한 열 영상을 입력으로 Visual C++을 이용하여 시뮬레이션을 진행했다. 안정화 결과를 하나의 예에 대해서 기준 프레임과 겹쳐서 그림 10에 나타 내었다.
이진화된 소벨 에지 영상을 N*N 서브-블록으로 나눈 후 블록에 포함된 에지 성분을 계산하고 에지 성분이 실험을 바탕으로 설정한 임계값 보다 큰 서브 블록을 관심영역으로 선정한다. N 값은 다양한 실험을 통하여 본 논문에서는 41으로 설정하였다.
제안 알고리즘의 실시간 동작을 위하여는 30fps 이상으로 동작하여야 하므로 하드웨어 기반의 고속 화가 요구되는 부분을 RTL (Register-Transfer Level) 아키텍쳐로 추출하고 Verilog 또는 VHDL 을 사용한다. 이와 같은 방법은 설계자의 경험 수준에 따라 성능 차이가 나며 설계 시간이 오래 걸리는 문제점도 있어 최근에는 C언어를 수정하여 하드 웨어로 구현하는 HLS (High-Level Synthesis) 방법이 채택되고 있다.
본 논문에서는 입력 영상의 에지 추출을 보다 간단한 소벨 (Sobel) 에지 알고리즘을 사용하여 특징을 추출하고 이 특징 영상을 관심영역으로 선정하고 TM을 수행하는 방법과 계산된 움직임 벡터에 칼만 필터를 적용하여 단순 흔들림과 이동에 따른 급격한 흔들림을 구분해서 안정화를 진행해 영상 정보 손실을 개선하는 새로운 영상 안정화 알고리즘을 제안한다. 제안된 알고리즘의 처리 속도 향상을 위하여 Xilinx의 HLS (High Level Synthesis) 기법에 따른 하드웨어-소프트웨어 동시 설계 방법을 사용하여 ARM과 FPGA를 내장한 Zynq 디바이스에 구현하여 실시간 동작을 확인한다.

대상 데이터

개발 타겟 보드는 Zynq-7000 AP SoC ZC702 로 1GB DDR3 Memory, Dual ARM Cortex-A9, CPU Clock 667MHz를 갖는다. ZC702 환경에서 제안 알고리즘의 초당 프레임은 11fps로 고속화의 필요성을 확인했다.
기존 기법과의 성능 비교를 위해 640X480 해상도의 7가지 종류의 열영상을 입력으로 사용했다. 실험에 사용된 1-5까지의 열영상은 카메라의 떨림이 존재하는 영상이고 6, 7의 열영상은 카메라를 삼각대에 고정하여 떨림이 없을 것으로 예상되는 영상이다.
기존 기법과의 성능 비교를 위해 640X480 해상도의 7가지 종류의 열영상을 입력으로 사용했다. 실험에 사용된 1-5까지의 열영상은 카메라의 떨림이 존재하는 영상이고 6, 7의 열영상은 카메라를 삼각대에 고정하여 떨림이 없을 것으로 예상되는 영상이다.

이론/모형

0274초로 약 3배 수행시간이 감소한 것을 확인 했다. 따라서 본 논문에서는 루프 파이프라이닝 기법을 사용하여 고속화를 진행했다.
본 논문에서의 영상의 떨림 및 이동과 같은 급격한 흔들림을 모두 고려하기 위해 칼만필터를 사용한다. 칼만필터는 측정 데이터나 신호에서 잡음을 제외하고 원하는 정보를 추출하는 알고리즘이다 [4].
TM을 수행할 때 프레임 전체를 탐색 (Full-Search)하게 되면 탐색 결과는 정확하지만 넓은 탐색 범위로 실시간 처리에 적합하지 않다. 이를 개선하기 위해 탐색 영역은 좁히면서 유사한 탐색 정확도를 갖는 3-Step-Search (3-SS) 기법을 사용한다. 3-SS는 그림 7과 같이 총 3단계에 거쳐 탐색 횟수를 줄이고 새로운 중심을 찾아가며 수행 하는 탐색 방법이다 [4, 5].

성능/효과

개발 타겟 보드는 Zynq-7000 AP SoC ZC702 로 1GB DDR3 Memory, Dual ARM Cortex-A9, CPU Clock 667MHz를 갖는다. ZC702 환경에서 제안 알고리즘의 초당 프레임은 11fps로 고속화의 필요성을 확인했다. 따라서 프로파일링을 통해 병목 현상이 생기는 함수를 파악하고 HLS를 사용하여 고속화를 진행했다.
하드웨어 리소스 사용률은 표 5에 나타내 었다. 고속화 결과 한 프레임을 처리하는 데 수행 시간은 기존 0.089초에서 0.031초로 고속화 되어 초당 프레임 처리 수가 약 32프레임으로 보편적 실시간 처리 (30fps) 요구조건을 만족한다.
그림 11에서와 같이 제안하는 알고리즘은 칼만 필터를 사용하여 영상 정보 손실이 그림 2의 기존 기법결과 평균 41%에 비해 15%로 감소하여 문제점을 개선하였다.
기존 소프트웨어로만 동작 했을 경우 0.085초에 비해 루프 언롤링을 적용 했을 경우 0.1145초로 오히려 수행시간이 증가했고 루프 파이프라이닝을 적용 했을 경우 0.0274초로 약 3배 수행시간이 감소한 것을 확인 했다. 따라서 본 논문에서는 루프 파이프라이닝 기법을 사용하여 고속화를 진행했다.
또한 수행시간 비교를 위하여 동일 PC환경에서 MATLAB을 사용해 기존 기법과 제안 기법의 초당 프레임 수를 표 2와 같이 비교하여 제안하는 기법이 22fps로 기존 기법보다 우수함을 확인하였다.
실험을 통해 제안 기법이 기존 알고 리즘보다 2~3dB 성능이 개선됨을 확인 하였고 손실률도 평균 26% 개선됨을 확인하였다. 또한 실시간 처리 성능을 만족시키기 위해 Xilinx Zynq-7000 AP SoC ZC702 플랫폼에서 병목지점인 소벨 에지 알고리즘을 HLS를 사용하여 고속화하였고, 초당약 32프레임을 처리하여 실시간 처리가 가능함을 확인하였다.
둘째, 칼만 필터를 이용하여 영상의 이동과 같은 급격한 떨림을 고려했지만 작은 흔들림의 경우에도 필터를 적용하여 안정화 성능이 저하된다. 셋째, 캐니 에지 알고리즘에 의해 다량의 에지 추출로 인하여 안정화 시간이 증가하는 문제점도 있다.
실험 결과 기존기법 보다 PSNR이 1-5입력 영상에 대해 평균 2.1620~3.2462 (dB) 개선되고, 6-7영상에 대해 1.2381~5.6649 (dB) 개선되었다. 전체적으로 평균 2.
기존 알고리즘의 문제점을 해결하기 위해 소벨 에지 검출 및 3SS를 사용하여 움직임 벡터를 계산하고 칼만 필터를 통해 영상 손실을 줄이면서 영상의 이동과 떨림 안정화를 개선한 알고리즘을 제안하였다. 실험을 통해 제안 기법이 기존 알고 리즘보다 2~3dB 성능이 개선됨을 확인 하였고 손실률도 평균 26% 개선됨을 확인하였다. 또한 실시간 처리 성능을 만족시키기 위해 Xilinx Zynq-7000 AP SoC ZC702 플랫폼에서 병목지점인 소벨 에지 알고리즘을 HLS를 사용하여 고속화하였고, 초당약 32프레임을 처리하여 실시간 처리가 가능함을 확인하였다.
셋째, 영상의 이동과 같은 급격한 떨림을 고려하지 않았기 때문에 이와 같은 경우 안정화 결과 그림 2와 같이 나타난다. 영상의 이동이 진행될수록 과도하게 영상이 잘려 영상이 검은색으로 표현되는 영상 정보 손실이 평균 41% 로 확인된다.
6649 (dB) 개선되었다. 전체적으로 평균 2.6725~3.1629 (dB) 개선되어 제안 기법이 기존 방법보다 우수함을 확인하였다.
그리고 칼만필터를 사용하여 영상의 이동과 같은 급격한 떨림을 고려하여 안정화를 수행하는데 다음과 같은 문제점이 지적된다. 첫째, 캐니 에지 알고리즘은 그림 3의 하늘 또는 바다와 같은 동일한 피사체의 미세한 변화조차도 다량의 에지로 추출하여 이와 같은 영역이 관심영역으로 선택되는 경우 안정화 성능이 감소된다.
프로파일링 결과 소벨 에지 검출이 병목지점으로 확인 되었다. 따라서 소벨 에지 검출 함수를 HLS를 통해 고속화를 진행한다.

핵심어	질문	논문에서 추출한 답변
	PA기법은 무엇에 다라 성능의 차이가 큰가?	PA (Projection Algorithm) 기법은 투영 형태에 따른 성능의 차이가 크다는 단점이 있다 [1-3]. 특징 추출 기반 영상 안정화 알고리즘은 열 영상의 특징 영상을 생성하고 특징 영상을 기반으로 BMA (Block Matching Algorithm)를 수행해서 영상을 안정화 하는데 [3], 떨림에서 각 프레임마다 특징의 차이가 큰 경우 BMA를 통해 좋은 성능을 얻을 수없고 카메라를 크게 이동하는 경우의 초기 영상은 불안정화되는 문제점이 있다.
	특징 추출 기반 영상 안정화 알고리즘은 무엇을 통해 영상을 안정화 하는가?	PA (Projection Algorithm) 기법은 투영 형태에 따른 성능의 차이가 크다는 단점이 있다 [1-3]. 특징 추출 기반 영상 안정화 알고리즘은 열 영상의 특징 영상을 생성하고 특징 영상을 기반으로 BMA (Block Matching Algorithm)를 수행해서 영상을 안정화 하는데 [3], 떨림에서 각 프레임마다 특징의 차이가 큰 경우 BMA를 통해 좋은 성능을 얻을 수없고 카메라를 크게 이동하는 경우의 초기 영상은 불안정화되는 문제점이 있다. [4]에서는 캐니 (Canny) 알고리즘에 의하여 에지를 추출하고 추출된 에지에 대하여 TM (Template Matching)을 사용하여 단순 떨림을 안정화하고, 칼만 필터를 이용한 카메라 이동에 따른 안정화를 수행하였다.
	Canny알고리즘의 문제점은 무엇인가?	[4]에서는 캐니 (Canny) 알고리즘에 의하여 에지를 추출하고 추출된 에지에 대하여 TM (Template Matching)을 사용하여 단순 떨림을 안정화하고, 칼만 필터를 이용한 카메라 이동에 따른 안정화를 수행하였다. 그러나 캐니 알고리즘은 다량의 에지를 추출함에 따라 관측 영역에 바다, 하늘 등의 다량의 에지가 포함되는 경우 관심영역 (Region Of Interest)이 잘못 선정되어 안정화 성능이 떨어지고 칼만 필터 적용 오류로 영상 정보 손실이 크며, 연산량 증가로 실시간 처리에 문제점이 있다. 본 논문에서는 입력 영상의 에지 추출을 보다 간단한 소벨 (Sobel) 에지 알고리즘을 사용하여 특징을 추출하고 이 특징 영상을 관심영역으로 선정하고 TM을 수행하는 방법과 계산된 움직임 벡터에 칼만 필터를 적용하여 단순 흔들림과 이동에 따른 급격한 흔들림을 구분해서 안정화를 진행해 영상 정보 손실을 개선하는 새로운 영상 안정화 알고리즘을 제안한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

군사용 적외선 영상의 안정화 성능 개선 및 Zynq SoC 구현
Improve Stability of Military Infrared Image and Implement Zynq SoC 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

군사용 적외선 영상의 안정화 성능 개선 및 Zynq SoC 구현 Improve Stability of Military Infrared Image and Implement Zynq SoC 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

최현 (1) 조중휘 (2)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

군사용 적외선 영상의 안정화 성능 개선 및 Zynq SoC 구현
Improve Stability of Military Infrared Image and Implement Zynq SoC 원문보기

AI 본문요약
AI-Helper