[논문]깊은 합성곱 신경망을 이용한 Synthetic Aperture Radar 영상 내 반전 잡음 성분 제거 기법

김문흠; 이정현; 정제창

깊은 합성곱 신경망을 이용한 Synthetic Aperture Radar 영상 내 반전 잡음 성분 제거 기법
A Despeckling Method Using Deep Convolutional Neural Network in Synthetic Aperture Radar Image 원문보기

김문흠 (한양대학교 전자컴퓨터통신공학과) , 이정현 (한양대학교 전자컴퓨터통신공학과) , 정제창 (한양대학교 전자컴퓨터통신공학과)

본 논문에서는 깊은 합성 곱 신경망 (Deep Convolutional Neural Network) 를 이용해서 SAR (Synthetic Aperture Radar) 영상의 반전 잡음 (speckle noise) 성분을 제거하는 기법을 제안하고자 한다. Deep Convolutional Neural Network는 이미지의 데이터 특성에 적합한 딥 러닝 방법이고, 이는 SAR 위성영상의 반전 잡음 제거에 사용해도 효과적이다. 반전 잡음 필터 모델 추정을 위한 학습은 임의로 반전 잡음을 합성한 트레이닝 이미지들과 원본 트레이닝 이미지들을 이용한 회귀모델을 통해 진행된다. 학습을 통해 얻은 반전 잡음 필터는 기존 알고리즘에 비해 우수한 외곽선 보존 성능을 나타냄을 확인하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 딥 러닝 기법 중 하나인 합성 곱 신경망 (CNN:Convolutional Neural Network) 을 사용하여 반전 잡음을 제거하고자 한다. 합성 곱 신경망은 이미 가우시안 노이즈를 제거하는 데에 높은 성능을 보인 바 있다.

가설 설정

제안하는 방법에서는 이 최솟값과 최댓값의 차로 정규화 하는 min-max normalization을 사용하였다. 이론대로라면 min-max normalization을 할 때에는 해당 이미지의 최솟값과 최대값을 이용하여 정규화를 해야 하지만, 필터 모델의 일관성을 늘리기 위해서, 이미지의 최솟값은 0, 그리고 최댓값은 255 으로 가정하고 정규화를 한다. 때문에 정규화 작업의 결과는 모든 픽셀을 255로 나눈 것과 동일하다고 볼 수 있다.

제안 방법

이미지 패치들은 정규화 과정을 거치고 합성 곱 신경망에 입력된다. Deep CNN의 경우 Relu(Rectified linear unit)가 여타 다른 함수의 활성화 함수들 보다 좋은 성능을 보이기 때문에, 제안한 필터 모델에도 활성화 함수로 Relu를 사용하였다. 컨볼루션 계층은 총 7개로 구성하였는데, 각 층의 커널의 개수는 16, 32, 64로 층이 두 개 증가할 때마다 커널의 개수도 두 배로 증가하는 형식으로 구성하였다.
다음은 실험 결과 이미지와 원본이미지의 객관적인 화질을 PSNR(Peak Signal to Noise Ratio)과 SSIM(Structural Similarity)을 통해 기존의 잡음 제거 필터들과 비교해 보았다.
본 실험은 Window embedded 8 64 비트 운영체제, CPU: Intel(R) Core(TM) i7-4790CPU 3.60Hz, GPU: GTX 960 의 PC환경에서 python, tensorflow를 이용하여 실험을 진행하였다. 학습은 제안한 신경망과 학습데이터를 이용해 50,000회 진행하였다.
Deep CNN의 경우 Relu(Rectified linear unit)가 여타 다른 함수의 활성화 함수들 보다 좋은 성능을 보이기 때문에, 제안한 필터 모델에도 활성화 함수로 Relu를 사용하였다. 컨볼루션 계층은 총 7개로 구성하였는데, 각 층의 커널의 개수는 16, 32, 64로 층이 두 개 증가할 때마다 커널의 개수도 두 배로 증가하는 형식으로 구성하였다. Loss 함수로는 앞에서 설명한 바와 같이 제곱오차함수를 이용하였고, optimizer로는 adam-optimizer (adaptive moment estimationoptimizer를 사용하였다.

대상 데이터

학습에 사용되는 데이터는 여러 가지 이미지에 반전 잡음을 섞어서 만들었다. 다만 이미지 원 크기 그대로 학습을 진행하면 그에 비례해서 신경망의 가중치 개수가 증가하고, 모델의 복잡도가 너무 높아지기 때문에 반전 잡음이 추가된 여러 이미지에서 무작위로 64x64픽셀 크기의 패치들을 추출해서 학습데이터를 구성했다.
모델을 학습시키는 데에 사용한 이미지 패치는 학습용 데이터 셋, 그리고 목표 데이터 셋 각각 1,000장을 사용하였고, 밸리데이션 셋(validation set) 과 테스트 셋에는 각각 400장 100장을 사용하였다.
학습 진행시의 배치 구성은 모델의 오버 피팅을 예방하기 위해서 에포크(epoch) 당 배치사이즈로 20개의 이미지 패치를 사용하였고, 20장의 이미지는 1,000개의 학습용 데이터 패치들 중에서 무작위로 추출된 패치를 사용하였다.
60Hz, GPU: GTX 960 의 PC환경에서 python, tensorflow를 이용하여 실험을 진행하였다. 학습은 제안한 신경망과 학습데이터를 이용해 50,000회 진행하였다. 다음은 잡음 제거 필터를 학습한 신경망을 이용해서 두 개의 위성사진에서 반전 잡음을 제거한 결과이다.

이론/모형

컨볼루션 계층은 총 7개로 구성하였는데, 각 층의 커널의 개수는 16, 32, 64로 층이 두 개 증가할 때마다 커널의 개수도 두 배로 증가하는 형식으로 구성하였다. Loss 함수로는 앞에서 설명한 바와 같이 제곱오차함수를 이용하였고, optimizer로는 adam-optimizer (adaptive moment estimationoptimizer를 사용하였다. Optimizer에 사용된 학습률 (learning rate)은 1 × 10^-5이다.
따라서 학습의 효율을 높이기 위해서 이미지 데이터들을 정규화 하는 과정이 필요하다. 제안하는 방법에서는 이 최솟값과 최댓값의 차로 정규화 하는 min-max normalization을 사용하였다. 이론대로라면 min-max normalization을 할 때에는 해당 이미지의 최솟값과 최대값을 이용하여 정규화를 해야 하지만, 필터 모델의 일관성을 늘리기 위해서, 이미지의 최솟값은 0, 그리고 최댓값은 255 으로 가정하고 정규화를 한다.

성능/효과

0221만큼 더 높은 수치를 보였다. PSNR 측면의 비교와 마찬가지로 첫 번째 위성사진의 경우 기존의 필터들보다 특히 개선된 SSIM 수치를 보였다. 두 번째 위성사진처럼 외곽선 성분이 강한 이미지가 아님에도 SSIM 수치가 높게 나오는 것을 근거로 제안된 반전 잡음 필터가 기존의 잡음 제거 필터보다 우수한 외곽선 보존 성능을 보인다는 것을 알 수 있다.
SSIM 수치 측면에서 잡음 제거 필터와 제안하는 방법의 결과를 비교했을 때, 첫 번째 위성사진의 경우 guided filter와 비교하여 0.0762만큼 더 높은 수치를 보였고, 두 번째 위성사진의 경우 0.0221만큼 더 높은 수치를 보였다. PSNR 측면의 비교와 마찬가지로 첫 번째 위성사진의 경우 기존의 필터들보다 특히 개선된 SSIM 수치를 보였다.
그림6 과 그림 7의 2개 이미지를 통해 주관적 화질을 비교해보면, 제안한 반전 잡음 필터가 반전 잡음을 제거함을 확인할 수 있었다. 하지만 외곽선 성분이 약한 디테일은 제대로 복원하지 못하고 블러링(blurring) 현상이 나타나는 것 또한 확인할 수 있었다.
표 1과 표2를 통해 제안된 반전 잡음 필터가 PSNR과 SSIM측면에서 기존의 잡음 제거 필터들보다 개선된 성능을 보인다는 것을 확인할 수 있었다. 기존의 잡음 제거 필터중 가장 좋은 성능을 보이는 guided filter와 비교하여 첫 번째 사진의 경우 PSNR이 3.0601dB 개선되었고, 두 번째 사진의 경우 PSNR이 0.8045dB만큼 개선되었다. 첫 번째 사진의 경우 평평한 영역의 분포가 많이 포함되면서, 잡음 제거의 효과가 PSNR측면에서 특히 개선되었다.
PSNR 측면의 비교와 마찬가지로 첫 번째 위성사진의 경우 기존의 필터들보다 특히 개선된 SSIM 수치를 보였다. 두 번째 위성사진처럼 외곽선 성분이 강한 이미지가 아님에도 SSIM 수치가 높게 나오는 것을 근거로 제안된 반전 잡음 필터가 기존의 잡음 제거 필터보다 우수한 외곽선 보존 성능을 보인다는 것을 알 수 있다.
하지만 외곽선 성분이 약한 디테일은 제대로 복원하지 못하고 블러링(blurring) 현상이 나타나는 것 또한 확인할 수 있었다. 또한 바다와 강과 같이 비슷한 픽셀 값이 연속되는 구간에는 필터의 복원이 일정하지 못하여 구획화 현상(blocking artifact)이 발생하는 것을 확인되었다.
본 논문에서는 합성 곱 신경망 학습을 통한 반전 잡음 제거 필터를 제안 하였고, 제안된 필터는 기존의 알고리즘들과 비교했을 때 개선된 결과를 보였다. 특히 실험결과에 따르면 합성 곱 신경망 학습을 통한 반전 잡음 제거 필터는 외곽선 보존 성능이 우수한 것으로 나타났다.
8045dB만큼 개선되었다. 첫 번째 사진의 경우 평평한 영역의 분포가 많이 포함되면서, 잡음 제거의 효과가 PSNR측면에서 특히 개선되었다.
본 논문에서는 합성 곱 신경망 학습을 통한 반전 잡음 제거 필터를 제안 하였고, 제안된 필터는 기존의 알고리즘들과 비교했을 때 개선된 결과를 보였다. 특히 실험결과에 따르면 합성 곱 신경망 학습을 통한 반전 잡음 제거 필터는 외곽선 보존 성능이 우수한 것으로 나타났다. 하지만 주관적 화질로 비교해볼 때 블러링, 구획화 현상 등의 단점이 있었다.
표 1과 표2를 통해 제안된 반전 잡음 필터가 PSNR과 SSIM측면에서 기존의 잡음 제거 필터들보다 개선된 성능을 보인다는 것을 확인할 수 있었다. 기존의 잡음 제거 필터중 가장 좋은 성능을 보이는 guided filter와 비교하여 첫 번째 사진의 경우 PSNR이 3.

핵심어

질문

논문에서 추출한 답변

SAR장비는 무엇에 취약하다는 특성이 있는가?

SAR (Synthetic Aperture Radar) 은 기상조건이나 주야에 관계없이 영상을 고해상도로 얻을 수 있기 때문에 위성영상취득에 적합한 장비이다. 하지만 라디오파를 지정 위치에 방사한 후 반사된 전파를 합성해 이미지화 하는 SAR장비의 특성상 SAR 이미지는 반전 잡음(speckle noise) 에 취약하다는 특성이 있다. 반전 잡음은 강한 승산 잡음 (multiplicative noise) 의 일종인데, 이는 위성영상을 이용한 여러 가지 자동화된 알고리즘의 성능을 저해한다.

SAR은 어떠한 장비인가?

SAR (Synthetic Aperture Radar) 은 기상조건이나 주야에 관계없이 영상을 고해상도로 얻을 수 있기 때문에 위성영상취득에 적합한 장비이다. 하지만 라디오파를 지정 위치에 방사한 후 반사된 전파를 합성해 이미지화 하는 SAR장비의 특성상 SAR 이미지는 반전 잡음(speckle noise) 에 취약하다는 특성이 있다.

합성 곱 신경망은 어떤 방법과 유사하다고 할 수 있는가?

합성 곱 신경망은 기본적인 인공신경망과는 달리 데이터의 지역적인 부분을 중시하는 것이 특징이다. 이런 방식은 생물이 시각정보를 인식하는 방법과 유사하다. 합성 곱 신경망은 특히 잡음 제거에도 좋은 성능을 보이는데 대표적인 것이 가우시언 잡음 제거 신경망인 DnCNN이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

깊은 합성곱 신경망을 이용한 Synthetic Aperture Radar 영상 내 반전 잡음 성분 제거 기법
A Despeckling Method Using Deep Convolutional Neural Network in Synthetic Aperture Radar Image 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

깊은 합성곱 신경망을 이용한 Synthetic Aperture Radar 영상 내 반전 잡음 성분 제거 기법 A Despeckling Method Using Deep Convolutional Neural Network in Synthetic Aperture Radar Image 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

깊은 합성곱 신경망을 이용한 Synthetic Aperture Radar 영상 내 반전 잡음 성분 제거 기법
A Despeckling Method Using Deep Convolutional Neural Network in Synthetic Aperture Radar Image 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper