[논문]원격 탐사 영상을 활용한 CNN 기반의 초해상화 기법 연구

최연주; 김민식; 김용우; 한상혁

doi:10.7780/kjrs.2020.36.3.5

원격 탐사 영상을 활용한 CNN 기반의 초해상화 기법 연구
A Study of CNN-based Super-Resolution Method for Remote Sensing Image 원문보기

대한원격탐사학회지 = Korean journal of remote sensing, v.36 no.3, 2020년, pp.449 - 460

최연주 (한국항공우주연구원 인공지능연구실) , 김민식 (나라스페이스 테크놀로지) , 김용우 (상명대학교 시스템반도체공학과) , 한상혁 (한국항공우주연구원 인공지능연구실)

초록
AI-Helper

초해상화 기법은 저해상도 영상을 고해상도 영상으로 변환하는 기법이다. 최근에는 딥러닝 기술을 활용한 초해상화 방법이 주류를 이루고 있으며, 원격 탐사 분야에서도 이를 응용한 연구가 증가하고 있다. 본 연구에서는 위성 영상의 4배 해상도 향상을 위하여 deep back-projection network (DBPN) 네트워크에 기반한 초해상화 기법을 제안하였다. 또한, 복원된 영상의 디테일 및 윤곽선 부분에서의 고품질 영상 획득을 위해 윤곽선 손실 함수를 제안하고, 효과적이고 안정적인 학습을 위하여 Wasserstein distance 손실 함수를 사용한 GAN 기법을 적용하였다. 또한, 자연스러운 저해상도 훈련 영상을 획득하기 위한 detail preserving image downscaling (DPID) 기법을 적용하였다. 마지막으로 전정 영상의 특징을 추출하여 훈련의 마지막 단계에 적용 시킴으로써 출력 영상의 세부적인 특징을 효과적으로 생성하였다. 그 결과 실험에 사용된 WorldView-3 영상 및 KOMPSAT-2 영상에서 해상도 향상 효과를 확인하였고, 다른 초해상화 모델에 대비하여 윤곽선 보존력이나 영상의 선명도가 향상 되었음을 확인하였다

Abstract ▼ AI-Helper

Super-resolution is a technique used to reconstruct an image with low-resolution into that of high-resolution. Recently, deep-learning based super resolution has become the mainstream, and applications of these methods are widely used in the remote sensing field. In this paper, we propose a super-resolution method based on the deep back-projection network model to improve the satellite image resolution by the factor of four. In the process, we customized the loss function with the edge loss to result in a more detailed feature of the boundary of each object and to improve the stability of the model training using generative adversarial network based on Wasserstein distance loss. Also, we have applied the detail preserving image down-scaling method to enhance the naturalness of the training output. Finally, by including the modified-residual learning with a panchromatic feature in the final step of the training process. Our proposed method is able to reconstruct fine features and high frequency information. Comparing the results of our method with that of the others, we propose that the super-resolution method improves the sharpness and the clarity of WorldView-3 and KOMPSAT-2 images.

주제어

표/그림 (11)

그림 Fig. 1. Architecture of generator and discriminator network.
그림 Fig. 2. Edge extraction results from original image (a) by Canny (b) and Sobel (c) operator.
그림 Fig. 3. Raw image (a) and downscaling by DPID (b) and bicubic (c) method.
그림 Fig. 4. Training Process.
표 Table 1. Data Specification
그림 Fig. 5. Three types of performance test (a) for quantitative test (b), (c) for qualitative test.
그림 Fig. 6. Test 1 results (site1): down-sampled image (a), super-resolved image by bicubic (b), ESRGAN (c) and our method (d) and original MS image (e).
그림 Fig. 7. Test 1 results (site2): down-sampled image (a), super-resolved image by bicubic (b), ESRGAN (c) and our method (d) and original MS image (e).
그림 Fig. 8. Test 2 result of two sites: super-resolved image by bicubic (a), (e), ESRGAN (b), (f) and Ours (c), (g) and original PS image (d), (h).
표 Table 2. Test1 results with error metric
그림 Fig. 9. Test 3 result with Kompsat-2, super-resolved image by bicubic (a), Ours (b) and original PS image (c).

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

Fig. 5에서 언급된 실험 2 방법은 실험 1과 달리 다운 샘플링된 전정 영상을 기반으로 하는 모델 1로 훈련한 결과이며, 해상도를 저하시키지 않은 원본 다중 분광 영상을 입력으로 하여, 해상도 향상 정도를 확인하고자 수행되었다. 출력 결과는 Fig.
본 연구에서는 다중 분광 영상을 입력으로 하는 훈련 모델에 추출된 전정 영상 정보를 학습하는 층을 추가하고, 이에 따른 효과를 알아보기 위해, Fig. 1에서와 같이 생성 네트워크를 두 가지 방법으로 훈련하였다. 모델 1은 공간 해상도(Ground Sampling Distance, GSD)가0.
본 연구에서는 명확한 윤곽선 표현 및 원본 저해상도 영상의 색감을 자연스럽게 유지하면서 영상의 해상도를 4배 향상하기 위한 초해상화 모델을 제안하고, 이를 훈련하기 위한 새로운 손실 함수를 제안하였다. 본 논문에서 제안하는 초해상화 네트워크 기법의 주요한 특징은 다음과 같다.
본 연구에서는 위성 다중 분광 영상의 해상도를 4배 향상 시키기 위하여 Wasserstein distance를 적용하고, 새로운 윤곽선 손실 함수를 포함하는 초해상화 네트워크를 제안하였다. 또한, 다운샘플링된 전정 영상의 특징정보를 생성 네트워크에 추가함으로써 타 기법보다 초해상화 결과 영상에서 고주파수 정보를 복원하는데 뛰어난 효과를 보임을 확인하였다.
(2016)는 원본 고해상도 영상과 생성된 저해상도 영상 사이의 유클리드 거리와 같은 픽셀 기반의 손실 함수를 제안하였다. 본 연구에서는 학습 과정 동안 네트워크를 효과적으로 수렴시키고, 성능을 향상시키기 위하여 다양한 조합으로 손실 함수를 구성하였다. 특히, 일반적인 픽셀 기반의 손실 함수를 사용하는 대신 영상 내의 지역적인 패턴 특징을 쉽게 추출하기 위하여 윤곽선 손실 함수를 제안하였고, 이는 윤곽선이 영상 인지 관점에서 볼 때 영상의 특징을 표현하는 중요한 요소로 작용하기 때문이다.
이 장에서는 제안한 초해상화 기법을 통해 복원한 위성 영상의 성능에 대하여 소개하고자 한다. 앞 절에서 기술한 바와 같이 제안된 모델은 가로, 세로 해상도가 각각 4배로 커지는 초해상화 네트워크 모델이다.

제안 방법

•복원된 영상의 세부적인 구조 표현 및 윤곽선 부분에서의 고품질 영상 획득을 위해윤곽선 손실 함수(edgeloss)를 새롭게 제안하였다.
•위성 영상의 4배 해상도 향상을 위하여 deep backprojection network (DBPN) 기반 초해상화 네트워크를 구성하고, 전정 영상(panchromatic image)을 초해상화네트워크의 훈련 마지막 단계에 추가함으로써 잔차성분을 학습할 수 있도록 새로운 모델을 제안하였다.
또한, 다운샘플링된 전정 영상의 특징정보를 생성 네트워크에 추가함으로써 타 기법보다 초해상화 결과 영상에서 고주파수 정보를 복원하는데 뛰어난 효과를 보임을 확인하였다. 더욱이, 훈련용 저해상도 영상을 생성하는데 DPID 기법을 적용함으로써,복원된 영상내에서의 왜곡 및 흐려짐 현상을 최소화하였다. 본 제안 모델은 다양한 실험을 통해 성능을 확인하였으며, 학습에 활용되지 않은 데이터에 대하여도 타 기법에 비하여 높은 성능을 보임을 확인하였다.
2(c)에서 보는 바와 같이 스무딩 효과를 활용하기 때문에 계산이 쉽고, 추출 결과에서 정확도가 높다. 따라서 본 연구에서는 Sobel 필터를 사용하여 윤곽선을 추출하고, 이를 활용하여 식 (2)와 같이 윤곽선 손실 함수를 계산하였다.
해당 알고리즘은 컨볼루션 필터를 원본 영상에 적용함으로써 세부적인 정보의 손실이 최소화 되도록 제안되었다. 또한 업 샘플된 영상을 가이드 영상으로써 활용하고, 두 영상 간 차이를 강조하기 위하여 역 쌍방(inverse bilateral) 필터를 사용한다. 영상 내 모든 픽셀 마다 가중치 값을 다르게 할당하여 출력 영상을 생성하며, 입력된 영상의 평균 세기를 계산하여, 영상 내에서 높은 값을 지니는 픽셀의 중요성을 강조하는 방식이다.
투영 층의 필터 크기는 향상시키는 해상도의 변화 비율에 따라 변화하며, 본연구에서는 4배 확대를 위하여, 8 × 8 커널을 사용하고, stride 를 4로 설정하였다. 또한, 좀 더 정밀하고 선명한 영상을 얻기 위하여, DBPN 네트워크에 잔차 맵과 저하시킨 전정 영상의 특징 맵을 마지막 단계에 추가하였다. 여기에서, 전정 영상은 연속된 수백의 파장대역 정보가 하나로 표현된 흑백 영상으로 분광력은 낮지만 높은 SNR (Signal to Noise Ratio) 을 지니고 있어, 다중 분광 영상보다 공간 해상도가 뛰어나다.
마지막으로 Fig. 5에서 묘사된 실험 3 방법은 모델의 확장성 및 견고함을 확인하기 위하여 진행되었으며, 훈련에 전혀 사용되지 않은 KOMPSAT-2 영상 평가하였다. Fig.
, 2018)이다. 모든 시험 성능 평가는 정성적 평가인 육안 평가와 정량적 지표로 많이 사용되는 PSNR, RMSE 및 SSIM (Wang et al., 2004)과 같은 성능지표를 분석하였다.
본 연구는 pytorch 프레임워크를 사용하였으며, Fig.1에 묘사된 바와 같이 네트워크를 구성하였다. 모든 컨볼루션 층에서는 활성화 함수로 ReLU (Haris et al.
본 연구에서 제안하는 네트워크는 생성 네트워크(generator network)와 구분네트워크(discriminator network)로 구성되는 GAN을 기본 구조로 사용하였으며, 생성네트워크는 Haris et al. (2018)가 제안한 DBPN 네트워크를 기반으로 구성하였다. DBPN은 Fig.
이러한 방식은 영상 내에서 공간적인 유사성을 지니거나, 경계면과 같은 특정한 형태를 나타내는 윤곽선 부분에 대한 추출에 효과적이다. 본 연구에서는 영상 내에서 윤곽선 손실 함수 값을 계산하기 위하여 Canny (Canny, 1986), Sobel (Feldman et al., 1969) 검출기를 활용하여 Fig. 2와 같이 윤곽선 추출 성능을 확인하였다. Canny는 노이즈에 강하지만 훈련에 많은 시간이 소요되며, Sobel은 Canny와 반대로 노이즈에 민감하지만, Fig.
3(c))을 사용한 영상에 비하여 세부적인 특징을 보존하며, 영상의 왜곡 현상이 감소 하였음을 확인할 수 있다. 이러한 특징을 이용하여 초해상화 훈련 과정 동안 고주파수 정보를 보존하게 만들도록 하였다.
한편, GAN 기반의 초해상화 기법은 윤곽선 부분에서 높은 복원력이나 영상 선명도 향상의 성능을 보이지만, 훈련이 어려우며, 훈련 중 기울기 값이 사라지는 문제를 일으키는 한계가 있음이 밝혀졌다. 이를 극복하기 위하여, 본 연구에서는 훈련에 안정적이고 수렴속도가 빠르다고 알려진 Wasserstein GAN 기법을 구별 손실 함수로 사용하였으며, Arjovsky et al. (2017) 제안 모델 중 구별 네트워크의 마지막 층의 활성화 함수를 제거하여 재구성하였다.
생성 네트워크는 특징 추출 단계, 역 투영 단계, 복원단계인 세 개의 블록으로 구성된다. 저해상화 영상과 원본 고해상도 영상 사이의 특징 추출 맵 사이에서 교차로 구성된 투영 층을 추가하였다. 투영 층의 필터 크기는 향상시키는 해상도의 변화 비율에 따라 변화하며, 본연구에서는 4배 확대를 위하여, 8 × 8 커널을 사용하고, stride 를 4로 설정하였다.
투영 층의 필터 크기는 향상시키는 해상도의 변화 비율에 따라 변화하며, 본연구에서는 4배 확대를 위하여, 8 × 8 커널을 사용하고, stride 를 4로 설정하였다.
본 연구에서는 학습 과정 동안 네트워크를 효과적으로 수렴시키고, 성능을 향상시키기 위하여 다양한 조합으로 손실 함수를 구성하였다. 특히, 일반적인 픽셀 기반의 손실 함수를 사용하는 대신 영상 내의 지역적인 패턴 특징을 쉽게 추출하기 위하여 윤곽선 손실 함수를 제안하였고, 이는 윤곽선이 영상 인지 관점에서 볼 때 영상의 특징을 표현하는 중요한 요소로 작용하기 때문이다. 식 (1)은 loss_edge 항목을 추가하여 본 모델에서 최종적으로 제안하는 손실 함수이다.
평가 1 에서는 원본 고해상도 GSD1.2m 인 다중 분광 영상을 × 1/4배 다운샘플한 영상(GSD 4.8m)을 네트워크에 입력 받아, 최종적으로 GSD1.2m의 초해상화 영상을 생성하게 되며, 이 출력 영상과 원본 다중 분광 영상과의 비교를 통하여 복원력 정도를 평가하였다.
(2016)가 제안한 detail preserving image down-scaling(DPID) 기법을 적용하였다. 해당 알고리즘은 컨볼루션 필터를 원본 영상에 적용함으로써 세부적인 정보의 손실이 최소화 되도록 제안되었다. 또한 업 샘플된 영상을 가이드 영상으로써 활용하고, 두 영상 간 차이를 강조하기 위하여 역 쌍방(inverse bilateral) 필터를 사용한다.
01)로 제한하였다. 훈련 및 평가에 사용한 시스템은 NVIDIA Titan X GPU 12GB RAM 사양이며, 모든 네트워크는 선 학습 후 매 50번마다 손실 값을 업데이트 하는 과정을 거쳤으며, 최종적으로 1,000,000번 반복하여 학습을 진행하였다.

대상 데이터

Fig. 5(c)의 방법은 모델의 확장 가능성을 평가하기 위하여 진행하였으며, 훈련에 전혀 사용하지 않은 데이터 셋인 GSD 4m 를 가지는 KOMPSAT-2 다중 분광 영상을 시험 3의 입력 영상으로 사용하였다.
본 연구에서 사용한 훈련 데이터는 WorldView-3(SpaceNet, 2020)이며, 시험 데이터셋으로는 WorldView3, Korea Multi-Purpose Satellite-2 (KOMPSAT-2)를 사용하였다. WorldView-3 영상은 스페이스넷 챌린지를 통해 배포된 데이터의 일부를 사용하였다. 본 실험에서는라스베가스, 파리, 상하이 등 지역에서 빌딩, 도로 등 다양한 환경이 포함되도록 데이터 셋을 선정하였으며, 공간 해상도 1.
구분 네트워크는 특징 맵 추출을 위하여 GAN 기반의 4개 층(64,128, 256, 512)으로 구성된 구조를 사용하였으며, 각 층의 필터 크기는 3 × 3, 4 × 4 중 선택적으로 구성하였다.
일반적으로 한 장의 원본 영상은 대략 40,000 ×40,000 픽셀로 구성되어 있어, 원본 영상 그대로 훈련 및 평가를 수행하기 어렵기 때문에, 원본 영상에서 128 ×128 크기의 패치 단위로 50개의 임의 지역을 추출하여사용하였다. 또한 총 25장의 원본 영상 중에서 20장은 훈련, 5장은 시험에 사용하였으며, 제안하는 모델의 견고함을 확인하기 위하여 WorldView-3 만을 이용하여 학습된 모델 평가 시 KOMPSAT-2 위성 영상을 적용한 실험을 추가로 진행하였다.
모델 1은 공간 해상도(Ground Sampling Distance, GSD)가0.3m인 전정 영상을 bicubic 기법으로 × 1/4 저하시킨 영상을 사용하고, 모델 2는 대조군으로써 전정 영상이 아닌 모조 전정 영상(dummy pan)을 사용하여 훈련하였다.
모델은 기본적으로 공간 해상도 1.2m의 WorldView-3 원본 다중 분광 영상을 × 1/4 다운 샘플한 공간 해상도 4.8m의 영상을 네트워크에 입력 받아, 원본과 같은 공간 해상도 1.2m의 초해상화 영상을 출력하도록 훈련되었다.
WorldView-3 영상은 스페이스넷 챌린지를 통해 배포된 데이터의 일부를 사용하였다. 본 실험에서는라스베가스, 파리, 상하이 등 지역에서 빌딩, 도로 등 다양한 환경이 포함되도록 데이터 셋을 선정하였으며, 공간 해상도 1.2m의 관심 지역(Area of Interest, AOI)- 2,3의 다중 분광 영상을 사용하였다. Table 1에는 본 연구에서 활용한 데이터 셋에 대한 자세한 사양이 기술되어있다.
본 연구에서 사용한 훈련 데이터는 WorldView-3(SpaceNet, 2020)이며, 시험 데이터셋으로는 WorldView3, Korea Multi-Purpose Satellite-2 (KOMPSAT-2)를 사용하였다. WorldView-3 영상은 스페이스넷 챌린지를 통해 배포된 데이터의 일부를 사용하였다.
이 장에서는 제안한 초해상화 기법을 통해 복원한 위성 영상의 성능에 대하여 소개하고자 한다. 앞 절에서 기술한 바와 같이 제안된 모델은 가로, 세로 해상도가 각각 4배로 커지는 초해상화 네트워크 모델이다. 모델은 기본적으로 공간 해상도 1.
원본에 대한 초해상화 기법의 복원력을 판단하기 위한 실험 1은 임의의 두 지역을 선정하여 수행하였으며, 결과는 Fig. 6과 7에서 확인할 수 있다. Fig.

데이터처리

5에서 언급된 실험 2 방법은 실험 1과 달리 다운 샘플링된 전정 영상을 기반으로 하는 모델 1로 훈련한 결과이며, 해상도를 저하시키지 않은 원본 다중 분광 영상을 입력으로 하여, 해상도 향상 정도를 확인하고자 수행되었다. 출력 결과는 Fig. 5의 실험 1 방법과 마찬가지로 bicubic, ESRGAN 기법 결과와 비교하였으며, Pansharpened (PS) 영상과 비교 하였다. 다만, 실험 2 방법은 대조할 수 있는 원본 영상이 존재하지 않음으로 PSNR,RMSE 및 SSIM과 같은 정량적 지표를 산출할 수 없다.
한편, 본 연구에서 제안한 초해상화 네트워크의 성능을 평가하기 위하여, 다른 두 기법으로 획득한 초해상화 결과 영상과 비교하였다. 그 중 하나인 bicubic 기법은 고전적인 보간 기법이며, 나머지 하나는 GAN을 사용한 초해상화 기법 중 하나로 높은 성능을 보이는ESRGAN (Wang et al.

이론/모형

•자연스러운 저해상도 훈련 영상을 획득하기 위한 detail preserving image down-scaling (DPID) 기법을 적용하였다.
이러한 한계를 극복하기 위하여 우리는 Weber et al.(2016)가 제안한 detail preserving image down-scaling(DPID) 기법을 적용하였다. 해당 알고리즘은 컨볼루션 필터를 원본 영상에 적용함으로써 세부적인 정보의 손실이 최소화 되도록 제안되었다.
1에 묘사된 바와 같이 네트워크를 구성하였다. 모든 컨볼루션 층에서는 활성화 함수로 ReLU (Haris et al., 2018)를 사용하고, He uniform initializers (He et al., 2015)를 사용하였으며, 최적화 방법으로 Adam (Kingma and Ba,2014)을 사용하였다. 초기 학습률은 1e-4를 사용하였으며, 네트워크의 과적합을 방지하기 위하여, 훈련 동안 학습 속도 변화 비율을 작게 유지하였다.

성능/효과

7(c))가 우세하지만, 본 연구에서 제안한 기법으로 생성한 결과 영상(Fig. 7(d))이 색감이나 전체적인 구조를 복원해 내는 데는 훨씬 정확하다는 것을 알 수 있다. 이러한 명확한 구조 표현은 제안한 윤곽선 손실 함수 및 DPID 기법을 적용한 결과로 판단된다.
Table 2의 지역 2 결과를 보면, 육안 평과 결과와는 달리 bicubic 기법을 적용한 영상의 PSNR 및 RMSE가 가장 좋게 나오고 있으며, 두 지역 결과 모두 SSIM 값은 본연구에서 제안한 모델이 가장 좋은 것으로 나타났다. 이는 Liebel and Körner (2016)이 언급했듯이, 본 연구 결과에서도 성능 지표의 개별적 수치만으로는 초해상화 성능 및 영상 품질을 대변할 수는 없으며, 육안 평가 및 다양한 성능 지표 수치 분석 등의 다각도 분석이 필요함을 의미한다.
본 연구에서는 위성 다중 분광 영상의 해상도를 4배 향상 시키기 위하여 Wasserstein distance를 적용하고, 새로운 윤곽선 손실 함수를 포함하는 초해상화 네트워크를 제안하였다. 또한, 다운샘플링된 전정 영상의 특징정보를 생성 네트워크에 추가함으로써 타 기법보다 초해상화 결과 영상에서 고주파수 정보를 복원하는데 뛰어난 효과를 보임을 확인하였다. 더욱이, 훈련용 저해상도 영상을 생성하는데 DPID 기법을 적용함으로써,복원된 영상내에서의 왜곡 및 흐려짐 현상을 최소화하였다.
더욱이, 훈련용 저해상도 영상을 생성하는데 DPID 기법을 적용함으로써,복원된 영상내에서의 왜곡 및 흐려짐 현상을 최소화하였다. 본 제안 모델은 다양한 실험을 통해 성능을 확인하였으며, 학습에 활용되지 않은 데이터에 대하여도 타 기법에 비하여 높은 성능을 보임을 확인하였다. 결과적으로 해당 연구의 분석 결과를 바탕으로, 원격 탐사 영상을 활용한 다양한 분야에서 초해상화 기술을 접목하여 활용할 수 있을 것으로 예상되며, 특히 위성 영상 내에서 관심 객체에 대해 보다 정확한 탐지가 가능할 것으로 기대된다.
위에서 언급된 기법을 통해 WorldView-3 영상 및KOMPSAT-2 영상에서 해상도 향상 효과를 확인하였고, 다른 초해상화 모델에 대비하여 영상의 윤곽선의 표현 및 선명도가 향상됨을 확인하였다.
9(a))과 달리 영상의 선명도가 뛰어나며, 구조물 사이의 분리도 정확하게 이루어졌음을 확인할 수 있다. 이는 새로운 영상으로 훈련 모델을 평가하여도, 일정 수준 이상의 해상도 향상 성능을 보임을 의미하며, 이러한 결과는 저해상도 입력 영상을 생성하는 과정에서 bicubic 기법이 아닌 DPID 기법을 적용시킨 결과로 해석된다.
이를 통하여 본 논문에서 제안하는 모델은 다운샘플링된 영상의 원본 정보 복원 및 원본 영상의 자체의 해상도도 향상 시키는데 효과를 보이고 있음을 확인하였다. 특히, Fig.
이를 통하여 본 논문에서 제안하는 모델은 다운샘플링된 영상의 원본 정보 복원 및 원본 영상의 자체의 해상도도 향상 시키는데 효과를 보이고 있음을 확인하였다. 특히, Fig. 4에서 설명한 제안 모델 2에 비하여 월등히 향상된 모델1의 성능은 저하된 전정 영상 특징을 생성 네트워크에 추가 함으로써 영상의 세밀한 부분까지 표현하는데 도움이 되었음을 확인하였다.

후속연구

본 제안 모델은 다양한 실험을 통해 성능을 확인하였으며, 학습에 활용되지 않은 데이터에 대하여도 타 기법에 비하여 높은 성능을 보임을 확인하였다. 결과적으로 해당 연구의 분석 결과를 바탕으로, 원격 탐사 영상을 활용한 다양한 분야에서 초해상화 기술을 접목하여 활용할 수 있을 것으로 예상되며, 특히 위성 영상 내에서 관심 객체에 대해 보다 정확한 탐지가 가능할 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	초해상화 기법이란?	초해상화 기법은 저해상도 영상을 고해상도 영상으로 변환하는 기법이다. 최근에는 딥러닝 기술을 활용한 초해상화 방법이 주류를 이루고 있으며, 원격 탐사 분야에서도 이를 응용한 연구가 증가하고 있다.
	DPID기법을 적용한 이유는?	또한, 복원된 영상의 디테일 및 윤곽선 부분에서의 고품질 영상 획득을 위해 윤곽선 손실 함수를 제안하고, 효과적이고 안정적인 학습을 위하여 Wasserstein distance 손실 함수를 사용한 GAN 기법을 적용하였다. 또한, 자연스러운 저해상도 훈련 영상을 획득하기 위한 detail preserving image downscaling (DPID) 기법을 적용하였다. 마지막으로 전정 영상의 특징을 추출하여 훈련의 마지막 단계에 적용 시킴으로써 출력 영상의 세부적인 특징을 효과적으로 생성하였다.
	다운 샘플링방법 중 하나인 수학적 보간 기법의 한계점은?	초해상화 훈련 과정에서 원본 고해상도 영상으로부터 훈련용 저해상도 입력 영상을 생성하는 다운샘플링방법 중 하나는 bicubic, bilinear와 같은 수학적 보간 기법을 사용하는 것이다. 그러나 이 기법은 원본 영상(Fig.3(a))내의 중심 픽셀에 근접한 픽셀 만을 사용하여 계산하므로, 생성된 영상(Fig. 3(c))에서와 같이 경계면에서의 부자연스러움이나 깨짐 현상이 발생한다. 이러한 결과는 학습된 초해상화 네트워크에서 생성된 영상에서도 나타난다.

참고문헌 (22)

Arjovsky, M., S. Chintala, and L. Bottou, 2017. Wasserstein GAN, arXiv preprint arXiv:1701.07875.
Bosch, M., C. M. Gifford, and P. A. Rodriguez, 2018. Super-Resolution for Overhead Imagery Using DenseNets and Adversarial Learning, Proc. of 2018 IEEE Winter Conference on Applications of Computer Vision (WACV), Lake Tahoe, NV, Mar. 12-15, pp. 1414-1422.
Canny, J., 1986. A computational approach to edge detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, 8(6): 679-698.
Dong, C., C.C. Loy, K. He, and X. Tang, 2014. Learning a deep convolutional network for image superresolution, Proc. of the European Conference on Computer Vision, Zurich, Sep. 6-12, vol. 8692, pp. 184-199.
Feldman, J. A., G. M. Feldman, G. Falk, G. Grape, J. Pearlman, I. Sobel, and J. M. Tenebaum, 1969. The stanford hand-eye project, Proc. of International Joint Conferences on Artificial Intelligence Organization, Washington, D.C., May 7-9, pp. 521-526.
Fernandez-Beltran, R., P. Latorre-Carmona, and F. Pla, 2017. Single-frame super-resolution in remote sensing: a practical overview, International Journal of Remote Sensing, 38(1): 314-354.

상세보기
Goodfellow, I., J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, 2014. Generative adversarial nets, Proc. of Neural Information Processing Systems Conference, Montreal, Dec. 8-13, pp. 2672-2680.
Haris, M., G. Shakhnarovich, and N. Ukita, 2018. Deep back-projection networks for super-resolution, Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, Jun. 18-22, pp. 1664-1673.
He, K., X. Zhang, S. Ren, and J. Sun, 2015. Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification, Proc. of the IEEE International Conference on Computer Vision, Las Condes, Dec. 11-18, pp. 1026-1034.
Johnson, J., A. Alahi, and L. Fei-Fei, 2016. Perceptual losses for real-time style transfer and superresolution, Proc. of the European Conference on Computer Vision, Amsterdam, Oct. 11-14, pp. 694-711.
Keys, R., 1981. Cubic convolution interpolation for digital image processing, IEEE Transactions on Acoustics, Speech, and Signal Processing, 29(6): 1153-1160.

상세보기
Kim, J., J. K. Lee, and K. M. Lee, 2016. Accurate image super-resolution using very deep convolutional networks, Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, Jun. 27-30, pp. 1646-1654.
Kingma, D. and J. Ba, 2014. Adam: A method for stochastic optimization, arXiv preprint arXiv:1412.6980.
Ledig, C., L. Theis, F. Huszar, J. Caballero, A. Cunningham, A. Acosta, A. Aitken, A. Tejani, J. Totz, Z. Wang, and W. Shi, 2017. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network, Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, Jul. 21-26, pp. 105-114.
Liebel, L. and M. Korner, 2016. Single-Image Super Resolution for Multispectral Remote Sensing Data Using Convolutional Neural Networks, Proc. of 2016 XXIII ISPRS Congress, Prague, Jul. 12-19, vol. XLI-B3, pp. 883-890.
Park, S. C., M. K. Park, and M. G. Kang, 2003. Superresolution image reconstruction: a technical overview, IEEE Signal Processing Magazine, 20(3): 21-36.

상세보기
Simonyan, K. and A. Zisserman, 2014. Very deep convolutional networks for large scale image recognition, arXiv preprint arXiv:1409.1556.
SpaceNet, 2020. SpaceNet on AWS, http://explore.digital globe.com/spacenet, Accessed on Jun. 16, 2020.
Wang, X., K. Yu, S. Wu, J. Gu, Y. Liu, C. Dong, C. C. Loy, Y. Qiao, and X. Tang, 2018. ESRGAN: Enhanced super-resolution generative adversarial networks, Proc. of the European Conference on Computer Vision, Munich, Sep. 8-14, pp. 1-16.
Wang, Z., A. C. Bovik, H. R. Sheikh, and E. P. Simoncell, 2004. Image quality assessment: from error visibility to structural similarity, IEEE Transactions on Image Processing, 13(4): 600-612.

상세보기
Weber, N., M. Waechter, S.C. Amend, S. Guthe, and M. Goesele, 2016. Rapid, Detail-Preserving Image Downscaling, Association for Computing Machinery Transactions on Graphics, 35(6): 205.
Yan, Q., Y. Xu, X. Yang, and T. Q. Nguyen, 2015. Single image super resolution based on gradient profile sharpness, IEEE Transactions on Image Processing, 24(10): 3187-3202.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증