[논문]손실 영역 분석 기반의 학습데이터 매핑 기법을 이용한 초해상도 연구

한현호; 이상훈

doi:10.15207/jkcs.2020.11.3.019

손실 영역 분석 기반의 학습데이터 매핑 기법을 이용한 초해상도 연구
Super Resolution using Dictionary Data Mapping Method based on Loss Area Analysis 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.11 no.3, 2020년, pp.19 - 26

초록
AI-Helper

본 논문에서는 학습된 사전 기반 초해상도 결과를 개선하기 위해 분석한 손실 영역을 기반으로 학습 데이터를 적용하는 방법을 제안하였다. 기존의 학습된 사전 기반 방법은 입력 영상의 특징을 고려하지 않는 학습된 영상의 형태로 출력할 수 있으며, 이 과정에서 인공물이 발생할 수 있다. 제안하는 방법은 입력 영상과 학습된 영상의 일치하지 않는 특징으로 인한 인공물 발생을 줄이기 위해 1차 복원 결과를 분석함으로써 손실 정보를 추정하였다. 추정된 결과의 잡음 및 화소 불균형을 가우시안 기반의 커널로 개선하여 생성된 특징 맵에 따라 학습 데이터를 매핑하였다. 결과 비교를 위해 기존의 초해상도 방법과 제안 방법의 결과를 고화질 영상과 PSNR(Peak Signal to Noise Ratio), SSIM(Structural SIMilarity Index) 으로 비교한 결과 각각 4%와 3%의 향상된 결과를 확인하였다.

Abstract ▼ AI-Helper

In this paper, we propose a method to analyze the loss region of the dictionary-based super resolution result learned for image quality improvement and to map the learning data according to the analyzed loss region. In the conventional learned dictionary-based method, a result different from the feature configuration of the input image may be generated according to the learning image, and an unintended artifact may occur. The proposed method estimate loss information of low resolution images by analyzing the reconstructed contents to reduce inconsistent feature composition and unintended artifacts in the example-based super resolution process. By mapping the training data according to the final interpolation feature map, which improves the noise and pixel imbalance of the estimated loss information using a Gaussian-based kernel, it generates super resolution with improved noise, artifacts, and staircase compared to the existing super resolution. For the evaluation, the results of the existing super resolution generation algorithms and the proposed method are compared with the high-definition image, which is 4% better in the PSNR (Peak Signal to Noise Ratio) and 3% in the SSIM (Structural SIMilarity Index).

주제어

표/그림 (12)

그림 Fig. 1. Learning image reference based method applying self similarity method
그림 Fig. 2. Super resolution generation flowchart based on sparse coding
그림 Fig. 3. Flowchart of proposed super resolution image generation
그림 Fig. 4. Extracted high and low resolution dictionary feature map
그림 Fig. 5. Result of feature extraction (2x)
그림 Fig. 6. Estimation results of the final interpolation feature
그림 Fig. 7. Result of proposed method (2x)
그림 Fig. 8. Experimental result with partial zoom (2x)
그림 Fig. 9. Experimental result with partial zoom (3x)
그림 Fig. 10. Experimental result with partial zoom (4x)
그림 Fig. 11. Super resolution PSNR result comparison
그림 Fig. 12. Super resolution SSIM result comparison

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

은 초해상도 과정에 활용할 수 있다. 본 논문에서는 학습 영상을 이용한 초해상도 과정에서 특징마다의 가중치를 적용함으로써 영상의 경계 또는 고주파수 영역의 형태를 개선하고, 값의 편차가 적은 매끄러운 영역에 인공물 발생을 줄이는 초해상도 영상을 생성한다. 각 사전은 패치단위의 크기를 갖는 총 1024개의 특징으로 구성되며, 각 패치단위의 특징을 적용하기 위한 가중치 계산은 초해상도를 위한 영상의 손실영역을 분석하여 각 영역의 값 분포 분산 값을 이용하였다.
본 논문은 저해상도 영상을 품질 개선을 위해 손실 영역을 분석하고 손실 영역에 따른 학습데이터 매핑을 이용해 초해상도를 수행하였다. 제안하는 방법은 쌍입방 보간법을 이용하여 1차 복원을 수행하였고 1차 결과에 학습 사전 데이터 기반의 초해상도를 수행하였다.

제안 방법

여기서 S는 목표하는 초해상도의 배율이다. Y채널의 보간 결과와 결합하기 위해 쌍입방 보간으로 확대한 Cb채널과 Cr 채널을 합성하여 Fig. 7과 같이 최종 초해상도 영상을 생성하였다.
본 논문에서는 학습 영상을 이용한 초해상도 과정에서 특징마다의 가중치를 적용함으로써 영상의 경계 또는 고주파수 영역의 형태를 개선하고, 값의 편차가 적은 매끄러운 영역에 인공물 발생을 줄이는 초해상도 영상을 생성한다. 각 사전은 패치단위의 크기를 갖는 총 1024개의 특징으로 구성되며, 각 패치단위의 특징을 적용하기 위한 가중치 계산은 초해상도를 위한 영상의 손실영역을 분석하여 각 영역의 값 분포 분산 값을 이용하였다. Fig.
본 논문에서는 기존의 방법과 비교한 성능 평가를 위해 Set5, Set14, BSD-100 데이터셋을 기존의 쌍입방 보간, 자기유사성 기반 Glasner 방법, 학습 데이터 구성 기반의 ScSR 방법, 제안 방법인 LAAMSR (Loss Area Analysis Mapping Super Resolution)을 이용하여 각각 초해상도를 수행하였다. 각 초해상도 알고리즘을 이용하여 2, 3, 4배의 크기로 초해상도를 수행하고 생성된 영상의 품질을 비교할 수 있도록 입력한 데이터셋 영상을 먼저 1/2, 1/3, 1/4의 크기로 하향 표본화를 수행하고, 다시 입력된 영상의 크기와 동일하도록 복원하였다. 복원된 영상의 품질을 평가하기 위해 입력 영상과 초해상도 결과로 생성된 영상을 비교하여 PSNR(Peak Signal Noise Ratio) 및 SSIM(Structural SIMilarity Index)으로 비교하였다.
여기서 α는 학습된 특징 데이터의 최대 분산 값이며, Β는 학습된 특징 데이터 분산 값의 중간 값을 의미한다. 계산한 반영 비율 변수를 이용하여 학습 데이터를 활용한 초해상도를 생성하기 위해 입력 영상으로부터 분리해낸 Y채널 영상을 쌍입방 보간법으로 확장을 수행하고, 최종 보간 특징 맵에 특징 맵 가중치를 적용함으로써 생성한 보간 맵의 합으로 Y채널 영상의 초해상도를 생성하게 된다. 이 과정은 수식 (10)을 이용한다.
기존 초해상도 방법과 제안하는 방법의 정량적 평가를 위해 초해상도 생성 결과 영상을 저해상도를 만들기 전 원영상과 PSNR 및 SSIM 방법으로 평가하였다. PSNR은 영상의 품질을 측정하는 방법으로, 영상의 화소단위를 분석함으로써 원영상과 초해상도 영상의 차이를 확인하는 방법으로 초해상도 결과 영상의 수준을 확인할 수 있다.
특징 추정 결과를 기반으로 사전 학습 데이터를 선택하면 원 영상의 형태를 고려하지 않는 불필요한 인공물이나 계단현상이 존재할 수 있다. 따라서 각 특징 영역에 따라 사전 학습 데이터의 구성을 원 영상에 적합하도록 적용하기 위해 사전 학습 데이터의 구성 및 가중치를 별도로 계산하였다. 본 논문에서는 각 특징의 가중치 계수를 학습 데이터로부터 생성된 특징 맵을 기준으로 분석하여 값을 구하였다.
손실 영역은 다수의 정보를 갖지만 잡음 또는 질감 영역과 같은 평활화된 영역에서 불필요한 추정 결과가 존재할 수 있다. 따라서 손실 영역 추정 결과를 개선하기 위해 수식 (8)을 이용하여 최종 보간 특징 맵을 생성함으로써 학습 데이터를 적용할 영역을 추출하였다.
따라서 학습데이터의 특징 맵을 각 특징마다 계산해낸 분산 값 기준 내림차순으로 정렬하면 경계 및 고주파 대역과 같은 변화량이 큰 특징 맵이 상위에 분포하고, 질감과 같은 평활한 영역은 하위에 분포하게 된다. 따라서 이러한 학습 특징 맵의 분산 값 특성을 이용하여 최종 보간 특징 맵의 추출 결과를 다시 학습 특징 맵과 비교하여 초해상도에 사용될 특징을 선택한 뒤, 선택된 특징 맵의 분산 값을 분석해 학습 데이터의 반영 가중치를 결정할 수 있도록 한다. 가중치 변수T_rate는 수식 (9)와 같이 구할 수 있다.
제안하는 손실 영역 분석 기반의 초해상도 방법인 학습데이터 매핑은 예제 기반 학습 방법을 활용하여 기존의 보간법 기반의 초해상도가 정보가 부족한 점을 보완한다. 또한 기존의 예제 기반 학습 방법을 보완하기 위해 세부사항 손실 정도를 추정하였다. 추정된 손실 값을 이용하여 학습 데이터의 반영 비율을 결정함으로써 개선된 고해상도 영상으로의 복원과정을 수행한다.
또한 화소단위의 분석에 더해 구조적인 비교를 위해 SSIM 값을 구하였다. SSIM의 수식은 (14)와 같다.
Jianchao Yang[18]은 스파스 코딩을 이용하여 단일 영상의 초해상도 방법을 제안하였다. 먼저 저해상도 영상 패치와 고해상도 영상 패치로 구성된 두 개의 사전(Dictionary)을 공동으로 훈련한다. 훈련된 각각의 저해상도/고해상도 영상 패치 쌍 사이에 희소 표현의 유사성을 적용 할 수 있다.
학습 영상을 입력할 때 YCbCr 채널로 변환하여 저해상도 영상에서 손실될 것으로 추정되는 경계나 고주파 대역의 정보를 추출할 수 있도록 하였다. 변환된 Y채널에 에지 및 고주파 필터를 적용하여 영상의 특징을 추출하였다.
따라서 각 특징 영역에 따라 사전 학습 데이터의 구성을 원 영상에 적합하도록 적용하기 위해 사전 학습 데이터의 구성 및 가중치를 별도로 계산하였다. 본 논문에서는 각 특징의 가중치 계수를 학습 데이터로부터 생성된 특징 맵을 기준으로 분석하여 값을 구하였다. 추출된 특징 결과는 각 특징 영역마다 고유한 형태를 갖는다.
본 논문에서는 기존의 방법과 비교한 성능 평가를 위해 Set5, Set14, BSD-100 데이터셋을 기존의 쌍입방 보간, 자기유사성 기반 Glasner 방법, 학습 데이터 구성 기반의 ScSR 방법, 제안 방법인 LAAMSR (Loss Area Analysis Mapping Super Resolution)을 이용하여 각각 초해상도를 수행하였다. 각 초해상도 알고리즘을 이용하여 2, 3, 4배의 크기로 초해상도를 수행하고 생성된 영상의 품질을 비교할 수 있도록 입력한 데이터셋 영상을 먼저 1/2, 1/3, 1/4의 크기로 하향 표본화를 수행하고, 다시 입력된 영상의 크기와 동일하도록 복원하였다.
생성된 최종 보간 특징 추정 결과를 쌍입방 보간을 이용하여 확대 후 초해상도를 수행한다. 특징 추정 결과를 기반으로 사전 학습 데이터를 선택하면 원 영상의 형태를 고려하지 않는 불필요한 인공물이나 계단현상이 존재할 수 있다.
제안하는 방법은 쌍입방 보간법을 이용하여 1차 복원을 수행하였고 1차 결과에 학습 사전 데이터 기반의 초해상도를 수행하였다. 수행 결과를 하향 표본화하여 다시 입력 영상의 크기로 변환한 뒤 입력한 저해상도 영상과 차영상으로 비교하여 입력된 저해상도 영상에서 손실되었을 것으로 추정되는 고해상도 세부사항 정보를 추출하였다. 추출된 손실 영역 정보를 분석하고 가우시안 기반의 커널을 이용해 학습 기반의 초해상도 과정에서의 문제점인 과적용으로 인한 화소 불균형과 잡음 등을 개선함으로써 최종 보간에 사용될 특징 영상을 추출하였다.
여기서 I_R은 생성된 초해상도 결과, I_O는 입력 영상이며, 각 영상의 동일한 영역을 비교 하여 평균 편차 값을 구하도록 하였다.
Daniel Glasner[17]는 단일 영상을 이용한 예제 기반의 초해상도 기법을 제안하였다. 예제 기반의 학습 과정을 단일 영상으로 수행하기 위해 단일 영상을 다중 스케일로 변환하고, 영상 내 특정 영역과 동일한 형태를 갖는 다른 패치 영역을 탐색하여 저해상도/고해상도 대응 관계를 형성한다.
이러한 대응 관계로 예제 기반 형식의 패치 쌍을 생성하고, 부족한 정보를 보완하여 초해상도를 수행하도록 하였다. 그러나 영상 내 유사한 형태가 존재하지 않는 경우 참조할 정보가 부족하거나 적합하지 않아 복원된 영상 결과의 품질이 떨어지는 문제가 있다.
추정된 손실 영역은 예제 기반의 방법의 화소 불균형과 잡음 등의 품질 저하 요소를 포함한다. 이러한 품질 저하 요소를 가우시안 커널 기반의 필터를 이용하여 개선하였다. 필터링 된 손실 영역을 경계, 고주파 대역, 질감 등으로 구분한 뒤, 각 세부사항에 따라 보간과 학습 데이터 활용 비율을 계산하였다.
입력 영상과 쌍을 이루는 저해상도 영상은 쌍입방 보간법을 이용하여 1/2 크기로 하향 표본화한 뒤 다시 쌍입방 보간법을 이용하여 입력 영상의 크기로 상향 표본화하였다.
입력 영상과 쌍을 이루는 저해상도 영상은 쌍입방 보간법을 이용하여 1/2 크기로 하향 표본화한 뒤 다시 쌍입방 보간법을 이용하여 입력 영상의 크기로 상향 표본화하였다. 입력영상과 생성된 저해상도 영상을 같은 크기의 패치 단위로 분할한 뒤 패치 단위의 정보를 수집하여 같은 영역의 고해상도와 저해상도 정보 쌍으로 학습한다. 수식(6)은 고해상도 패치와 저해상도 패치의 관계를 결정하는 식이다.
본 논문은 저해상도 영상을 품질 개선을 위해 손실 영역을 분석하고 손실 영역에 따른 학습데이터 매핑을 이용해 초해상도를 수행하였다. 제안하는 방법은 쌍입방 보간법을 이용하여 1차 복원을 수행하였고 1차 결과에 학습 사전 데이터 기반의 초해상도를 수행하였다. 수행 결과를 하향 표본화하여 다시 입력 영상의 크기로 변환한 뒤 입력한 저해상도 영상과 차영상으로 비교하여 입력된 저해상도 영상에서 손실되었을 것으로 추정되는 고해상도 세부사항 정보를 추출하였다.
따라서 원 영상의 형태에 대한 고려가 없는 학습 데이터 중심의 결과물이 발생할 수 있다. 제안하는 방법은 이러한 예제 기반 방법 초해상도 결과의 품질을 개선하기 위해 예제 기반 방법의 초해상도로 영상을 복원하고, 복원 영상을 입력 영상과 비교하기 위해 하향 표본화하였다. 하향 표본화 영상과 입력 영상의 차이를 이용해 입력 영상에서의 손실 영역을 추정할 수 있다.
제안하는 손실 영역 분석 기반의 초해상도 방법인 학습데이터 매핑은 예제 기반 학습 방법을 활용하여 기존의 보간법 기반의 초해상도가 정보가 부족한 점을 보완한다. 또한 기존의 예제 기반 학습 방법을 보완하기 위해 세부사항 손실 정도를 추정하였다.
또한 기존의 예제 기반 학습 방법을 보완하기 위해 세부사항 손실 정도를 추정하였다. 추정된 손실 값을 이용하여 학습 데이터의 반영 비율을 결정함으로써 개선된 고해상도 영상으로의 복원과정을 수행한다.
수행 결과를 하향 표본화하여 다시 입력 영상의 크기로 변환한 뒤 입력한 저해상도 영상과 차영상으로 비교하여 입력된 저해상도 영상에서 손실되었을 것으로 추정되는 고해상도 세부사항 정보를 추출하였다. 추출된 손실 영역 정보를 분석하고 가우시안 기반의 커널을 이용해 학습 기반의 초해상도 과정에서의 문제점인 과적용으로 인한 화소 불균형과 잡음 등을 개선함으로써 최종 보간에 사용될 특징 영상을 추출하였다. 추출된 최종 보간 특징 영상을 확대하려는 배율로 쌍입방 보간법을 수행하고, 각 영역마다의 특징 유형에 따라 가중치를 차등적으로 적용함으로써 학습된 사전 데이터 기반의 최종 복원 영상을 생성하였다.
추출된 손실 영역 정보를 분석하고 가우시안 기반의 커널을 이용해 학습 기반의 초해상도 과정에서의 문제점인 과적용으로 인한 화소 불균형과 잡음 등을 개선함으로써 최종 보간에 사용될 특징 영상을 추출하였다. 추출된 최종 보간 특징 영상을 확대하려는 배율로 쌍입방 보간법을 수행하고, 각 영역마다의 특징 유형에 따라 가중치를 차등적으로 적용함으로써 학습된 사전 데이터 기반의 최종 복원 영상을 생성하였다. 기존의 초해상도 생성 방법에서는 부족한 정보의 양을 보완하여 품질이 향상된 결과를 만들기 위해 자기 유사성을 이용한 추출 과정이나 또는 다른 영상을 참조함으로써 학습데이터를 구성하는 방법을 이용하였지만 적용 과정에서 각 영역이 주변 데이터와 같은 형태를 갖는 결과를 나타내지 못하고 전체적인 유사성만을 갖는 결과를 보이며, 학습한 데이터에 따라 결과의 차이가 발생한다.
추출된 특징 영상을 패치 단위로 분할하고 각 패치의 정보를 수집하여 학습 데이터로 구성한다. 영상의 분할을 위한 패치 크기는 5x5를 사용하였다.
특징 추출 결과에 수식 (2)를 이용하여 학습된 저해상도 영상의 데이터와의 특징을 비교해 유사한 특징을 선택하고, 대응되는 고해상도 특징을 추출한다. 추출된 고해상도 특징으로 학습된 사전 기반의 보간 과정을 수행할 수 있도록 한다.
특징 추출을 통해 손실됐을 것으로 예상되는 데이터를 추정하도록 Y채널 영상을 쌍입방 보간법을 이용해 2배의 배율로 확대한 뒤 Y채널의 특징을 추출한다. 수식 (4)와 (5)를 이용해 Fig.
저해상도 영상 Y의 좌상단 끝에 위치한 점부터 5x5 크기의 패치 y를 각 방향으로 1 픽셀씩 이동하며 모든 위치에 대해 수행한다. 패치 영역 y의 평균 픽셀 값 m을 계산하고, 사전 데이터와의 차이를 비교 후 수식(2)를 이용하여 최적화를 수행한다.
이러한 품질 저하 요소를 가우시안 커널 기반의 필터를 이용하여 개선하였다. 필터링 된 손실 영역을 경계, 고주파 대역, 질감 등으로 구분한 뒤, 각 세부사항에 따라 보간과 학습 데이터 활용 비율을 계산하였다. 이 과정으로 불필요한 인공물 생성과 계단현상을 일부 개선하였다.
학습 과정과 동일하게 초해상도를 수행하기 위해 입력 영상을 YCbCr 색공간으로 변환하여 영상의 특징 추출을 수행한다.
영상의 학습 과정은 예제 기반 특징 쌍 사전 구을 수행한다. 학습 영상을 입력할 때 YCbCr 채널로 변환하여 저해상도 영상에서 손실될 것으로 추정되는 경계나 고주파 대역의 정보를 추출할 수 있도록 하였다. 변환된 Y채널에 에지 및 고주파 필터를 적용하여 영상의 특징을 추출하였다.

대상 데이터

추출된 특징 영상을 패치 단위로 분할하고 각 패치의 정보를 수집하여 학습 데이터로 구성한다. 영상의 분할을 위한 패치 크기는 5x5를 사용하였다. 입력 영상과 쌍을 이루는 저해상도 영상은 쌍입방 보간법을 이용하여 1/2 크기로 하향 표본화한 뒤 다시 쌍입방 보간법을 이용하여 입력 영상의 크기로 상향 표본화하였다.

데이터처리

각 초해상도 알고리즘을 이용하여 2, 3, 4배의 크기로 초해상도를 수행하고 생성된 영상의 품질을 비교할 수 있도록 입력한 데이터셋 영상을 먼저 1/2, 1/3, 1/4의 크기로 하향 표본화를 수행하고, 다시 입력된 영상의 크기와 동일하도록 복원하였다. 복원된 영상의 품질을 평가하기 위해 입력 영상과 초해상도 결과로 생성된 영상을 비교하여 PSNR(Peak Signal Noise Ratio) 및 SSIM(Structural SIMilarity Index)으로 비교하였다.

이론/모형

여기서 R은 입력 영상 내 최대 색상 변동 폭 값이다. PSNR을 구하기 위한 영상의 평균 편차 MSE는 수식(13)을 이용해 구하였다.
특징 추출을 위해 the Berkeley Segmentation Dataset[19]을 이용해 학습한다.

성능/효과

기존의 초해상도 생성 방법에서는 부족한 정보의 양을 보완하여 품질이 향상된 결과를 만들기 위해 자기 유사성을 이용한 추출 과정이나 또는 다른 영상을 참조함으로써 학습데이터를 구성하는 방법을 이용하였지만 적용 과정에서 각 영역이 주변 데이터와 같은 형태를 갖는 결과를 나타내지 못하고 전체적인 유사성만을 갖는 결과를 보이며, 학습한 데이터에 따라 결과의 차이가 발생한다. 그러나 제안하는 방법은 학습된 사전 정보를 활용하되, 적용하기 위해 잡음영역이 제거되고 필수 복원 형태로 판단될 부분을 추정함으로써 기존의 제안된 학습기반의 초해상도 방법 대비 경계 영역이 개선되면서, 인공물이 줄어든 결과를 확인할 수 있었다. 향후 연구로 학습 과정에서 더 많은 정보를 포함하는 특징맵을 생성할 수 있도록 학습데이터를 분석하는 과정을 개선하고, 특징맵 간 연관성 등의 분석을 이용한 특징맵을 효율적으로 활용하는 방법 등을 연구해야 할 것이다.
제안하는 방법은 입력 영상으로부터 참조할 정보가 적은 고배율의 초해상도 과정에서도 비교적 원 영상의 형태와 유사하게 복원할 수 있었으며, 인공물이 줄어들고, 계단현상 또는 블록형태의 영역이 거의 나타나지 않는 결과를 보였다. 또한 확대 배율이 크면 클수록 기존 방법 대비 품질이 높은 결과를 보여주었다.
모든 데이터베이스 셋에서 PSNR과 SSIM 평가 결과가 기존의 방법들 대비 모든 배율에서 개선된 결과를 보이는 것을 확인할 수 있다.
ScSR 방법은 평활화 영역에서 명도가 일부 변화하여 품질이 떨어지는 부분이 존재하고, 확대 배율이 커질수록 인공물의 비율이 높아지는 것을 확인할 수 있다. 제안하는 방법은 입력 영상으로부터 참조할 정보가 적은 고배율의 초해상도 과정에서도 비교적 원 영상의 형태와 유사하게 복원할 수 있었으며, 인공물이 줄어들고, 계단현상 또는 블록형태의 영역이 거의 나타나지 않는 결과를 보였다. 또한 확대 배율이 크면 클수록 기존 방법 대비 품질이 높은 결과를 보여주었다.
최종 수행 결과 저해상도 영상을 확대했음에도 기존의 방법 대비 화질 개선의 결과를 얻었고 인공물이나 계단 현상 등의 초해상도에서의 품질 저하 요소가 줄어들어 개선된 결과를 확인할 수 있다.
생성된 최종 보간 특징 추정 결과를 쌍입방 보간을 이용하여 확대 후 초해상도를 수행한다. 특징 추정 결과를 기반으로 사전 학습 데이터를 선택하면 원 영상의 형태를 고려하지 않는 불필요한 인공물이나 계단현상이 존재할 수 있다. 따라서 각 특징 영역에 따라 사전 학습 데이터의 구성을 원 영상에 적합하도록 적용하기 위해 사전 학습 데이터의 구성 및 가중치를 별도로 계산하였다.

후속연구

그러나 제안하는 방법은 학습된 사전 정보를 활용하되, 적용하기 위해 잡음영역이 제거되고 필수 복원 형태로 판단될 부분을 추정함으로써 기존의 제안된 학습기반의 초해상도 방법 대비 경계 영역이 개선되면서, 인공물이 줄어든 결과를 확인할 수 있었다. 향후 연구로 학습 과정에서 더 많은 정보를 포함하는 특징맵을 생성할 수 있도록 학습데이터를 분석하는 과정을 개선하고, 특징맵 간 연관성 등의 분석을 이용한 특징맵을 효율적으로 활용하는 방법 등을 연구해야 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	초해상도 생성 기법은 무엇이 중요한가?	초해상도 생성 기법은 영상의 화질 개선 과정으로 결과물의 품질이 매우 중요하다[10-12]. 그러나 기존에 제안된 단순한 보간법 기반의 방법들은 정보가 부족해 결과의 품질이 떨어지는 문제가 있다.
	품질 저하 요소를 어떻게 개선하였는가?	추정된 손실 영역은 예제 기반의 방법의 화소 불균형과 잡음 등의 품질 저하 요소를 포함한다. 이러한 품질 저하 요소를 가우시안 커널 기반의 필터를 이용하여 개선하였다. 필터링 된 손실 영역을 경계, 고주파 대역, 질감 등으로 구분한 뒤, 각 세부사항에 따라 보간과 학습 데이터 활용 비율을 계산하였다.
	학습한 데이터에 따라 결과의 차이가 나는 것을 어떻게 줄였는가?	기존의 초해상도 생성 방법에서는 부족한 정보의 양을 보완하여 품질이 향상된 결과를 만들기 위해 자기 유사성을 이용한 추출 과정이나 또는 다른 영상을 참조함으로써 학습데이터를 구성하는 방법을 이용하였지만 적용 과정에서 각 영역이 주변 데이터와 같은 형태를 갖는 결과를 나타내지 못하고 전체적인 유사성만을 갖는 결과를 보이며, 학습한 데이터에 따라 결과의 차이가 발생한다. 그러나 제안하는 방법은 학습된 사전 정보를 활용하되, 적용하기 위해 잡음영역이 제거되고 필수 복원 형태로 판단될 부분을 추정함으로써 기존의 제안된 학습기반의 초해상도 방법 대비 경계 영역이 개선되면서, 인공물이 줄어든 결과를 확인할 수 있었다. 향후 연구로 학습 과정에서 더 많은 정보를 포함하는 특징맵을 생성할 수 있도록 학습데이터를 분석하는 과정을 개선하고, 특징맵 간 연관성 등의 분석을 이용한 특징맵을 효율적으로 활용하는 방법 등을 연구해야 할 것이다.

참고문헌 (19)

H. H. Han, J. Y. Lee, K. D. Jung & S. H. Lee. (2018). Patch Information based Linear Interpolation for Generating Super-Resolution Images in a Single Image. Journal of the Korea Convergence Society, 9(6), 45-52. DOI : 10.15207/JKCS.2018.9.6.045

원문보기 상세보기
H. J. Kim, Y. S. Park, K. B. Kim & S. H. Lee. (2019). Modified HOG Feature Extraction for Pedestrian Tracking. Journal of the Korea Convergence Society, 10(3), 39-47. DOI : 10.15207/JKCS.2019.10.3.039

원문보기 상세보기
D. I. Kim, G. S. Lee, K. H. Han & S. H. Lee. (2019). A Study on the Improvement of Skin Loss Area in Skin Color Extraction for Face Detection. Journal of the Korea Convergence Society, 10(5), 1-8. DOI : 10.15207/JKCS.2019.10.5.001

원문보기 상세보기
G. O. Kim, G. S. Lee & S. H. Lee. (2014). An Edge Extraction Method Using K-Means Clustering In Image, Journal of Digital Convergence, 12(11), 281-288. DOI : 10.14400/JDC.2014.12.11.281

원문보기 상세보기
T. H. Yoo, G. S. Lee & S. H. Lee. (2012). Window Production Method based on Low-Frequency Detection for Automatic Object Extraction of Grabcut, Journal of Digital Convergence, 10(8), 211-217. DOI : 10.14400/JDPM.2012.10.8.211

원문보기 상세보기
E. Rhee. (2017). Security Algorithm for Vehicle Type Recognition. Journal of Convergence for Information Technology, 7(2), 77-82. DOI : 10.22156/CS4SMB.2017.7.2.077

원문보기 상세보기
M. K. Kwon & H. S. Yang. (2017). A scene search method based on principal character identification using convolutional neural network. Journal of Convergence for Information Technology, 7(2), 31-36. DOI : 10.22156/CS4SMB.2017.7.2.031

원문보기 상세보기
Y. Tai, J. Yang & X. Liu. (2017). Image super-resolution via deep recursive residual network. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3147-3155). DOI : 10.1109/cvpr.2017.298
R. W. Gerchberg. (1974). Super-resolution through error energy reduction. Optica Acta: International Journal of Optics, 21(9), 709-720. DOI : 10.1080/713818946

상세보기
L. C. Pickup, S. J. Roberts & A. Zisserman. (2004). A sampled texture prior for image super-resolution. In Advances in neural information processing systems (pp. 1587-1594). DOI : 10.1109/icip.2012.6467332
A. Corduneanu & J. C. Platt. (2005, September). Learning spatially-variable filters for super-resolution of text. In IEEE International Conference on Image Processing 2005 (1, pp. I-849). IEEE. DOI : 10.1109/icip.2005.1529884
W. Liu, D. Lin & X. Tang. (2005, July). Neighbor combination and transformation for hallucinating faces. In 2005 IEEE International Conference on Multimedia and Expo (pp. 4-pp). IEEE. DOI : 10.1109/icme.2005.1521381
D. Datsenko & M. Elad. (2007). Example-based single document image super-resolution: a global MAP approach with outlier rejection. Multidimensional Systems and Signal Processing, 18(2-3), 103-121. DOI : 10.1007/s11045-007-0018-z

상세보기
M. Elad & D. Datsenko. (2008). Example-based regularization deployed to super-resolution reconstruction of a single image. The Computer Journal, 52(1), 15-30. DOI : 10.1093/comjnl/bxm008

상세보기
L. Li & Y. Wang. (2008, October). Face super-resolution using a hybrid model. In 2008 9th International Conference on Signal Processing (pp. 1153-1156). IEEE. DOI : 10.1109/icosp.2008.4697334
J. Yang, Z. Wang, Z. Lin, S. Cohen & T. Huang. (2012). Coupled dictionary training for image super-resolution. IEEE transactions on image processing, 21(8), 3467-3478. DOI : 10.1109/tip.2012.2192127

상세보기
D. Glasner, S. Bagon & M. Irani. (2009, September). Super-resolution from a single image. In 2009 IEEE 12th international conference on computer vision (pp. 349-356). IEEE. DOI : 10.1109/iccv.2009.5459271
J. Yang, J. Wright, T. S. Huang & Y. Ma. (2010). Image super-resolution via sparse representation. IEEE transactions on image processing, 19(11), 2861-2873. DOI : 10.1109/icip.2011.6115635

상세보기
D. Martin, C. Fowlkes, D. Tal & J. Malik. (2001, July). A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics. Vancouver:: Iccv. DOI : 10.1109/iccv.2001.937655

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증