적외선 영상 선명도 개선을 위한 ADRC 기반 초고해상도 기법 및 가시광 영상과의 융합 기법 Infrared Image Sharpness Enhancement Method Using Super-resolution Based on Adaptive Dynamic Range Coding and Fusion with Visible Image원문보기
일반적으로 적외선 열화상 영상은 가시광선 영상보다 약한 선명도를 가지며, 디테일 정보도 거의 없다. 그래서 종래 영상확대 알고리즘 방법으로 적외선 영상을 확대할 경우 가시광 영상에 비해 효과적이지 않다. 이런 문제점을 해결하기 위해 본 논문은 입력 적외선 영상을 ADRC 기반 초고해상도 기법으로 일차적으로 확대하고, 대응하는 가시광선 영상과 융합하는 방법을 제안한다. 제안하는 알고리즘은 크게 확대 과정과 융합 과정으로 나뉜다. 먼저 입력된 적외선 영상을 ADRC 기반의 초고해상도 알고리즘으로 확대한다. 사전의 학습과정에서 고해상도 영상들에 소위 pre-emphasis를 적용한 후 학습을 함으로써 선명도 향상을 꾀했다. 융합 과정에서는 먼저 입력 IR영상과 대응하는 가시광선 영상에서 고주파 정보를 추출하고, IR영상의 복잡도에 따라 적응적으로 상기 추출된 고주파 정보를 합성하는 방식으로 최종적인 확대 적외선 영상이 얻어진다. 모의 실험 결과 제안 알고리즘은 최신 SR기법 중 하나인 A+기법보다 JNB수치가 평균 0.2184만큼 높은 우수한 정량적 결과를 보인다. 뿐만 아니라 주관적 화질에서도 상당한 우위를 보인다.
일반적으로 적외선 열화상 영상은 가시광선 영상보다 약한 선명도를 가지며, 디테일 정보도 거의 없다. 그래서 종래 영상확대 알고리즘 방법으로 적외선 영상을 확대할 경우 가시광 영상에 비해 효과적이지 않다. 이런 문제점을 해결하기 위해 본 논문은 입력 적외선 영상을 ADRC 기반 초고해상도 기법으로 일차적으로 확대하고, 대응하는 가시광선 영상과 융합하는 방법을 제안한다. 제안하는 알고리즘은 크게 확대 과정과 융합 과정으로 나뉜다. 먼저 입력된 적외선 영상을 ADRC 기반의 초고해상도 알고리즘으로 확대한다. 사전의 학습과정에서 고해상도 영상들에 소위 pre-emphasis를 적용한 후 학습을 함으로써 선명도 향상을 꾀했다. 융합 과정에서는 먼저 입력 IR영상과 대응하는 가시광선 영상에서 고주파 정보를 추출하고, IR영상의 복잡도에 따라 적응적으로 상기 추출된 고주파 정보를 합성하는 방식으로 최종적인 확대 적외선 영상이 얻어진다. 모의 실험 결과 제안 알고리즘은 최신 SR기법 중 하나인 A+기법보다 JNB수치가 평균 0.2184만큼 높은 우수한 정량적 결과를 보인다. 뿐만 아니라 주관적 화질에서도 상당한 우위를 보인다.
In general, infrared images have less sharpness and image details than visible images. So, the prior image upscaling methods are not effective in the infrared images. In order to solve this problem, this paper proposes an algorithm which initially up-scales an input infrared (IR) image by using adap...
In general, infrared images have less sharpness and image details than visible images. So, the prior image upscaling methods are not effective in the infrared images. In order to solve this problem, this paper proposes an algorithm which initially up-scales an input infrared (IR) image by using adaptive dynamic range encoding (ADRC)-based super-resolution (SR) method, and then fuses the result with the corresponding visible images. The proposed algorithm consists of a up-scaling phase and a fusion phase. First, an input IR image is up-scaled by the proposed ADRC-based SR algorithm. In the dictionary learning stage of this up-scaling phase, so-called 'pre-emphasis' processing is applied to training-purpose high-resolution images, hence better sharpness is achieved. In the following fusion phase, high-frequency information is extracted from the visible image corresponding to the IR image, and it is adaptively weighted according to the complexity of the IR image. Finally, a up-scaled IR image is obtained by adding the processed high-frequency information to the up-scaled IR image. The experimental results show than the proposed algorithm provides better results than the state-of-the-art SR, i.e., anchored neighborhood regression (A+) algorithm. For example, in terms of just noticeable blur (JNB), the proposed algorithm shows higher value by 0.2184 than the A+. Also, the proposed algorithm outperforms the previous works even in terms of subjective visual quality.
In general, infrared images have less sharpness and image details than visible images. So, the prior image upscaling methods are not effective in the infrared images. In order to solve this problem, this paper proposes an algorithm which initially up-scales an input infrared (IR) image by using adaptive dynamic range encoding (ADRC)-based super-resolution (SR) method, and then fuses the result with the corresponding visible images. The proposed algorithm consists of a up-scaling phase and a fusion phase. First, an input IR image is up-scaled by the proposed ADRC-based SR algorithm. In the dictionary learning stage of this up-scaling phase, so-called 'pre-emphasis' processing is applied to training-purpose high-resolution images, hence better sharpness is achieved. In the following fusion phase, high-frequency information is extracted from the visible image corresponding to the IR image, and it is adaptively weighted according to the complexity of the IR image. Finally, a up-scaled IR image is obtained by adding the processed high-frequency information to the up-scaled IR image. The experimental results show than the proposed algorithm provides better results than the state-of-the-art SR, i.e., anchored neighborhood regression (A+) algorithm. For example, in terms of just noticeable blur (JNB), the proposed algorithm shows higher value by 0.2184 than the A+. Also, the proposed algorithm outperforms the previous works even in terms of subjective visual quality.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
SR 알고리즘으로 적외선 영상을 확대시키더라도 동일 해상도의 가시광 영상에 비해 선명도가 떨어지며 디테일이 적다는 것을 그림 4를 통해 확인 할 수 있다. 따라서 가시광 영상으로부터 고주파 정보를 추출하여 합성시키는 기법을 제안한다. 앞서 살펴본 융합 알고리즘의 경우 식 (2)을 이용하여 고주파 정보를 찾게 되는데 이럴 경우 많은 연산량이 소모되게 되어 실제로 제품에 적용시키기 어렵다.
본 논문에서는 적외선 영상의 특성을 고려하여 ADRC 를 적용시킨 확대 알고리즘을 제안하였을 뿐만 아니라 확대된 영상의 선명도를 개선시키기 위해 가시광 영상으로부터 고주파정보를 추출하고 이를 영상의 복잡도에 따라 적응적으로 게인 값을 곱하여 융합하는 방법을 제안한다. 그 결과 성능이 우수한 SR기법으로 알려진 A+기법으로 적외선 영상을 확대하였을 때보다 더 선명한 영상을 얻을 수 있었으며, 정량적 평가에 있어서도 더 우수하다고 할 수 있다.
또한 영상확대 과정에서 에지 판별은 3×3 블록의 분산을 계산하여 판별하였고 문턱치는 5 로 결정하였다. 에지 판별에 있어 문턱치가 다소 작은 측면이 있지만 적외선 영상의 경우 에지 영역에서 블러가 되어 있기 때문에 문턱치를 일반 가시광 영상에서처럼 높게 잡게 될 경우 에지 영역이 충분히 검출되지 않기 때문에 에지 영역이 충분히 검출되도록 실험적으로 정하였다. 또한 영상융합에서 적외선 영상과 가시광 영상의 에지정도의 문턱치는 각각 0.
가설 설정
[13] 두 영상이 완벽히 정합되었다고 가정하고, 고주파 추출 영역을 결정하기 위해 확대된 적외선 영상과 이에 정합된 가시광 영상의 에지 픽셀을 분류하기 위해 앞선 융합 알고리즘에서 사용한 에지정도인 식 (1)를 각각 측정하여 사전에 정의한 문턱치를 모두 만족할 경우 에지 픽셀로 분류한다. 단순히 기울기를 구하여 특정 문턱치로 에지 픽셀을 분류할 경우 적외선 영상의 블러와 노이즈 때문에 에지 영역을 판별하는데 어려움이 있기 때문에 에지정도를 이용한다.
제안 방법
저해상도의 적외선 영상과 고해상도의 가시광 영상을 융합시키기 위해 먼저 저해상도의 적외선 영상을 bi-cubic 보간 기법으로 확대시킨다. 다음 두 영상을 정합시킨 후 정합된 가시광 영상과 확대시킨 적외선 영상을 가지고 에지 픽셀을 분류하고 가시광 영상에서 고주파 정보를 추출한 후 이를 개선시킨 후 최종적으로 확대된 적외선 영상과 합성하여 선명도가 개선된 확대 적외선 영상을 얻는다.
이렇게 얻어진 고주파 정보를 단순히 합성하게 되면 여전히 효과가 크지 않거나 너무 과한 영역이 존재하게 된다. 따라서 우리는 앞서 구한 적외선 에지정도값에 따라 적응적으로 게인 값을 구하고 이를 고주파 정보에 곱하여 최종적으로 확대된 영상에 합성하는 방법을 제안한다. 우리는 가우시안 모델을 이용하여 식 (9)와 같이 각 화소 i 별 게인 값 gi을 얻는다.
앞서 살펴본 융합 알고리즘의 경우 식 (2)을 이용하여 고주파 정보를 찾게 되는데 이럴 경우 많은 연산량이 소모되게 되어 실제로 제품에 적용시키기 어렵다. 따라서 제안하는 융합 기법에서는 고주파 정보를 찾는 과정을 가우시안 필터를 이용하여 단순화시키고 연산량을 최소화시키는 방향으로 알고리즘을 구성한다. 또한 찾아진 고주파정보를 영상의 복잡도에 따라 적응적으로 게인 값을 곱하여 결과 영상의 선명도를 개선시킨다.
하지만 s 위 방법으로 했을 때 좋은 고주파 정보를 추출할 수 있지만 에러를 최소화 시켜주는 â와 #을 찾는데 많은 연산량이 필요로 한다. 따라서 제안하는 융합 알고리즘에서는 에지 픽셀을 분류의 경우 에지정도 이용하여 분류하고 가시광 영상으로부터의 고주파 추출은 다른 방식으로 추출하고 적응적으로 게인 값을 곱하여 확대한 적외선 영상에 합성한다.
또한 영상확대 과정에서 에지 판별은 3×3 블록의 분산을 계산하여 판별하였고 문턱치는 5 로 결정하였다.
학습과정에서 기존에는 단순히 저해상도 (low-resolution; LR)-고해상도 (high-resolution; HR) 패치 쌍을 다양한 분류기를 통해 분류하여 학습하지만, 제안 알고리즘의 경우 고해상도의 가시광 영상을 adaptive unsharp masking (AUM)[15] 기법으로 선명도를 더 향상시켜 학습한다. 또한 적외선 영상이 일반 영상에 비해 디테일은 거의 없고 에지 위주의 단순한 영상이라는 특징과 에지 영역에 대해 사람이 시각적으로 민감하다는 특성을 고려하여 에지 영역에 대해서 ADRC 기법과 같은 단순한 분류 기법을 이용하여 패턴을 추출하고 학습과정을 진행한다. 이렇게 생성된 사전을 정보를 합성과정에 이용하여 선명도가 더욱 향상된 결과를 얻을 수 있다.
먼저 제안한 SR알고리즘으로 확대된 적외선영상 xIR와 가시광 영상 xVIS을 기울기 기반의 정합 기법을 적용시켜 두 영상을 정합시킨다.[13] 두 영상이 완벽히 정합되었다고 가정하고, 고주파 추출 영역을 결정하기 위해 확대된 적외선 영상과 이에 정합된 가시광 영상의 에지 픽셀을 분류하기 위해 앞선 융합 알고리즘에서 사용한 에지정도인 식 (1)를 각각 측정하여 사전에 정의한 문턱치를 모두 만족할 경우 에지 픽셀로 분류한다.
제안하는 ADRC 기반 SR 알고리즘은 크게 학습 과정과 합성과정으로 나뉜다. 먼저 학습과정의 경우 전처리를 추가하여 알고리즘의 성능을 향상시킨 기법[8]을 적용시켜 학습하였으며, 적외선 영상이 에지 위주의 단순한 영상이라는 점을 고려하여 복잡한 분류기보다는 ADRC와 같은 단순한 분류기를 활용하여 패턴을 분류하고 학습한다. 또한 사람의 시각적 특성상 에지 영역에 대해 민감함으로 전체 영상을 전부 처리하는 것보다 에지 영역 중심으로 처리하는 것이 알고리즘 상 더 효율적인 방법이기 때문이다.
본 논문에서는 단순히 융합 알고리즘을 적용시키는 것뿐만 아니라 SR 알고리즘으로 먼저 적외선 영상을 확대시킨다. 이를 통해 융합 알고리즘으로 개선시키지 못하는 영역에 대해서도 SR 알고리즘을 통해 개선시켜줄 수 있도록 한다.
적외선 영상과 가시광 영상의 에지정도의 문턱치가 상이한 이유는 앞선 에지 검출에서처럼 적외선 영상의 경우 문턱치가 높게 되면 에지 영역이 충분히 검출되지 않기 때문에 가시광 영사에 비해 상대적으로 낮은 문턱치를 같게 된다고 실험적으로 도출하였다. 비교 기법으로는 일반적으로 사용되는 선형 기법인 bi-cubic기법과 성능이 우수한 SR기법으로 알려진 A+으로 입력 영상을 2배 확대한 결과와 제안 알고리즘의 결과를 먼저 주관적 화질로 평가한 후, 기준 영상이 없는 영상의 선명도 측정 메트릭인 JNB[17]을 사용하여 정략적으로 비교한다.
이와 같이 정합된 가시광 영상 xVIS을 표준편차가 σ인 가우시안 블러 커널을 통해 블러 시킨 후 입력된 가시광 영상과의 차를 통해 고주파 정보를 추출한다.
이처럼 SR 알고리즘과 융합 알고리즘을 같이 적용시켜 단순히 SR 알고리즘과 융합 알고리즘을 각각 적용시켰을 때보다 개선된 결과를 얻을 수 있다. 제안 알고리즘은 입력 적외선 영상을 SR기법으로 확대한 후 가시광 영상으로부터 추출된 고주파 정보를 추가로 합성하여 기존의 순수 SR 기법이나 융합 기법 대비 우수한 선명도를 얻는 방안을 제안한다. 제안 알고리즘은 학습기반의 SR기법을 수행하는 단계와 후처리 과정으로 가시광 영상과 융합하는 과정으로 나뉜다.
먼저 학습기반의 SR기법은 다시 학습과정과 합성과정으로 구성된다. 학습과정에서 기존에는 단순히 저해상도 (low-resolution; LR)-고해상도 (high-resolution; HR) 패치 쌍을 다양한 분류기를 통해 분류하여 학습하지만, 제안 알고리즘의 경우 고해상도의 가시광 영상을 adaptive unsharp masking (AUM)[15] 기법으로 선명도를 더 향상시켜 학습한다. 또한 적외선 영상이 일반 영상에 비해 디테일은 거의 없고 에지 위주의 단순한 영상이라는 특징과 에지 영역에 대해 사람이 시각적으로 민감하다는 특성을 고려하여 에지 영역에 대해서 ADRC 기법과 같은 단순한 분류 기법을 이용하여 패턴을 추출하고 학습과정을 진행한다.
대상 데이터
또한 SR 알고리즘의 학습과정에서 사용한 고해상도 영상은 그림 8과 같은 1920×1080 크기의 일반영상 6개를 가지고 학습하였다.
실험 영상은 캐나다 토론토 대학에서 적외선 영상 및 가시광 영상 분석에 사용된 데이터베이스[18]을 사용하였으며, 그림 7은 본 논문에서 사용된 실험영상의 예를 나타낸다. 모든 실험은 Intel i5-3470 CPU at 3.
성능/효과
표 1는 실험에 사용된 15개 영상에 대한 JNB 값을 나타낸다. 결과에서 볼 수 있듯이 단순히 SR 알고리즘만 적용시켰을 때 A+기법에 비해 낮게 측정되었지만, 융합 알고리즘까지 적용시켰을 때 이전보다 평균 0.2184 만큼 높아진 확인할 수 있다. JNB 값이 A+기법에 비해 떨어지는 영상이 있는 이유는 제안 알고리즘의 경우 에지 영역을 검출하여 에지 영역에 대해서만 알고리즘을 수행하지만 A+의 경우 영상 전체에 대해서 처리하기 때문이다.
결론적으로 그림 9∼12에서 볼 수 있듯이 단순히 SR 알고리즘만을 적용시켰을 때는 A+기법 대비 주관적 화질측면에서 거의 유사하지만 융합 알고리즘까지 적용시켰을 때 더 선명하다는 것을 알 수 있다.
본 논문에서는 적외선 영상의 특성을 고려하여 ADRC 를 적용시킨 확대 알고리즘을 제안하였을 뿐만 아니라 확대된 영상의 선명도를 개선시키기 위해 가시광 영상으로부터 고주파정보를 추출하고 이를 영상의 복잡도에 따라 적응적으로 게인 값을 곱하여 융합하는 방법을 제안한다. 그 결과 성능이 우수한 SR기법으로 알려진 A+기법으로 적외선 영상을 확대하였을 때보다 더 선명한 영상을 얻을 수 있었으며, 정량적 평가에 있어서도 더 우수하다고 할 수 있다. 이러한 제안 알고리즘을 통해 저가의 센서로 획득한 영상의 선명도를 개선하여 고가의 센서로 획득한 영상과 유사한 화질을 갖는 영상을 획득할 수 있어 궁극적으로 적외선 카메라의 생산단가를 낮추는 효과를 보여줄 것으로 전망된다.
이와 같은 과정으로 알고리즘을 적용시켰을 때 단순히 제안하는 SR기법만을 적용시켰을 때, 성능이 뛰어난 SR기법인 A+와 주관적 화질 측면에서 비슷한 결과를 얻었지만, 융합 알고리즘까지 적용시켰을 때 더욱 선명도가 개선된 것을 확인 할 수 있다. 또한 제안 기법을 평가하기 위해 선명도 측정 기준인 just noticeable blur(JNB)[17] 값을 측정하였을 때 성능이 뛰어난 A+기법으로 확대하였을 때보다 평균 0.2184 만큼 상승하는 것을 볼 수 있었다. 이러한 효과를 미루어볼 때 제안 기법을 적용시킬 경우 저가의 적외선 센서로 획득한 영상정보를 가지고 고가의 적외선 센서로 획득한 영상과 유사한 화질을 가질 수 있는 영상을 얻을 수 있을 것이라고 기대한다.
을 사용하였으며, 그림 7은 본 논문에서 사용된 실험영상의 예를 나타낸다. 모든 실험은 Intel i5-3470 CPU at 3.20GHz 의 CPU와, 12GB 메모리 환경에서 C로 구현하여 영상 정합과정을 제외한 전체적인 알고리즘의 평균 수행시간은 0.25초로 측정되었다. 또한 SR 알고리즘의 학습과정에서 사용한 고해상도 영상은 그림 8과 같은 1920×1080 크기의 일반영상 6개를 가지고 학습하였다.
실험결과에서는 제안한 SR 알고리즘만 수행한 결과와 bi-cubic, A+기법과 비교한 후 최종적으로 융합 알고리즘까지 적용시킨 결과와 비교하여 제안기법의 우수성을 보인다. 결론적으로 그림 9∼12에서 볼 수 있듯이 단순히 SR 알고리즘만을 적용시켰을 때는 A+기법 대비 주관적 화질측면에서 거의 유사하지만 융합 알고리즘까지 적용시켰을 때 더 선명하다는 것을 알 수 있다.
으로 정합시킨 후 정합된 두 영상을 가지고 가시광 영상으로부터 고주파 정보를 추출한 후 적외선 영상의 복잡도에 따라 고주파 정보에 게인 혹은 가중치를 다르게 주어 최종적으로 확대된 적외선 영상에 합성시켜 준다. 이와 같은 과정으로 알고리즘을 적용시켰을 때 단순히 제안하는 SR기법만을 적용시켰을 때, 성능이 뛰어난 SR기법인 A+와 주관적 화질 측면에서 비슷한 결과를 얻었지만, 융합 알고리즘까지 적용시켰을 때 더욱 선명도가 개선된 것을 확인 할 수 있다. 또한 제안 기법을 평가하기 위해 선명도 측정 기준인 just noticeable blur(JNB)[17] 값을 측정하였을 때 성능이 뛰어난 A+기법으로 확대하였을 때보다 평균 0.
8로 실험적으로 정하였다. 적외선 영상과 가시광 영상의 에지정도의 문턱치가 상이한 이유는 앞선 에지 검출에서처럼 적외선 영상의 경우 문턱치가 높게 되면 에지 영역이 충분히 검출되지 않기 때문에 가시광 영사에 비해 상대적으로 낮은 문턱치를 같게 된다고 실험적으로 도출하였다. 비교 기법으로는 일반적으로 사용되는 선형 기법인 bi-cubic기법과 성능이 우수한 SR기법으로 알려진 A+으로 입력 영상을 2배 확대한 결과와 제안 알고리즘의 결과를 먼저 주관적 화질로 평가한 후, 기준 영상이 없는 영상의 선명도 측정 메트릭인 JNB[17]을 사용하여 정략적으로 비교한다.
이렇게 생성된 사전을 정보를 합성과정에 이용하여 선명도가 더욱 향상된 결과를 얻을 수 있다. 제안 기법의 경우 학습과정에 전처리 과정을 추가함으로써 합성과정에서 추가적인 연산량 증가 없이 영상의 화질을 더욱 향상시켰다는 점에서 효율적인 알고리즘이라고 할 수 있다.
에지 영역이라고 판단될 경우 학습 과정에서처럼 ADRC 패턴 추출과정으로 넘어가며, 에지가 아닌 영역은 bi-cubic 선형 보간 기법으로 영상을 확대시킨다. 즉 사람의 시각적 특성상 민감한 에지 영역에 대해서는 제안 알고리즘을 이용하여 영상을 확대하고, 에지가 아닌 영역에 대해서는 bi-cubic 보간 기법으로 영상을 확대 시켜 적외선 영상에 약하게 존재하는 디테일 정보를 보존시켜주는 효과가 있다. 에지 영역에 대해 ADRC를 이용하여 9bit 패턴을 추출하고 나면 사전에 학습한 사전 정보에서 해당 패턴의 필터 계수 정보를 찾아온다.
후속연구
그 결과 성능이 우수한 SR기법으로 알려진 A+기법으로 적외선 영상을 확대하였을 때보다 더 선명한 영상을 얻을 수 있었으며, 정량적 평가에 있어서도 더 우수하다고 할 수 있다. 이러한 제안 알고리즘을 통해 저가의 센서로 획득한 영상의 선명도를 개선하여 고가의 센서로 획득한 영상과 유사한 화질을 갖는 영상을 획득할 수 있어 궁극적으로 적외선 카메라의 생산단가를 낮추는 효과를 보여줄 것으로 전망된다.
2184 만큼 상승하는 것을 볼 수 있었다. 이러한 효과를 미루어볼 때 제안 기법을 적용시킬 경우 저가의 적외선 센서로 획득한 영상정보를 가지고 고가의 적외선 센서로 획득한 영상과 유사한 화질을 가질 수 있는 영상을 얻을 수 있을 것이라고 기대한다.
질의응답
핵심어
질문
논문에서 추출한 답변
SR은 어떻게 구분되는가?
선형 기법들의 성능 한계를 극복하기 위한 방법으로 소위 초고해상도 (super-resolution; SR) 기법들이 각광을 받고 있다.[1∼8] SR은 크게 단일 영상 SR기법과 다중 영상 SR 기법으로 구분되는데, 단일 영상기반 SR방식이 연산량 측면에서 유리하기 때문에 최근 TV나 카메라 등 다양한 응용에 적용되는 추세이다. 단일 영상기반 SR기법들을 중에서도 학습기반의 알고리즘에 대해 살펴보면 다음과 같다.
적외선 열화상 영상의 단점은?
일반적으로 적외선 열화상 영상은 가시광선 영상보다 약한 선명도를 가지며, 디테일 정보도 거의 없다. 그래서 종래 영상확대 알고리즘 방법으로 적외선 영상을 확대할 경우 가시광 영상에 비해 효과적이지 않다.
종래 영상확대 알고리즘 방법의 문제점을 해결하기 위해 제안된 것은?
그래서 종래 영상확대 알고리즘 방법으로 적외선 영상을 확대할 경우 가시광 영상에 비해 효과적이지 않다. 이런 문제점을 해결하기 위해 본 논문은 입력 적외선 영상을 ADRC 기반 초고해상도 기법으로 일차적으로 확대하고, 대응하는 가시광선 영상과 융합하는 방법을 제안한다. 제안하는 알고리즘은 크게 확대 과정과 융합 과정으로 나뉜다.
참고문헌 (18)
Freedman et al., "Image and video upscaling from local self-examples", ACM T. Graphics, vol. 30, no. 2, 2011.
C. Dong, C. C. Loy, K. He, and X. Tang. "Learning a deep convolutional network for image super-resolution," Proc. ECCV, 2014.
C. F. Granda and E. J. Candes, "Super-resolution via transform-invariant group-sparse regularization," Proc. ICCV, pp. 3336-3343, 2013.
H. Chang, D. Y. Yeung and Y. Xiong. "Superresolution through neighbor embedding," Proc. CVPR, pp. 275-282, 2004.
S. Farsiu, M. D. Robinson, M. Elad, and P. Milanfar, "Fast and robust multiframe super resolution," IEEE Trans. Image Proc., vol. 13, no. 10, pp. 1327-1344, Oct. 2004.
J. Yang, J. Wright, T. Huang, and Y. Ma, "Image superresolution via sparse representation", IEEE Trans. Image Proc., vol. 19, no. 11, pp. 2861-2873, 2010.
R. Timofte, V. De and L. V. Gool, "Anchored neighborhood regression for fast example-based super-resolution", Proc. ICCV, pp. 1920-1927, 2013.
I. H. Choi, Y. Nam, and B. C. Song, "A contentadaptive sharpness enhancement algorithm using 2D FIR filters trained by pre-emphasis," J. Vis. Commun. Image R., pp. 579-591, April 2013.
K. Choi, C. Kim, M. H. Kang, and J. B. Ra, "Resolution improvement of infrared images using visible image information," IEEE Signal Processing Letters, vol. 18, no. 10, 2011.
S. Yin, L. Cao, Q. Tan and G. Jin, "Infrared and visible image fusion based on NSCT and fuzzy logic," Proc. IEEE International Conference on Mechatronics and Automation, 2010.
A. Gyaourova, G. Bebis and I. Pavlidis, "Fusion of infrared and visible images for face recognition," Proc. ECCV, vol. 3024, pp. 456-468, 2004.
M. Irani and P. Anandan, "Robust multi-sensor image alignment," Proc. ICCV, pp. 959-966, 1998.
J. H. Lee, Y. S. Kim, D. Lee, D. G. Kang and J. B. Ra, "Robust CCD and IR iamge registration using gradient-based statistical information," IEEE Signal Processing Letters, vol. 17, no. 4, 2010.
S. Sonn, G. A. Bilodeau, P. Galinier, "Fast and accurate registration of visible and infrared videos," Proc. CVPR, 2013.
A. Polesel, G. Ramponi, V. J. Mathews, "Image enhancement via adaptive unsharp masking", IEEE Trans. Image Proc., vol. 9, no. 3, pp. 505-510, 2000.
T. Kondo, and K. Kawaguchi, "Adaptive dynamic range encoding method and apparatus," US-patent 5, 444, 487, 1995.
R. Ferzli and L. J. Karam, "A no-reference objective image sharpness metric based on the notion of just noticeable blur (JNB)," IEEE Trans. Image Proc., vol. 18, no. 4, pp. 717-728, 2009.
N. J. W. Morris et al., "Statistics of infrared images", Proc. CVPR, 2007.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.