본 논문은 디블러링(Deblurring) 계산 시간을 단축하면서 복원된 영상의 텍스처 및 에지의 선명도를 동시에 강화할 수 있는 다중 영상 기반의 고속 처리용 디블러링 기법을 제안하고자 한다. 먼저 상대적으로 긴 노출 시간에서 촬영된 번짐(Blurring) 결함이 발생한 두 장의 번짐 영상과 짧은 노출에서 촬영된 번짐이 없지만 잡음 성분이 많은 한 장의 잡음 영상을 취득한다. 그리고 처리 속도 개선을 위해 촬영된 다중 입력 영상을 두 배로 다운 샘플링 한 후, 전체 영상에서 추출된 영상 패치 또는 에지 패치에 기반한 점 확산 함수(PSF: Point Spread Function) 추정 기법을 도입해서 점 확산 함수 추정에 소요되는 계산 시간을 효과적으로 단축할 것이다. 입력 영상의 다운 샘플링으로 인해 열하된 미세한 텍스처 성분의 표현 능력을 보완하고 번짐현상이 제거된 복원 영상을 재현하기 위해 텍스처 향상을 위한 디블러링 기법을 개발 및 적용할 것이다. 마지막으로 입력 영상과 동일한 영상 크기로 복구하기 위해 잡음 영상의 선명한 에지 성분을 활용한 업 샘플링 기법을 적용할 것이다. 제안된 방법을 통해 기존의 디지털 카메라 적용에 걸림돌이 되었던 디블러링 처리 속도 시간을 단축할 수 있었고 동시에 텍스처 및 에지의 미세한 성분도 복원할 수 있었다.
본 논문은 디블러링(Deblurring) 계산 시간을 단축하면서 복원된 영상의 텍스처 및 에지의 선명도를 동시에 강화할 수 있는 다중 영상 기반의 고속 처리용 디블러링 기법을 제안하고자 한다. 먼저 상대적으로 긴 노출 시간에서 촬영된 번짐(Blurring) 결함이 발생한 두 장의 번짐 영상과 짧은 노출에서 촬영된 번짐이 없지만 잡음 성분이 많은 한 장의 잡음 영상을 취득한다. 그리고 처리 속도 개선을 위해 촬영된 다중 입력 영상을 두 배로 다운 샘플링 한 후, 전체 영상에서 추출된 영상 패치 또는 에지 패치에 기반한 점 확산 함수(PSF: Point Spread Function) 추정 기법을 도입해서 점 확산 함수 추정에 소요되는 계산 시간을 효과적으로 단축할 것이다. 입력 영상의 다운 샘플링으로 인해 열하된 미세한 텍스처 성분의 표현 능력을 보완하고 번짐현상이 제거된 복원 영상을 재현하기 위해 텍스처 향상을 위한 디블러링 기법을 개발 및 적용할 것이다. 마지막으로 입력 영상과 동일한 영상 크기로 복구하기 위해 잡음 영상의 선명한 에지 성분을 활용한 업 샘플링 기법을 적용할 것이다. 제안된 방법을 통해 기존의 디지털 카메라 적용에 걸림돌이 되었던 디블러링 처리 속도 시간을 단축할 수 있었고 동시에 텍스처 및 에지의 미세한 성분도 복원할 수 있었다.
This paper presents a fast multiple-image-based deblurring method that decreases the computation loads in the image deblurring, enhancing the sharpness of the textures or edges of the restored images. First, two blurred images with some blurring artifacts and one noisy image including severe noises ...
This paper presents a fast multiple-image-based deblurring method that decreases the computation loads in the image deblurring, enhancing the sharpness of the textures or edges of the restored images. First, two blurred images with some blurring artifacts and one noisy image including severe noises are consecutively captured under a relatively long and short exposures, respectively. To improve the processing speeds, the captured multiple images are downsampled at the ratio of two, and then a way of estimating the point spread function(PSF) based on the image or edge patches extracted from the whole images, is introduced. The method enables to effectively reduce the computation time taken in the PSF prediction. Next, the texture-enhanced image deblurring method of supplementing the ability of the texture representation degraded by the downsampling of the input images, is developed and then applied. Finally, to get the same image size as the original input images, an upsampling method of utilizing the sharp edges of the captured noisy image is applied. By using the proposed method, the processing times taken in the image deblurring, which is the main obstacle of its application to the digital cameras, can be shortened, while recovering the fine details of the textures or edge components.
This paper presents a fast multiple-image-based deblurring method that decreases the computation loads in the image deblurring, enhancing the sharpness of the textures or edges of the restored images. First, two blurred images with some blurring artifacts and one noisy image including severe noises are consecutively captured under a relatively long and short exposures, respectively. To improve the processing speeds, the captured multiple images are downsampled at the ratio of two, and then a way of estimating the point spread function(PSF) based on the image or edge patches extracted from the whole images, is introduced. The method enables to effectively reduce the computation time taken in the PSF prediction. Next, the texture-enhanced image deblurring method of supplementing the ability of the texture representation degraded by the downsampling of the input images, is developed and then applied. Finally, to get the same image size as the original input images, an upsampling method of utilizing the sharp edges of the captured noisy image is applied. By using the proposed method, the processing times taken in the image deblurring, which is the main obstacle of its application to the digital cameras, can be shortened, while recovering the fine details of the textures or edge components.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
점 확산 함수의 추정 시간을 단축하기 위해서 본 논문에서는 전체 영상이 아닌 패치에 기반한 점 확산 함수 추정 기법을 사용할 것이다. 그리고 입력 영상의 다운 샘플링으로 인한 미세한 텍스처 성분의 표현 능력을 보완하고 번짐 현상이 제거된 복원 영상을 재현하기 위해 텍스처 향상을 위한 디블러링 기법을 제안할 것이다. 또한 잡음 영상의 선명한 에지 성분을 활용하기 위해 업 샘플링 과정에서 잡음 영상과 업 샘플링 된 복원된 영상을 혼합하는 업 샘플링 기법을 제안할 것이다.
[6] 그러나 기존의 다중 영상에 기반한 영상 복원 방식은 영상 전체의 픽셀 정보를 사용해서 점 확산 함수를 추정하거나 디블러링 적용 과정에서 공간 영역에서 수 십 회의 반복적인 학습 과정을 요구하는 공액 경사(CG: Conjugate Gradient)나 반복 재 가중치 선형 제곱(Iteratively Re-weighted Least Square) 최적화 기법을 사용하여 제품 적용의 어려움을 겪고 있다. 따라서 본 논문에서는 고속 처리가 가능한 다중 영상 기반의 디블러링 기법을 제안하고자 한다. 점 확산 함수의 추정 시간을 단축하기 위해서 본 논문에서는 전체 영상이 아닌 패치에 기반한 점 확산 함수 추정 기법을 사용할 것이다.
제안한 텍스처 향상을 위한 디블러링 기법을 적용할 지라도 다운 샘플링 된 두 장의 입력 번짐 영상은 화질 의 열하가 이미 발생한 상태에 있다. 따라서 본 논문에서는 원 영상의 크기로 복원하는 업 샘플링 과정에서 잡음 영상의 선명한 에지 성분을 활용하고자 한다. 제안한 업 샘플링 기법은 텍스처 향상 디블러링 기법이 적용된 복원된 영상을 기존의 큐빅 보간법(Cubic interpolation)을 적용하여 입력 영상 크기로 확대한 후, 디노이즈(Denoised)된 잡음 영상과 혼합한다.
실제적으로 휴대용 카메라 또는 모바일 카메라를 사용하는 소비자들의 입장에서는 번짐 영상의 복원 화질의 성능보다도 실시간 처리가 더 중요한 이슈가 될 수 있다. 따라서 본 논문에서는 이러한 목적을 반영하기 위해 다중 영상 기반의 고속 처리가 가능한 디블러링 기법을 제안하였다. 패치 기반의 점 확산 함수를 사용해서 점 확산 함수 추정에 걸리는 계산 시간을 줄일 수 있었다.
가설 설정
[1]-[6] 단일 입력 영상에서의 영상 복원 방식은 반복적인 학습으로 인한 계산 량의 증가와 수행 속도 저하의 단점이 발생한다. 무엇보다도 추정 및 복구 과정에 필요한 측정 데이터 정보량의 부족으로 인해 추정 오차가 크게 발생하고 복원된 영상의 화질의 개선 정도가 미비하다.
제안 방법
[4] 플래시 영상을 사용하는 디블러링 기법도 플래시 광원의 색상을 제거하기 위해 노 플래시 영상의 색상을 취함으로써 고선명의 영상 획득이 가능하게 되었다.[5] 그리고 두 장의 번짐 영상에 기반한 공간 가변적인(Space-variant) 디블러링 기법은 카메라의 회전 성분이 배제된 상태에서 깊이(Depth) 정보에 기반한 공간 가변적인 점 확산 함수 추정을 위한 모델링 식을 제안하였다.[6] 그러나 기존의 다중 영상에 기반한 영상 복원 방식은 영상 전체의 픽셀 정보를 사용해서 점 확산 함수를 추정하거나 디블러링 적용 과정에서 공간 영역에서 수 십 회의 반복적인 학습 과정을 요구하는 공액 경사(CG: Conjugate Gradient)나 반복 재 가중치 선형 제곱(Iteratively Re-weighted Least Square) 최적화 기법을 사용하여 제품 적용의 어려움을 겪고 있다.
[4] 점 확산 함수 추정을 위해 사용되는 선형 조정화 기법은 점 확산 함수의 잡음을 효과적으로 제거하기 위해 가우시안 피라미드에서 수행된다. 가장 낮은 피라미드 레벨에서부터 선형 조정화 기법을 15회 정도로 반복 수행해서 점 확산 함수를 추정한다. 그리고 추정된 점 확산 함수는 각각의 피라미드에서 설정된 최소 및 최대 문턱치 값 안에서 선형적으로 증가하는 가변 문턱화 과정을 거쳐 잡음을 제거한 후, 업 샘플링되어 다음 상위 피라미드 레벨의 초기 점 확산 함수로 사용한다.
먼저 처리 속도를 단축하기 위해 노출 시간에 따라서 연속적으로 촬영된 두 장의 번짐 영상과 한 장의 잡음 영상을 잡음 영상을 기준으로 영상 정합을 수행한 후,[7] 두 배로 다운 샘플링한다. 그리고 잡음 영상과 번짐 영상의 쌍을 각각 사용해서 카메라 촬영시에 발생된 사용자 손 떨림의 궤적에 대응되는 점 확산 함수를 전체 영상 픽셀을 사용하지 않고 에지가 많이 포함된 영상 패치 또는 에지 패치를 사용해서 추정하여 점 확산 함수에 소요되는 처리 시간을 단축한다. 입력 영상의 다운 샘플링 과정에서 손실될 수 있는 미세한 텍스처 및 에지의 표현 능력을 보완하고 번짐 결함이 제거된 복원 영상을 획득하기 위해 텍스처 향상 기반의 디블러링 기법을 적용한다.
제안한 패치 기반의 점 확산 함수 추정 기법에서는 가장 강한 에지 정보를 포함하는 영상 패치 또는 에지 패치를 소벨(Sobel)과 같은 기울기 연산자에 기반해서 전체 영상에서 추출할 것이다. 그리고 제안한 방법에서는 에지 패치보다 영상 패치를 사용할 것이다. 이는 에지 패치는 잡음 성분에 민감하기 때문에 본 연구에서 수행된 다양한 실험을 분석할 결과, 영상 패치를 사용하는 것이 글자의 모양이나 잡음 측면에서 보다 나은 결과를 보여주었기 때문이다.
연속적으로 촬영된 두 장의 번짐 영상은 번짐의 양, 선명도 정도, 영상 정합의 오차가 다를 수 있다. 따라서 본 논문에서는 두 장의 영상에 대한 번짐의 양을 고려하기 위해 추정된 점 확산 함수에서 원점에서부터 픽셀 값이 존재하는 최대 외각까지 의 거리의 비율에 반비례하도록 설정하였다. 물론 번짐 영상 자체의 선명도를 반영하기 위해 소벨 연산자를 통과한 에지 값의 합산의 비와 기준 잡음 영상에 대한 두장의 번짐 영상의 에지 라인의 정합 정도 및 사용자의 손 떨림의 순간적인 이동으로 인해 발생된 이중의 에지 라인 번짐 현상을 반영하기 위해 캐니(Cany) 또는 소벨 연산자를 통과한 이진화 된 에지 맵의 AND 연산자를 적용한 중첩도의 비율도 사용할 수 있다.
이는 경계면의 조건이 주기적인 신호로 가정하는 푸리에 주파수 변환을 점 확산 함수 추정시에 사용할 경우 경계면 결함을 유발할 수 있다. 따라서 본 논문에서는 푸리에 주파수 변환 사용이 가능한 타일 기반의 패딩 기법을 추출된 영상 패치에 적용하였다.[8] 그림 2는 입력 휘도 영상에서 추출된 잡음 및 번짐 영상 패치의 한 쌍과 그에 대응하는 타일 기반 패딩 기법이 적용된 잡음 및 번짐 영상 패치의 한 쌍만을 예시로 보여주고 있다.
0으로 고정하는 경우는 텍스처 패턴과 같은 미세한 표현 능력은 개선되나 평탄한 영역에서의 잡음 성분이 증폭되어 화질의 열화가 발생하게 된다. 따라서 제안한 방법에서 고정된 알파 값을 사용하는 것이 아니라, 영상의 공간적인 위치에 따라서 가변하는 알파 값을 사용하고자 한다. 특히 텍스처의 복원 능력을 개선하기 위해 번짐이 없는 잡음 영상으로부터 텍스처가 존재할 가능성을 픽셀 단위로 수치적으로 표현할 수 있는 텍스처 맵을 생성한 후,[10] 텍스처 맵의 값을 [0.
그림 1은 제안한 처리 속도 개선을 위한 다중 입력 영상에 기반한 디블러링 방법의 블록도를 보여주고 있다. 먼저 처리 속도를 단축하기 위해 노출 시간에 따라서 연속적으로 촬영된 두 장의 번짐 영상과 한 장의 잡음 영상을 잡음 영상을 기준으로 영상 정합을 수행한 후,[7] 두 배로 다운 샘플링한다. 그리고 잡음 영상과 번짐 영상의 쌍을 각각 사용해서 카메라 촬영시에 발생된 사용자 손 떨림의 궤적에 대응되는 점 확산 함수를 전체 영상 픽셀을 사용하지 않고 에지가 많이 포함된 영상 패치 또는 에지 패치를 사용해서 추정하여 점 확산 함수에 소요되는 처리 시간을 단축한다.
따라서 본 논문에서는 고속 처리가 가능한 다중 영상 기반의 디블러링 기법을 제안하고자 한다. 점 확산 함수의 추정 시간을 단축하기 위해서 본 논문에서는 전체 영상이 아닌 패치에 기반한 점 확산 함수 추정 기법을 사용할 것이다. 그리고 입력 영상의 다운 샘플링으로 인한 미세한 텍스처 성분의 표현 능력을 보완하고 번짐 현상이 제거된 복원 영상을 재현하기 위해 텍스처 향상을 위한 디블러링 기법을 제안할 것이다.
제안한 방법에서는 점 확산 함수 추정 시간의 단축을 위해 그림 2에서 예시로 보여준 패딩된 잡음 및 번짐 패치로 구성된 한 쌍씩 총 두 쌍을 사용해서 두 장의 번짐 영상에 대한 점 확산 함수를 각각 추정할 것이다. 패딩된 각각의 잡음 및 번짐 패치의 쌍은 선형 조정화(Linear regularization) 최적화 기법의 입력으로 사용된다.
표 2는 그림 3과 4에서 도출된 결과 영상과 원본 영상을 사용해서 제안한 방법과 기존의 방법의 성능을 정량적으로 비교해주고 있다. 제안한 방법은 알파 맵과 잡음 영상을 추가적으로 사용한 것을 의미하고, 반면에 기존의 방법은 알파 맵과 잡음 영상을 사용하지 않은 것을 의미한다. 표에서 볼 수 있듯이, 제안한 방법을 사용해서 CPSNR(Color-Peak Signal-to-Noise Ratios)이 개선된 것을 확인할 수 있다.
따라서 본 논문에서는 원 영상의 크기로 복원하는 업 샘플링 과정에서 잡음 영상의 선명한 에지 성분을 활용하고자 한다. 제안한 업 샘플링 기법은 텍스처 향상 디블러링 기법이 적용된 복원된 영상을 기존의 큐빅 보간법(Cubic interpolation)을 적용하여 입력 영상 크기로 확대한 후, 디노이즈(Denoised)된 잡음 영상과 혼합한다. 이때 혼합 비율은 잡음 성분의 영향을 감소하기 위해 텍스처 검출기에서 제시된 대비 척도(Contrast measure)로 생성된 값을 가중치 맵으로 사용한다.
제안한 텍스처 향상 디블러링 기법과 잡음 영상을 활용한 업 샘플링 기법의 화질 성능을 테스트하기 하기 기존의 하이퍼 라플라시안 디블러링 기법과 큐빅 업 샘플링 기법과 비교해 보았다. 가변적으로 알파 값을 사용하는 것 외에는 모든 점 확산 함수 및 디블러링에 사용되는 파라미터의 값은 동일하게 설정되었다.
따라서 점 확산 함수 추정시에 영상내의 전체 픽셀 값을 모두 사용하는 것이 아니라, 에지 정보를 다량으로 포함하는 영상 또는 에지 패치의 사용만으로 충분할 것으로 예측된다. 제안한 패치 기반의 점 확산 함수 추정 기법에서는 가장 강한 에지 정보를 포함하는 영상 패치 또는 에지 패치를 소벨(Sobel)과 같은 기울기 연산자에 기반해서 전체 영상에서 추출할 것이다. 그리고 제안한 방법에서는 에지 패치보다 영상 패치를 사용할 것이다.
따라서 제안한 방법에서 고정된 알파 값을 사용하는 것이 아니라, 영상의 공간적인 위치에 따라서 가변하는 알파 값을 사용하고자 한다. 특히 텍스처의 복원 능력을 개선하기 위해 번짐이 없는 잡음 영상으로부터 텍스처가 존재할 가능성을 픽셀 단위로 수치적으로 표현할 수 있는 텍스처 맵을 생성한 후,[10] 텍스처 맵의 값을 [0.5-2.0]까지의 값으로 양자화하여 알파 맵이라 불리는 영상에 할당하였다. 즉 텍스처 영역에서는 높은 알파 값이 할당되고 평탄한 영역에서는 낮은 알파 값이 할당되어 텍스처 및 에지의 복원 능력을 키우고 평탄한 영역의 잡음을 효과적으로 제거할 수 있게 된다.
이론/모형
[9] 이 방법은 기존의 상당한 연산량을 수행하는 공액 경사법 또는 반복 재 가중치 최소 제곱 기법 대신에 처리 속도 개선을 위해 주파수 변환을 수행하는 x 및 w로 구성된 두 종류의 부 프로그램을 교대로 수행하면서 최적의 해로 수렴해 나가는 교번 최소화(Alternating minimization) 기법을 사용하였다. 또한 최대 사후 확률(Maximum a-posterior probability)에서의 원본 영상에 대한 사전(Prior) 확률을 하이퍼 라플라시안(hyper- Laplacian) 함수로 모델링하였다. 따라서 복원 영상 결과에서 큰 기울기의 값을 갖는 에지의 성분은 잘 보존이 되면서 기울기 값이 작은 잡음 성분들도 잘 제거되는 장점을 가지고 있다.
이 텍스처 맵은 텍스처 향상 기반의 디블러링 기법에서 공간적인 위치에 따른 조정화 항(Regularization term)의 놈(Norm)의 값을 지정하기 위한 마스크 영상으로 사용될 것이다. 마지막으로 번짐이 제거된 복구 영상을 입력 영상의 크기로 변환하기 위해 업 샘플링 기법을 적용한다. 이때 잡음 영상의 선명한 에지를 활용하기 위해 복구된 업 샘플링 된 영상과 잡음 영상을 혼합하는 제안된 기법이 사용될 것이다.
입력 영상의 다운 샘플링 과정에서 손실될 수 있는 미세한 텍스처 및 에지의 표현 능력을 보완하고 번짐 결함이 제거된 복원 영상을 획득하기 위해 텍스처 향상 기반의 디블러링 기법을 적용한다.
제안한 방법에서는 점 확산 함수 추정 시간의 단축을 위해 그림 2에서 예시로 보여준 패딩된 잡음 및 번짐 패치로 구성된 한 쌍씩 총 두 쌍을 사용해서 두 장의 번짐 영상에 대한 점 확산 함수를 각각 추정할 것이다. 패딩된 각각의 잡음 및 번짐 패치의 쌍은 선형 조정화(Linear regularization) 최적화 기법의 입력으로 사용된다.[4] 점 확산 함수 추정을 위해 사용되는 선형 조정화 기법은 점 확산 함수의 잡음을 효과적으로 제거하기 위해 가우시안 피라미드에서 수행된다.
성능/효과
두 장의 번짐 영상 쌍을 이용한 디블러링 기법은 서로 다른 점 확산 함수의 모양을 갖는, 즉 번짐의 방향이 다른 두 영상을 사용해서 복원 화질의 성능을 개선하였고,[3] 잡음 및 번짐 영상 쌍을 이용한 디블러링 기법은 점 확산 함수 추정시에 잡음 영상을 원 영상으로 대체하여 점 확산 함수의 정확도를 향상할 수 있는 방안을 제시하였다.[4] 플래시 영상을 사용하는 디블러링 기법도 플래시 광원의 색상을 제거하기 위해 노 플래시 영상의 색상을 취함으로써 고선명의 영상 획득이 가능하게 되었다.[5] 그리고 두 장의 번짐 영상에 기반한 공간 가변적인(Space-variant) 디블러링 기법은 카메라의 회전 성분이 배제된 상태에서 깊이(Depth) 정보에 기반한 공간 가변적인 점 확산 함수 추정을 위한 모델링 식을 제안하였다.
패치 기반의 점 확산 함수를 사용해서 점 확산 함수 추정에 걸리는 계산 시간을 줄일 수 있었다. 그리고 다운 샘플링 적용을 통해서 계산 시간을 줄이는 반면에 디블러링 과정에서 텍스처의 표현을 보완하고 업 샘플링 과정에서 잡음 영상의 에지 성분을 사용해서 복원 화질도 기존의 방법보다 향상시킬 수 있었다.
물론 잡음의 영향으로 알파 값의 오류가 있을 수 있지만 전반적으로 추정이 문안한 것을 볼 수 있다. 그리고 알파 맵을 적용한 제안한 방법의 결과가 기존의 알파 맵을 적용하지 않은 결과보다 글자나 텍스처의 미세한 표현 능력을 향상시킨 것을 볼 수 있다. 다운 샘플링 이전의 영상에서는 이러한 텍스처 및 에지 향상 효과가 더 크게 나타날 수 있다.
[1～2] 이러한 문제를 극복하고자 최근에는 다중 영상 기반의 디블러링 기법들이 소개되고 있다. 두 장의 번짐 영상 쌍을 이용한 디블러링 기법은 서로 다른 점 확산 함수의 모양을 갖는, 즉 번짐의 방향이 다른 두 영상을 사용해서 복원 화질의 성능을 개선하였고,[3] 잡음 및 번짐 영상 쌍을 이용한 디블러링 기법은 점 확산 함수 추정시에 잡음 영상을 원 영상으로 대체하여 점 확산 함수의 정확도를 향상할 수 있는 방안을 제시하였다.[4] 플래시 영상을 사용하는 디블러링 기법도 플래시 광원의 색상을 제거하기 위해 노 플래시 영상의 색상을 취함으로써 고선명의 영상 획득이 가능하게 되었다.
따라서 점 확산 함수 추정시에 영상내의 전체 픽셀 값을 모두 사용하는 것이 아니라, 에지 정보를 다량으로 포함하는 영상 또는 에지 패치의 사용만으로 충분할 것으로 예측된다.
카메라 흔들림이 발생할 때, 영상내의 픽셀 값의 변화률이 큰 에지 영역에서는 카메라의 손 떨림의 방향을 따라서 평탄화되지만, 평탄화 영역은 거의 변화가 없는 것을 확인할 수 있다. 이는 카메라의 손 떨림의 궤적에 대한 유용한 정보가 에지 영역에 은닉되어 있다는 것을 암시해준다.
따라서 본 논문에서는 이러한 목적을 반영하기 위해 다중 영상 기반의 고속 처리가 가능한 디블러링 기법을 제안하였다. 패치 기반의 점 확산 함수를 사용해서 점 확산 함수 추정에 걸리는 계산 시간을 줄일 수 있었다. 그리고 다운 샘플링 적용을 통해서 계산 시간을 줄이는 반면에 디블러링 과정에서 텍스처의 표현을 보완하고 업 샘플링 과정에서 잡음 영상의 에지 성분을 사용해서 복원 화질도 기존의 방법보다 향상시킬 수 있었다.
제안한 방법은 알파 맵과 잡음 영상을 추가적으로 사용한 것을 의미하고, 반면에 기존의 방법은 알파 맵과 잡음 영상을 사용하지 않은 것을 의미한다. 표에서 볼 수 있듯이, 제안한 방법을 사용해서 CPSNR(Color-Peak Signal-to-Noise Ratios)이 개선된 것을 확인할 수 있다.
후속연구
그리고 입력 영상의 다운 샘플링으로 인한 미세한 텍스처 성분의 표현 능력을 보완하고 번짐 현상이 제거된 복원 영상을 재현하기 위해 텍스처 향상을 위한 디블러링 기법을 제안할 것이다. 또한 잡음 영상의 선명한 에지 성분을 활용하기 위해 업 샘플링 과정에서 잡음 영상과 업 샘플링 된 복원된 영상을 혼합하는 업 샘플링 기법을 제안할 것이다.
이때 텍스처 검출기는 잡음 영상으로부터 텍스처가 존재할 가능성을 픽셀 단위로 수치적으로 값으로 표현한 텍스처 맵을 구성할 것이다. 이 텍스처 맵은 텍스처 향상 기반의 디블러링 기법에서 공간적인 위치에 따른 조정화 항(Regularization term)의 놈(Norm)의 값을 지정하기 위한 마스크 영상으로 사용될 것이다. 마지막으로 번짐이 제거된 복구 영상을 입력 영상의 크기로 변환하기 위해 업 샘플링 기법을 적용한다.
마지막으로 번짐이 제거된 복구 영상을 입력 영상의 크기로 변환하기 위해 업 샘플링 기법을 적용한다. 이때 잡음 영상의 선명한 에지를 활용하기 위해 복구된 업 샘플링 된 영상과 잡음 영상을 혼합하는 제안된 기법이 사용될 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
기존의 영상 복원 방식은 어떻게 분류되는가?
기존의 영상 복원 방식은 단일 입력 영상에서 반복적인 최적화 학습에 기반하여 점 확산 함수 추정과 디블러링 과정을 교대로 수행하는 방법과 다중 입력 영상에서 점 확산 함수를 추정한 후 디블러링 과정을 순차적으로 또는 두 과정을 교대로 반복 수행하는 방법으로 분류될 수 있다.[1]-[6] 단일 입력 영상에서의 영상 복원 방식은 반복적인 학습으로 인한 계산 량의 증가와 수행 속도 저하의 단점이 발생한다.
영상 패치는 패치의 경계 부분에서는 픽셀 값의 천이가 불연속적인 경우가 대부분이기 때문에 나타날 수 있는 문제점은?
하지만 패치의 경계면의 픽셀의 값이 거의 영인 에지 패치와는 달리 영상 패치는 패치의 경계 부분에서는 픽셀 값의 천이가 불연속적인 경우가 대부분이다. 이는 경계면의 조건이 주기적인 신호로 가정하는 푸리에 주파수 변환을 점 확산 함수 추정시에 사용할 경우 경계면 결함을 유발할 수 있다. 따라서 본 논문에서는 푸리에 주파수 변환 사용이 가능한 타일 기반의 패딩 기법을 추출된 영상 패치에 적용하였다.
선형 조정화 기법은 점 확산 함수의 잡음을 효과적으로 제거하기 위해 어디에서 수행되는가?
패딩된 각각의 잡음 및 번짐 패치의 쌍은 선형 조정화(Linear regularization) 최적화 기법의 입력으로 사용된다.[4] 점 확산 함수 추정을 위해 사용되는 선형 조정화 기법은 점 확산 함수의 잡음을 효과적으로 제거하기 위해 가우시안 피라미드에서 수행된다. 가장 낮은 피라미드 레벨에서부터 선형 조정화 기법을 15회 정도로 반복 수행해서 점 확산 함수를 추정한다.
참고문헌 (13)
Q. Shan, J. Jia, and A. Agarwala, "High-quality motion deblurring from a single image," ACM Trans. on Graphics, vol. 27, no. 3, 2008.
R. Fergus, B. Singh, A. Hertzmann, S. Roweis, and W. Freeman, "Removing camera shake from a single photograph," ACM trans. on Graphics, vol. 25, no. 3, pp. 787-794, July 2006.
J. Chen, L. Yuan, C. K. Tang, and L. Quan, "Robust dual motion deblurring," Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Anchorage, AK, pp. 1-8, June 2008.
L. Yuan, J. Sun, L. Quan, and H. Shum, "Image deblurring with blurred/noisy image pairs," ACM Trans. on Graphics, vol. 26, no. 3, 2007.
S. Zhuo, D. Guo, and T. Sim, "Robust flash deblurring," IEEE Conference on Computer Vision and Pattern Recognition, pp. 2440-2447, 2010.
M. Sorel and J. Flusser, "Space-variant restoration of Images degraded by camera motion blur," IEEE Trans. on Image Processing, vol. 17, 2008.
Bergen et al., "Hierarchicial model-based motion estimation", Proceedings of the Second European Conference on Computer Vision, pp. 237-252, 1992.
R. Liu and J. Jia, "Reducing boundary artifacts in image deconvolution," ICIP 2008, pp. 505-508, 2008.
D. Krishnan and R. Fergus, "Fast image deconvolution using Hyper-Laplician priors," Neural Information Processing Systems, 2009.
R. Bergman, H. Nachlieli, and G. Ruckenstein, "Detection of textured areas in images using a disorganization indicator based on component counts," HP Laboratories Israel, March 26, 2007.
C. Chaux et al., "A variational formulation for frame-based inverse problems," Inv. Probl., vol. 23, pp. 1495-1518, 2007.
B. D. Choi, S. W. Jung, and S. J. Ko, "Motion-blur-free camera system splitting exposure time," IEEE Transactions on Consumer Electronics, vol. 54, no. 3, pp. 981-986, August 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.