최근 활발히 연구되고 있는 압축센싱 (compressive sensing) 이론에 따르면 나이퀴스트 주파수보다 적은 샘플율으로도 원 신호를 충실히 복원할 수 있음이 알려져 있다. 압축, 전송, 저장 등의 여러 분야에서 압축센싱 방법을 적용하려는 시도가 꾸준히 이어지고 있다. 특히 4K, 8K 등으로 요구되는 화소수가 제곱의 형태로 증가되는 영상처리 분야에서는 압축센싱에 기대하는 바가 크다. 본 논문에서는 압축센싱 기법을 적용한 영상의 획득 알고리듬을 제안한다. 영상의 일반적인 특성을 활용하여 높은 에너지 압축 성능을 가지는 DCT와 저상관도의 특성을 갖는 Noiselet 변환을 결합하여 영상 획득 과정을 구성한다. 원 영상은 2차 콘 프로그램 (SOCP)을 풀어 복원할 수 있다. 여러 영상에 대해 획득 및 복원 성능을 측정 및 비교하였으며 제안된 알고리듬이 우수한 복원 성능을 보임을 알 수 있다.
최근 활발히 연구되고 있는 압축센싱 (compressive sensing) 이론에 따르면 나이퀴스트 주파수보다 적은 샘플율으로도 원 신호를 충실히 복원할 수 있음이 알려져 있다. 압축, 전송, 저장 등의 여러 분야에서 압축센싱 방법을 적용하려는 시도가 꾸준히 이어지고 있다. 특히 4K, 8K 등으로 요구되는 화소수가 제곱의 형태로 증가되는 영상처리 분야에서는 압축센싱에 기대하는 바가 크다. 본 논문에서는 압축센싱 기법을 적용한 영상의 획득 알고리듬을 제안한다. 영상의 일반적인 특성을 활용하여 높은 에너지 압축 성능을 가지는 DCT와 저상관도의 특성을 갖는 Noiselet 변환을 결합하여 영상 획득 과정을 구성한다. 원 영상은 2차 콘 프로그램 (SOCP)을 풀어 복원할 수 있다. 여러 영상에 대해 획득 및 복원 성능을 측정 및 비교하였으며 제안된 알고리듬이 우수한 복원 성능을 보임을 알 수 있다.
Compressive sensing has proved that a signal can be restored from less samples than the Nyquist rate. Reducing the required data rate is essential for a variety of fields including compression, transmission, and storage. It has been made lots of attempt to apply the compressive sensing theory into d...
Compressive sensing has proved that a signal can be restored from less samples than the Nyquist rate. Reducing the required data rate is essential for a variety of fields including compression, transmission, and storage. It has been made lots of attempt to apply the compressive sensing theory into data intensive fields, such as image processing which needs to cover 4K and 8K pictures. In this paper, an image acquisition algorithm based on compressive sensing is proposed. It combines DCT, which can compact the energy of a image into a few coefficients, and the Noiselet transform, which is incoherent with DCT. The DCT coefficients represent the coarse structure of the images while the Noiselet information holds the fine details. Performance experiments with several images show that the proposed image acquisition algorithm not only outperforms the previous results, but also improves the reconstruction quality faster as the number of measurements increases.
Compressive sensing has proved that a signal can be restored from less samples than the Nyquist rate. Reducing the required data rate is essential for a variety of fields including compression, transmission, and storage. It has been made lots of attempt to apply the compressive sensing theory into data intensive fields, such as image processing which needs to cover 4K and 8K pictures. In this paper, an image acquisition algorithm based on compressive sensing is proposed. It combines DCT, which can compact the energy of a image into a few coefficients, and the Noiselet transform, which is incoherent with DCT. The DCT coefficients represent the coarse structure of the images while the Noiselet information holds the fine details. Performance experiments with several images show that the proposed image acquisition algorithm not only outperforms the previous results, but also improves the reconstruction quality faster as the number of measurements increases.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 DCT와 Noiselet 정보를 이용한 영상 획득과 압축센싱 기법에 기반한 복원 알고리듬을 제안하였다. 2차원 DCT 계수는 alternate 스캔 방식으로 선택하였고, Noiselet 정보는 임의의 위치의 계수로 선정 하였다.
제안 방법
본 논문에서는 DCT와 Noiselet 정보를 이용한 영상 획득과 압축센싱 기법에 기반한 복원 알고리듬을 제안하였다. 2차원 DCT 계수는 alternate 스캔 방식으로 선택하였고, Noiselet 정보는 임의의 위치의 계수로 선정 하였다. 입력 영상은 total variation을 최소화하는 2차 콘 프로그램(SOCP)를 풀어 복원하였다.
두 번째 방법은 선형 획득 방법을 사용하지만 복원할 때에 추가로 total variation을 최소화하는 방법을 사용하였다. Total variation은 영상 내의 모든 픽셀에서 수직 및 수평 방향 인접 픽셀과의 차이의 합이므로 본질적으로 l1 norm과 유사하다.
두 번째로는 DCT 계수만으로 측정한 후 TV를 최소화하는 SOCP를 풀어 영상을 복원한다 (“DCT+TV” 방식).
마지막으로 제안된 방법에 따라 DCT 계수를 에너지의 크기에 따라 alternate 스캔하여 n1개를 취하고 Noiselet 변환을 이용한 incoherent 측정값 n2개를 선택하여 총 N개의 계수로 영상을 획득한다 (n1 + n2 = N). 획득된 영상으로 원 영상을 복원할 때에는 식 (2)와 같이 total variation을 최소화하는 방법을 사용하였다.
제안된 영상 획득 방법의 성능을 평가하기 위해 여러 가지의 기존 영상 획득 방법의 성능을 평가하였다. 먼저 가장 전통적인 선형 획득 방법으로 실험하였다. 즉, 2차원 DCT 변환을 입력 영상에 대해 수행하고 그 계수의 일부를 저장하여 영상을 획득하는 방법이다.
단, n1 + n2 = N 이다. 영상 복원을 위해서 l1 norm을 최소화하는 방법을 사용할 수도 있으나, total variation을 최소화하는 방법을 사용하였다.
그림 3에서는 20000개의 측정치를 사용하여 복원한 테스트 영상을 보여준다. 원 영상을 네 가지 방법으로 획득하고 복원하였다. 먼저 DCT 계수만으로 영상을 측정한 후 복원한다 (“DCT” 방식).
2차원 DCT 계수는 alternate 스캔 방식으로 선택하였고, Noiselet 정보는 임의의 위치의 계수로 선정 하였다. 입력 영상은 total variation을 최소화하는 2차 콘 프로그램(SOCP)를 풀어 복원하였다. 서로 다른 특성을 갖는 영상들에 대한 모의실험 결과로부터 제안된 영상 획득 방법의 기존의 방법들에 비해 우수한 복원 성능을 보임을 알 수 있다.
제안된 영상 획득 방법의 성능을 평가하기 위해 여러 가지의 기존 영상 획득 방법의 성능을 평가하였다. 먼저 가장 전통적인 선형 획득 방법으로 실험하였다.
2차원 계수의 직렬화 방법으로는 가장 일반적인 zig-zag 스캐닝 방법을 사용하였다. 직렬화된 DCT 계수의 일부만으로 영상을 복원하여 그 PSNR(peak signal to noise ratio)과 PEEN(percentage error enery norm)을 측정하였다. 각각은 다음과 같이 계산한다.
대상 데이터
제안된 압축센싱 기반의 영상 획득 방법의 영상 복원 성능 비교를 위해 Cameraman, Girl, Airplane, Lena 영상을 사용하였다. 그림 1과 2는 영상 복원에 사용한 측정치의 개수와 복원된 영상의 PSNR과 PEEN을 각 테스트 영상에 대해 보여준다.
데이터처리
즉, 입력 영상에 변환 A를 적용한 AX가 DCT 계수와 Noiselet 계수로 구성된 측정 벡터 y가 된다. 영상 복원을 위한 SOCP는 matlab 프로그램으로 작성되었다.
이론/모형
DCT는 Karuhnen-Loeve 변환에 근접하는 성능을 보임이 잘 알려져 있고 JPEG, MPEG 등의 영상 압축에 널리 쓰이고 있다. 2차원 계수의 직렬화 방법으로는 가장 일반적인 zig-zag 스캐닝 방법을 사용하였다. 직렬화된 DCT 계수의 일부만으로 영상을 복원하여 그 PSNR(peak signal to noise ratio)과 PEEN(percentage error enery norm)을 측정하였다.
그러나 통계적인 특성에 따르면 수직 주파수 성분이 수평 주파수 성분보다 에너지가 높기 때문에 alternate 스캔 방법이 에너지 압축에는 더 효과적이다[6]. 따라서 제안된 영상 획득 방법에서는 alternate 스캔 방법을 채용한다.
세 번째 방법은 Romberg[10]가 제안한 방법으로 선형 획득 방법을 사용하지만 추가로 압축센싱 방법을 활용한다. 즉 영상 획득을 위해 DCT의 저주파 계수와 함께 incoherent 측정값을 사용한다.
두 번째로는 DCT 계수만으로 측정한 후 TV를 최소화하는 SOCP를 풀어 영상을 복원한다 (“DCT+TV” 방식). 세 번째로는 Romberg의 방법을 사용하며, 마지막으로 본 논문에서 제안된 방법을 사용하여 입력 영상을 복원한다.
먼저 DCT 계수만으로 영상을 측정한 후 복원한다 (“DCT” 방식). 입력 영상의 크기보다 적은 계수를 사용하여 복원하기 위해 최소자승 (least squares) 기법을 활용한다. 즉, 측정 행렬의 pseudo inverse를 이용하여 복원한다.
성능/효과
Airplane 영상에서도 제안된 알고리듬에 의한 복원 영상이 전반적으로 비교 대상의 다른 복원 영상보다 우수한 PSNR과 PEEN을 보임을 알 수 있다. 특히, 측정치 개수가 10000개를 넘어가면 성능차이가 꾸준히 늘어남을 볼 수 있다.
PEEN 결과에 따르면 오차의 파워는 측정치의 갯수가 적을 때 더 큰 차이를 보인다. 그림 3의 영상을 보면 DCT 방식은 에지 주변으로 링잉 현상이 두드러지게 나타나고 있으며, 제안된 알고리듬이 DCT+TV 방식보다 에지를 선명하게 복원함을 확인할 수 있다.
모든 테스트 영상과 거의 모든 실험 환경에서 제안된 영상 획득 방법이 기존의 방법보다 우수한 복원 성능을 보임을 알 수 있다. Cameraman 영상에서는 제안된 알고리듬의 장점이 잘 나타나고 있다.
입력 영상은 total variation을 최소화하는 2차 콘 프로그램(SOCP)를 풀어 복원하였다. 서로 다른 특성을 갖는 영상들에 대한 모의실험 결과로부터 제안된 영상 획득 방법의 기존의 방법들에 비해 우수한 복원 성능을 보임을 알 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
DCT의 단점은 무엇인가?
264까지 오랜 기간 널리 활용되어 왔다[1]. 그러나 DCT는 개개의 영상이 가지고 있는 고유한 특성을 효과적으로 표현할 수 없는 단점이 있다. 많은 연구 결과로부터 웨이브렛 변환이 입력 영상이 갖는 고유한 구조 및 특성을 우수하게 표현할 수 있음이 증명되었고 이 결과는 JPEG2000 등에 채택되기도 하였다[2].
영상 신호의 압축 관점에서 무엇에 따라 복원 성능에 큰 차이를 보이는가?
영상 신호의 압축 관점에서 보면 Φ와 Ψ를 어떻게 선택하느냐에 따라 복원 성능이 큰 차이를 보인다. [5]의 결과에 따르면, Φ와 Ψ의 상관도에 따라 주어진 화질로 원 신호를 복원하기 위해 필요한 측정치의 개수가 결정된다.
압축센싱은 어떤 잠재력을 가지고 있는가?
최근 들어 활발하게 이론적인 기반을 확립해 가고 있는 압축센싱(compressive sensing)은 영상 압축분야에 도 큰 역할을 할 것으로 기대되고 있다. 특히 고해상도 영상의 획득, 고주파 성분 또는 잡음이 포함된 영상의 압축 및 복원 등에 우수한 성능을 보일 잠재력을 가지고 있다. Candes, Romberg, Tao 등은 DCT 와 Noiselet 변환을 적용한 후 SOCP (second order cone program) 방법으로 영상 복원의 성능을 향상시킬 수 있음을 보였다[3,4].
참고문헌 (10)
W. Pratt, Digital Image Processing, 4th Ed., Wiley-Interscience, New Jersey, 2007.
A. Skodras, C. Christopoulos, and T. Ebrahimi, "The JPEG2000 still image compression standard," IEEE Signal Processing Magazine, vol. 18, no. 9, pp. 36-58, Sep. 2001.
E. Candes, J. Romberg, and T. Tao, "Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information," IEEE Trans., Information Theory, vol. 52, no. 2, pp. 489-509, Feb. 2006.
D. Donoho, M. Elad, and V. Temlyakov, "Stable recovery of sparse overcomplete representation in the presence of noise," IEEE Trans., Information Theory, vol. 52, no. 1, pp. 6-18, Jan. 2006.
E. Lam and J. Goodman, "A mathematical analysis of the DCT coefficient distributions for images," IEEE Trans., Image Processing, vol. 9, no. 10, pp. 1661-1664, Oct. 2000.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.