선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 DWT를 이용하여 단일 영상에 적용할 수있는 초고해상도 기법을 제안하였다. 제안된 기법에서는 먼저 DWT를 수행할 때 수반되는 다운 샘플링 과정을 수행하지 않고 입력된 영상에 대하여 DWT를 수행하여 획득한 고주파 부대역과 WZP방식 입력된 영상을 복원한 후 DWT를 수행하여 획득한 고주파 부대역의 가중치 평균을 구하여 입력된 영상과 동일한 해상도의 고주파 부대역을 생성하고 이를 이용하여 Inverse DWT를 수행한다.
- 그러나 이렇게 획득된 통계적 정보는 입력 영상의 원래 정보와 비교할 때 신뢰성이 낮으며 연산의 복잡도가 증가 하는 단점이 있다. 이러한 문제를 개선하기 위해, 본 논문에서는 이산 웨이 블릿 변환을 이용하여 효율적인 초고해상도 기법을 제안한다. 제안하는 기법에서는 주어진 영상에 대하여 다운 샘플링을 하지 않고 DWT를 수행하여 주어진 영상과 동일한 해상도의 고주파 부대역들을 획득하고, 이 고주파 부대역들과 주어진 영상을 Inverse DWT를 통해 합성함으로써 해상도가 높은 영상을 획득하게 된다[14].
제안 방법
- 제안된 기법에서는 먼저 DWT를 수행할 때 수반되는 다운 샘플링 과정을 수행하지 않고 입력된 영상에 대하여 DWT를 수행하여 획득한 고주파 부대역과 WZP방식 입력된 영상을 복원한 후 DWT를 수행하여 획득한 고주파 부대역의 가중치 평균을 구하여 입력된 영상과 동일한 해상도의 고주파 부대역을 생성하고 이를 이용하여 Inverse DWT를 수행한다. 또한 Inverse DWT 를 수행하여 얻은 영상에 생기는 블록 현상에 대하여 블록 현상 제거 필터를 적용시켜 영상의 주관적인 화질을 향상시켰다. 그 결과 제안된 기법이 기존의 보간법들에 비하여 향상된 성능을 보인다는 것을 확인할 수 있었다.
- 그림 9는 본 논문에서 사용한 블록 현상 제거 필터를 직접 영상에 적용한 결과이다. 본 논문에서 사용한 블록 현상 제거 필터는 블록 경계를 기준으로 한 화소씩만 적용하고, 필터의 강도를 약하게 설정하였기 때문에 좀 더 확실한 비교를 위하여 확대된 영상을 첨부하였다. 사용된 영상은 Lena 영상으로 Lena 영상의 머리부분의 작은 장신구를 블록 현상 제거 필터를 적용하기 전과 적용한 후의 영상을 비교하여 나타낸 것이다
- 본 논문에서는 그림 4에 보인 고해상도(512x512)의 Lena 영상, MIT 영상, Pepper 영상을 다운 샘플링하여 저해상도 (256x256)의 영상을 획득한 후, 제안하는 기법을 적용하여 고해상도 영상으로 복원한 후 기법의 성능을 비교한다. 제안한 기법의 성능은 대표적인 보간법인 최단입점 보간법 (nearest-neighbor interpolation), 이중 선형 보간법(bi-linear interpolation), 고등차수 보간법(bi-cubic interpolation)과저해상도 영상의 정보를 웨이블릿 저주파 합성 필터를 사용하여 복원하는 웨이블릿 0-화소 삽입 확장(Wavelet Zero Padding : WZP) 기법과 비교하였다.
- 이를 감소시켜주고자 블록 현상 제거 필터(de-blocking filter)를 적용한다. 블록 현상 제거 필터를 적용하기 위해 2x2 단위의 블록의 경계중 복원된 영상 (512x512)의 경계 부분을 구분하여 복원된 영상의 선명도를 떨어뜨리지 않도록 한다. 이때 영상의 경계와 블록의 경계를 구분할 때 식 (3)의 조건을 두어 블록 현상 제거 필터 적용여부를 결정한다.
- 저해상도 영상에서 다운 샘플링을 수행하지 않고 2차원 DWT를 수행하여 획득한 고주파 부대역만을 활용하여 2차원 Inverse DWT를 수행한다면, 고주파 부대역이 완벽하지 않은 이유로 주관적인 화질이 낮아진다. 이 부분을 개선하기 위하여 저해상도 영상에서 WZP를 이용하여 해상도를 높인뒤 이 결과에 2차원 DWT를 수행하여 획득한 고주파 부대역을 사용하였다. 이렇게 얻은 고주파 부대역은 추가적인 고주파성분은 가지고 있지 않지만, 2차원 Inverse DWT 수행시에 주관적 화질을 저하시키지 않는다.
- 따라서 제안하는 기법에서 그림 5에 나타낸 고주파 부대역을 사용할 때, 그 계수의 값을 작게하는 과정을 거친다. 저해상도 영상의 한 화소가 차지하는 영상의 비율은 고해상도 영상의 한 화소가 차지하는 비율보다 4배 높다는 점을 참고하여 이 과정에서 고주파 부대역의 데이터를 4로 나누어 준다
- 본 논문에서는 DWT를 이용하여 단일 영상에 적용할 수있는 초고해상도 기법을 제안하였다. 제안된 기법에서는 먼저 DWT를 수행할 때 수반되는 다운 샘플링 과정을 수행하지 않고 입력된 영상에 대하여 DWT를 수행하여 획득한 고주파 부대역과 WZP방식 입력된 영상을 복원한 후 DWT를 수행하여 획득한 고주파 부대역의 가중치 평균을 구하여 입력된 영상과 동일한 해상도의 고주파 부대역을 생성하고 이를 이용하여 Inverse DWT를 수행한다. 또한 Inverse DWT 를 수행하여 얻은 영상에 생기는 블록 현상에 대하여 블록 현상 제거 필터를 적용시켜 영상의 주관적인 화질을 향상시켰다.
- 웨이블릿 영역에서 수행하는 여러 초고해상도 기법들의 핵심은 웨이블릿 영역에서의 고주파 대역을 의미하는 부대역을 구하는 것이다. 제안하는 기법에서는 DWT(Discrete Wavelet Transform)에서 기본적으로 수행되는 다운 샘플링과정을 수행하지 않음으로써 획득한 고주파 대역의 부대역과 웨이블릿 0-화소 삽입 확장(Wavelet Zero Padding: WZP)의 결과를 DWT하여 얻은 부대역을 합성하여 고주파 부대역을 획득한다. Inverse DWT를 이용하여 입력된 영상과 획득한 고주파 부대역을 합성하여 입력된 영상에 비하여 해상도가 4배 향상된 영상을 얻는다.
- 제안하는 기법에서는 입력되는 영상보다 4배의 해상도를 갖는 영상을 획득하는 것이 목표이므로 각각의 DWT를 수행할 때 두 화소 중 하나만을 처리하는 다운 샘플링 과정을 수행하지 않고 대신 모든 화소를 처리하게 되며, 각각의 부대역들은 입력된 영상과 동일한 해상도를 갖는다. 본 논문에서 사용한 웨이블릿 기저인 Daubechies 9/7의 계수를 표 1에 나타내었다.
- 제안하는 기법에서는 저해상도 영상에서 다운 샘플링을 수행하지 않고 2차원 DWT를 수행하여 획득한 고주파 부대역의 크기를 낮추어준 후, WZP와 2차원 DWT를 이용하여 획득한 고주파 부대역의 평균값으로 고주파 부대역을 생성하여 Inverse DWT를 하기 위한 DWT영상의 고주파부대역으로 사용하였다. 그림 7은 제안하는 기법을 이용하여 획득한 2차원 DWT 영상으로 각 부대역(LL, LH, HL, HH)들의 해상도는 입력된 저해상도 영상의 해상도와 동일 하다.
- 이러한 문제를 개선하기 위해, 본 논문에서는 이산 웨이 블릿 변환을 이용하여 효율적인 초고해상도 기법을 제안한다. 제안하는 기법에서는 주어진 영상에 대하여 다운 샘플링을 하지 않고 DWT를 수행하여 주어진 영상과 동일한 해상도의 고주파 부대역들을 획득하고, 이 고주파 부대역들과 주어진 영상을 Inverse DWT를 통해 합성함으로써 해상도가 높은 영상을 획득하게 된다[14].
대상 데이터
- 본 논문에서 사용한 블록 현상 제거 필터는 블록 경계를 기준으로 한 화소씩만 적용하고, 필터의 강도를 약하게 설정하였기 때문에 좀 더 확실한 비교를 위하여 확대된 영상을 첨부하였다. 사용된 영상은 Lena 영상으로 Lena 영상의 머리부분의 작은 장신구를 블록 현상 제거 필터를 적용하기 전과 적용한 후의 영상을 비교하여 나타낸 것이다
데이터처리
- 본 논문에서는 그림 4에 보인 고해상도(512x512)의 Lena 영상, MIT 영상, Pepper 영상을 다운 샘플링하여 저해상도 (256x256)의 영상을 획득한 후, 제안하는 기법을 적용하여 고해상도 영상으로 복원한 후 기법의 성능을 비교한다. 제안한 기법의 성능은 대표적인 보간법인 최단입점 보간법 (nearest-neighbor interpolation), 이중 선형 보간법(bi-linear interpolation), 고등차수 보간법(bi-cubic interpolation)과저해상도 영상의 정보를 웨이블릿 저주파 합성 필터를 사용하여 복원하는 웨이블릿 0-화소 삽입 확장(Wavelet Zero Padding : WZP) 기법과 비교하였다.
성능/효과
- 또한 Inverse DWT 를 수행하여 얻은 영상에 생기는 블록 현상에 대하여 블록 현상 제거 필터를 적용시켜 영상의 주관적인 화질을 향상시켰다. 그 결과 제안된 기법이 기존의 보간법들에 비하여 향상된 성능을 보인다는 것을 확인할 수 있었다.
- 따라서 저해상도 영상의 DWT 결과는 화소들이 영상의높은 비율을 차지함에 따라서 비율적으로 영상의 더 많은 부분의 정보들을 포함하게 된다. 그 결과, 저해상도 영상에서 다운 샘플링과정을 생략한 2차원 DWT를 통해 획득한 고주파 부대역의 계수들은 그 크기가 고해상도 영상에서 획득한 2차원 DWT영상에 비하여 커지게 된다. 따라서 제안하는 기법에서 그림 5에 나타낸 고주파 부대역을 사용할 때, 그 계수의 값을 작게하는 과정을 거친다.
- 그림 11의 사각형으로 표시한 부분을 보면 고등차수 보간법을 이용하여 복원한 영상보다 제안된 기법을 이용하여 복원한 영상이 좀더 선명한 경계부분을 얻는 것을 확인할 수 있다. 그리고 웨이블릿 변환을 이용하는 본 기법의 특성상 영상의 해상도를 향상 시킬 때, 4배 단위(4배, 16배 등)로의 해상도 향상만이 가능하다.
- 그림 10은 Lena, MIT, Pepper 영상의 저해상도 영상과 제안된 기법을 적용하여 저해상도 영상을 복원한 영상이며, 표 2는 저해상도 영상을 최단입점 보간법, 이중 선형 보간법, 고등차수 보간법, WZP 그리고 제안된 기법을 이용하여 고해상도 영상으로 복원한 후, 고해상도 원본 영상과의 PSNR을 측정한 결과이다. 표 2에서 보듯 제안된 기법이 기존의 보간법들에 비하여 평균적으로 Lena 영상의 경우 1.65 dB, MIT 영상의 경우 2.06 dB, Pepper 영상의 경우는 0.98 dB 향상된 결과를 보여주고 있으며 따라서 제안한 기법이 기존의 보간법들에 비하여 좋은 성능을 보이는 것을 확인할 수 있고, WZP의 결과보다도 0.4 ~ 1.5 dB 향상된 결과를 보임으로써 제안된 기법으로 획득한 고주파 성분이 영상의 품질을 향상시키는 것을 확인할 수 있다.
- 그림 11은 실험에 사용한 Lena, MIT, Pepper 영상의 원본 영상과 실험 영상을 고등차수 보간법과 제안된 기법을 적용하여 고해상도화한 영상이며, 그림 12은 Pepper 영상의 고해상도 원본 영상과 고등차수 보간법과 제안된 기법을 이용하여 복원한 결과 영상의 일부분을 2배 확대하여 나타낸 그림이다. 확대된 부분은 Pepper 영상의 우측 하단에 있는 호박의 꼭지부분으로 저주파 성분과 고주파 성분이 적절히 분배된 부분으로 판단하였다. 그림 11의 사각형으로 표시한 부분을 보면 고등차수 보간법을 이용하여 복원한 영상보다 제안된 기법을 이용하여 복원한 영상이 좀더 선명한 경계부분을 얻는 것을 확인할 수 있다.
후속연구
- 본 논문에서 제안하는 기법을 사용하여 저해상도 영상으로부터 획득한 고주파 부대역은 고해상도 영상의 2차원DWT의 결과와 비교했을 때, 데이터의 정확성과 화소간의 연관성부분에서 완벽하지 못하다. 이로 인하여 2차원 Inverse DWT를 수행하는 과정에서 2x2 단위의 블록현상이 나타난다.
- 최근 처리속도의 개선을 위하여 GPU를 사용한 알고리즘 개발이 많이 개발되고 있다. 향후 GPU 등의 고속 프로세서를 사용한 알고리즘을 적용하여 처리속도를 개선한다면 실시간 처리에도 이용할 수 있을 것으로 생각된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.