[논문]저해상도 동영상에서의 자동화된 입력영상 선별을 이용한 고해상도 영상 복원 방법

김성득

저해상도 동영상에서의 자동화된 입력영상 선별을 이용한 고해상도 영상 복원 방법
A High-Resolution Image Reconstruction Method Utilizing Automatic Input Image Selection from Low-Resolution Video 원문보기

電子工學會論文誌. Journal of the Institute of Electronics Engineers of Korea. SP, 신호처리, v.43 no.2 = no.308, 2006년, pp.12 - 18

초록
AI-Helper

이 논문은 저해상도 동영상에서 자동화된 방식으로 한 장의 좋은 화질의 고해상도 영상을 얻는 방안을 제시한다. 여러 장의 저해상도 영상을 이용하여 고해상도 영상을 얻는 방법이 한 장의 저해상도 영상만을 이용하는 전통적인 보간 방법에 비해 좋은 결과를 보이기 위해서는 입력 영상들이 공통된 고해상도 격자에 잘 정합되어야 하므로, 정합오차를 충분히 고려하여 입력영상들을 주의 깊게 선택한다. 본 논문에서는 움직임 보상된 저해상도 영상들로부터 얻어진 통계적 특성을 활용하여 입력 영상 후보들의 입력 영상으로서의 적합성을 평가한다. 고해상도 영상획득모델로부터 움직임 보상오차의 최대값을 추정한다. 입력 영상 후보의 움직임 보상오차가 추정된 움직임 보상오차의 최대값보다 크면 입력 영상후보는 선정에서 제외된다. 선정된 적절한 유효 입력 영상 후보의 수와 움직임 보상오차의 통계치를 고려하여 최종 입력 영상들을 선별한다. 입력 영상 선별부에서 최종적으로 선별된 입력 영상들은 뒤따르는 고해상도 영상복원부로 입력된다. 제안된 방식은 사용자의 간섭없이 저해상도 동영상에서 효과적으로 입력 영상들을 선별하여 좋은 화질의 고해상도 영상을 얻는 응용에 사용될 것으로 기대된다.

Abstract ▼ AI-Helper

This paper presents a method to extract a good high-resolution image from a low-resolution video in an automatic manner. Since a high-resolution image reconstruction method utilizing several low-resolution input images works better than a conventional interpolation method utilizing single low-resolution input image only if the input images are well registered onto a common high-resolution grid, low-resolution input images should be carefully chosen so that the registration errors can be carefully considered. In this paper, the statistics obtained from the motion-compensated low-resolution images are utilized to evaluate the feasibility of the input image candidates. Maximum motion-compensation error is estimated from the high-resolution image observation model. U the motion-compensation error of the input image candidate is greater than the estimated maximum motion-compensation error, the input image candidate is discarded. The number of good input image candidates and the statistics of the motion-compensation errors are used to choose final input images. The final input images chosen from the input image selection block are given to the following high-resolution image reconstruction block. It is expected that the proposed method is utilized to extract a good high-resolution image efficiently from a low-resolution video without any user intervention.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 논문에서는 슈퍼레졸루션에 존재하는 정합기능의 한계를 인정하고, 그러한 한계가 있는 상황에서 그림 4와 같이 입력 영상을 선별하여 최대한 슈퍼 레졸루션의 출력영상의 화질을 극대화하기 위한 자동화된 입력 영상 선별방안을 제안한다.
본 논문에서는 전처리단계로서 자동화된 입력 영상 선택 부를 설계하여 정합오류로 인해 발생할 수 있는 슈퍼 레졸루션의 문제점을 개선하고자 한다. 주어진 슈퍼 레졸루션의 제한된 정합능력을 고려하여 자동화된 방식으로 가장 유리한 입력 영상을 선택함으로써 사용자의 간섭 없이 주어진 저해상도 동영상에서 원하는 고해상도 영상을 얻어내는 방안을 제안한다.

가설 설정

저해상도 동영상내의 모든 영상이 슈퍼 레졸루션을 위한 기준 영상 후보가 될 수 있다고 가정한 후, 기준 영상 후보에 대한 인접 영상의 입력 영상으로서의 적합성을 결정하기 위해 움직임 보상된 저해상도 영상들 간의 통계적 특성을 활용한다. 고해상도 영상획득모델로부터 유도된 예측된 움직임 보상오차의 최대값보다 움직임 보상오차가 큰 인접영상은 입력 영상 선정에서 제외된다.

제안 방법

먼저, 주어진 RIC와 UC를 각각 정합하여 정합오차를 구한다. 구해진 정합오차와 RIC로부터 유도된 임계치를 비교하여 GHC여부를 결정한다. 주어진 RIC에 대해서 정합오차가 임계치보다 작은 영상은 슈퍼레졸루션의 입력으로 사용될 수 있는 GUC로 등록한다.
만약 부화소 변위가 미치는 정합 오차의 범위를 예측하여 임계치로 활용한다면 UC중에서 의미있는 입력 영상을 변별할 수 있다. 따라서 본 논문에서는 기준 영상에 대한 부화소변위를 가지는 추정 영상과 기준 영상과의 정합오차의 최대값을 구해서 임계치로 사용한다. 임계치보다 작은 정합오차를 가지는 UC영상은 부화 소변 위로 인한 정합오차의 범주안에 있다고 보고 GUC로분류한다.
주어진 슈퍼 레졸루션의 제한된 정합능력을 고려하여 자동화된 방식으로 가장 유리한 입력 영상을 선택함으로써 사용자의 간섭 없이 주어진 저해상도 동영상에서 원하는 고해상도 영상을 얻어내는 방안을 제안한다. 먼저 슈퍼 레졸루션의 정합 모델이 제한된 탐색범위를 가지는 수평 이동모델로 가정할 때 부적절한 입력 영상의 선택이 발생시키는 문제점에 대해 지적한 후, 제한된 정합능력을 고려한 적절한 입력영상의 자동선별 방식을 제안한다.
저해상도 동영상에서 자동화된 방식으로 입력 영상을 선택하여 슈퍼레졸루션을 수행하고 한 장의 고해상도영상을 얻는 방식을 제안하였다. 사용자의 섬세한 입력 영상 선별과정이 없이도 제안된 입력영상 선별방식에 의해 고해상도 획득기법에서는 슈퍼레졸루션이 가정하고 있는 정합모델에 충실한 입력영상만을 선별함으로써 출력되는 고해상도 영상이 더욱 섬세한 것을 알 수 있다.
제안하는 알고리즘의 기본 개념은 HC중에서 실제 입력으로 사용되기에 적합한 유효 입력 영상 후보 (good input image candidate: GHC) 를 선별하는데 있다. GIIC 의 선별은 RIC와 HC와의 정합오차의 통계적 특성을 바탕으로 이루어진다.
문제점을 개선하고자 한다. 주어진 슈퍼 레졸루션의 제한된 정합능력을 고려하여 자동화된 방식으로 가장 유리한 입력 영상을 선택함으로써 사용자의 간섭 없이 주어진 저해상도 동영상에서 원하는 고해상도 영상을 얻어내는 방안을 제안한다. 먼저 슈퍼 레졸루션의 정합 모델이 제한된 탐색범위를 가지는 수평 이동모델로 가정할 때 부적절한 입력 영상의 선택이 발생시키는 문제점에 대해 지적한 후, 제한된 정합능력을 고려한 적절한 입력영상의 자동선별 방식을 제안한다.

대상 데이터

avi는 Canon사의 디지털 카메라에서 제공하는 동영상 촬영기능으로 획득된 동영상으로 640x480의 영상크기를 가진다. 본 실험에서는 160x120의 calendar.avi에서 640><4&)의 고해상도 영상을 획득하였고, 640x480의 wedding.avi에서 2560x1920의 고해상도영상을 획득하였다. UC의 범위를 결정하는 Me ±8을 사용하였고, a는 1.
실생활에서 많이 사용되는 동영상 촬영장치로 동영상을 획득하여 실험에 사용하였다. Calendar.

이론/모형

임계치보다 작은 정합오차를 가지는 UC영상은 부화 소변 위로 인한 정합오차의 범주안에 있다고 보고 GUC로분류한다. 부화소 변위를 가지는 영상을 추정하기 위해본 논문에서는 그림 8과 같은 양선형 보간 모델을 이용하였다.
0을 사용하였다. 실험에서는 Hardie의 슈퍼레졸루션 알고리즘을 바탕으로 탐색영역이 ±16로 제한된 수평이동 정합모델이 사용되었고, .20번의 iteration후에 결과를 얻었다

성능/효과

모의 실험을 통해 많은 입력 영상의 수보다는 제대로정합될 수 있는 영상의 수가 슈퍼레졸루션에서 더 중요한 의미를 가지는 것을 확인하고, 사용자의 섬세한 입력 영상 선별과정이 없이도 제안된 입력영상 선별방식에 의해 선별된 입력영상을 사용하는 슈퍼 레졸루션이 안정적인 결과를 나타냄을 보인다. 제안된 방식은 실생활에서 많이 사용되는 저렴한 동영상 촬영장치에서 촬영된 동영상에 슈퍼레졸루션을 적용하기 위한 중요 한전 처리 과정으로서의 역할을 수행할 수 있을 것으로 기대된다.
얻는 방식을 제안하였다. 사용자의 섬세한 입력 영상 선별과정이 없이도 제안된 입력영상 선별방식에 의해 고해상도 획득기법에서는 슈퍼레졸루션이 가정하고 있는 정합모델에 충실한 입력영상만을 선별함으로써 출력되는 고해상도 영상이 더욱 섬세한 것을 알 수 있다. 제안된 방식은 실생활에서 많이 사용되는 저렴한 동영상 촬영장치에서 촬영된 동영상에 슈퍼 레졸루션을 구현하고 실제 응용하기 위해 필요한 중요한 전처리 과정으로서의 역할을 수행할 수 있을 것으로 기대된다.
슈퍼레졸루션의 가정에 충실한 입력영상들을 동화된 방식으로 선별함으로써 사용자의 주관에 의한 섬세한 입력영상의 선별 없이도 제안된 방식의 결과가선형보간에 의한 결과보다 안정적으로 좋은 결과를 보임을 알 수 있다.

후속연구

" data-ocr-fix="">수 있다. 따라서, 제안된 자동화된 입력영상선별을 가지는 슈퍼 레졸루션 기법은 슈퍼레졸루션의 실제 응용에 있어서 중요한 도구로서의 의미를 가질 것으로 기대된다.
사용자의 섬세한 입력 영상 선별과정이 없이도 제안된 입력영상 선별방식에 의해 고해상도 획득기법에서는 슈퍼레졸루션이 가정하고 있는 정합모델에 충실한 입력영상만을 선별함으로써 출력되는 고해상도 영상이 더욱 섬세한 것을 알 수 있다. 제안된 방식은 실생활에서 많이 사용되는 저렴한 동영상 촬영장치에서 촬영된 동영상에 슈퍼 레졸루션을 구현하고 실제 응용하기 위해 필요한 중요한 전처리 과정으로서의 역할을 수행할 수 있을 것으로 기대된다.
결과를 나타냄을 보인다. 제안된 방식은 실생활에서 많이 사용되는 저렴한 동영상 촬영장치에서 촬영된 동영상에 슈퍼레졸루션을 적용하기 위한 중요 한전 처리 과정으로서의 역할을 수행할 수 있을 것으로 기대된다.

참고문헌 (7)

S. C. Park, M. K. Park, and M. G. Kang, 'Super-resolution image reconstruction: a technical overview,' IEEE Signal Processing Magazine, pp. 21-36, May 2003

상세보기
S. Borman and R. L. Stevenson, 'Super-resolution from image sequences - a review,' Proc. Midwest Symposium Circuits Syst., pp. 374-378, Aug. 1998
R. R. Schultz and R. L. Stevenson, 'Extraction of high-resolution frames from video sequences,' IEEE Trans. Image Processing, vol. 5, pp. 996-1011, June 1996

상세보기
R. C. Hardie, K. J. Barnard, and E. E. Armstrong, 'Joint MAP registration and high-resolution image estimation using a sequence of undersampled images,' IEEE Trans. Image Processing, vol. 6, pp. 1621-1633, Dec. 1997

상세보기
Y. Altunbasak, A. J. Patti, and R. M. Mersereau, 'Super-resolution still and video reconstruction from MPEG-coded video,' IEEE Trans. Circuits Syst. Video Technol., vol. 12, pp. 217-226, April 2002

상세보기
E. S. Lee and M. G. Kang, 'Regularized adaptive high-resolution image reconstruction considering inaccurate subpixel registration', IEEE Trans. Image Processing, vol. 12, pp. 826-837, July 2003

상세보기
S. Baker and T. Kanade, 'Limits on super-resolution and how to break them', IEEE Trans. Pattern Analysis Machine Intelligence, vol. 24, pp. 1167-1183, Sept. 2002

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증