[논문]인공지능 기반 영상 화질 개선 최신 기술 동향

김원준

인공지능 기반 영상 화질 개선 최신 기술 동향 원문보기

방송과 미디어 = Broadcasting and media magazine, v.25 no.1, 2020년, pp.20 - 27

김원준 (건국대학교)

초록
AI-Helper

최근 모바일 기기를 위한 카메라 관련 기술이 발전하면서 취득할 수 있는 영상의 화질 또한 크게 향상되고 있다. 그러나, 일상 생활에서 빈번히 발생하는 다양한 실내외 불규칙한 조명 조건 및 저조도 환경은 여전히 영상 화질 저하를 야기한다. 본 고에서는 이러한 문제를 해결하기 위해 최근 널리 연구되고 있는 심층신경망 기반 영상 화질 개선 연구의 최신 동향을 소개하고자 한다. 먼저, 다양한 최적화 기법을 바탕으로 영상 내 조명 성분을 추정하고, 이를 개선하는 방법들에 대해 간략히 설명한다. 또한, 영상 인식, 객체 검출 등에서 뛰어난 성능을 입증한 합성곱 신경망 구조를 기반으로 영상의 잠재적 특징을 효과적으로 검출한 후 이를 바탕으로 개선된 영상을 생성하는 방법에 대해 설명한다. 다양한 데이터셋에 대한 실험 결과를 통해 인공지능 기반 영상 화질 개선의 우수성을 보인다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 고에서는 이와 같이 단일 영상에 대한 화질 개선을 수행하는 최신 기술 동향을 살펴보고자 한다. II장에서는 최적화 기법을 이용한 영상 화질 개선 방법에 대해 간략히 살펴본 후, 심층신경망을 이용한 화질 개선 최신 연구를 소개한다.
본 고에서는 인공지능 기술, 특히, 심층학습을 이용한 영상 화질 개선 기술 동향에 대해 살펴보았다. 모바일 기기를 위한 카메라 기술이 꾸준히 발전하고 있지만, 일상생활에서 발생하는 다양한 조명 환경에서 획득되는 영상에는 여전히 열화 현상이 포함되어 있다.
먼저 영상 내 조명 성분을 최적화 기법을 통해 추정하고, 해당 결과를 감마 보정 등을 통해 간단히 개선한 후 반사 성분을 이용하여 화질 개선 영상을 복원하는 방법을 간략히 살펴본다. 이후 심층학습 기술을 기반으로 하는 화질 개선 영상 생성 방법에 대해 자세히 살펴본다.

제안 방법

이번 장에서는 영상 화질 개선 기술을 두 가지 방법으로 나누어 자세히 살펴보고자 한다. 먼저 영상 내 조명 성분을 최적화 기법을 통해 추정하고, 해당 결과를 감마 보정 등을 통해 간단히 개선한 후 반사 성분을 이용하여 화질 개선 영상을 복원하는 방법을 간략히 살펴본다. 이후 심층학습 기술을 기반으로 하는 화질 개선 영상 생성 방법에 대해 자세히 살펴본다.
이번 장에서는 영상 화질 개선 기술을 두 가지 방법으로 나누어 자세히 살펴보고자 한다. 먼저 영상 내 조명 성분을 최적화 기법을 통해 추정하고, 해당 결과를 감마 보정 등을 통해 간단히 개선한 후 반사 성분을 이용하여 화질 개선 영상을 복원하는 방법을 간략히 살펴본다.

대상 데이터

이번 장에서는 다양한 영상에 대한 화질 개선 결과를 살펴보고자 한다. 화질 개선 성능 평가를 위해 널리 사용되는 데이터셋으로는 NASA[14], HDR[15], 그리고 앞장에서 소개한 MIT Adobe 5K[13] 데이터셋이 있다. NASA 데이터셋과 HDR 데이터셋은 원본 영상에 대한 화질 개선 버전은 포함하고 있지 않으나 심층학습에 널리 사용되고 있는 MIT Adobe 5K 데이터셋은 전문가 리터치 버전이 포함되어 있다.

이론/모형

NASA 데이터셋과 HDR 데이터셋은 원본 영상에 대한 화질 개선 버전은 포함하고 있지 않으나 심층학습에 널리 사용되고 있는 MIT Adobe 5K 데이터셋은 전문가 리터치 버전이 포함되어 있다. NASA 데이터셋과 HDR 데이터셋은 화질 개선 버전을 포함하고 있지 않기 때문에 성능 평가를 위해 정답 영상을 사용하지 않는 객관적 화질 평가 메트릭(예를 들어, NIQE[16], BTMQI[17], NIQMC[18], C-PCQI[19] 등)을 사용한다. 각각의 메트릭은 영상 내 콘텐츠의 왜곡 정도, 색상의 자연스러움 등을 평가할 수 있다.
영상 화질 개선 방법은 다양한 최적화 기법을 이용한 조명 성분 예측 방법과 심층학습을 이용한 화질 개선 영상 생성 방법으로 크게 나눌 수 있다. 전자의 경우, 영상 내 픽셀 값은 조명(Illumination) 성분과 반사(Reflectance) 성분의 곱으로 표현 가능하다는 Retinex 이론[1]을 기반으로 조명 성분을 추정하고자 노력하였다. 그러나 한 장의 영상만을 이용하여 조명과 반사 성분을 완벽하게 분리하기 매우 어려우며, 화질 개선 과정에서 색상 변형(Color Distortion) 및 예기치 못한 잡음이 발생되기도 한다.

성능/효과

복원 과정에서 원본 영상의 색상(Color Attribute)을 최대한 유지하는 방향으로 결과가 도출되고 있음을 확인할 수 있다. 또한, 최적화 기반 방법 대비 불필요한 잡음 증폭 등의 왜곡 현상을 효과적으로 줄일 수 있다. 그러나, 전문가 리터치가 항상 개선된 화질의 정답이라고 할 수 없는 문제는 여전히 해결해야 할 문제로 남아 있다.
대부분의 방법들이 전문가 리터치 결과를 충실히 학습하여 유사한 복원 결과를 보여주고 있다. 복원 과정에서 원본 영상의 색상(Color Attribute)을 최대한 유지하는 방향으로 결과가 도출되고 있음을 확인할 수 있다. 또한, 최적화 기반 방법 대비 불필요한 잡음 증폭 등의 왜곡 현상을 효과적으로 줄일 수 있다.
해당 방법은 주파수 공간에서의 고속 동작이 가능한 구현 방법론을 제시하여 기존 방법 대비 월등히 빠른 수행 속도를 보이며 화질 개선 효과도 뛰어나다 ( 참조).

후속연구

이러한 한계를 극복하기 위해서 한 가지 고려할 수 있는 방안은 영상 화질 평가 메트릭(Visual Quality Assessment, VQA)을 손실 함수에 반영하는 것이다. 이를 통해 객관적 화질 평가 결과가 복원된 영상에 반영되어 보다 효과적인 학습이 가능할 것으로 예상된다.
그러나 여전히 학습을 위한 전문가 리터치(Re-touch) 과정이 요구되기 때문에 이를 극복할 수 있는 방안이 필요한 실정이다. 이를 효과적으로 극복한다면 인공지능 기술 기반 영상 화질 개선 방법이 모바일 기기에도 성공적으로 적용될 수 있을 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	다양한 최적화 기법을 이용한 조명 성분 예측 방법은 어떠한 한계가 있는가?	전자의 경우, 영상 내 픽셀 값은 조명(Illumination) 성분과 반사(Reflectance) 성분의 곱으로 표현 가능하다는 Retinex 이론[1]을 기반으로 조명 성분을 추정하고자 노력하였다. 그러나 한 장의 영상만을 이용하여 조명과 반사 성분을 완벽하게 분리하기 매우 어려우며, 화질 개선 과정에서 색상 변형(Color Distortion) 및 예기치 못한 잡음이 발생되기도 한다. 한편, 영상 인식 분야에서 뛰어난 성과를 보여준 심층신경망(Deep Neural Network)을 영상 화질 개선에 적용하고자 하는 연구가 몇몇 연구자들에 의해 시작되고 있다.
	영상 화질 개선 방법은 무엇들로 나뉘는가?	영상 화질 개선 방법은 다양한 최적화 기법을 이용한 조명 성분 예측 방법과 심층학습을 이용한 화질 개선 영상 생성 방법으로 크게 나눌 수 있다. 전자의 경우, 영상 내 픽셀 값은 조명(Illumination) 성분과 반사(Reflectance) 성분의 곱으로 표현 가능하다는 Retinex 이론[1]을 기반으로 조명 성분을 추정하고자 노력하였다.
	생성 모델(Generative Model) 기반의 방법은 어떠한 단점이 있는가?	이러한 생성 모델(Generative Model) 기반의 방법은 컬러 영상을 입력으로 하여 해당 화질 개선 영상을 출력하는 기본 구조를 가지고 있으며, 다양한 조명 조건을 대용량 학습을 통해 성공적으로 모델링 할 수 있다. 그러나, 영상 촬영 당시 조명 조건에 대한 개선 환경이 주어지지 않으며, 화질 개선 버전을 구축하기 위해서 현재는 전문가의 재조정(Re-touch)에 의존하고 있어 특정 개인의 주관적 화질 평가가 학습에 반영될 수 있는 문제점이 있다. 또한, 데이터셋 구축에 전문 인력과 많은 시간이 소요되기 때문에 큰 비용이 필요하며, 새로운 조명 환경이 추가될 때마다 리터치(Re-touch) 과정이 다시 수행되어야 하는 한계가 있다. 그럼에도 불구하고 뛰어난 정확도 및 확장성으로 인해 많은 연구자들이 다양한 심층신경망 구조를 기반으로 한 영상 화질 개선 연구를 진행하고 있다.

참고문헌 (19)

E. H. Land, ''The Retinex theory of color vision,'' Sci. Amer., vol. 237, no. 6, pp. 108-128, Dec. 1977.

상세보기
S. Wang, J. Zheng, H.-M. Hu, and B. Li, ''Naturalness preserved enhancement algorithm for non-uniform illumination images,'' IEEE Trans. Image Process., vol. 22, no. 9, pp. 3538-3548, Sep. 2013.

상세보기
X. Fu, D. Zeng, Y. Huang, X.-P. Zhang, and X. Ding, "A weighted variational model for simultaneous reflectance and illumination estimation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2016, pp. 2782-2790.
X. Guo, Y. Li, and H. Ling, ''LIME: Low-light image enhancement via illumination map estimation,'' IEEE Trans. Image Process., vol. 26, no. 2, pp. 982-993, Feb. 2017.

상세보기
W. Kim, ''Image enhancement using patch-based principal energy analysis,'' IEEE Access, vol. 6, pp. 72620- 72628, 2018.

상세보기
W. Kim, R. Lee, M. Park, and S-H. Lee, "Low-light image enhancement based on maximal diffusion values," IEEE Access, vol. 7, pp. 129150-129163, Dec. 2019.

상세보기
K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," in Proc. IEEE Int'l. Conf. Comput. Vis. Patt. Recognit., Jun. 2016, pp. 770-778.
R. Wang, Q. Zhang, C-W. Fu, X. Shen, W-S. Zheng, and J. Jia, "Underexposed photo enhancement using deep illumination estimation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2019, pp. 6849-6857.
A. Ignatov, N. Kobyshev, K. Vanhoey, R. Timofte, and L. Van Gool, "DSLR-quality photos on mobile devices with deep convolutional networks," in Proc. IEEE Int. Conf. Comput. Vis., Oct. 2017, pp. 3297-3305.
J. Park, J-Y. Lee, D. Yoo, and I. S. Kweon "Distort-and-recover: color enhancement using deep reinfoecement learning," in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 5928-5936.
Y-S. Chen, Y-C. Wang, M-H. Kao, and Y-Y. Chuang, "Deep photo enhancer: unpaired learning for image enhancement from photographs wit GANs," in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 6306-6314.
I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, "Generative adversarial nets," in Proc. Neural Inf. Process. Syst., Dec. 2014, pp. 1-9.
V. Bychkovsky, S. Paris, E. Chan, and F. Durand, "Learning photographic global tonal adjustment with a database of input / output image pairs," in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recognit., Jun. 2011, pp. 97-104.
Retinex Theory of Color Vision, NASA, Washington, DC, USA, 2001.
P. Sen, N. K. Kalantari, M. Yaesoubi, S. Darabi, D. B. Goldman, and E. Shechtman, ''Robust patch-based HDR reconstruction of dynamic scenes,'' ACM Trans. Graph., vol. 31, no. 6, 2012, Art. no. 203.

상세보기
A. Mittal, R. Soundararajan, and A. C. Bovik, "Making a "completely blind'' image quality analyzer," IEEE Signal Process. Lett., vol. 20, no. 3, pp. 209-212, Mar. 2013.

상세보기
K. Gu, S. Wang, G. Zhai, S. Ma, X. Yang, W. Lin, W. Zhang, and W. Gao, "Blind quality assessment of tone-mapped images via analysis of information, naturalness, and structure," IEEE Trans. Multimedia, vol. 18, no. 3, pp. 432-443, Mar. 2016.

상세보기
K. Gu, W. Lin, G. Zhai, X. Yang, W. Zhang, and C. W. Chen, "No-reference quality metric of contrast-distorted images based on information maximization," IEEE Trans. Cybern., vol. 47, no. 12, pp. 4559-4565, Dec. 2017.

상세보기
K. Gu, D. Tao, J.-F. Qiao, and W. Lin, "Learning a no-reference quality assessment model of enhanced images with big data," IEEE Trans. Neural Netw. Learn. Syst., vol. 29, no. 4, pp. 1301-1313, Apr. 2018.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증