[논문]딥러닝 기반 단일 영상의 동적범위 확장 기법

박현국; 지현서; 최희수; 이철

[국내논문] 딥러닝 기반 단일 영상의 동적범위 확장 기법
Dynamic Range Extension of Single Image Using Deep Learning 원문보기

박현국 (동국대학교 멀티미디어공학과) , 지현서 (동국대학교 멀티미디어공학과) , 최희수 (동국대학교 멀티미디어공학과) , 이철 (동국대학교 멀티미디어공학과)

일반적으로 줄어든 동적 범위를 확장하는 기법은 사진의 동적 범위를 충분히 포함하는 노출이 다른 여러 사진을 합성한다. 본 논문에서는 하나의 사진만으로 동적 범위가 확장하는 방법을 제안하였다. 하나의 사진을 딥러닝을 이용하여 구현한 네트워크가 입력 이미지의 동적 범위를 확장하도록 학습시켰다. 구현된 네트워크를 평가하기 위해 HDRNet의 결과물과 비교를 하였다. 그 결과 제안한 방법으로 얻은 이미지는 HDRNet과 비교하여 영상의 대조비가 향상되는 것을 확인하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구를 통해 단일 영상을 사용하여 영상의 동적 범위를 확장하는 결과를 얻었다. 이로써 기존의 여러 노출을 포함하는 영상을 촬영하기 위해 겪는 불편함을 해소할 수 있다.
학습된 네트워크 모델에 이미지를 입력하여 예측한 결과가 나오는지 확인한다.

제안 방법

구체적으로 영상을 감마 보정을 이용한 톤매핑으로 제한된 동적 범위를 가진 영상을 생성한다. 그리고 일반 영상과 톤매핑된 영상의 차이를 손실함수로 비교하며 오토인코더 구조의 네트워크를 학습한다. 그 결과 하나의 영상으로 동적 범위가 확장된 결과를 확인하였다.
인코더는 합성곱층(Convolution layer)과 풀링층(Pooling laver)을 반복적으로 쌓으며, 복수의 필터로 이미지의 특징을 추출하고, 추출한 이미지의 특징을 모으고 강화하며 네트워크를 학습시켰다. 디코더는 인코더 구조의 초기에 입력된 이미지를 합한 결과를 목표이미지와 비교하며 손실 함수를 진행하는 잔차 학습(Residual learning)을 진행했다. 잔차 학습과 skip connection을 사용하며 네트워크 구조가 깊어지면 생기는 gradient vanishing 문제를 해결하고, 모든 합성곱층 파라미터에 gradient와 입력된 이미지의 정보를 원활하게 이동시킬 수 있다.
본 논문에서는 위 어려움을 개선하여 동적 범위가 확장된 이미지를 만들기 위해 한 장의 영상을 이용한다. 구체적으로 영상을 감마 보정을 이용한 톤매핑으로 제한된 동적 범위를 가진 영상을 생성한다.
본 연구에서 개발한 네트워크에 동적 범위가 손상된 이미지를 입력하여 결과물을 확인하였다. 실험 결과 입력 영상과 비교하여 동적 범위가 월등히 향상된 것을 확인할 수 있었다.
KeroNet은 입력된 영상을 압축하며 특징을 추출하는 인코더와 추출된 특징을 다시 확장하며 동적 범위를 확장하는 디코더로 구성된 오토인코더 구조이다. 오토인코더 구조로 단순히 입력을 바로 출력으로 복사하지 못하도록 방지하며, 데이터를 효율적으로 표현하는 방법을 학습하도록 제어한다. 인코더는 합성곱층(Convolution layer)과 풀링층(Pooling laver)을 반복적으로 쌓으며, 복수의 필터로 이미지의 특징을 추출하고, 추출한 이미지의 특징을 모으고 강화하며 네트워크를 학습시켰다.
오토인코더 구조로 단순히 입력을 바로 출력으로 복사하지 못하도록 방지하며, 데이터를 효율적으로 표현하는 방법을 학습하도록 제어한다. 인코더는 합성곱층(Convolution layer)과 풀링층(Pooling laver)을 반복적으로 쌓으며, 복수의 필터로 이미지의 특징을 추출하고, 추출한 이미지의 특징을 모으고 강화하며 네트워크를 학습시켰다. 디코더는 인코더 구조의 초기에 입력된 이미지를 합한 결과를 목표이미지와 비교하며 손실 함수를 진행하는 잔차 학습(Residual learning)을 진행했다.
학습 데이터를 생성하기 위해 HDR(High Dynamic Range) 영상의 크기를 줄였다. 크기가 줄어든 영상을 감마 보정을 통해서 동적 범위를 줄이며 톤매핑 작업 전 영상을 목표 영상으로, 톤매핑된 영상을 입력 영상으로 사용한다.

이론/모형

크기가 줄어든 영상을 감마 보정을 통해서 동적 범위를 줄이며 톤매핑 작업 전 영상을 목표 영상으로, 톤매핑된 영상을 입력 영상으로 사용한다. 또한, 학습 데이터의 양을 증가시키기 위해서 augmentation 기법을 이용한다.
입력 영상과 목표 영상의 차이를 손실함수로 학습시킨다. 손실함수는 MAE(Mean Absolute Error)를 사용한다. MAE를 사용하면 영상의 블러 현상이 완화되어 선명한 결과 영상을 얻을 수 있다.

성능/효과

두 기법 모두 단일 입력 영상을 네트워크를 통해서 향상된 하나의 결과 영상을 합성한다. HDRNet은 영상의 saturation의 detail을 좀 더 강제로 만들어 낸 것처럼 보이는 반면, 본 연구에서 개발한 KeroNet은 영상 전체의 contrast를 향상시키는 것을 확인할 수 있다.
그리고 일반 영상과 톤매핑된 영상의 차이를 손실함수로 비교하며 오토인코더 구조의 네트워크를 학습한다. 그 결과 하나의 영상으로 동적 범위가 확장된 결과를 확인하였다.
본 연구에서 개발한 네트워크에 동적 범위가 손상된 이미지를 입력하여 결과물을 확인하였다. 실험 결과 입력 영상과 비교하여 동적 범위가 월등히 향상된 것을 확인할 수 있었다.

후속연구

현재는 이미지의 동적 범위 손상은 감마 보정을 통한 톤매핑으로 구성된다. 앞으로 다양한 손상 기법을 추가하여 학습데이터의 부피를 늘리고 네트워크를 학습시키면 더 향상된 결과를 얻을 것으로 전망한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 딥러닝 기반 단일 영상의 동적범위 확장 기법
Dynamic Range Extension of Single Image Using Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 딥러닝 기반 단일 영상의 동적범위 확장 기법 Dynamic Range Extension of Single Image Using Deep Learning 원문보기

초록 AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 딥러닝 기반 단일 영상의 동적범위 확장 기법
Dynamic Range Extension of Single Image Using Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper