[논문]이미지로부터 피사계 심도 영역을 효율적으로 추출하기 위한 합성곱 신경망 기법

김동희; 김종현

이미지로부터 피사계 심도 영역을 효율적으로 추출하기 위한 합성곱 신경망 기법
Convolutional Neural Network Technique for Efficiently Extracting Depth of Field from Images 원문보기

김동희 (강남대학교 소프트웨어응용학부) , 김종현 (강남대학교 소프트웨어응용학부)

본 논문에서는 카메라의 포커싱과 아웃포커싱에 의해 이미지에서 뿌옇게 표현되는 DoF(Depth of field, 피사계 심도) 영역을 합성곱 신경망을 통해 찾는 방법을 제안한다. 우리의 접근 방식은 RGB채널기반의 상호-상관 필터를 이용하여 DoF영역을 이미지로부터 효율적으로 분류하고, 합성곱 신경망 네트워크에 학습하기 위한 데이터를 구축하며, 이렇게 얻어진 데이터를 이용하여 이미지-DoF가중치 맵 데이터 쌍을 설정한다. 학습할 때 사용되는 데이터는 이미지와 상호-상관 필터 기반으로 추출된 DoF 가중치 맵을 이용하며, 네트워크 학습 단계에서 수렴률을 높이기 위해 스무딩을 과정을 한번 더 적용한 결과를 사용한다. 본 논문에서 제안하는 합성곱 신경망은 이미지로부터 포커싱과 아웃포커싱된 DoF영역을 자동으로 추출하는 과정을 학습시키기 위해 사용된다. 테스트 결과로 얻은 DoF 가중치 이미지는 입력 이미지에서 DoF영역을 빠른 시간 내에 찾아내며, 제안하는 방법은 DoF영역을 사용자의 ROI(Region of interest)로 활용하여 NPR렌더링, 객체 검출 등 다양한 곳에 활용이 가능하다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 상호-상관 필터를 활용하여 DoF영역을 찾는 알고리즘을 제안했고, 이 기술을 인공지능을 통해 자동으로 학습하고 테스트할 수 있는 새로운 합성곱 신경망 기법을 제안했다.

제안 방법

위에서 언급한 특징을 이용하여, 원본이미지 I^rgb₀와 원본 이미지로부터 생성한 스무딩(Smoothing) 이미지 I₁^rgb의 RGB색상 채널의 차이를 기반으로 DoF가중치 맵 D를 다음과 같이 계산한다 (수식 3 참조).

대상 데이터

이 같은 문제를 해결하기 위해 본 논문에서는 가중치 맵인 D에 원본 이미지를 곱한 이미지인 D′ = D × δ를 이용하여 네트워크의 학습 데이터로 사용하였고 (Fig. 6 참조), 본 논문에서 사용한 좀 더 자세한 네트워크 모델은 Fig. 7과 같다.

이론/모형

여기서 H는 각 인접 픽셀들의 가중치로 마스크(Mask)라고 부르며, F는 인접 픽셀들의 색상 값이다. 이 마스크는 적용 분야에 따라 다양하게 모델링되는데, 우리는 가우시안 필터링(Gaussian filtering)기법을 이용한다 (수식 2 참조).
우리의 목표는 δ_s = f(x)값을 예측하는 모델 f를 학습하는 것이며, 결과적으로 학습 데이터에 대한 MSE인 #를 최소화하는 것이다. 이 방정식을 최적화시키기 위해 우리는 아래와 같은 SRCNN[6]기반의 네트워크 방식을 사용하였다 (Fig. 3 참조).

성능/효과

1) DoF영역에서는 피사계 심도를 얕게 하여 초점이 맞은 피사체를 제외한 배경은 흐려지게끔 뭉개지는 효과가 나타난다.
2) 아웃포커싱에 의해 뿌옇게 흐려진 영역과 선명한 영역의 차이는 명확하다.
Fig. 9는 본 논문에서 제안한 방법을 통해 얻어진 테스트 결과이며, 다양한 이미지들에서도 안정적으로 DoF가중치 맵을 추출했다. 레인보우 컬러 결과에서 빨간색에 가까울수록 포커싱 영역을 의미하며, 파란색에 가까울수록 아웃포커싱된 영역을 나타낸다.
또한, 학습하는 과정에서 425개의 적은 데이터셋의 양으로 좋은 결과를 만들어 냈다. 일반적으로 수천, 수만장의 데이터를 이용하는데 비해서 본 연구에서는 수렴율을 빠르게 하기 위한 전처러 방법으로 인해 적은 데이터만으로 높은 학습률을 나타냈다.
우리는 15,000번 정도 학습시켰을 때 DoF영역이 아닌, 마치 흑백 이미지와 같은 결과로 수렴하는 학습결과를 얻었다 (Fig. 5 참조). 이 같은 이유는 매핑 함수 f(x)를 학습하는 과정에서 δ와 D의 차이가 서로 너무 다르기에 원하는 방향으로 수렴하지 않는 결과가 나타났으며, 다양한 이미지에서 실험을 해봤지만 여전히 같은 결과를 얻었다.
스무딩한 이유는 앞에서도 언급했듯이, 이미지에서 포커싱과 아웃포커싱의 차이는 선명하거나 뿌옇게 표현되는 차이가 있으며, 이 차이는 공간상에서 미분을 했을 때 더 큰 차이를 보이기 때문이다. 이러한 방식을 기반으로 학습을 시켰을 때 안타깝게도 우리가 기대한 결과를 얻을 수 없었으며, 학습과정에서 반복횟수가 증가해도수렴하지 않은 결과를 보였다 (Fig. 4 참조).
또한, 학습하는 과정에서 425개의 적은 데이터셋의 양으로 좋은 결과를 만들어 냈다. 일반적으로 수천, 수만장의 데이터를 이용하는데 비해서 본 연구에서는 수렴율을 빠르게 하기 위한 전처러 방법으로 인해 적은 데이터만으로 높은 학습률을 나타냈다.

후속연구

레인보우 컬러 결과에서 빨간색에 가까울수록 포커싱 영역을 의미하며, 파란색에 가까울수록 아웃포커싱된 영역을 나타낸다. 향후 우리는 사용자의 시점 변화에 따른 ROI를 DoF기반으로 추출하고, 추출된 영역에서의 콘텐츠를 해석할 수 있는 기법으로 추가 연구할 계획이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

이미지로부터 피사계 심도 영역을 효율적으로 추출하기 위한 합성곱 신경망 기법
Convolutional Neural Network Technique for Efficiently Extracting Depth of Field from Images 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

이미지로부터 피사계 심도 영역을 효율적으로 추출하기 위한 합성곱 신경망 기법 Convolutional Neural Network Technique for Efficiently Extracting Depth of Field from Images 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

이미지로부터 피사계 심도 영역을 효율적으로 추출하기 위한 합성곱 신경망 기법
Convolutional Neural Network Technique for Efficiently Extracting Depth of Field from Images 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper