[논문]색상 영상의 최대 변화도를 이용한 깊이맵 업샘플링 기법

정재일; 호요성

색상 영상의 최대 변화도를 이용한 깊이맵 업샘플링 기법
Depth Map Up-sampling Using Maximum Gradient of Color Image 원문보기

정재일 (광주과학기술원 실감방송연구센터) , 호요성 (광주과학기술원 실감방송연구센터)

본 논문은 고해상도의 깊이맵을 얻기 위해서 대응되는 색상 영상의 최대 변화도를 이용한 깊이맵 업샘플링 기술을 제안한다. 기존 알고리즘들이 인접한 화소의 깊이 값을 참조할 때 거리에 따른 가중치를 부여하는 것과 달리, 제안한 방법은 현재 화소와 참조 화소 사이의 최대 색차 변화도를 이용하여 가중치를 부여한다. 이런 접근 방법은 비슷한 색상의 물체가 서로 붙어 있거나 큰 크기의 객체가 존재할 경우에도 모두 올바른 가중치를 부여할 수 있다는 장점을 갖는다. 먼저, 색상 영상의 색차 성분에 대한 변화도 영상을 계산하고, 업샘플링하고자 하는 화소와 참조 화소 사이의 최단 경로 위에서 가장 큰 변화도를 취한다. 변화도가 클수록 다른 객체에 존재할 확률이 높기 때문에 변화도가 큰 참조 화소에는 작은 가중치를 부여하고, 이들의 가중합을 통해 최종 깊이 값을 계산한다. 제안한 방법을 이용하여 깊이맵을 업샘플링한 결과가 기존 알고리즘들에 비해 우수한 결과를 보였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 기존 알고리즘들의 문제점을 해결하기 위해서 인접한 화소를 참조할 때 거리 정보를 이용하지 않고 최대색상 변화도를 이용하는 기술을 제안한다. 우선 저해상도의 깊이 맵을 Nearest Neighbor 알고리즘을 이용하여 확대한 뒤, 이를 초기 깊이맵으로 사용한다.
본 논문에서는 색상 영상의 최대 색차 변화도를 이용한 깊이 맵 업샘플링 기술을 제안했다. 제안한 기술은 거리에 따라서 가중치를 부여하던 기존의 기술들과 달리 색상 영상의 최대 색차 변화도를 고려한 가중치를 부여하여 보다 정확한 고해상도 깊이 맵을 생성하였다.

제안 방법

Diebel et aLe Markov Random Field(MRF)를 이용하여 색상 영상과 깊이맵의 경계를 일치시키는 기술을 제안하였고, Yang et aLe 영상의 색상 차이와 거리 차이를 가중치로 이용한 Joint bilateral 필터를 이용한 업샘플링 기술(JBU)을 제안하였다. 이 업샘플링 기술들은 깊이맵만을 이용하는 알고리즘들보다 우수한 성능을 보이지만, 유사한 색상의 객체가 인접해있는 경우 성능이 감소한다는 문제점을 갖는다.
우선 저해상도의 깊이 맵을 Nearest Neighbor 알고리즘을 이용하여 확대한 뒤, 이를 초기 깊이맵으로 사용한다. 그 후 색상 영상을 고려하여 인접한 초기 깊이 값들을 가중적으로 합하여 최종 깊이 값을 계산한다. 이때 적응적인 가중치를 사용하기 위해서 제안한 알고리즘은 joint bilateral 필터의 거리 정보 대신에 색차 변화도를 이용한다.
먼저 인접해 있는 네 개의 이웃들 가운데서 가장 색차 성분 차이가 큰 화소를 선택하여 색상 변화도를 계산한다. 그 뒤, 참조하고자 하는 국부 영역에서 현재 화소와 참조 화소간의 최단 경로에서의 최대 변화도를 계산한다.
본 논문에서 제안한 알고리즘의 성능을 평가하기 위해서 Middlebury 테스트 영상을 1/64 크기로 줄인 뒤, 제안한 알고리즘을 적용했다. 정확한 최대 변화도 영상을 얻기 위해서 색상 영상에는 bilateral 필터를 적용하여 잡음의 효과를 줄인 뒤, 알고리즘을 적용했다.
그 후 색상 영상을 고려하여 인접한 초기 깊이 값들을 가중적으로 합하여 최종 깊이 값을 계산한다. 이때 적응적인 가중치를 사용하기 위해서 제안한 알고리즘은 joint bilateral 필터의 거리 정보 대신에 색차 변화도를 이용한다.
이를 정량적으로 평가하기 위해 축소된 깊이맵을 각 알고리즘을 이용하여 업샘플링한 뒤, 실측 깊이맵과의 비교를 통해 오차 화소의 비율을 계산했다. 표 1과 같이 제안한 알고리즘이 기존 알고리즘들 보다 우수한 성능을 보임을 확인할 수 있다.
적용했다. 정확한 최대 변화도 영상을 얻기 위해서 색상 영상에는 bilateral 필터를 적용하여 잡음의 효과를 줄인 뒤, 알고리즘을 적용했다. 가중 합을 계산하기 위해 35 x 35 크기의 국부 영역내의 화소들을 참조했다.
업샘플링 기술을 제안했다. 제안한 기술은 거리에 따라서 가중치를 부여하던 기존의 기술들과 달리 색상 영상의 최대 색차 변화도를 고려한 가중치를 부여하여 보다 정확한 고해상도 깊이 맵을 생성하였다. 다양한 영상에 대한 실험을 통해 제안한 기술이 기존 기술에 비해서 우수한 성능을 가짐을 확인할 수 있었다.

대상 데이터

정확한 최대 변화도 영상을 얻기 위해서 색상 영상에는 bilateral 필터를 적용하여 잡음의 효과를 줄인 뒤, 알고리즘을 적용했다. 가중 합을 계산하기 위해 35 x 35 크기의 국부 영역내의 화소들을 참조했다.

이론/모형

변화도를 이용하는 기술을 제안한다. 우선 저해상도의 깊이 맵을 Nearest Neighbor 알고리즘을 이용하여 확대한 뒤, 이를 초기 깊이맵으로 사용한다. 그 후 색상 영상을 고려하여 인접한 초기 깊이 값들을 가중적으로 합하여 최종 깊이 값을 계산한다.

성능/효과

제안한 기술은 거리에 따라서 가중치를 부여하던 기존의 기술들과 달리 색상 영상의 최대 색차 변화도를 고려한 가중치를 부여하여 보다 정확한 고해상도 깊이 맵을 생성하였다. 다양한 영상에 대한 실험을 통해 제안한 기술이 기존 기술에 비해서 우수한 성능을 가짐을 확인할 수 있었다. 제안한 기술은 다시점 영상 생성은 물론, 깊이맵 압축에도 널리 사용될 수 있을 것으로 기대된다.
고해상도 깊이맵을 보여준다. 초기 깊이맵은 경계 근처에서 계단 현상을 보이지만, 업샘플링된 영상은 경계의 계단 현상 없이 객체의 실제 모양에 따라 깊이 값들이 잘 분포되어 있음을 확인할 수 있다.
화소의 비율을 계산했다. 표 1과 같이 제안한 알고리즘이 기존 알고리즘들 보다 우수한 성능을 보임을 확인할 수 있다. cone 영상의 경우 JBU에 비해 낮은 정확도를 보이지만, 대부분의 오차 영역이 뒤쪽에 분포해 있어서 실제로 가상 시점 영상을 만들 때 크게 문제가 되지 않는다.

후속연구

다양한 영상에 대한 실험을 통해 제안한 기술이 기존 기술에 비해서 우수한 성능을 가짐을 확인할 수 있었다. 제안한 기술은 다시점 영상 생성은 물론, 깊이맵 압축에도 널리 사용될 수 있을 것으로 기대된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

색상 영상의 최대 변화도를 이용한 깊이맵 업샘플링 기법
Depth Map Up-sampling Using Maximum Gradient of Color Image 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

색상 영상의 최대 변화도를 이용한 깊이맵 업샘플링 기법 Depth Map Up-sampling Using Maximum Gradient of Color Image 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

색상 영상의 최대 변화도를 이용한 깊이맵 업샘플링 기법
Depth Map Up-sampling Using Maximum Gradient of Color Image 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper