[논문]2D/3D 변환을 위한 깊이정보 생성기법에 관한 연구

한현호; 이강성; 이상훈

doi:10.5762/kais.2011.12.4.1897

초록
AI-Helper

본 논문은 2D/3D 변환을 위한 객체 추출과 깊이정보(Depth-map) 생성기법에 관한 연구이다. 2D영상을 3D로 변환하기 위해서는 영상 객체 추출, 영상 거리 인식, 영상 생성, 재보정 단계를 거치게 되는데 본 논문에서는 영상 객체 추출과 영상 거리 인식에 해당하는 깊이정보를 생성하는 방법을 제안한다. 3D 영상으로의 변환은 2D 영상에서의 객체 추출과, 추출된 객체와 주변 배경을 구별하기 위한 거리감을 할당하는 깊이정보 생성이 중요하다. 보다 정확한 객체 추출과 깊이정보를 생성하기 위해 기존의 Optical flow에서 잡음을 제거한 방법을 제안하였다. 제안한 방법으로 2D 영상을 깊이정보가 포함된 영상으로 변환하여 영상의 깊이 정보가 추정됨을 알 수 있다.

Abstract ▼ AI-Helper

This paper discusses a 2D/3D conversion of images using technologies like object extraction and depth-map creation. The general procedure for converting 2D images into a 3D image is extracting objects from 2D image, recognizing the distance of each points, generating the 3D image and correcting the ...

This paper discusses a 2D/3D conversion of images using technologies like object extraction and depth-map creation. The general procedure for converting 2D images into a 3D image is extracting objects from 2D image, recognizing the distance of each points, generating the 3D image and correcting the image to generate with less noise. This paper proposes modified new methods creating a depth-map from 2D image and recognizing the distance of objects in it. Depth-map information which determines the distance of objects is the key data creating a 3D image from 2D images. To get more accurate depth-map data, noise filtering is applied to the optical flow. With the proposed method, better depth-map information is calculated and better 3D image is constructed.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 2차원 영상을 3차원 영상으로 변환하기 위해 잡음이 제거된 Optical Flow를 이용하는 방법을 제안하였다. 잡음을 제거한 Optical flow를 이용하여 Watershed 알고리즘을 선적용한 Nomalized cut의 정확성을 향상시켰고, 추출된 객체에 Optical flow를 이용한 값을 할당함으로써 각 객체별 깊이 정보를 생성하였다.
본 논문에서는 객체 분할 정보를 획득, 추출하고 잡음을 제거한 Optical Flow를 이용하여 얻은 움직임 정보를 통해 깊이정보를 생성하고 각 객체에 깊이 정보를 할당하는 방법을 제안하였다.

제안 방법

객체 분할 과정의 연산량 감소를 위해 초기 영역 분할으로서 먼저 영상의 에지 추출을 통해 Gradient map을 생성하게 된다. Gradient map을 생성하기 위해 추출한 원 영상을 Gray scale로 변환하여 각 픽셀이 0~255의 색상값을 갖도록 한 후 Sobel 마스크를 이용하여 영상의 에지를추출하였다.
본 논문에서 제안하는 2D/3D 변환 기법을 적용하기위해 먼저 객체 추출 과정을 거치게 된다. 객체 추출은 그래프 분할 알고리즘인 Nomalized cut을 이용한다[7].
Optical flow는 픽셀단위로 움직임 정보를 추정함으로써 블록 매칭 같은 알고리즘에 비해 정확도가 높다. 본 논문에서는 이러한 장점을 이용하여 보다 정확한 객체 분할을 위해 가중치로서 이용한다.
이러한 단점을 보완하기 위해 기존 Optical Flow에서 잡음을 제거한 방법을 이용하여 객체 분할 알고리즘인 Normalized Cut에 가중치로 적용하고 분할된 객체에 객체별 깊이 정보를 할당하는 방법을 제안하였다.
Nomalized cut은 영상을 그래프로 표현한 뒤 그래프 분할 과정을 거치고 분할된 결과를 영상에 대응시키는 알고리즘이다. 이를 적용하기 전에 연산량 감소를 위한 Watershed 알고리즘을 적용하고 객체 분할의 정확도 향상을 위해 잡음을 제거한 Optical flow를 추가 적용함으로써 보완하였다.
본 논문에서는 2차원 영상을 3차원 영상으로 변환하기 위해 잡음이 제거된 Optical Flow를 이용하는 방법을 제안하였다. 잡음을 제거한 Optical flow를 이용하여 Watershed 알고리즘을 선적용한 Nomalized cut의 정확성을 향상시켰고, 추출된 객체에 Optical flow를 이용한 값을 할당함으로써 각 객체별 깊이 정보를 생성하였다.

이론/모형

본 논문에서 제안하는 2D/3D 변환 기법을 적용하기위해 먼저 객체 추출 과정을 거치게 된다. 객체 추출은 그래프 분할 알고리즘인 Nomalized cut을 이용한다[7]. Nomalized cut은 영상을 그래프로 표현한 뒤 그래프 분할 과정을 거치고 분할된 결과를 영상에 대응시키는 알고리즘이다.
제안한 방법을 검증하기 위해 실제 이미지에 적용하였다. 실험 환경은 MATLAB을 사용하여 시뮬레이션 하였다.

성능/효과

Optical Flow를 추가한 Normalized Cut을 이용했을 때, 객체 분할 과정에서 약간의 잡음이 있지만 전체적인 객체 분할과 깊이 정보 추정이 가능한 것을 알 수 있다.

후속연구

제안한 방법은 Optical flow의 단점인 조명 변화와 카메라 이동에 대해 대처가 가능할 것으로 예상되며 디스플레이 방식에 따라 영상 생성 과정을 거친 뒤 사용할 수 있는 장점을 가지고 있기 때문에 기존 2차원 영상물을 기반으로 3차원 콘텐츠의 생성에 기여할 수 있을 것으로 예상한다.
하지만 픽셀 간 밝기 차이와 인접 정도만으로는 복잡한 영상에 적용할 시 원활한 결과를 보여주지 못하므로 추가적인 가중치가 필요하다.
향후 연구 방향으로는 디스플레이에 상관없이 사용할 수 있는 3차원 영상 생성과 자체적으로 재보정 과정을 포함하는 기법의 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Ross 현상을 이용한 영상 변환의 특징은?	Ross 현상을 이용한 영상 변환은 가장 기본적인 입체 변환 기법으로서, 사람은 양 눈의 시각적 차이로 인해 입체감을 느낄 수 있다는 이론을 기반으로 2차원 영상에서 시간적인 지연을 갖는 좌, 우 영상을 선택하여 각각 좌, 우안에 비춰주게 되면 움직이는 객체는 스크린보다 앞쪽에 양안이 수렴되어 입체감을 느낄 수 있다.
	카메라와 객체의 운동유형에 따른 좌우영상 선택 방법이 필요하며 각 객체의 운동유형을 결정하는 기법이 필요한 이유는?	만약 좌영상과 우영상이 잘못 선택된 경우에는 왜곡된 시차를 얻게 되어 스크린보다 뒤쪽에 수렴점이 생기게 되고 배경보다 들어가 보이게 되므로 왜곡된 입체감을 느끼게 한다. 따라서 카메라와 객체의 운동유형에 따른 좌우영상 선택 방법이 필요하며 각 객체의 운동유형을 결정하는 기법이 필요하게 된다.
	2D/3D 영상 변환 기술이란?	2D/3D 영상 변환 기술은 기존의 단안 카메라로 촬영된 영상 즉, TV나 CD, DVD에서 얻어지는 영상을 영상처리 기술을 통해 좌영상과 우영상으로 구성된 입체 영상을 생성하는 것으로 2대의 카메라로 이루어진 스테레오 카메라를 이용하여 얻어진 입체 영상을 디스플레이 기기에 보내주는 입체 영상 처리와는 달리 상대적으로 복잡한 원리 및 영상 처리 기술을 필요로 한다. 2D/3D 영상 변환에서 좌영상과 우영상의 생성은 현재 영상과 이전 영상을 이용하여 생성하는 것이 다수의 시스템에서 사용하고 있는 방식이다[6].

참고문헌 (11)

이요섭, "2D-3D 변환 기술의 동향 및 전망", 대한전자공학회, 전자공학회지, 제 38권, 2호, pp. 129-135, 2011.
B. J. Garcia, "Approaches to stereoscopic video based on spatioltemporal interpolation,"Proc. SPIE, vol. 2653, pp. 85-95, 1996.
T. Okino, H. Murata, K. Taima, T. Iinuma and K. Oketani, "New television with 2D/3D image conversion techniques," proc. SPIE, vol. 2653, Stereoscopic Displays and Virtual Reality Systems III, 1996.
J. Ross, "tereopsis by binocular delay,"Nature, vol. 248, pp. 363-364, 1974.

상세보기
Y. Matsumoto, H. Terasaki, K. Sugumoto, and T. Arakawa,"onversion system of monocular image sequence to stereousing motion parallax,"Proc. SPIE, vol. 3012, pp. 108-115, 1997.
김만배, "2차원 동영상의 3차원 입체 변환 방법", 한국방송공학회, 방송공학회지, 제6권 제1호 pp.26-35 2001.

원문보기 상세보기
Jianbo Shi and Jitendra Malik, "Normalized Cuts and Image Segmentation", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 22, NO. 8, 2000.

상세보기
Luc Vincent and Pierre Soille, "Watersheds in Digital Spaces: An Efficient Algorithm Based on Immersion Simulations", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 13, NO. 6, pp. 583-598, 1991.

상세보기
Deqing Sun, Roth, S., Black, M. J., "Secret of Optical Flow Estimation and Their Principles", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2432-2439, 2010.
A. S. Ogale, C. Fermuller, and Y. Aloimonos, "Motion segmentation using occlusions,"IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, no. 6, pp. 988-992, 2005.

상세보기
한현호, 홍영표, 김진수, 이상훈, "연산량을 감소한 객체 분할과 깊이정보 생성을 이용한 2D/3D 동영상 변환 연구", 한국산학기술학회, 추계학술발표논문집, 제 11권, 제 2호, pp. 92-95, 2010.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

2D/3D 변환을 위한 깊이정보 생성기법에 관한 연구
A Study on 2D/3D image Conversion Method using Create Depth Map 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (11)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

2D/3D 변환을 위한 깊이정보 생성기법에 관한 연구 A Study on 2D/3D image Conversion Method using Create Depth Map 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (11)

이 논문을 인용한 문헌

저자의 다른 논문 :

한현호 (9) 이강성 (28) 이상훈 (63)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

2D/3D 변환을 위한 깊이정보 생성기법에 관한 연구
A Study on 2D/3D image Conversion Method using Create Depth Map 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper