[논문]단안 영상 시퀸스에서 움직임 추정 기반의 3차원 깊이 정보 추출 알고리즘

박준호; 전대성; 윤영우

단안 영상 시퀸스에서 움직임 추정 기반의 3차원 깊이 정보 추출 알고리즘
3D Depth Information Extraction Algorithm Based on Motion Estimation in Monocular Video Sequence 원문보기

정보처리학회논문지. The KIPS transactions. Part B. Part B, v.8B no.5, 2001년, pp.549 - 556

박준호 (경운대학교 컴퓨터공학과) , 전대성 (대구미래대학 멀티미디어정보과학과) , 윤영우 (영남대학교 전자정보공학부)

초록
AI-Helper

2차원 영상으로 부터 3차원 영상으로 복원하는 일은 일반적으로 카메라의 초점에서 영상 프레임의 각 픽셀까지의 깊이 정보가 필요하고, 3차원 모델의 복원에 관한 일반적인 수작업은 많은 식나과 비용이 소모된다. 본 논문에서는 카메라의 움직임이 포함되어 있는 단안 영상 시퀸스로부터 3차원 영상 제작에 필요한 상대적인 깊이 정보를 실시간으로 추출하는 알고리즘을 제안하고, 하드웨어를 구현하기 위한여 알고리즘을 단순화하였다. 이 알고리즘은 카메라 이동에 의한 영상의 모든 점들의 움직임은 깊이 정보의 종속적이라는 사실에 기반을 두고 있다. 불록매칭 알고리즘에 기반을 둔 전역 움직임 탐색에 의한 움직임 벡터를 추출한 후, 카메라 회전과 확대/축소에 관한 카메라 움직임 보상을 실행하고 깉이 정보 추출 과정이 전개된다. 깊이 정보 추출 과정은 단안 영상에서 객체의 이동처리를 분석하여 움직임 벡터를 구하고 프레임내의 모든 픽셀에 대한 평균 깊이를 계산한 후, 평균 깊이에 대한 각 블록의 상대적 깊이를 산출하였다. 모의 실험 결과 전경과 배경에 속하는 영역의 깊이는 인간 시각 체계가 인식하는 상대적인 깊이와 일치한다는 것을 보였다.

Abstract ▼ AI-Helper

The general problems of recovering 3D for 2D imagery require the depth information for each picture element form focus. The manual creation of those 3D models is consuming time and cost expensive. The goal in this paper is to simplify the depth estimation algorithm that extracts the depth information of every region from monocular image sequence with camera translation to implement 3D video in realtime. The paper is based on the property that the motion of every point within image which taken from camera translation depends on the depth information. Full-search motion estimation based on block matching algorithm is exploited at first step and ten, motion vectors are compensated for the effect by camera rotation and zooming. We have introduced the algorithm that estimates motion of object by analysis of monocular motion picture and also calculates the averages of frame depth and relative depth of region to the average depth. Simulation results show that the depth of region belongs to a near object or a distant object is in accord with relative depth that human visual system recognizes.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 2차원 단안 영상을 3차원 영상으로 실시간으로 변환하는 하드웨어를 구현하기 위하여 카메라의 이동이 있는 2차원 단안 영상으로무터 상대적 깊이 정보를 추출하는 알고리즘을 제안한다. 실시간으로 처리하기 위해서 하드웨어구현이 용이한 전역 움직임 추정 방식을 도입하였고, 카메라 회전에 의한 전역 움직임을 제거한 영상을 입력 영상으로 사용하였으며, 제안한 알고리즘은 하드웨어 구현에 용이하도록 구성하였다.
본 논문에서는 카메라 움직임이 있는.영상을 분석하여 카메라 회전각에 의한 객체의 움직임을 보상하고, 움직임 벡터를 이용하여 프레임의 평균 깊이를 산출하여, 각 매크로블록에 대한 상대적 깊이를 구하였다.
움직임 벡터를 분석하여 깊이 정보를 주출하므로 카메라의 회전각에 의하여 발생된 움직임은 보상되어야 한다. 본 논문의 목적은 카메라가 이동하면서 촬영을 한 단안 영상 시퀀스의 각 영역에 대한 깊이 정보를 산출하는 것이다. 제안한 알고리즘은 2차 원단 안 영상을 입력하고 (그림 3)에서 기술된 바와 같이 3 단계 更 구성된다.
또한, 모두 상대적인 값이므로, 깊이에 대한 기준을 프레임 전체의 평균 깊이 Zavg 로 정한다. 본 논문의 최종목표는 영상 프레임내의 각 영역에 대한 상대적인 깊이를구하는 것어다. 마지막으로, 한 프레임내의 평균 깊이를 식 (23)과 같이 구하였다.

가설 설정

초기의 비전 연구는 생물학과 인공지능분야에서 시작되었으며 스테레오 (stereo) 영상으로부터 3차원 영상을 복원하려는 분야에서 많이 연구되었는데, 주로 반복적 공동(itrative cooperative) 알고리즘을 통하여 영상 시퀀스로부터 두 장의 영상을 사용하여 상응 (correspondence)을 자동적으로 추출하고자 하였다. 스테레오 비전은 일반적으로 두 대의 카메라에서 획득한 영상 시퀀스에서 동일한 시간에 촬영된 두 장의 프레임만을 가정한다. 이 알고리즘은 두 영상으로부터 유일한 매칭점을 찾아서 3차원 깊이의 중간 형태를 표현하는 평탄 불일치 (smooth dispa-rity)를 복원한다[8].
카메라 초점에서 객체까지의 깊이 정보는 카메라 이동에 대하여 종속적이라는 사실에 기반을 두고, 하드웨어적 구현을 용이하게 하기 위해서 영상 프레임은 전경과 배경으로 구성되어 있으며, 배경은 카메라 움직임에 종속적이고 전경은 독립적이라는 것을 가정한다.

제안 방법

영상을 분석하여 카메라 회전각에 의한 객체의 움직임을 보상하고, 움직임 벡터를 이용하여 프레임의 평균 깊이를 산출하여, 각 매크로블록에 대한 상대적 깊이를 구하였다. 또한 실시간 하드웨어 구현올 위하여 알고리즘의 처리 과정을 단순화하였다. 모의실험 결과를 보면, 배경에 속하면서 근경 혹은 원경에 포함되는 영역의 상대적인 깊이 값은 인간의 시각 체계가 인식하는 상대적인 깊이와 일치한다는 것을 보여주었다.
이러한 문제는 영상의 움직임을 분석하여 추정된카메라의 움직임을 영상에 적용하여 보상함으로써 해결할 수있다U6I. 마지막 단계에서는 카메라 회전각에 대하여 보상된 움직임 벡터 값을 이용하여 영상 전체 프레임에 대한 각영역의 움직임 벡터 정보를 가반으로 하여 제안한 알고리즘을 적용하여 프레임내의 각 영역간의 상대적인 깊이 정보를 추춤한다.
스테레오 영상을 이용하여 깊이를 추정하는 알고리즘은 두 대의 카메라에서 획득한 영상이 필요하고, 두 카메라 사이의 거리 정보와 초점 거리에 관한 정보가 반드시 필요하지만, 본 논문에서 제안한 깊이 정보 추출 알고리즘은 스테레오 영상을 사용하지 않고 단안 영상 시퀀스를 사용하였으며, 어떠한 사전 정보도 필요하지 않다는 것이 장점이며, 기존에 제작되어 있는 많은 단안 영상들을 입체 영상으로 변환하는데 적용할 수 있다.
제안한다. 실시간으로 처리하기 위해서 하드웨어구현이 용이한 전역 움직임 추정 방식을 도입하였고, 카메라 회전에 의한 전역 움직임을 제거한 영상을 입력 영상으로 사용하였으며, 제안한 알고리즘은 하드웨어 구현에 용이하도록 구성하였다.
본 논문에서는 카메라 움직임이 있는.영상을 분석하여 카메라 회전각에 의한 객체의 움직임을 보상하고, 움직임 벡터를 이용하여 프레임의 평균 깊이를 산출하여, 각 매크로블록에 대한 상대적 깊이를 구하였다. 또한 실시간 하드웨어 구현올 위하여 알고리즘의 처리 과정을 단순화하였다.
사용하였다. 이 실험은 한 프레임내의 전체 평균 깊이값에 대하여 각 매크로블록의 상대적인 깊이 정보를 추출한다. 깊이 정보를 추출하기 위한 첫 단계는 움직임 벡터를 구하는 것이다.
본 논문의 목적은 카메라가 이동하면서 촬영을 한 단안 영상 시퀀스의 각 영역에 대한 깊이 정보를 산출하는 것이다. 제안한 알고리즘은 2차 원단 안 영상을 입력하고 (그림 3)에서 기술된 바와 같이 3 단계 更 구성된다. 깊이 정보 추출 과정은 카메라로부터 획득된 2차원 단안 영상에 대하여 3 단계로 구성되어 있다.

대상 데이터

블록 정합의 판단 기준은 평균 절대오차(Mean Absolute Difference : MAD)와 평균 자숭 오차 (Mean Squared Difference : MSD)가 많이 사용된다[12]. 본논문에서는 MSD에 비하여 계산량이 적고 하드웨어 구현이용이한 MAD를 선택하였다[131
카메라 이동이 있는 단안 영상 시퀀스로부터 깊이 정보를 추출하는 알고리즘을 모의 실험하기 위해서 flower garden 영상을 사용하였다. 이 실험은 한 프레임내의 전체 평균 깊이값에 대하여 각 매크로블록의 상대적인 깊이 정보를 추출한다.

성능/효과

또한 실시간 하드웨어 구현올 위하여 알고리즘의 처리 과정을 단순화하였다. 모의실험 결과를 보면, 배경에 속하면서 근경 혹은 원경에 포함되는 영역의 상대적인 깊이 값은 인간의 시각 체계가 인식하는 상대적인 깊이와 일치한다는 것을 보여주었다.

후속연구

실험 결과는 기존의 단안 카메라에 의해서 촬영된 2차원 영상을 3차원으로 복원하는 입체 영상 시스템의 제작 분야에 적용할 수 있다. 향후 연구 과제로서, 보다 정확한 움직임 벡터를 이용하기 위하여 공간 분할을 이용한 영역 분할 과정을 수행하여 객체를 추출한 다음, 동일한 분할영역에는 동일한 움직임 벡터 정보를 적용하여 객체의 균일한 내부 영역에 대한 깊이 정보와 영역간의 경계 부근에서 보다 정확한 깊이 정보를 추출하는 알고리즘의 개발이 요구된다.
수 있다. 향후 연구 과제로서, 보다 정확한 움직임 벡터를 이용하기 위하여 공간 분할을 이용한 영역 분할 과정을 수행하여 객체를 추출한 다음, 동일한 분할영역에는 동일한 움직임 벡터 정보를 적용하여 객체의 균일한 내부 영역에 대한 깊이 정보와 영역간의 경계 부근에서 보다 정확한 깊이 정보를 추출하는 알고리즘의 개발이 요구된다.

참고문헌 (16)

R. Koch, 'Model Based 3D Scene Analysis from Stereoscopic Image Sequences,' ISPRS '92, Vol.29, Part B5, Washington, pp.427-437, Oct. 1992
Niem, W. Buschmann, 'Automatic Modeling of 3D Natural Objects from Multiple Views,' European Workshop on Combined Real And Synthetic Image Processing For Broadcast And Video Productions, pp.23-24. Nov. 1994, Hanburg, Germany
Tony Jebara, Ali Azarbayejani, Alex Pentland, '3D Structure from 2D Motion', MIT Media Lab., Cambridge MA 02139, 1999
A. Murat Tekalp, 'Digital Video Processing', Prentice Hall PTR Upper Saddle River, NJ07458, pp.19-34, 1995
J. D. Foley and A. Van Dam, 'Fundamentals of Interactive Computer Graphics, Reading', MA : Addison-Wesley, 1983
Dae-Seong Jeoune, Zi-Yeon Song, Joon-Ho Park, Young-Min Park and Young-Woo Yoon, 'Global Motion Estimation by Analyzing the Panning/Tilting Angles of Camera,' CISST2000, Vol.I, pp.163-170, Jun. 2000
Milan Sonka, Vaclav Hlavac, Roger Boyle, 'Image Processing, Analysis, and Machine Vision', PWS Publishing, 1999
D. Marr and T. Poggio, 'Cooperative Computation Of Stereo Disparity,' Science, 194 : pp.282-287, Oct. 1976

상세보기
E. Thoompson, 'The Projective Theory Of Relative Orientation,' Photogrammetria, 23(1) : pp.67-75, 1968
O. Faugeras. 'What Can Be Seen In Three Dimensions From An Uncalibrated Stereo Rig?.' In Proceedings of the 2nd European Conference on Computer Vision, Santa Margherita Ligure, Italy, Springer Verlag, pp.563 578, 1992
R. Hartley, R. Gupta, and T. Chang, 'Stereo From Uncalibrated Cameras,' In Proceedings of the Conference on Computer Vision and Pattern Recognition, Urbana-Champaign, Illinois, pp.761 764, 1992
Borko Furht, Joshua Greenberg, Raymond Wet-water, 'Motion Estimation Algorithms For Video Compression', KAP, 1997
J. H. Park, M. C. Ryoo, J. H. Kim, S. H. Kim, 'Motion Estimation Method Using Hierarchical Search Point Displacement,' ITRC, Kyung Woon University, Vol.1, No.1, pp.60 70, Feb. 1999
Jae Woong Yi, Jun Ho Oh, 'Estimation Of Depth And 3D Motion Parameter Of Moving Object With Multiple Stereo Images,' Image and Vision Computing 14, pp.501-516, Oct. 1996

상세보기
이재도, 박준호, 전대성, 윤영우, 김상곤, '동영상의 시간적 블록기반 영상분할 알고리즘',한국정보처리학회논문지, 제7권 제5호, pp.1587-1598, 2000

원문보기 상세보기
전대성, 박준호, '전역 움직임 추정을 위한 카메라 회전각과 확대율 분석', 경운대학교 산업기술연구소논문지, 제3권 제1호(B), pp.329-338, 2000

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증