본 논문에서는 가상 환경의 참여자를 표현하기 위해 실제 참여자의 영상을 가상 환경에 실시간으로 제공하는 비디오 아바타를 사용하였다. 비디오 아바타의 사용은 참여자를 표현하는 정밀도를 높일 수 있지만 정확한 정합이 중요한 이슈가 된다. 비디오 아바타의 정합을 위해 실제 환경에서 사용되는 카메라와 가상 환경을 생성하기 위해 사용되는 가상 카메라의 특성을 동일하게 조정하였다. 조정된 실제와 가상 카메라의 유사성에 근거하여 실제와 합성 영상의 비교를 통하여 실제 환경에서 획득된 비디오 아바타가 가상 환경과 정합되도록 하였다. 비디오 아바타의 정합 과정에서는 정합의 부정확한 정도를 에너지로 표현하여 이를 최소화시키는 방법을 이용하였으며 실험을 통하여 제안된 방법이 가상 환경에서 비디오 아바타의 정합에 효과적으로 적용 가능함을 확인하였다.
본 논문에서는 가상 환경의 참여자를 표현하기 위해 실제 참여자의 영상을 가상 환경에 실시간으로 제공하는 비디오 아바타를 사용하였다. 비디오 아바타의 사용은 참여자를 표현하는 정밀도를 높일 수 있지만 정확한 정합이 중요한 이슈가 된다. 비디오 아바타의 정합을 위해 실제 환경에서 사용되는 카메라와 가상 환경을 생성하기 위해 사용되는 가상 카메라의 특성을 동일하게 조정하였다. 조정된 실제와 가상 카메라의 유사성에 근거하여 실제와 합성 영상의 비교를 통하여 실제 환경에서 획득된 비디오 아바타가 가상 환경과 정합되도록 하였다. 비디오 아바타의 정합 과정에서는 정합의 부정확한 정도를 에너지로 표현하여 이를 최소화시키는 방법을 이용하였으며 실험을 통하여 제안된 방법이 가상 환경에서 비디오 아바타의 정합에 효과적으로 적용 가능함을 확인하였다.
In this paper, video avatar, made from live video streams captured from a real participant, was used to represent a virtual participant. By using video avatar to represent participants, the sense of reality for participants can be increased, but the correct registration is also an important issue. W...
In this paper, video avatar, made from live video streams captured from a real participant, was used to represent a virtual participant. By using video avatar to represent participants, the sense of reality for participants can be increased, but the correct registration is also an important issue. We configured the real and virtual cameras to have the same characteristics in order to register the video avatar. Comparing real and synthetic images, which is possible because of the similarities between real and virtual cameras, resolved registration between video avatar captured from real environment and virtual environment. The degree of incorrect registration was represented as energy, and the energy was then minimized to produce seamless registration. Experimental results show the proposed method can be used effectively for registration of video avatar.
In this paper, video avatar, made from live video streams captured from a real participant, was used to represent a virtual participant. By using video avatar to represent participants, the sense of reality for participants can be increased, but the correct registration is also an important issue. We configured the real and virtual cameras to have the same characteristics in order to register the video avatar. Comparing real and synthetic images, which is possible because of the similarities between real and virtual cameras, resolved registration between video avatar captured from real environment and virtual environment. The degree of incorrect registration was represented as energy, and the energy was then minimized to produce seamless registration. Experimental results show the proposed method can be used effectively for registration of video avatar.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
5차원 이상의 비디오 아버]" 타 구현 방식을 적용하여 구현된 시스템에서 좀더 사실 적으로 참여자를 표현하는 것이다. 또한 책상 주변 이외 에 다양한 환경으로 확장에 대한 연구와 참여자간의 시 선 맞춤, 응시 안식, 공간적 암시 등의 상호작용 요소들 을 풍부하게 제공하기 위한 부가적인 방법을 추가하는 것이다.
비디오 아바타를 정확한 장소에 위치시키기 위해서 수작업으로 비디오 아바타의 위치를 찾게 되면 정확한 값을 찾기 불가능하다는 문제가 있다. 본 논문에서는 비디오 아바타를 가상 환 경에 정합하는 과정을 자동화하기 위한 방법으로 카메라의 유사성을 근거로 하여 실제와 합성영상을 비교하여 차이를 줄여가는 방법을 사용하였다.
물리적 카메라의 렌즈 왜곡이나 가상카메라의 거리에 따른 초점의 균일성 등을 예로 들 수 있다.본 논문에서는 실제 카메라 영상과 가 상 카메라의 영상을 비교하기 위하여, 실제 영상을 변형(warping)하여 렌즈 왜곡을 제거하였다.
이러한 문제를 해결하기 위해 본 논문에서는 실제와 가상카메라의 속성을 동일하게 하고 실제와 합성영상 의 비교를 통하여 실제 세계의 비디오가 가상환경과 조화를 이루도록 하는 방법을 제안하였다. 본 논문은 책상 주변에서 참여자들이 상호작용하는 환경을 대상으로 하며, 따라서 책상 주변에 앉아서 작업하는 참여자의 비디오 영샹을 가상 환경에 정합시키게 된다. 본 논문의 구성은 다음과 같다.
이러한 문제를 해결하기 위해 본 논문에서는 실제와 가상카메라의 속성을 동일하게 하고 실제와 합성영상 의 비교를 통하여 실제 세계의 비디오가 가상환경과 조화를 이루도록 하는 방법을 제안하였다. 본 논문은 책상 주변에서 참여자들이 상호작용하는 환경을 대상으로 하며, 따라서 책상 주변에 앉아서 작업하는 참여자의 비디오 영샹을 가상 환경에 정합시키게 된다.
실제 카메라에서 캡쳐된 영상과 비디오 아바타가 렌더링되는 가상 환경을 생성하는 가상 카메라에서 출력되는 영상과의 비교를 통하여 비디오 아바타의 최적의 파라미터를 구하게 된다. 즉, 실제 영상과 렌더링된 영상의 차이를 가장 최소화하는 파라미터를 찾는 것이다. 이를 위해 두 영상의 차이를 에너지로 나타내는 함수로 표현하여 에너지 최소화 기법 올 사용하여 원하는 값을 구하게 된다B2L 이러한 과정을 수행하기 위해선행되 어야 되는 절차가 실제 카메라와 가상 카메라가 동일한 특성을 가지도록 조정하는 것이다.
제안 방법
가상환경을 표현하는 컴퓨터 그래픽스 기법은 합성될 영상을 렌더링하기 위한 객체나 광원 또는 카메라의 속성 등의 자료를 이용하여 영상을 생성하는 과정을 거치게 된다. 따라서 가상 세계를 기술하는 최적의 파라미터를 구하기 위하여 실제 세계에서 카메라로 촬영한 영상과 컴퓨터 그래픽으로 생성된 영상과의 차이를 비교하여 두 영상의 차이가 최소화되도록 합성된 영상을 기술하는 파라미터를 최적의 해로 구하는 방법을 이용하였다. 그림 1에서 이러한 과정을 수행하기 위한 과정을 나타내고 있다.
본 논문에서는 현실 세계와 가상 세계의 요소들을 혼합 하여 컴퓨터 그래픽으로 구현하기 어려운 사람의 몸동 작과 얼굴 표정 등을 사실적으로 표현 가능한 비디오 아바타를 이용하였다. 배경이 전경과 분리되어 투명하게 입력되는 실시간 비디오 아바타를 가상 환경에 정합하기 위하여 실제 카메라와 가상 카메라의 특성을 같도록 조정하였고 실제 카메라와 가상 카메라가 바라보는 내 용이 가장 유사하게 될 때 적용된 비디오 아바타의 파 라미터를 최적의 값으로 결정하였다. 실험을 통하여 제안된 방법이 수작업으로 정합하던 방법의 한계를 극복 하고 정확한 비디오 아바타 파라미터를 추출할 수 있음을 확인하였다.
본 논문에서 구현된 시스템은 가상환경을 렌더링하기 위해 Silicon Graphics사의 Onyx I IR을 사용하였고 가상환경에 비디오를 연동하기 위하여 Sirius 비디오보 드를 이용하였다. 가상환경과 객체의 모델링은 Multi- Gen을 이용하였다.
배경을 포함하고 있는 영상으로부터 참여자를 분할하기 위해서는 크로마키 방법을 이용하거나 배 경 영상의 통계적 특성을 이용하여 참여자를 배경으로부터 분리하는 방법이 있다. 본 논문에서는 크로마키 기법을 사용하였고, 따라서 사용자가 블루(blue) 색상 영역의 배경 앞에 있어야 하고, 참여자 이외의 색상 영역을 투명하게 처리한 후 텍스쳐로 만들어 3차원 가상공간 안에 삽입하였다.
가상현실 기술의 발전으로 컴퓨터가 만들어낸 가상의 환경에 대한 사실적 표현을 통하여 인간에게 다양한 가 상 환경을 설득력 있게 제시하는 것이 가능하게 되었다. 본 논문에서는 현실 세계와 가상 세계의 요소들을 혼합 하여 컴퓨터 그래픽으로 구현하기 어려운 사람의 몸동 작과 얼굴 표정 등을 사실적으로 표현 가능한 비디오 아바타를 이용하였다. 배경이 전경과 분리되어 투명하게 입력되는 실시간 비디오 아바타를 가상 환경에 정합하기 위하여 실제 카메라와 가상 카메라의 특성을 같도록 조정하였고 실제 카메라와 가상 카메라가 바라보는 내 용이 가장 유사하게 될 때 적용된 비디오 아바타의 파 라미터를 최적의 값으로 결정하였다.
블루룸에서 캡쳐되는 실제 영상을 Matrox DigiSuite 의 DigiMix를 이용하여 크로마키 처리를 한다. [5].
비디오 아바타의 파라미터는 비디오 아바타를 표현하는 평면의 3차원 가상 공간 안에서의 위치와 방향이다. 비디오 아바타의 스케일은 비디오가 매핑되는 평면안의 실제 영상의 크기와 가상 환경에서 해당하는 크기를 비교함으로써 구하게 된다. 실제 카메라로 촬영한 영상을 W 로 표현하면 에러함수는 다음과 같이 표현된다.
즉, 카메라로 촬영된 영상은 DigiMix로 입력되며 크로마키 작용을 거친 RGBA의 영상 신호를 Onyx I에 연결된 Sirius 비디오 보드에 입력한다. 시스템은 OpenGL Performer 를 기반으로 가상 환경을 렌더링하몌16] Sirius 비디오 보드는 비디오 입력을 가능하도록 비디오 리소스를 초기화시키고 이를 이용하여 비디오를 입력받아 연속적으로 텍스쳐 메모리에 업로드 시킴으로써 렌더링 모듈에서 입력받은 비디오를 가상 환경의 렌더링 과정에 반영하도록 하여준다. 그림 7에서는 가상 환경에서 참여자들이 서로 만나서 단어맞추기 게임을 수행하는 장면에서 알파값의 적용에 따른 영상의 변화를 적용 전과 후의 경우에 대하여 보여주고 있다.
여기서, q와 q는 각각 세로방향의 Q번째와 가로방향으로 Q번째의 블록을 의미하며, 妇(財)는 网블록의, 와 项번째 위치에서의 특징 값을 나타낸다. 이 식에서 표시 된 것처럼 가로와 세로를 10둥분으로 균등하게 분할하여 총100개의 블록에서 특징을 추출하였다. 이러한 에러 함수의 값이 적으면 적을수록 비교되는 두 영상은 유사한 형태를 가지게 되며 구하고자 하는 비디오 아바타의 최적의 파라미터를 추출할 수 있게 된다.
비디오 아바타를 표현하는 다각형의 위치와 방향 그리고 스케일 등을 정확히 조정해 주어서 주변의 가상 환 경과 조화를 이루게 하는 과정을 필요로 한다. 이러한 비디오 아바타의 파라미터를 구하기 위하여 본 논문에서는 실제 카메라와 가상 카메라의 특성을 이용하였다.가상환경을 표현하는 컴퓨터 그래픽스 기법은 합성될 영상을 렌더링하기 위한 객체나 광원 또는 카메라의 속성 등의 자료를 이용하여 영상을 생성하는 과정을 거치게 된다.
따라서 실제 카메라의 내부 파라미테 13]를 이용하여 실제 카메라와 동일한 뷰잉 볼륨을 가진 가상 카메라를 설정할 수 있다.즉, near를 초점거리와 동일한 값으로 설정하고 left, right, bottom, tope 실제 카메라의 CCD 센서 배열의 물리적인 넓이와 높이를 이용하여 시점을 기준으로 상하좌우 대칭적으로 결정하며, 마지막으로 far는 충분히 큰 값으로 설정하여 가상 카메 라가 바라보는 물체가 차단되지 않도록 한다. 이러한 과정으로 두 카메 라의 특성을 같게 하면 두 카메라의 보는 환경이 동일하게 된다[14, 15].
대상 데이터
하더라도 정확한 값을 추출하는 것은 사실상 불가능하다. 실제 협업을 위한 렌더링 영상은 고해상도의 영상으로 렌더링하지만, 준비과정에서 비디오 아바타파 라미터를 구하는 과정에서는 320x240 크기의 영상을 이용하여 시간을 단축하였다. 비디오 아바타파라미터를 구하기 위해서는 5분 정도의 시간이 소요되며 종료 조건을 만족하지 않더라도 에러 그래프에서 급속한 에러 감 소 부분을 지나는 지점에서 종료를 하여도 렌더링의 차이는 사람의 눈으로 크게 느껴지지 않기 때문에 수행시간을 적정히 조정하는 것이 가능하다.
이론/모형
본 논문에서 구현된 시스템은 가상환경을 렌더링하기 위해 Silicon Graphics사의 Onyx I IR을 사용하였고 가상환경에 비디오를 연동하기 위하여 Sirius 비디오보 드를 이용하였다. 가상환경과 객체의 모델링은 Multi- Gen을 이용하였다. Onyx I에 의하여 렌더링 되는 가상 환경은 사용자들에게는 몰입적인 디스플레이 장치인 HMD (Head Mounted Display) 를 통하여 시각적인 정 보로 전달하게 된다.
이러한 형대에 따라서 표현력의 차이가 발생하게 되며, 필요에 따라서는 얼굴을 중심으로 하는 인체의 일부분만을 이용하여 표현하기도 한다. 본 논문에서는 구현하기 용이하면서 참여자를 쉽게 표현할 수 있는 장점이 있는 평면 모델을 비디오 아바타로 사용하였다. 이때 사람을 제외한 다른 영역을 제거하게 되면 비록 비디오 아바타가 다각형에 비디오 매핑한 텍스쳐에 불과하지만 3차원 가상공간 안에서 몰입적이고 사실적인 형태로 설득력 있게 참여자를 표현할 수 있는 수단이 된다.
실제 카메라로 촬영한 영상과 비디오 아바타를 대략적으로 예측된 위치에 놓고 렌더링한 영상과 비교함으로써 최적의 비디오 아바타파라미터를 찾기 위하여 LM(Levenberg-Marquardt) 방법을 사용한다. [12].
성능/효과
배경이 전경과 분리되어 투명하게 입력되는 실시간 비디오 아바타를 가상 환경에 정합하기 위하여 실제 카메라와 가상 카메라의 특성을 같도록 조정하였고 실제 카메라와 가상 카메라가 바라보는 내 용이 가장 유사하게 될 때 적용된 비디오 아바타의 파 라미터를 최적의 값으로 결정하였다. 실험을 통하여 제안된 방법이 수작업으로 정합하던 방법의 한계를 극복 하고 정확한 비디오 아바타 파라미터를 추출할 수 있음을 확인하였다.
후속연구
향후에 진행될 주요 연구 과제로는 비디오 아바타 표 현 방식에서 2차원 평면의 한계를 극복하기 위하여 여러 개의 카메라를 사용하여 보는 위치에 따라 카메라를 변환하는 방식의 도입이나 2.5차원 이상의 비디오 아버]" 타 구현 방식을 적용하여 구현된 시스템에서 좀더 사실 적으로 참여자를 표현하는 것이다. 또한 책상 주변 이외 에 다양한 환경으로 확장에 대한 연구와 참여자간의 시 선 맞춤, 응시 안식, 공간적 암시 등의 상호작용 요소들 을 풍부하게 제공하기 위한 부가적인 방법을 추가하는 것이다.
참고문헌 (16)
Chris Greenhalgh and Steve Benford, 'Supporting rich and dynamic communication in large scale collaborative virtual environments,' Presence: Teleoperators and Virtual Environments, vol. 8, no. 1, pp. 14-35, 1999
Jongwook jin, Moonho Park, Heedong Ko and Hyeran Byun, 'Immersive Telemeeting with Virtual Studio and CAVE,' Proceedings of International Workshop on Advanced Image Technology, pp. 15-20, Daejeon, Korea, February 2001
Ronald Azuma, 'A Survey of Augmented Reality,' Presence: Teleoperators and Virtual Environments vol. 6, no. 4, pp. 355-385, 1997
Paul Milgram and Fumio Kishino, 'A taxonomy of mixed reality visual displays,' IEICE Transactions on Information and Systems, Special issue on Networked Reality, vol. E77-D, no. 12, pp. 1321-1329, 1994
Simon Gibbs, Costas Arapis, Christian Breiteneder, Vali Lalioti, Sina Mostafawy and Josef Speier, 'Virtual Studios: An Overview,' IEEE Multimedia, vol. 5, no. 1, pp. 18-35, 1998
Tetsuro Ogi, Toshio Yamada, Yuji Kurita, Yoichi Hattori and Michitaka Hirose, 'Usage of Video Avatar Technology for Immersive Communication,' Proceedings of First International Workshop on Language Understanding and Agents for Real World Interaction, pp.24-31, Sapporo Japan, July 2003
Youngjung Suh, Dongpyo Hong and Woontack Woo, '2.5D Video Avatar Augmentation for VRPhoto:' Proceedings of International Conference on Artificial Reality and Telexistence, vol.l2, pp.182-18, Tokyo Japan, Dec 2002
Raphael Grasset, Julian Loose and Mark Billinghurst, 'OSGARToolkit: Tangible+Transitional 3D Collaborative Mixed Reality Framework,' Proceedings of International Conference on Artificial Reality and Telexistence, vol. 15, Christchurch New Zealand, Dec 2005
Namgyu Kim, Woontack Woo and Makoto Tadenuma, 'Photo-realistic Interactive 3D Virtual Environment Generation Using Multiview Video:' Proceedings of SPIE PW-EI-VCIP'0I, vol. 4310, pp. 245-254, Jan 2001
Max Ratthaler, 'Virtual Studio Technology: An overview of the possible applications in television programme production:' European Broadcasting Union Technical Review, no 268, Summer 1996
William H. Press, Saul A. Teukolsky, William T. Vetterling and Brian P. Flannery, 'Numerical recipes in C: The art of scientific computing,' Cambridge University Press, 1992
Roger Y. Tsai, 'A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses,' IEEE Journal of Robotics and Automation, vol. RA-3, no.4, pp. 323-344, 1987
James D. Foley, Andries van Dam, Steven K. Feiner and John F. Hughes, 'Computer Graphics: Principle and Practice,' Addison-Wesley Publishing Company, 1990
Mason Woo, Jackie Neider and Tom Davis, 'OpenGL Programming Guide, Second Edition: The Official Guide to Learning OpenGL,' Version 1.1, Addison-Wesley, 1997
George Eckel, Ken Jones and Tammy Domeier, 'OpenGL Perfomer Getting Started Guide,' Silicon Graphics Incorporated Technical Publications Series, November 2000
※ AI-Helper는 부적절한 답변을 할 수 있습니다.