[논문]실시간 가상이미징 시스템

남승진; 오주현; 박성춘

실시간 가상이미징 시스템
A Real-time Virtual Imaging System 원문보기

남승진 (KBS 기술연구소) , 오주현 (KBS 기술연구소) , 박성춘 (KBS 기술연구소)

최근에 TV의 축구, 야구와 같은 스포츠 중계 방송에서 팀의 로고나 점수, 거리와 같은 그래픽 정보를 운동장에 합성시켜 보여주는 새로운 기술이 사용되고 있다. 이는 증강현실(AR: Augmented Reality)의 한 분야인 실시간 이미징 합성 기법을 사용한 것으로서 일반적으로 가상이미징 시스템이라 불리운다. 본 논문에서는 방송용 카메라의 렌즈와 팬(pan), 틸트(tilt) 축에 센서를 부착하여 이를 해석함으로써, 실시간으로 3차원 그래픽 좌표계의 가상 카메라를 제어하는 센서기반 가상이미징 시스템의 구현 결과와 관련기술을 소개한다. KBS 기술연구소에서는 실시간 가상이미징 시스템을 개발하여 'VIVA(Virtual Imaging & Virtual Advertising)'라 이름지었다. 이 시스템은 렌즈 데이터에 근거하여 카메라 캘리브레이션을 수행하며, 주밍(zooming)시 발생하는 카메라의 시점(view point) 변화를 반영하여 원거리 촬영이 이루어지는 스포츠 중계뿐만 아니라 보다 정확성이 요구되는 스튜디오 내의 근거리 프로그램 제작에도 사용이 가능하다. 합성되는 그래픽은 실세계와 같은 완전한 3차원 좌표 공간에 놓이게 되며, 월드 좌표계와 카메라 좌표계를 이용하여 사전 제작된 오브젝트들을 원하는 곳에 위치시킬 수 있다. 실사와 그래픽의 효과적인 합성을 위하여 오버레이(overlay) 모드는 물론 알파키(alphakey)와 크로마키(chromakey)를 조합한 모드를 사용하였다. VIVA는 2002년 부산 아시안 게임에서 수영과 양궁 중계에 활용하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 KBS 기술연구소가 개발한 가상이 미징 시스템 WIVA, 의 구현 기 술을 소개하였다. 센서 에 기 반한 가상이 미징 시스템 VIVA 는 카메 라의 움 직임에 상관없이 안정된 화면을 제공한다.
KBS 기술연구소에서는 센서에 기반하고 3차원 그래픽 환경에서 운용되는 가상이미징 시스템을 개발 하여 VlVA(Virtual Imaging & Virtual Advertising)라 이름 지었다. 본 논문에서는 VIVA 의 구현과 관련기술을 소개한다.
이러한 과정을 통상적으로 카메라 캘리브레이션이라 지칭한다. 본 논문에서는 일 본 Fujinon 사의 A15x8 방송용 줌 렌즈에 대한 캘리브 레이션 과정을 기술한다.

가설 설정

방송용 렌즈의 경우 제조사로부터 렌즈의 특성을 기 록한 데이터 시트를 입수할 수 있는데, 이 경우에는 아래의 수식으로 시점을 구할 수 있다. 이는 카메라의 시점이 렌즈의 허상이 생기는 곳에 존재한다고 가정 한 것이다.

제안 방법

VIVA 운용 소프트웨어는 윈도 NT 운영체제 상에서 Microsoft 사의 Visual C++™ 와 Getris Images 사의 PSY SDK™ 를 바탕으로 작성하였다. PSY SDK 를 이용하여 3차원 rt래픽의 생성과 변환, 텍스처 매핑 (mapping)을 처리하였다. PSY SDK 는 Discreet 사의 3ds Max ™ 플러그 인을 통하여 최종 렌더링할 오브젝트 의 위치, 모양 등과 같은 정보를 실시간으로 계산한다.
VIVA 운용 소프트웨어는 윈도 NT 운영체제 상에서 Microsoft 사의 Visual C++™ 와 Getris Images 사의 PSY SDK™ 를 바탕으로 작성하였다. PSY SDK 를 이용하여 3차원 rt래픽의 생성과 변환, 텍스처 매핑 (mapping)을 처리하였다.
VIVA 에서는 첫번째 비디오 입력 소스를 PC 에 장착된 DDR(Digital Disk Recorder) 줄력에 연결하여 운동장에 가상의 전광판을 세우는 효과와 같이 고품 질의 그래픽 애니메이션을 표시하는 용도로 사용하고 있다. 두번째 입력은 전광판에 표시되는 MC 영상과 같은 외부 비디오를 입력 받을 수 있도록 하였다. PSY 엔진은 PC 에서 계산된 오브젝트 정보를 바탕으로 최 종 장면을 렌더링(rendering)한다.
크로마키 제어모듈은 그래픽 오브젝트가 카메라 영상 안에 자연스럽게 합성되도록 색상(hue)과 범위 (acceptance), 키 이득(key gain) 등의 파라미 터를 조절하는 인터페이스를 제공한다. 설정된 파라미터들은 리스 트에 등록되어 항상 선택이 가능하도록 함으로써, 그 래픽 오브젝트가 초록색의 운동장이나, 푸른색의 울타리와 같이 다양한 장소에 즉시 합성될 수 있도록 하였다. 크로마키 모듈은 2 가지 합성 모드를 제공한다.
합성 방법으로는 오버레이 모드를 포함하여 크로마키와 알파키를 조합한 모드를 사용하였다. 실제 세계와 동일한 3차원 그래픽 좌표계를 사용하여 직관 적인 사용이 가능하도록 하였으며, 실제 영상 내에 그 래픽 오브젝트를 위치시키기 위하여 월드 좌표계와 카메라 좌표계를 이용할 수 있도록 하였다. DDR 과 크 로마키, 애니메이션을 최종 장면과 연계하여 제어하도 록 함으로써, 직관적이고 편리한 운용환경을 제공하도 록 노력하였다.
줌, 포커스에 따른 화각 변화량은 실험을 통해서 얻을 수도 있고, 렌즈의 데이터 시트를 이용해서 계산 할 수도 있다. 실험을 통한 방법은 같은 공간 좌표계 상의 실제 물체와 그래픽 물체를 합성하여 두 물체의 정합된 상태를 비교해가며 진행한다. 즉, 임의의 크기의 실제 물체를 공간상에 배치한 후, 3차원 그래픽 상 에서도 동일한 크기의 가상 오브젝트를 동일한 좌표 에 위치시킨 다음, 각각의 줌과 포커스 단계에서 가상 카메라의 화각을 조절하여, 실제와 가상 물체를 일치 시키는 작업을 수행한다.
따라서, 딜레 이 시간은 프레임단위로 정확히 계산되지 않는다. 이 의 보정을 위해서 이전 카메라 데이터와 현재의 카메 라 데이터에 가중치를 부여하여 계산하는 방법을 사용하였다.
센서로부터 데이터를 입력 받아 그래픽을 생성하는 과정에서 3 프레임(frame) 정도의 시간 지연이 발생 한다. 이를 보상하기 위하여 디지털 프레임 딜레이 장 비를 사용하여 카메라 영상을 그래픽 생성시간 만큼 인위적으로 지연시켰다.
센서 에 기 반한 가상이 미징 시스템 VIVA 는 카메 라의 움 직임에 상관없이 안정된 화면을 제공한다. 정확한 카 메라 캘리브레이션을 위하여 렌즈의 데이터 시트를 바탕으로 주밍시 발생하는 시 점과 화각 변화를 계산 하였다. 합성 방법으로는 오버레이 모드를 포함하여 크로마키와 알파키를 조합한 모드를 사용하였다.
실험을 통한 방법은 같은 공간 좌표계 상의 실제 물체와 그래픽 물체를 합성하여 두 물체의 정합된 상태를 비교해가며 진행한다. 즉, 임의의 크기의 실제 물체를 공간상에 배치한 후, 3차원 그래픽 상 에서도 동일한 크기의 가상 오브젝트를 동일한 좌표 에 위치시킨 다음, 각각의 줌과 포커스 단계에서 가상 카메라의 화각을 조절하여, 실제와 가상 물체를 일치 시키는 작업을 수행한다. 이 방법은 줌과 포커스가 상호 연계되어 화각에 영향을 미치므로, 각각의 파라미 터를 정확하게 추출하는 것이 어렵다.
카메라 영상과 그래픽을 합성하기 위하여 크로마 키 장비 를 사용하였다. 크로마키어는 카메 라 영 상의 특정 색상 부분을 그래픽으로 실시간 대체하며, 다른 색상의 물체가 그래픽 앞에 합성될 수 있도록 한다.
VIVA 는 출 발직전 수영장 바닥에 국기를 표시해 줌으로써, 시청 자가 보다 직관적으로 출전선수 들의 국가 분포와 선 수의 레인 위치를 파악할 수 있도록 하였다. 특히, 국 기를 오버레이 모드가 아닌 크로마키로 합성하여, 선 수들이 물속에 있는 동안에도 자연스러운 경기 장면 을 보여줄 수 있도록 하였다.
팬과 틸트 축을 카메라의 수평, 수직 기준위치로 선정하였으며, 현재의 카메라 시점은 카메라 위치(X。 yc, Zc)에 줌에 따른 시점의 변이(4L)를 반영하여 계산 하였다.
정확한 카 메라 캘리브레이션을 위하여 렌즈의 데이터 시트를 바탕으로 주밍시 발생하는 시 점과 화각 변화를 계산 하였다. 합성 방법으로는 오버레이 모드를 포함하여 크로마키와 알파키를 조합한 모드를 사용하였다. 실제 세계와 동일한 3차원 그래픽 좌표계를 사용하여 직관 적인 사용이 가능하도록 하였으며, 실제 영상 내에 그 래픽 오브젝트를 위치시키기 위하여 월드 좌표계와 카메라 좌표계를 이용할 수 있도록 하였다.

이론/모형

2002년 부산 아시안 게임의 수영과 양궁 중계방 송에 VIVA 를 사용하였으며, 그림 11에 그 장면들을 발췌하여 표시하였다.
그래픽의 생성과 실시간 변환을 위하여 프랑스 Getris Images 사의 PSY 장비를 사용하였다.PSY 장비는 제어 PC 와 그래픽 엔진으로 분리된다.

후속연구

가상이미징 시스템을 효과적으로 사용 하기 위해서는 시스템을 단순화하고 그래픽 성능을 높이는 것이 필요하다. 이를 바탕으로 앞으로는 오락 이나 교양 프로그램 제작에도 사용이 가능할 것으로 생각되며, VIVA 의 이름이 의미하듯이 가상광고가 허 용되면 방송사의 새로운 수입원으로 그 중요성이 증 대될 것으로 예상된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

실시간 가상이미징 시스템
A Real-time Virtual Imaging System 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

이론/모형

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

실시간 가상이미징 시스템 A Real-time Virtual Imaging System 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

이론/모형

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

실시간 가상이미징 시스템
A Real-time Virtual Imaging System 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper