초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문에서 제안하는 가상 영상 삽입 시스템은 카메라의 조작이나 시스템 운영자의 개입 없이 모든 처리 과정이 자동으로 진행된다. 이를 위해 시스템은 경기장 좌표계를 정의하고 삽입할 영상의 크기와 위치를 정하는 과정, 경기장의 특징점들을 추출하는 과정, 경기장 좌표계와 참조 영상의 특징점들로부터 투영 변환 파라미터를 추출하는 과정, 실제 동영상에서 삽입 위치를 찾고 추적하여 가상 영상을 삽입하는 과정을 거치게 된다. 본 논문에서 제안한 시스템의 성능을 검증하기 위해 방송용 NTSC 비디오 데이터를 대상으로 실험을 하였으며 그 결과 각 모듈들과 시스템이 효율적임을 입증하였다.

본 논문에서 제안하는 가상 영상 삽입 시스템은 카메라의 조작이나 시스템 운영자의 개입 없이 모든 처리 과정이 자동으로 진행된다. 이를 위해 시스템은 경기장 좌표계를 정의하고 삽입할 영상의 크기와 위치를 정하는 과정, 경기장의 특징점들을 추출하는 과정, 경기장 좌표계와 참조 영상의 특징점들로부터 투영 변환 파라미터를 추출하는 과정, 실제 동영상에서 삽입 위치를 찾고 추적하여 가상 영상을 삽입하는 과정을 거치게 된다. 본 논문에서 제안한 시스템의 성능을 검증하기 위해 방송용 NTSC 비디오 데이터를 대상으로 실험을 하였으며 그 결과 각 모듈들과 시스템이 효율적임을 입증하였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 논문에서는 경기장 좌표계와 영상 좌표계의 관계를 정립하여 보다 사실적이고 자연스러운 가상 영상의 삽입을 구현하였다. 이를 위해 우선 경기장 모델을 정의하여 좌표계를 설정하고 영상 좌표계의 대응점들로부터 변환파라미터를 추출한 다음 그 파라미터들에 따라 삽입될 가상 영상을 워핑시켰다.
• 본 논문에서는 경기장 필드 영역과 외곽선 추출하여 제한된 영역 내에서 선분 및 특징점들을 추출한다. HSV 컬러 공간에서 양자화 및 Opening, Closing 연산자를 순차적으로 적용하고 최소제곱법을 이용하여 외곽의 방정식을 얻어 필드영역의 추출 결과를 토대로 허프 변환 (Hough Transform)을 이용하여 효율적으로 경기장 내의 특징점을 추출할 수 있게 된다.
• 본 논문에서는 방송용 장비와의 연동을 통해 실제 방송국과 유사한 환경을 구축하여 실험하였다. 우선 입력데이터로서 SONY DigiBeta VCR을 통해 재생되는 다양한 포맷 (SDI, Component, Composite) 의 동영상을 데이터로 사용하였고 입력된 비디오 스트림의 프레임 단위캡쳐 및 실시간 영상 합성을 위해 Matrox사의 Digisuite 보드를 이용하였다.
• 본 논문에서는 스포츠 동영상에 가상 영상을 자연스럽게 삽입할 수 있는 자동화된 시스템을 설계하고 구현하였다. 오프라인/온라인 처리부의 분리로 그 효율성을 높였으며, 삽입 위치의 추적 시에 일부 정보들이 가려질 경우에도 가상 영상을 삽입하는 것이 가능하게 하였다.

제안 방법

• HSV 컬러 공간에서 양자화 및 Opening, Closing 연산자를 순차적으로 적용하고 최소제곱법을 이용하여 외곽의 방정식을 얻어 필드영역의 추출 결과를 토대로 허프 변환 (Hough Transform)을 이용하여 효율적으로 경기장 내의 특징점을 추출할 수 있게 된다.
• 우선 입력데이터로서 SONY DigiBeta VCR을 통해 재생되는 다양한 포맷 (SDI, Component, Composite) 의 동영상을 데이터로 사용하였고 입력된 비디오 스트림의 프레임 단위캡쳐 및 실시간 영상 합성을 위해 Matrox사의 Digisuite 보드를 이용하였다. 또한 Pentium III 700Mhz 듀얼 프로세서와 SCSI 하드디스크를 탑재한 IBM PC를 서버로 채택하였고 서버에서 처리된 동영상 데이터는 NTSC 방송용 모니터를 통해 출력하도록 하였다.
• 상관성의 의한 정합이란 한 영상과 다른 영상 내의 일정한 패턴과의 유사성을 수치로 나타내어 영상을 해석하고자 하는 방법이다. 또한 영상을 보다 고차원적으로 해석하고 객체 겹침이 발생하여 영상에서 사라진 특징점들을 복원하기 위하여 기하학적인 해싱 방법을 이용하였다、
• 본 논문에서 제안하는 시스템은 온라인 상에서의 운영자의 조작을 최소화하기 위해 오프라인 처리부와 온라인처리부로 나누어져 있다. 오프라인 처리부에서는 시스템운영자가 경기장 모델을 정의하고 삽입될 영상의 크기를 선택한 다음, 경기 시작 전 카메라로부터 참조 영상을 받아 둥록해 준다.
• 본 논문에서는 동영상 내에서 삽입 영역을 탐지하고 추적하기 위해 상관성에 의한 정합을 이용하였다. 상관성의 의한 정합이란 한 영상과 다른 영상 내의 일정한 패턴과의 유사성을 수치로 나타내어 영상을 해석하고자 하는 방법이다.
• 구현하였다. 이를 위해 우선 경기장 모델을 정의하여 좌표계를 설정하고 영상 좌표계의 대응점들로부터 변환파라미터를 추출한 다음 그 파라미터들에 따라 삽입될 가상 영상을 워핑시켰다.
• 한편 표 1과 같이 Medioni가 제안한 시스템과 PVI 등의 업체에서 사용하고 있는 시스템을 대상으로 성능을 비교, 분석하였다. 첫 번째, 네 번째 항목이 자연스러운 삽입의 정도, 두 번째, 세 번째 항목이 시스템의 자동화 정도, 다섯 번째 항목이 시스템의 처리 속도를 나타내는 것으로, 그 결과 본 논문에서 제안한 시스템이 가상 영상의 삽입 시 자연스러운 삽입, 시스템 자동화, 시스템의 처리 속도 면에서 상당히 우수함을 입증할 수 있었다.

대상 데이터

• 유사한 환경을 구축하여 실험하였다. 우선 입력데이터로서 SONY DigiBeta VCR을 통해 재생되는 다양한 포맷 (SDI, Component, Composite) 의 동영상을 데이터로 사용하였고 입력된 비디오 스트림의 프레임 단위캡쳐 및 실시간 영상 합성을 위해 Matrox사의 Digisuite 보드를 이용하였다. 또한 Pentium III 700Mhz 듀얼 프로세서와 SCSI 하드디스크를 탑재한 IBM PC를 서버로 채택하였고 서버에서 처리된 동영상 데이터는 NTSC 방송용 모니터를 통해 출력하도록 하였다.

이론/모형

• 3차원 좌표로 구성된 경기장 안에 3차원 객체를 삽입할 수도 있도록, 이 관계를 카메라 보정 (Camera Calibration)의 원리를 이용하여 정의하였다. 추출하고자 하는 변& 파라미터는 동차 좌표계 (Homogeneous Coordinates)를 이용하여 식 (2)와 같이 3x4 행렬 C로 표현할 수 있다.
• 그러나 이러한 상관 계수는 윈도우와 형판 내 점들의 값의 변화에 민감하다는 단점을 가지므로 본 논문에서는 식 (6)의 정규화된 상관 계수(Normalized Correlation Coefficient)를 사용하였다.
• 특징점이 선수에 의해 가려지는 객체 겹침 문제 (Occlusion Problem)를 해결하기 위해 본 논문에서는 객체의 효율적 표현과 정합을 이용한 기하학적 해싱[6]의 개념을 이용하였다. k개의 필요한 기준점을 k-basis라 하고 그 기준에 대해 나머지 모든 점들의 상대 좌표를 계산하여 해시 테이블에 저장한다.

성능/효과

• 해소하였다. 또한 정확하면서도 빠른 알고리즘을 제안하여 온라인 상에서의 고속 처리를 가능하게 하였다.
• 본 논문에서 제안하는 가상 영상 삽입 시스템은 경기장 모델을 이용함으로써 정확한 파라미터에 근거한 영상변형을 통해 보다 정확하고 사실적인 가상 영상을 생성할 수 있을 뿐만 아니라 시스템 운영자가 가상 영상을 수동으로 변형시켜 생성해야 하는 불편함을 해소하였다. 또한 정확하면서도 빠른 알고리즘을 제안하여 온라인 상에서의 고속 처리를 가능하게 하였다.
• 삽입할 수 있는 자동화된 시스템을 설계하고 구현하였다. 오프라인/온라인 처리부의 분리로 그 효율성을 높였으며, 삽입 위치의 추적 시에 일부 정보들이 가려질 경우에도 가상 영상을 삽입하는 것이 가능하게 하였다.
• 분석하였다. 첫 번째, 네 번째 항목이 자연스러운 삽입의 정도, 두 번째, 세 번째 항목이 시스템의 자동화 정도, 다섯 번째 항목이 시스템의 처리 속도를 나타내는 것으로, 그 결과 본 논문에서 제안한 시스템이 가상 영상의 삽입 시 자연스러운 삽입, 시스템 자동화, 시스템의 처리 속도 면에서 상당히 우수함을 입증할 수 있었다.

후속연구

• 우선 경기장 모델을 사용하고자 할 경우 필드 안의 선분들이나 특징점이 존재해야 하므로 그렇지 않은 영역에서는 본 논문에서 제안하는 방법을 사용할 수 없다는 제약을 가진다. 또한 생중계되는 스포츠 동영상에 가상 영상 올 삽입하고자 한다면 실시간으로 처리, 즉 초당 30 프레임 이상을 처리해야 한다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기