영화 등에서 컴퓨터그래픽 기술은 전체 흐름의 중심을 차지하는 핵심적인 요소이며, 미국 등에서 개발된 첨단 영상 기술을 바탕으로 디지털콘텐츠 산업을 견인하면서 비약적인 성장을 이루고 있다. 그러나 국내의 경우, 영상 콘텐츠의 제작 과정에서 연구개발을 병행하기 어려운 열악한 상황이고 해외 상용 툴에 대한 의존도가 높고, 노동 집약적인 제작 파이프라인(pipeline)으로 구성되어 있다. 이러한 문제점을 극복하기 위하여 개발된 하드웨어 및 소프트웨어 연구 결과물을 기술하였으며, 개발된 시각효과 기술을 바탕으로 시범 콘텐츠("The Sixty-miles-an-hour man")의 제작 과정을 정리하였다. 특히 정확한 카메라 모션추적 및 자연스러운 영상합성이 이루어지도록 실제의 동적 환경에서의 다양한 촬영 및 기술적 요소를 고려하였다. 또한 시나리오를 작성하는 과정에서 기술 개발자와 콘텐츠 제작자간의 상호이해와 협력이 중요하며, 이를 통해 제작현장에서 핵심 기술 요소의 도출 등의 중요성을 확인하였다. 그리고 제작효율성을 높이기 위해 필요한 요소기술을 도출해 제작환경의 구조개선 및 확장 가능성 등에 대한 고려가 요구된다.
영화 등에서 컴퓨터그래픽 기술은 전체 흐름의 중심을 차지하는 핵심적인 요소이며, 미국 등에서 개발된 첨단 영상 기술을 바탕으로 디지털콘텐츠 산업을 견인하면서 비약적인 성장을 이루고 있다. 그러나 국내의 경우, 영상 콘텐츠의 제작 과정에서 연구개발을 병행하기 어려운 열악한 상황이고 해외 상용 툴에 대한 의존도가 높고, 노동 집약적인 제작 파이프라인(pipeline)으로 구성되어 있다. 이러한 문제점을 극복하기 위하여 개발된 하드웨어 및 소프트웨어 연구 결과물을 기술하였으며, 개발된 시각효과 기술을 바탕으로 시범 콘텐츠("The Sixty-miles-an-hour man")의 제작 과정을 정리하였다. 특히 정확한 카메라 모션추적 및 자연스러운 영상합성이 이루어지도록 실제의 동적 환경에서의 다양한 촬영 및 기술적 요소를 고려하였다. 또한 시나리오를 작성하는 과정에서 기술 개발자와 콘텐츠 제작자간의 상호이해와 협력이 중요하며, 이를 통해 제작현장에서 핵심 기술 요소의 도출 등의 중요성을 확인하였다. 그리고 제작효율성을 높이기 위해 필요한 요소기술을 도출해 제작환경의 구조개선 및 확장 가능성 등에 대한 고려가 요구된다.
Visual effect production by computer graphics techniques has become more important in these days. However, there are three problems in the domestic contents production environments. First of all, most Korean film companies have insufficient generally potential to maintain and support their R&D (Rese...
Visual effect production by computer graphics techniques has become more important in these days. However, there are three problems in the domestic contents production environments. First of all, most Korean film companies have insufficient generally potential to maintain and support their R&D (Research and Development) teams. Secondly, they are much dependent on the abroad commercial software tools. Finally, many people have to participate in the image production pipeline, called the labor-intensive pipeline. In producing a demonstration work, "The Sixty -miles-an-hour man", we have evaluated the usefulness of the developed camera tracking and image composition methods and then examined various production consideration elements. In addition, in order to develop a productive technical element and write a competitive film script, mutual understanding between the developers and the production users should be achieved. Also, this paper describes a role of the technical supervisor to direct the production environment in detail.
Visual effect production by computer graphics techniques has become more important in these days. However, there are three problems in the domestic contents production environments. First of all, most Korean film companies have insufficient generally potential to maintain and support their R&D (Research and Development) teams. Secondly, they are much dependent on the abroad commercial software tools. Finally, many people have to participate in the image production pipeline, called the labor-intensive pipeline. In producing a demonstration work, "The Sixty -miles-an-hour man", we have evaluated the usefulness of the developed camera tracking and image composition methods and then examined various production consideration elements. In addition, in order to develop a productive technical element and write a competitive film script, mutual understanding between the developers and the production users should be achieved. Also, this paper describes a role of the technical supervisor to direct the production environment in detail.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이런 과정을 통해 현장의 요구를 충분히 수용하여 기술의 추가 개발 및 최적화 등이 진행되었으며, 기술의 완성도를 향상시킬 수 있었다. 또한 여건상 연구개발에 직접 투자하기 힘든 국내현실과 해외상용기술 의존에 따른 문제점을 해결하기 위해 협력방안을 모색하였다. 향후 이러한 연구는 디지털콘텐츠의 제작에 있어 비용절감과 함께 시각효과의 질적 성장을 가능하게 함으로써 관련 산업에 기여는 물론, 이후 효율적인 제작 파이프라인 구축에 활용될 수 있다.
영화나 CF, 방송 콘텐츠 등의 CG 합성 장면에서 현실감을 높이기 위해서는 애니메이션, 랜더링 등의 CG 요소에서 품질을 높이는 것 뿐 아니라 실사 영상 촬영시 카메라 움직임을 역동적으로 연출하는 것 역시 중요하다. 본 논문에서는 동적인 환경에 CG/실사 합성의 어려움을 해결하는 방법을 제안하여 CG로봇과 실사 배우가 호흡을 맞추는 시범콘텐츠를 제작 하였으며 제작된 콘텐츠는 2010년 SIGGRAPH 아시아 에이메이션 페스티벌에 상영되어 우수성을 입증받았다.
디지털 시각효과는 디지털 컴퓨팅 성능의 향상으로 인해 영상 표현의 기존 한계를 극복하고 있으며, 이를 통해 디지털 콘텐츠 시장의 급성장을 가능하게 하였다. 본 논문에서는 디지털콘텐츠의 제작 과정에서 시각효과 제작상의 비효율적인 부분을 예술과 공학의 접목을 통해 해결하려는 시도를 하였다. 그리고 기획단계에서부터 기술적용 및 영상제작에 이르기까지 개발 기술을 검증하는 절차와 실무적용에서 발생하는 문제점을 파악하여 실험단편영화를 통해 입증하는 과정을 진행하였다.
본 논문은 제작 프로세서상의 비효율성 개선을 목표로 개발 기술을 콘텐츠에 적용하는 과정을 통해 효율적인 시각효과 제작 가이드 제시를 목표로 한다. 구체적으로 영상 합성의 효율성을 증대하기 위한 후반 작업의 형상화와 규격화의 필요성을 규정하고, 실제 기술개발 및 시범콘텐츠 제작의 효율성과 편이성을 높이는데 중점을 두어 검증을 시도하였다.
영상 합성과정에서 반드시 수반되는 카메라 추적 및 합성 과정의 비효율적인 수작업 공정을 개선하고, 연출자가 카메라 모션추적 및 합성의 문제로부터 자유로운 장면을 구성할 수 있도록 표현의 범위를 확대시키기 위한 연구가 진행되었으며, 본장에서는 연구결과가 시범 콘텐츠 제작에 직접 활용된 배경을 설명하고 개발기술의 우수성을 상용툴과의 비교를 통해 설명한다.
제안 방법
CFS의 한 원소인 특징점 궤적 xi에 대해서 관찰 프레임이 중복되지 않는 다른 특징점 궤적들과 패치영상에 대한 상호 상관도(cross correlation)를 계산하고 그 결과가 일정 임계값 이상인 경우 xi에 대한 SFS(Similar Feature Set)에 포함한다. SFS의 각 원소xj 에 대해서 xi와 삼각법[7]에 의해서 결정되는 3차원 좌표를 결정하고 이렇게 복원한 3차원 포인트를 각 프레임에서 재사영 시켰을 때 좌표와 일정 오차 이하를 갖는 SFS안의 다른 특징점 궤적을 인라이어(inlier)로 간주하고 그 개수를 계산한다. 가장 많은 인라이어를 갖는 xj를 찾고 이때 복원되었던 Xi,j를 신뢰할 수 있는 배경 3D 포인트로 간주하며 이때의 인라이어들을 xi의 궤적에 연결하고 CFS에서 제거한다.
본 논문은 제작 프로세서상의 비효율성 개선을 목표로 개발 기술을 콘텐츠에 적용하는 과정을 통해 효율적인 시각효과 제작 가이드 제시를 목표로 한다. 구체적으로 영상 합성의 효율성을 증대하기 위한 후반 작업의 형상화와 규격화의 필요성을 규정하고, 실제 기술개발 및 시범콘텐츠 제작의 효율성과 편이성을 높이는데 중점을 두어 검증을 시도하였다. 특히 영상제작에 있어 CG-실사 합성을 위한 카메라 추적 및 합성기술을 개발함으로써 비효율적인 수작업 기반의 영상합성의 어려움을 해결할 수 있도록 방향을 제시하고 구체적인 콘텐츠 개발을 통해 입증한다.
본 논문에서는 디지털콘텐츠의 제작 과정에서 시각효과 제작상의 비효율적인 부분을 예술과 공학의 접목을 통해 해결하려는 시도를 하였다. 그리고 기획단계에서부터 기술적용 및 영상제작에 이르기까지 개발 기술을 검증하는 절차와 실무적용에서 발생하는 문제점을 파악하여 실험단편영화를 통해 입증하는 과정을 진행하였다.
이렇게 구해진 카메라 내부변수와 상대적인 위치관계는 실제 작업 영상이 촬영되는 동안 일관되게 유지되어야 한다. 두 카메라간의 위치관계가 단단히 고정된 상태에서 메인 카메라와 보조 카메라를 동시에 촬영하며 최종 결과물에 사용될 실사 영상을 촬영한다. 다음 단계는 보조 카메라의 움직임 변수를 계산하고 이 정보를 주 카메라의 움직임 변수로 변환하는 작업이다.
[그림 12]는 변종 의사 부부에 의해 교체된 환자의 다리를 나타낸다. 디지털 합성 기술에 의해 정교하게 CGI/실사 합성을 고려하여 제작 되었다. 수술보조로봇은 환자의 수술을 돕는 역할을 하게 되는데, 역동적으로 움직이면서 실사 이미지와 자연스럽게 합성되도록 하였고, 카메라 추적을 방해하는 투명 커튼 뒤의 CGI 합성요소로 사용된다.
또한 “The Sixty-miles-an-hour man”의 콘텐츠 개발사례를 들어 기술개발의 필요성 및 적용사례를 분석하며, 제작효율 및 디지털 영상 콘텐츠의 제작 가이드를 제시한다.
그렇기 때문에 보조 카메라의 영상 정보 뿐 아니라 메인 카메라의 영상 정보까지 활용하여 카메라 움직임 변수를 최적화 하는 과정이 필요하다. 보조 카메라로부터 변환한 메인 카메라 움직임 정보를 바탕으로 메인 카메라 영상에서 관찰되는 특징점 궤적의 3차원 위치를 예측가능하고 보조 카메라의 특징점 궤적 정보와 함께 무리조정[6] 작업에 입력으로 넣으면 두 카메라의 최종 움직임 변수를 계산한다. 이 때 메인 카메라 영상에서 역동적으로 움직이는 전경객체로 인해 특징점 궤적이 파편적으로 분리되는 현상이 발생한다.
본 절에서는 “The Sixty-miles-an-hour man”의 많은 Shot 중에서 카메라추적 및 영상 합성기술이 적용된 대표적인 shot을 분석하여 기획 배경, 테스트 과정, 기술적용, 완성 단계까지 분석한다.
이 때 메인 카메라 영상에서 역동적으로 움직이는 전경객체로 인해 특징점 궤적이 파편적으로 분리되는 현상이 발생한다. 이 문제를 해결하기 위해서 다음 장에서 설명하는 새로운 특징점 연결 및 3차원 위치 추정 방법을 제안한다.
이를 해결하기 위하여 거울을 이용하는 Kumar의 보정방식[5]을 사용하여 해결하였다. 이 방법은 활용할 때는 [그림 3]과 같이 보조 카메라는 바닥의 패턴 보드를 바라보고 촬영 카메라는 전방을 바라보는 상황에서 거울을 이리저리 움직이며 여러 각도의 거울에 비치는 패턴보드의 모습을 주 카메라에 촬영시키고 이들 영상을 이용하여 두 카메라간의 상대적인 위치관계를 계산한다.
구체적으로 영상 합성의 효율성을 증대하기 위한 후반 작업의 형상화와 규격화의 필요성을 규정하고, 실제 기술개발 및 시범콘텐츠 제작의 효율성과 편이성을 높이는데 중점을 두어 검증을 시도하였다. 특히 영상제작에 있어 CG-실사 합성을 위한 카메라 추적 및 합성기술을 개발함으로써 비효율적인 수작업 기반의 영상합성의 어려움을 해결할 수 있도록 방향을 제시하고 구체적인 콘텐츠 개발을 통해 입증한다.
이론/모형
다음 단계는 보조 카메라의 움직임 변수를 계산하고 이 정보를 주 카메라의 움직임 변수로 변환하는 작업이다. 보조 카메라에서의 카메라 움직임 추출은 [8]의 방법을 사용하여 메인 카메라 영상에서의 특징점 궤적 정보로부터 카메라 움직임 변수 및 배경 특징점의 3차원 위치정보를 계산한다.
2m 정도의 패턴 보드만으로 두 카메라간의 상대적인 위치관계를 계산하는 방법이 필요하다. 이를 해결하기 위하여 거울을 이용하는 Kumar의 보정방식[5]을 사용하여 해결하였다. 이 방법은 활용할 때는 [그림 3]과 같이 보조 카메라는 바닥의 패턴 보드를 바라보고 촬영 카메라는 전방을 바라보는 상황에서 거울을 이리저리 움직이며 여러 각도의 거울에 비치는 패턴보드의 모습을 주 카메라에 촬영시키고 이들 영상을 이용하여 두 카메라간의 상대적인 위치관계를 계산한다.
비전센서 카메라를 이용한 매치무빙 시스템은 작업 영상 촬영 전 두 카메라의 내부변수와 상대적인 위치정보 계산을 위한 보정영상 촬영으로 시작한다. 카메라 내부변수 계산 문제는 다수의 체크보드 영상을 이용하는 Zhang의 카메라 보정 방식[4]을 이용하여 해결한다. 메인 카메라와 보조 카메라간의 상대적인 위치관계 계산 문제는 두 카메라간의 각도차이가 작은 경우 하나의 넓은 패턴 보드를 동시에 촬영한 영상을 통해 선형적으로 계산 가능하다.
성능/효과
기존 상용 툴인 ‘Shake’ ,’NukeX’ 등으로 제작하는 경우 시퀀셜(sequential)한 자동 추적 기능이 없고 각 프래임별로 키를 생성하면서 알파 매트를 추출하는 등의 많은 수작업이 요구된다. Adobe After Effetc CS5에 탑재된 새로운 기술인 Roto Brush Tool을 사용할 수도 있었으나 성능 테스트 결과 매 프레임 시뮬레이션 하는데 너무 많은 시간이 소요되었고, 많은 메모리 용량도 요구되었다. 그리고 에지 부분이 깨끗하게 빠지지 않기 때문에 Noise 및 플리컬링(flickering)을 없애는데 많은 시간이 요구되는 상황이었다.
연구 개발 단계에서 문제인식 및 충분한 수요 조사를 기반으로 사용자 편의를 생각한 연구 개발을 진행하였고, 사용자 입장에서 아이디어를 내고 데모 콘텐츠 제작을 통해 검증하면서 진행하였지만, 연구자와 사용자 간의 입장차가 분명 존재하였고, 중간에서 이런 입장차를 줄이고 상호 이해와 조화를 이루게 하여, 실용 적인 연구개발이 될 수 있도록 조율함을 확인하였다.
이런 과정을 통해 현장의 요구를 충분히 수용하여 기술의 추가 개발 및 최적화 등이 진행되었으며, 기술의 완성도를 향상시킬 수 있었다. 또한 여건상 연구개발에 직접 투자하기 힘든 국내현실과 해외상용기술 의존에 따른 문제점을 해결하기 위해 협력방안을 모색하였다.
그리고 에지 부분이 깨끗하게 빠지지 않기 때문에 Noise 및 플리컬링(flickering)을 없애는데 많은 시간이 요구되는 상황이었다. 이런 부분에서 직접 개발된 툴을 사용 하게 됨으로써 상당부분 시간과 비용을 절감 할 수 있었고 커튼의 빠른 움직임으로 인한 에지 부분의 블러까지도 자연스럽게 추출하여 합성할 수 있었다. [그림 16]은 객체 추적에 의한 로토스코핑 사용예를 나타낸다.
후속연구
이와 비슷한 기술로 미국 ILM사에서 개발한 iMoCap[9] 시스템은 영화 ‘캐리비안의 해적-망자의 함’에서 디지털 분장에 활용된데 이어 최근의 영화 ‘아이언 맨’에서도 배우의 몸과 CG로 만든 기계부위의 연결을 자연스럽게 합성하는데 이용되었으나 이 시스템은 ILM 내부에서만 쓰이며 시스템 구성이나 스펙은 알려진 바가 없다. 이 기술은 모션캡쳐 장비의 떨림 현상을 극복한다면 실내뿐만 아니라 야외에서도 현장에서 배우의 연기를 직접 보면서 CG를 합성해 볼 수 있는 큰 가능성을 발견 하였고, 관련 업계에 적용 된다면 제작효율성을 크게 개선할 것으로 예상된다.
또한 여건상 연구개발에 직접 투자하기 힘든 국내현실과 해외상용기술 의존에 따른 문제점을 해결하기 위해 협력방안을 모색하였다. 향후 이러한 연구는 디지털콘텐츠의 제작에 있어 비용절감과 함께 시각효과의 질적 성장을 가능하게 함으로써 관련 산업에 기여는 물론, 이후 효율적인 제작 파이프라인 구축에 활용될 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
시각효과(visual effect)는 무엇인가?
시각효과(visual effect)는 카메라를 이용해 촬영할수 없는 영상을 표현하는 방법을 의미한다. 작가의 상상력을 영상에 담아내기 위해 다양한 기법들이 연구 되었으며, 동 시대의 첨단 과학 기술과 결합이 되어 왔다.
Boujou, PFtrack, Syntheyes 등의 매치무빙 SW는 어떤 상황에서 좋은 성능을 보이는가?
이들 매치무빙 SW들은 동영상만을 입력으로 촬영시 카메라 내부변수, 카메라 외부변수, 배경의 3차원 포인트 등을 출력한다. 그러나 이러한 상용 SW들은 모두 정적인 배경화면이 연속적으로 보이는 상황에서 좋은 성능을 보이며 아래 [그림 1]과 같이 동적인 전경 객체(사람)이 배경 화면 전체를 가리며 지나가는 상황에서는 카메라 모션이 끊어지거나 제대로 예측되지 않는다.
카메라 보정(calibration)은 어떤 과정인가?
촬영된 영상 시퀀스로부터 카메라 내부변수(focal length, principal point, skew)와 외부변수(translation, rotation)를 추출하는 과정을 카메라 보정(calibration)이라 하며, 카메라 내부변수를 알고 있는 상태에서 움직임 변수인 외부변수만을 추출하는 과정을 카메라 추적이라고 한다[1].
참고문헌 (9)
M. Pollefeys, L. Van Gool, M. Vergauwen, F. Verbiest, K. Cornelis, J. Tops, and R. Koch, "Visual Modeling with a Hand-held amera," International Journal of Computer Vision. Vol.59, No.3, pp.207-232, 2004.
R. K. Kumar, A. Ilie, J. Frahm, and M. Pollefeys. Simple Calibration of Non-overlapping Cameras with a Mirror. In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2008.
R. I. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge Press, Vol.2, Appendix 6, 2003(11).
R. I. Hartley and P. Sturm, Triangulation. Technical paper.
M. Pollefeys, L. Van Gool, M. Vergauwen, F. Verbiest, K. Cornelis, J. Tops, and R. Koch, Visual Modeling with a Hand-held Camera. In International Journal of Computer Vision. Vol.59, No.3, pp.207-232, 2004.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.