[논문]옵티컬 플로우와 마스킹에 의한 실시간 인터렉티브 비디오 개발

김태희

doi:10.5392/jkca.2011.11.6.098

옵티컬 플로우와 마스킹에 의한 실시간 인터렉티브 비디오 개발
Development of Interactive Video Using Real-time Optical Flow and Masking 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.11 no.6, 2011년, pp.98 - 105

초록
AI-Helper

최근의 기술발달은 개인용 컴퓨터를 이용하여 실시간 영상처리 및 특수효과 처리를 가능하게 하였다. 본 논문에서는 개인용 컴퓨터를 이용하여 제작하고 시연한 실시간 인터렉티브 비디오 시스템을 기술하고 분석한다. 본 작품의 동기는 해변에서 파도가 부서지는 시각적 모습으로 부터 파도소리를 대체하는 사운드를 생성하고 자연과 하나가 되어가는 경험을 제공하기 위한 것이다. 이를 위하여 해변의 모습을 촬영한 실사 영상을 컴퓨터 비젼 기법인 옵티컬 프로우(Optical Flow)에 의하여 처리함으로써 프레임간의 변화에 대한 정보를 얻어 이를 카메라에서 실시간으로 캡쳐 받은 관객의 실루엣 이미지와 마스킹(masking)에 의하여 결합하고 그 결과를 프로젝터를 통하여 보여준다. 결과 이미지의 특성을 반영하여 미디 피아노 사운드가 함께 생성된다. 이는 하나의 인터렉티브 비디오 작품으로써 의도된 개념을 반영하여 상호작용 공간을 창출한다.

Abstract ▼ AI-Helper

Recent advances in computer technologies support real-time image processing and special effects on personal computers. This paper presents and analyzes a real-time interactive video system. The motivation of this work is to realize an artistic concept that aims at transforming the timeline visual variations in a video of sea water waves into sound in order to provide an audience with an experience of overlapping themselves onto the nature. In practice, the video of sea water waves taken on a beach is processed using an optical flow algorithm in order to extract the information of visual variations between the video frames. This is then masked by the silhouette of an audience and the result is projected on a gallery space. The intensity information is extracted from the resulting video and translated into piano sounds accordingly. This work generates an interactive space realizing the intended concept.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

컴퓨터 기술의 발달은 이와 같은 실시간 영상처리와 이미지 생성을 일반인들이 사용하는 성능의 개인용 컴퓨터를 이용해서도 가능하게 하고 있다. 본 논문에서는 개인용 컴퓨터를 이용하여 제작하고 시연한 인터렉티브 비디오 시스템을 기술하고 분석한다. 본 시스템에서는 바닷가 파도치는 모습을 담은 실사 영상을 컴퓨터 영상처리 기법인 옵티컬 프로우(Optical Flow)[2]에 의하여 처리함으로써 변화하는 속성만을 이미지로 얻어 낸다.
본 시스템은 하나의 인터렉티브 비디오 작품으로써 갤러리 공간에서의 전시를 목적으로 제작되었다. 최종 단계에서 표현되는 형태는 사람과 자연이 중첩되어 만들어내는 영상과 피아노 사운드이다.
영상에서 관객의 실루엣에 해당하는 오려진 부분이 가지는 파도의 변화 정보는 피아노 사운드 생성을 위한 파라미터로 이용되어 파도소리를 시뮬레이션한다. 사람과 자연의 상호 의존성을 개념으로 표현하고자 하였다. 아래에서 그 기술적인 상세 내용을 정리한다.

제안 방법

컴퓨터기술의 발달로 일반적인 개인용 컴퓨터에서도 실시간 화성처리와 비디오 처리가 가능하여 적은 비용과 노력으로 비교적 쉽게 시스템을 구현할 수 있다. 다음 절에서는 디지털미디어 프로그램 환경인 Max/MSP Jitter를 이용하여 제작한 인터렉티브 비디오 시스템을 설명하고 분석한다.
시스템에 의한 이진화가 성공적으로 이루어져 관객의 실루엣이 온전하게 얻어지기 위하여 관객은 카메라에게 최대한 어둡게 보여 질 필요가 있다. 본 설치에서는 약간의 역광을 채택하여 카메라에게 관객은 다소 검게 비치게 함으로써 관객이 시스템에 의하여 성공적으로 인지되도록 하였다. 조용한 갤러리 공간에 관객이 들어와 카메라의 시야에 들게 되면 피아노 음악소리가 생성되기 시작한다.
카메라를 이용한 컴퓨터 비젼이 이용되는데, 화면상의 문자와 상호작용하며 몸에 앉은 문자가 무작위로 구성하는 텍스트의 의미는 관객의 가상적 감각을 불러일으키는 동시에 하이퍼텍스트의 개념을 돋보이게 한다. 어털백은 이 외에도 Untitled5와 같이 사람의 모션이 프로젝션 이미지 상의페인팅으로 보여 지게 하는 인터렉티브 비디오 등 다양한 작품을 소개하였다.
이 작품은 파도 이미지의 시간에 따른 시각적 변화를 영상처리 기법을 이용하여 추출하고 추출된 영상에서 관객의 실루엣에 해당하는 영역만을 오려내어 프로젝터로 출력한다. 영상에서 관객의 실루엣에 해당하는 오려진 부분이 가지는 파도의 변화 정보는 피아노 사운드 생성을 위한 파라미터로 이용되어 파도소리를 시뮬레이션한다. 사람과 자연의 상호 의존성을 개념으로 표현하고자 하였다.
부서지는 파도 이미지의 시각적 변화는 소리를 반영하기 때문이다. 이 작품은 파도 이미지의 시간에 따른 시각적 변화를 영상처리 기법을 이용하여 추출하고 추출된 영상에서 관객의 실루엣에 해당하는 영역만을 오려내어 프로젝터로 출력한다. 영상에서 관객의 실루엣에 해당하는 오려진 부분이 가지는 파도의 변화 정보는 피아노 사운드 생성을 위한 파라미터로 이용되어 파도소리를 시뮬레이션한다.
이상과 같은 인터렉티브 비디오 설치는 카메라를 센서로 이용하여 관객을 포함한 사물의 형상이나 운동을 인식하거나(예, 로커비, 어털백), 캡쳐 받은 이미지의 픽셀 값을 이용하여 관객의 실루엣과 같은 특정한 형상을 추출하여 처리한다(예, 로자노-히머). 본 논문에 기술되는 시스템은 관객의 실루엣을 추출하는 형태로 후자의 경우에 해당된다.
즉 관객이 가만히 있는 경우에 파도가 칠 때에는 소리의 음정도 높아지고 세기도 강하게 되며 관객이 화면에 비춰지는 크기에 따라서도 같은 변화가 있게 된다. 지나치게 자주 생성되는 미디 신호의 빈도를 조절하기 위하여 200ms 또는 400ms의 간격을 번갈아 가며 신호와 신호 사이의 시간 간격을 제한하였다. 결과적으로 관객이 느끼는 소리는 파도가 많을수록 중고음 위주로, 적을수록 중저음 위주로 재생되는 등 파도의 패턴에 따라 대부분 결정되며 프로젝트에 비쳐지는 관객의 실루엣 크기가 클수록 소리가 커지고 풍부해 지는 것을 관객은 느낄 수 있다.
본 논문에서 소개되는 실시간 인트렉티브 비디오는 Cycling'74사[13]의 Max/MSP Jitter 프로그래밍 환경을 기초로 하며 여기에 추가된 OpenCV 컴퓨터비젼 라이브러리를 이용한다. 카메라로부터 얻은 관객과 갤러리 공간에 대한 영상에서 화상 이진화로 얻은 관객의 실루엣을 마스크로 채택하여 파도치는 해변 모습의 옵티컬 플로우 영상과 루마키로 합성한다. 합성된 결과영상은 관객의 실루엣 영역만이 남겨진 해변 이미지의 옵티컬 플로우가 된다.

대상 데이터

본 개발을 위하여 사용된 컴퓨터는 4GB 메모리와 코어2듀오 2.5GHz CPU의 사양을 가졌다. 카메라는 외장 Firewire 카메라를 장착할 수도 있으나 여기서는 내장형 카메라 사용을 전제로 한다.
본 논문에서 기술하는 시스템은 갤러리 공간에 설치되어 전시된 인터렉티브 비디오 시스템이다. 본 시스템은 기술적, 예술적 관점에서 각각의 의미를 가진다.
본 논문에서 소개되는 실시간 인트렉티브 비디오는 Cycling'74사[13]의 Max/MSP Jitter 프로그래밍 환경을 기초로 하며 여기에 추가된 OpenCV 컴퓨터비젼 라이브러리를 이용한다.

이론/모형

특히 사운드 처리 및 영상 처리에 있어서 매우 유연하고 효율적인 실행 환경을 제공한다. OpenCV는 컴퓨터비젼 라이브러리로써 다양한 플랫폼을 위한 버전을 얻을 수 있는데, 여기서는 Max/MSP Jitter용 라이브러리를 사용하였다. 다수의 교과서적인 영상처리기법이 예제로써 제공되는데 여기서는 영상에서 변화하는 모습만을 추출하는 옵티컬 플로우를 사용하였다.
본 논문에서는 개인용 컴퓨터를 이용하여 제작하고 시연한 인터렉티브 비디오 시스템을 기술하고 분석한다. 본 시스템에서는 바닷가 파도치는 모습을 담은 실사 영상을 컴퓨터 영상처리 기법인 옵티컬 프로우(Optical Flow)[2]에 의하여 처리함으로써 변화하는 속성만을 이미지로 얻어 낸다. 옵티컬 플로우는 사람이나 동물의 시각을 모델링한 영상처리 기법의 하나로써 영상에서 전후 프레임을 비교함으로써 물체나 어떤 표면, 모서리 등의 운동 패턴을 추출하여 대상물이 움직이는 정도와 방향에 대한 정보를 얻어내는 프로세스를 말한다.
기술적으로는 컴퓨터 비젼 시스템에서 3차원 영상을 해석한다거나 화상 압축 등에 활용될 수도 있다. 옵티컬 프로우를 실현하는 방법은 여러 가지가 제시되어 있는데, 본 논문에서는 밝기 변화에 주안점을 두는 Horn-Schunck 방식을 구현한 OpenCV 라이브러리 오브젝트를 사용하였다. 이는 파도가 치는 바닷물의 움직임에 대한 정보를 얻을 수 있게 한다.
둘째, 예술적 관점에서는 관객과 자연으로부터 추출된 영상이 중첩되어 나타나는 영상과 그에 따른 음악을 감상하며 자신의 내러티브를 찾아 나가는 경험을 제공하는 점을 들 수 있다. 이 작품은 앞서 소개한 로커비의 ‘거울의 은유’를 개념적 모델로 사용하고 있으며 라파엘 로자노-히머의 실루엣 마스킹 기법을 참고한다. 이들 작품들과 비교하여 가장 큰 개념적 차이점은 자연의 소리를 인공의 악기 소리로 변형하되 그 파라미터를 영상처리를 통한 이미지에서 얻는다는 점이다.

성능/효과

같은 사양의 컴퓨터에서 단순히 캡쳐만 하는 경우 약 30fps 정도의 성능을 보이는데 비해 본 패치는 최종 결과 영상에 대하여 약 9.5±0.2fps의 성능을 보였다.
지나치게 자주 생성되는 미디 신호의 빈도를 조절하기 위하여 200ms 또는 400ms의 간격을 번갈아 가며 신호와 신호 사이의 시간 간격을 제한하였다. 결과적으로 관객이 느끼는 소리는 파도가 많을수록 중고음 위주로, 적을수록 중저음 위주로 재생되는 등 파도의 패턴에 따라 대부분 결정되며 프로젝트에 비쳐지는 관객의 실루엣 크기가 클수록 소리가 커지고 풍부해 지는 것을 관객은 느낄 수 있다.
첫째 기술적 관점에서의 의미는 작가의 작품에 대한 개념이 Max/MSP Jitter 상의 OpenCV 라이브러리를 기반으로 하는 비교적 손쉽게 구할 수 있는 도구로 구현될 수 있었으며, 다중의 복잡한 컴퓨터 영상처리가 일반적인 개인용 컴퓨터에서 원활하게 수행될 수 있었다는 점을 들 수 있다. 둘째, 예술적 관점에서는 관객과 자연으로부터 추출된 영상이 중첩되어 나타나는 영상과 그에 따른 음악을 감상하며 자신의 내러티브를 찾아 나가는 경험을 제공하는 점을 들 수 있다. 이 작품은 앞서 소개한 로커비의 ‘거울의 은유’를 개념적 모델로 사용하고 있으며 라파엘 로자노-히머의 실루엣 마스킹 기법을 참고한다.
2fps의 성능을 보였다. 이를 위하여 42%의 CPU부하 증가가 발생했으며 메모리 사용량 증가는 미미한 수준이었다. 이와 같은 성능에 따라 실제 갤러리 공간에서 화상의 끊어짐 또는 느린 재생을 관객이 느낄 수 없을 정도의 자연스러운 영상을 보여주었다.
본 시스템은 기술적, 예술적 관점에서 각각의 의미를 가진다. 첫째 기술적 관점에서의 의미는 작가의 작품에 대한 개념이 Max/MSP Jitter 상의 OpenCV 라이브러리를 기반으로 하는 비교적 손쉽게 구할 수 있는 도구로 구현될 수 있었으며, 다중의 복잡한 컴퓨터 영상처리가 일반적인 개인용 컴퓨터에서 원활하게 수행될 수 있었다는 점을 들 수 있다. 둘째, 예술적 관점에서는 관객과 자연으로부터 추출된 영상이 중첩되어 나타나는 영상과 그에 따른 음악을 감상하며 자신의 내러티브를 찾아 나가는 경험을 제공하는 점을 들 수 있다.

후속연구

이는 본 작품에 있어서 ‘거울’ 또는 ‘그림자’ 효과와 더불어 ‘가상’의 레이어가 한층 더 추가됨으로써 내러티브의 확장이 일어날 수 있다는 점에서 의미가 있다. 향후 과제는 단순한 마스킹 기법과 함께 제스쳐 인식과 같은 다양한 영상인식 기법을 활용하는 일과 다양한 미디 신호 컨트롤 방식을 도입하여 개념 구현 범위의 확장하는 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	인터렉티브 비디오란 무엇인가요?	컴퓨터기술의 발달로 컴퓨터를 활용하여 작품을 제작하는 디지털 아트는 점차 일반화 되어가고 있다. 디지털 아트에서 카메라 등과 같은 센서를 이용하여 관객의 이미지를 얻어 이를 영상에 반영하는 것을 인터렉티브 비디오(Interactive Video)라 하며 디지털 아트에서는 하나의 중점적인 장르로써 그 지위를 가지고 있다. 크리스티안느 폴(Christiane Paul)은 비디오에 있어서의 상호작용의 도입은 관객이 스스로 비디오의 요소들을 조합하여 비디오의 성격에 근본적으로 영향을 미치게 하며, 그 자체가 하나의 매체로서의 역할을 하는 것이라 한다[1]
	크리스티안느 폴이란 무엇인가요?	디지털 아트에서 카메라 등과 같은 센서를 이용하여 관객의 이미지를 얻어 이를 영상에 반영하는 것을 인터렉티브 비디오(Interactive Video)라 하며 디지털 아트에서는 하나의 중점적인 장르로써 그 지위를 가지고 있다. 크리스티안느 폴(Christiane Paul)은 비디오에 있어서의 상호작용의 도입은 관객이 스스로 비디오의 요소들을 조합하여 비디오의 성격에 근본적으로 영향을 미치게 하며, 그 자체가 하나의 매체로서의 역할을 하는 것이라 한다[1]
	인터렉티브 비디오 시스템의 기술적 관점의 의미는 무엇인가요?	본 시스템은 기술적, 예술적 관점에서 각각의 의미를 가진다. 첫째 기술적 관점에서의 의미는 작가의 작품에 대한 개념이 Max/MSP Jitter 상의 OpenCV 라이브러리를 기반으로 하는 비교적 손쉽게 구할 수 있는 도구로 구현될 수 있었으며, 다중의 복잡한 컴퓨터 영상처리가 일반적인 개인용 컴퓨터에서 원활하게 수행될 수 있었다는 점을 들 수 있다. 둘째, 예술적 관점에서는 관객과 자연으로부터 추출된 영상이 중첩되어 나타나는 영상과 그에 따른 음악을 감상하며 자신의 내러티브를 찾아 나가는 경험을 제공하는 점을 들 수 있다.

참고문헌 (13)

C. Paul, Digital Art, 2nd ed., Thames & Hudson, 2008.
D. Marr, Vision, W.H. Freeman and Company, 1982.
최유주, "데스크탑 환경에서의 3차원 상호작용을 위한 비전기반 인터랙션 도구의 설계", 정보처리학회 논문지 B, 제15-B권, 제5호, 2008.

원문보기 상세보기
S. Wilson, Information Arts, pp.730-732, The MIT Press, 2002.
신민진, "미디어 퍼포먼스를 위한 실시간 영상 표현에 관한 연구", 동서대학교 석사논문, 2009.
정세원, "Max/MSP&Jitter에서의 비디오 트랙킹을 이용한 인터렉티브 뮤직" , 부산대학교 석사논문, 2009.
C. Cherrett, "Making Training More Cognitively Effective: Making Video Interactive," British Journal of Educational Technology, Vol.40, No.6, pp.1124-1134, 2009.

상세보기
H. Mushkin and S. Barnet, "Mario's Furniture: A Wireless Interactive Video Installation and Game," Leonardo, Vol.41, No.3, pp.306-307, 2008.

상세보기
http://homepage.mac.com/davidrokeby/ mirrors.html
http://www.smoothware.com/danny/
http://camilleutterback.com/
http://www.lozano-hemmer.com/ body_movies.php
http://cycling74.com/

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증