미디어 아트는 새로운 경로의 인식과 지각을 동반하고, 기존의 미술과는 다른 인간의 신체를 도구화 하여 상호작용을 만들어내는 새로운 감상방식을 제안한다. 시각적인 영상을 제작하는 방식 중 포인트 클라우드는 점으로 형태를 표현한다는 점에 있어 서양미술의 점묘법과 유사하며 이는 전통회화 기법을 디지털 기술을 활용해 재구성한다는 의미를 가진다. 본 논문에서는 미학적 요소와 디지털 기술을 융합한 새로운 감상방식으로 포인트 클라우드 형태의 영상을 제작하여 홀로그램 필름에 투사하고, 관람자의 손짓이 영상과 상호작용하는 콘텐츠를 제시한다. 콘텐츠 제작은 콘텐츠 제작 배경 의도를 기획하고 포인트 클라우드 형태의 이미지 제작, 상호작용을 위한 3D 제스처 디자인 과정을 거쳐 최종적으로 홀로그램 필름에 투사하는 과정을 거친다. 콘텐츠는 사람의 의식 속에서 일어나는 기억의 회상 과정을 시각적, 체감적으로 표현한다. 이를 위해 기억의 회상 과정을 불확실한 기억, 기억의 구체화, 완전한 회상으로 설정하였다. 불확실한 기억은 포인트 클라우드 형태의 이미지를 통해 모호한 형태의 이미지로 표현되고, 상호작용으로 이미지를 조작하는 행위를 통해 기억을 구체화 해 나가면서 완전한 회상을 하게 된다.
미디어 아트는 새로운 경로의 인식과 지각을 동반하고, 기존의 미술과는 다른 인간의 신체를 도구화 하여 상호작용을 만들어내는 새로운 감상방식을 제안한다. 시각적인 영상을 제작하는 방식 중 포인트 클라우드는 점으로 형태를 표현한다는 점에 있어 서양미술의 점묘법과 유사하며 이는 전통회화 기법을 디지털 기술을 활용해 재구성한다는 의미를 가진다. 본 논문에서는 미학적 요소와 디지털 기술을 융합한 새로운 감상방식으로 포인트 클라우드 형태의 영상을 제작하여 홀로그램 필름에 투사하고, 관람자의 손짓이 영상과 상호작용하는 콘텐츠를 제시한다. 콘텐츠 제작은 콘텐츠 제작 배경 의도를 기획하고 포인트 클라우드 형태의 이미지 제작, 상호작용을 위한 3D 제스처 디자인 과정을 거쳐 최종적으로 홀로그램 필름에 투사하는 과정을 거친다. 콘텐츠는 사람의 의식 속에서 일어나는 기억의 회상 과정을 시각적, 체감적으로 표현한다. 이를 위해 기억의 회상 과정을 불확실한 기억, 기억의 구체화, 완전한 회상으로 설정하였다. 불확실한 기억은 포인트 클라우드 형태의 이미지를 통해 모호한 형태의 이미지로 표현되고, 상호작용으로 이미지를 조작하는 행위를 통해 기억을 구체화 해 나가면서 완전한 회상을 하게 된다.
Existing art, media art, accompanied by a new path of awareness and perception instrumentalized by the human body, creating a new way to watch the interaction is proposed. Western art way to create visual images of the point cloud that represented a form that is similar to the Pointage. This traditi...
Existing art, media art, accompanied by a new path of awareness and perception instrumentalized by the human body, creating a new way to watch the interaction is proposed. Western art way to create visual images of the point cloud that represented a form that is similar to the Pointage. This traditional painting techniques using digital technology means reconfiguration. In this paper, a new appreciation of fusion of aesthetic elements and digital technology, making the point cloud in the form of video. And this holographic film projection of the spectator, and gestures to interact with the video content is presented. A Process of making contents is intent planning, content creation, content production point cloud in the form of image, 3D gestures for interaction design process, go through the process of holographic film projection. Visual and experiential content of memory recall process takes place in the consciousness of the people expressed. Complete the process of memory recall, uncertain memories, memories materialized, recalled. Uncertain remember the vague shapes of the point cloud in the form of an image represented by the image. As embodied memories through the act of interaction to manipulate images recall is complete.
Existing art, media art, accompanied by a new path of awareness and perception instrumentalized by the human body, creating a new way to watch the interaction is proposed. Western art way to create visual images of the point cloud that represented a form that is similar to the Pointage. This traditional painting techniques using digital technology means reconfiguration. In this paper, a new appreciation of fusion of aesthetic elements and digital technology, making the point cloud in the form of video. And this holographic film projection of the spectator, and gestures to interact with the video content is presented. A Process of making contents is intent planning, content creation, content production point cloud in the form of image, 3D gestures for interaction design process, go through the process of holographic film projection. Visual and experiential content of memory recall process takes place in the consciousness of the people expressed. Complete the process of memory recall, uncertain memories, memories materialized, recalled. Uncertain remember the vague shapes of the point cloud in the form of an image represented by the image. As embodied memories through the act of interaction to manipulate images recall is complete.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 산업현장에서 주로 사용되던 포인트 클라우드를 아트의 관점에서 고찰하고, 인터랙티브 아트에서 시각적 요소로 활용 하였고 이를 상호작용 요소와 결합하여 콘텐츠로 표현하였다.
본 연구자는 사람의 의식 속에서 이루어지는 회상의 과정을 콘텐츠를 통해 시각적, 체감적으로 표현하고자 했다. 이를 위해 [표 2]와 같이 회상의 과정을 총 3단계로 설정하고 각 단계에 따라 콘텐츠를 표현하였다.
인터랙티브 아트는 크게 디지털 영상 보여주는 시각적 요소와 체감적 행위를 통해 시각적 요소에 변화를 주는 상호작용 요소로 구성 된다. 본 절에서는 콘텐츠 제작을 위해 활용한 요소를 시각적 요소와 상호작용 요소로 분류하고, 각 요소들의 특징과 인터랙티브 아트에서 가지는 의미에 대해 기술한다.
본 논문에서는 포인트 클라우드 형태의 영상을 제작하여 홀로그램 필름에 투사하고, 비접촉식 모션인식 센서를 활용하여 관람자의 손짓이 영상과 상호작용하는 콘텐츠를 제작한다. 이를 통해 미학적 요소와 디지털 기술을 융합한 새로운 감상방식을 제시하고자 한다.
본 논문에서 제안하는 포인트 클라우드 형태의 인터랙티브 홀로그램 콘텐츠는 [그림 2]와 같은 제작 과정을 거친다. 첫 번째로 전달하고자 하는 의미를 명확히 하고 이에 따라 어떠한 형태의 콘텐츠를 제작할지 기획한다. 이미지 제작은 콘텐츠 제작 배경에 맞춰 이미지를 구상한 뒤 3D 모델링 과정을 거쳐 점 좌표를 추출하고 화면에 출력하여 포인트 클라우드 형태로 만든다.
가설 설정
이를 위해 관람자의 3D 제스처 디자인은 x, y축 회전의 경우 직육면체 모양의 상자를 살펴본다고 가정하고 상자의 측면을 보기 위해 양손을 앞·뒤로 내밀면서 상자를 돌려보는 행위를 착안하였다.
추억의 장소라는 것은 개개인 마다 다르기 때문에 최대의 공감을 이끌어내기 위하여 주 관람층이 누가 될 것인가를 고려해야 하고, 또한 그것이 아닐 경우 대다수의 관람자들이 기억하고 있는 장소로 선정해야 한다. 콘텐츠는 교내에 위치한 전시장에서 전시할 예정이었기 때문에 장소성을 토대로 주 관람층이 교내 구성원이 될 것이라 예측하였다. 그 결과 분수대를 중심으로 공원이 조성되어 교내 구성원들의 유동이 많은 교내의 장소를 선정하였다.
제안 방법
3차원 공간을 모델링하기 위해서 콘텐츠의 제작의도와 부합하는 장소를 선정하였다. 추억의 장소라는 것은 개개인 마다 다르기 때문에 최대의 공감을 이끌어내기 위하여 주 관람층이 누가 될 것인가를 고려해야 하고, 또한 그것이 아닐 경우 대다수의 관람자들이 기억하고 있는 장소로 선정해야 한다.
산업현장에서 포인트 클라우드 데이터는 3D 스캐닝을 통해 비교 대상물의 형태를 얻어내어 표면을 모델링 하는 과정을 거친다. 그러나 본 논문에서는 실제 대상물에서 포인트 클라우드 형태를 도출하여 이용하는 것이기 때문에 역순으로 3차원 공간을 모델링 한 뒤, 그것을 포인트 클라우드 형태로 변환하고 데이터를 추출하는 과정을 거친다.
이를 위해 관람자의 3D 제스처 디자인은 x, y축 회전의 경우 직육면체 모양의 상자를 살펴본다고 가정하고 상자의 측면을 보기 위해 양손을 앞·뒤로 내밀면서 상자를 돌려보는 행위를 착안하였다. 그리고 z축 확대, 축소의 경우 스마트폰에서 화면을 확대, 축소 할 때 두 손가락의 간격을 조절하는 행위를 착안하여 디자인 하였다[7].
콘텐츠 설치도는 [그림 5]와 같다. 디스플레이면은 투과율 88%, 투명도 33.5%인 홀로그램 필름을 사용하였고, 비어 있는 공간에 콘텐츠가 보이는 효과를 연출하기 위해 전시 공간 중앙에 고정하였다. 빔 프로젝터는 정면에 위치한 파티션의 상부에 고정하여 홀로그램 필름을 향해 투사하였다.
상호작용 구현은 모션인식 센서를 사용하여 어떠한 방식으로 상호작용을 구현할 것인지 디자인하고 관람자 골격 정보를 추출하여 디자인한 제스처와 비교한 뒤 이벤트 처리 과정을 거친다. 마지막으로 제작한 이미지와 상호작용을 연동하고 홀로그램 필름에 투사한다.
우선 작가는 자신이 전달하고자 하는 의도를 콘텐츠를 통해 표현한다. 본 논문에서는 기억의 회상이라는 과정을 의도하였기 때문에 그 과정을 3단계로 분류한 다음 각 단계에 맞는 표현법을 적용하였다. 1단계에서 불확실한 기억은 콘텐츠에서 점묘법을 디지털 기술로 표현한 포인트 클라우드 이미지를 통해 점으로 구성된 장소의 형태로 표현되고, 이는 관람자가 장소를 인지하기 어려움을 느낌과 동시에 이미지에 대한 호기심과 주목성을 가지게 한다.
상호작용 요소는 작품과 관객이 상호작용하여 그 결과로 시각적 요소에 변화를 주는 요소로써 각종 센서나 컨트롤러 등이 여기에 속한다. 본 논문에서는 키넥트센서를 상호작용 요소로 활용하였다.
이러한 관점에서 융·복합 미디어를 활용하여 시각적, 체감적인 새로운 미적 경험방식에 대한 학술적 연구와 작품적 시도가 필요하다. 본 논문에서는 포인트 클라우드 형태의 영상을 제작하여 홀로그램 필름에 투사하고, 비접촉식 모션인식 센서를 활용하여 관람자의 손짓이 영상과 상호작용하는 콘텐츠를 제작한다. 이를 통해 미학적 요소와 디지털 기술을 융합한 새로운 감상방식을 제시하고자 한다.
미디어 아트의 경우 컴퓨터 그래픽 영상, LED 조명, 오브제, 스크린 등이 이에 속한다. 본 논문에서는 포인트 클라우드 형태의 이미지와 홀로그램 스크린을 시각적 요소로 활용하였다.
5%인 홀로그램 필름을 사용하였고, 비어 있는 공간에 콘텐츠가 보이는 효과를 연출하기 위해 전시 공간 중앙에 고정하였다. 빔 프로젝터는 정면에 위치한 파티션의 상부에 고정하여 홀로그램 필름을 향해 투사하였다. 마지막으로 키넥트 센서는 관람자 인식을 원활히 하기 위해 홀로그램 필름 아래에 위치시켰다.
본 연구자는 사람의 의식 속에서 이루어지는 회상의 과정을 콘텐츠를 통해 시각적, 체감적으로 표현하고자 했다. 이를 위해 [표 2]와 같이 회상의 과정을 총 3단계로 설정하고 각 단계에 따라 콘텐츠를 표현하였다. 첫 번째는 불확실한 기억으로 남아있는 추억의 장소가 마치 안개처럼 뿌연 이미지로 떠오르는 단계이다.
이 단계에서는 콘텐츠와 관람자 사이에 상호작용이 일어난다. 이미지는 관람자의 제스처를 통해 삼차원적으로 회전하고 관람자는 그것을 보며 자신의 기억과 이미지에 나타난 장소를 비교한다.
콘텐츠에서 활용한 주요 요소인 포인트 클라우드와 홀로그램 필름 그리고 키넥트 센서는 콘텐츠 기획 의도에 따라 이에 맞는 특성을 지닌 요소들을 도출한 결과 선택하여 사용하였다. 그러나 이를 변형하여 홀로그램 필름으로 제작한 오브제에 포인트 클라우드 이미지를 3D 맵핑하여 상호작용 하는 콘텐츠나 혹은 단순히 이미지를 회전하는 상호작용이 아닌 제어하고자 하는 점을 선택하여 변형을 주는 방식의 상호작용 방식을 적용한 콘텐츠 등을 고려해볼 수 있다.
포인트 클라우드 형태의 이미지의 특징을 파악하기 위해 [표 1]과 같이 일반적인 3D 모델과 이것을 포인트 클라우드 형태로 변환한 모델 그리고 점묘법으로 그린 유승호 작가의 그림을 비교하였다. 3D 모형의 경우 형태를 이루고 있는 요소는 면으로 일반적인 3D 이미지표현 방식이다.
성능/효과
또 오른손과 왼손의 y값의 차이에 따라 이미지가 x축 만큼 회전한다. 마지막으로 오른손과 왼손의 x축 거리가 오른 어깨와 왼 어깨의 x축 거리보다 커질 시에는 z축 만큼 확대되고 작아질 시에는 축소한다.
[그림 3]의 3D 모델링 결과에서 포인트 클라우드 형태를 얻기 위해 필요한 요소는 점(vertex)이다. 점의 추출은 별도의 프로그램을 사용하였으며, 추출 결과 총 2,100,678개의 점을 추출하여 (x, y, z)좌표의 형태로 변환한 파일을 얻을 수 있었다. 마지막으로 각 점의 좌표를 [그림 4]와 같이 화면에 출력한다.
후속연구
일반적으로 포인트 클라우드는 3D 스캐너에서 쓰이며 자동으로 사물의 표면을 수많은 숫자의 점으로 측정하고, 데이터 파일의 형태로 출력한다. 이 데이터는 생산설비를 위한 3D CAD 모델을 비롯하여 군중 시각화, 애니메이션, 문화재 복원 등에 적용 할 수 있다. 대부분의 3D 저작 툴에서는 포인트 클라우드 데이터를 바로 편집할 수 없기 때문에, 이것을 폴리곤이나 메쉬 모델, CAD 모델 등으로 변환하여 표면을 재처리 하는 과정을 거친다[3].
향후에는 이러한 점을 좀 더 개선하여 다양한 투사 방식과 여러 사람이 함께 상호작용 하여 콘텐츠와 관람자의 소통과 함께 관람자와 관람자 사이의 소통을 유도할 수 있는 방안에 대해 연구를 수행하고자 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
미디어아트는 어떻게 나뉘는가?
헤일즈(Hayles)는 비물질적인 미디어 형식의 예술 생산이 확장하면서 새로운 경로의 인식과 지각을 동반하는 신체적 참여와 개념이 형성되고 있다고 말한다[1]. 이러한 흐름 속에서 탄생한 미디어아트는 미디어 파사드, 웹아트, 인터랙티브 아트 등 다시 여러 세부분야로 나뉘고 있으며, 특히 인터랙티브 아트는 관람자의 체감적 활동을 수반하는 것으로 관람자와 작품 간의 상호작용을 통해 소통한다. 또한 시각 중심이었던 기존의 미술과는 다르게 인간의 신체를 도구화 하여 상호 작용을 만들어내는 새로운 감상방식을 제안한다[2].
점묘법이란?
포인트 클라우드는 점으로 형태를 표현한다는 부분에 있어 서양미술의 점묘법과 유사하다. 점묘법은 19C 신인상주의자들이 프랑스의 색채학자 슈브럴의 색채 이론을 기반으로 하여 다양한 색의 작은 점을 이용하여 시각적 혼색을 만드는 기법이다[4]. 또한 작업을 위한 스케치를 준비하면서 단색을 사용하여 점을 찍어 형태를 표현하기도 했다.
홀로그램 필름의 완전히 빛을 반사하지 못하는 성질이 유발하는 단점은?
이러한 성질을 이용해 영상을 막혀있는 벽면이나 오브제에 투사하던 기존의 방식과는 달리 빈 공간에 설치하여 영상을 전시함을 통해 설치 형식에 차별성을 줄 수 있다. 그러나 완전히 빛을 반사하지 못하는 성질은 영상의 전체적인 선명도를 저하시키는 단점을 유발한다. 하지만 포인트 클라우드 형태의 이미지를 홀로그램 필름에 투사할 시에는 사물의 형태를 판단하기 어렵다는 특징을 더욱 부각시키는 장점으로 작용한다.
참고문헌 (7)
고창선, "뉴 미디어 아트에서 물리적 심미적 거리를 통한 관조의 재해석", 한국콘텐츠학회논문지, 제11권, 제12호, pp.723-733, 2011.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.