지리적으로 분산된 디자이너들을 위한 3D 디자인 협업 환경 - 공유 조작과 원격 실재감을 지원하는 증강현실 기반 인터랙션 기법을 중심으로 - Collaborative 3D Design Workspace for Geographically Distributed Designers - With the Emphasis on Augmented Reality Based Interaction Techniques Supporting Shared Manipulation and Telepresence -원문보기
국제화, 전문화, 분업화 되고 있는 비즈니스 환경으로 인해 제품 디자인 프로세스에서 협업의 중요성은 날로 높아지고 있다. 본 연구에서는 서로 다른 공간에 존재하는 디자인 전문가들이 3D 모델을 함께 검토하고 논의할 수 있는 실시간 원격디자인 협업 환경을 제안한다. 특히 원격 협업 환경에서 원격 실재감, 공유조작, 상대 인식 등의 비언어적인 의사소통 방법을 제공하는 새로운 인터랙션 기법을 개발하고, 디자인 리뷰와 관련된 작업에 어떠한 영향을 끼치는지 평가하였다. 관련연구 조사와 디자인 협업 행태의 관찰 실험을 기반으로 작업대상 관련, 작업공간 관련, 상대인식 관련 요구사항을 도출하였다. 이를 충족시키기 위해 증강현실(Augmented Reality) 기반의 3차원 원격 협업 환경을 구축하였고 원격 사용자에 대한 존재감을 제공하는 회전원반(Turn-table)과 가상그림자(Virtual Shadow)라는 인터랙션 도구를 개발하였다. 회전원반은 가상모델의 조작에 직관성을 부여하고 상대의 조작에 물리적인 단서를 제공한다. 가상그림자는 상대의 위치, 제스처, 지시 등의 인식 정보를 지속적이고 자연스럽게 제공한다. 평가 실험을 통하여 새로운 인터랙션 도구들이 3D 모델의 검토에 있어서 대략적인 지시를 효과적으로 지원하며 수정사항에 대한 논의를 촉진시킴을 알 수 있었다. 연구 결과는 가상의 3차원 모델을 다루는 원격에 위치한 사용자들(디자이너-디자이너, 디자이너-엔지니어, 혹은 디자이너-모델러 등) 간의 자연스러운 의사소통을 촉진하고 협업의 효율을 증대시키는데 기여할 수 있다.
국제화, 전문화, 분업화 되고 있는 비즈니스 환경으로 인해 제품 디자인 프로세스에서 협업의 중요성은 날로 높아지고 있다. 본 연구에서는 서로 다른 공간에 존재하는 디자인 전문가들이 3D 모델을 함께 검토하고 논의할 수 있는 실시간 원격디자인 협업 환경을 제안한다. 특히 원격 협업 환경에서 원격 실재감, 공유조작, 상대 인식 등의 비언어적인 의사소통 방법을 제공하는 새로운 인터랙션 기법을 개발하고, 디자인 리뷰와 관련된 작업에 어떠한 영향을 끼치는지 평가하였다. 관련연구 조사와 디자인 협업 행태의 관찰 실험을 기반으로 작업대상 관련, 작업공간 관련, 상대인식 관련 요구사항을 도출하였다. 이를 충족시키기 위해 증강현실(Augmented Reality) 기반의 3차원 원격 협업 환경을 구축하였고 원격 사용자에 대한 존재감을 제공하는 회전원반(Turn-table)과 가상그림자(Virtual Shadow)라는 인터랙션 도구를 개발하였다. 회전원반은 가상모델의 조작에 직관성을 부여하고 상대의 조작에 물리적인 단서를 제공한다. 가상그림자는 상대의 위치, 제스처, 지시 등의 인식 정보를 지속적이고 자연스럽게 제공한다. 평가 실험을 통하여 새로운 인터랙션 도구들이 3D 모델의 검토에 있어서 대략적인 지시를 효과적으로 지원하며 수정사항에 대한 논의를 촉진시킴을 알 수 있었다. 연구 결과는 가상의 3차원 모델을 다루는 원격에 위치한 사용자들(디자이너-디자이너, 디자이너-엔지니어, 혹은 디자이너-모델러 등) 간의 자연스러운 의사소통을 촉진하고 협업의 효율을 증대시키는데 기여할 수 있다.
Collaboration has become essential in the product design process due to internationalized and specialized business environments. This study presents a real-time collaborative 3D design workspace for distributed designers, focusing on the development and the evaluation of new interaction techniques s...
Collaboration has become essential in the product design process due to internationalized and specialized business environments. This study presents a real-time collaborative 3D design workspace for distributed designers, focusing on the development and the evaluation of new interaction techniques supporting nonverbal communication such as awareness of participants, shared manipulation and tele-presence. Requirements were identified in terms of shared objects, shared workspaces and awareness through literature reviews and an observational study. An Augmented Reality based collaborative design workspace was developed, in which two main interaction techniques, Turn-table and Virtual Shadow, were incorporated to support shared manipulation and tele-presence. Turn-table provides intuitive shared manipulation of 3D models and physical cues for awareness of remote participants. Virtual shadow supports natural and continuous awareness of location, gestures and pointing of partners. A lab-based evaluation was conducted and the results showed that interaction techniques effectively supported awareness of general pointing and facilitated discussion in 3D model reviews. The workspace and the interaction techniques can facilitate more natural communication and increase the efficiency of collaboration on virtual 3D models between distributed participants (designer-designer, engineer, or modeler) in collaborative design environments.
Collaboration has become essential in the product design process due to internationalized and specialized business environments. This study presents a real-time collaborative 3D design workspace for distributed designers, focusing on the development and the evaluation of new interaction techniques supporting nonverbal communication such as awareness of participants, shared manipulation and tele-presence. Requirements were identified in terms of shared objects, shared workspaces and awareness through literature reviews and an observational study. An Augmented Reality based collaborative design workspace was developed, in which two main interaction techniques, Turn-table and Virtual Shadow, were incorporated to support shared manipulation and tele-presence. Turn-table provides intuitive shared manipulation of 3D models and physical cues for awareness of remote participants. Virtual shadow supports natural and continuous awareness of location, gestures and pointing of partners. A lab-based evaluation was conducted and the results showed that interaction techniques effectively supported awareness of general pointing and facilitated discussion in 3D model reviews. The workspace and the interaction techniques can facilitate more natural communication and increase the efficiency of collaboration on virtual 3D models between distributed participants (designer-designer, engineer, or modeler) in collaborative design environments.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
관찰연구에서 도출된 요건을 충족시키기 위해 본 연구에서는 새로운 인터랙션 기법이 제공되는 3차원 원격 디자인 협업 환경의 컨셉을 제안한다. 이는 지리적으로 분산되어 제품디자인 개발에 참여하는 디자이너들이 가상의 3D 모델을 검토하고 수정사항을 논의하는 단계를 지원한다.
이를 바탕으로 새로운 환경과 이에 포함될 인터랙션 컨셉을 제안하고 프로토타입을 개발하였다. 그리고 효용성 평가 실험을 통해 제안된 협업 환경의 타당성과 개선가능성을 탐색하였다.
3차원 모델을 다루는 원격 디자인 협업을 지원하기 위한 환경의 요구조건을 파악하기 위해 디자인 협업 프로세스 관찰 실험을 실시하였다. 디자인 프로세스 상에 3차원 모델을 다루는 협업이 어떤 단계에 수행되며 이 단계의 협업을 지원하기 위해 디자이너들이 필요로 하는 요구사항은 어떠한 것들이 있는지 파악하는 것을 목표로 설정하였다.
본 연구에서 제안된 3차원 원격 디자인 협업 환경의 활용 가능성과 효용성을 검토하기 위해 평가실험을 실시하였다. 또한 디자인 협업에 적용할 때 발생하는 문제점을 탐색하고 이를 해결하기 위한 개선 방안을 모색하고자 하였다.
본 연구는 3D 모델이 중심이 되는 원격 디자인 협업을 지원하는 새로운 환경을 제안한 점과 2차원 화면에 제안된 디자인 협업을 실제 작업공간에 통합하여 새로운 협업 인터페이스 기법의 가능성을 보여주었다는 점에서 그의의가 있다.
본 연구는 지리적으로 분산된 디자이너들 혹은 디자이너와 협력해야 하는 타 분야 전문가들이 보다 효과적으로 협업할 수 있는 방법을 모색하는 것을 목표로 하였다. 특히 3D 모델을 함께 다루는 원격 디자이너들이 서로의 실재감을 느낄 수 있고, 비언어적인 의사소통 방법을 활용하여 원활하게 협업할 수 있도록 하는 새로운 인터랙션 기법을 개발하는 것, 개발된 기법이 디자인 협업 특히 디자인 리뷰와 관련된 작업에 어떠한 영향을 끼치는지 평가하는 것을 세부목표로 정하였다.
본 연구에서는 지리적으로 분산된 디자이너들 혹은 디자이너와 협력해야 하는 타 분야 전문가들이 보다 효과적으로 협업할 수 있도록 지원하기 위한 방법을 모색하였다. 특히 3D 모델을 함께 다루는 원격 디자이너들이 서로의 실재감을 느낄 수 있고 비언어적인 의사소통 방법을 활용하여 원활하게 협업 할 수 있도록 하는 새로운 인터랙션 기법을 개발하였고, 개발된 기법이 디자인 협업 특히 디자인 리뷰와 관련된 작업에 어떠한 영향을 끼치는지 평가하였다.
실험에 사용된 태스크는 그림 14와 같이 원격에서 협업하는 사용자가 가상의 3D 모델에 대해 함께 검토하고 논의하는 것으로 정하였다. 즉 한 사용자는 모델의 수정사항을 설명하고 다른 사용자가 이를 얼마나 정확하고 빠르게 인지하는지 측정하였다.
연구 목표를 달성하기 위해 본 연구에서는 증강현실 (Augmented Reality) 기반의 3차원 원격 디자인 협업 환경을 제안하고 원격 사용자에 대한 존재감(Awareness)을 제공하는 회전원반(Turn-table)과 가상그림자(Virtual iadow)라는 인터 랙션 도구를 제안하였다. 제안된 인터랙션 도구와 활용 기법 은 가상의 3차원 모델을 다루는 원격에 위치한 사용자들(디자이너-디자이너, 디자이너-엔지니어, 혹은 디자이너-모델러 등) 간의 자연스러운 의사소통을 촉진하고 협업의 효율을 증대시킬 수 있을 것으로 기대된다.
공간 내에 원격지의 참여자들의 존재를 그림자로 표현함으로써 상대방을 간접적으로 인지할 수 있게 한다. 이 연구는 2차원 기반의 웹사이트 디자인을 중심으로 개발되었기 때문에 3차원 모델을 다루는 협업 환경으로 확장되기에는 제한점이 있으나, 포스트잇 노트와 같은 실제 개체(Real Object), 포스트잇 노트의 디지털 사본, 그리고 원격 참여자의 존재감을 하나의 공유 작업 공간(안med Workspace)에 효과적으로 통합하는 방법을 제시하였다. In-touche는 감촉의 전달과 공유에 초점을 맞춘 원격 통신 도구로, 대인적인 의사소통에 실체적이 고 물리적인 느낌의 공유의 중요성을 제기하였다.
모델링 리뷰에서 최종 디자인 확정할 때 모델의 실제크기에 대한 논의가 이루어졌다. 이를 위해 참여자들은 디자인한 모델 옆에 주전자 모양의 모델을 배치하여 실제 공간에 놓일 때의 부피감을 확인하고자 하였다. 그러나 크기를 비교하기 위해 사용된 모델 또한 데스크탑 내에 제한되어 있는 것이므로 실제 크기의 파악하는데 어려움이 있었다.
3개의 디자인 팀은표 1]과 같이 각기 다른 환경에서 디자인 리뷰 회의를 진행하도록 실험을 설계하였다. 이를 통해 각 디자인 리뷰 단계에 있어서 동일공간과 원격공간의 차이점을 파악하고자 하였으며' 동시에 협업대상물이 2차원 스케치일 때와 3차원 모델링일 때 협업 행태가 어떻게 달라지며 원격에서 협업할 경우 어떤 제약과 문제점이 발생하는지 관찰의 초점을 두었다.
본 연구는 지리적으로 분산된 디자이너들 혹은 디자이너와 협력해야 하는 타 분야 전문가들이 보다 효과적으로 협업할 수 있는 방법을 모색하는 것을 목표로 하였다. 특히 3D 모델을 함께 다루는 원격 디자이너들이 서로의 실재감을 느낄 수 있고, 비언어적인 의사소통 방법을 활용하여 원활하게 협업할 수 있도록 하는 새로운 인터랙션 기법을 개발하는 것, 개발된 기법이 디자인 협업 특히 디자인 리뷰와 관련된 작업에 어떠한 영향을 끼치는지 평가하는 것을 세부목표로 정하였다. 이러한 목표를 달성하기 위한 연구방법으로, 첫째 문헌 조사 분석을 통해 기존 연구의 현황과 제한점, 원격 협업을 지원하기 위한 개발의 중요 요소들을 파악하였다.
제안 방법
디자인 작업이 개인적으로 수행되는 경향이 크며 리뷰 단계에서 보다 긴밀하고 빈번한 협업이 발생되기 때문이다. 3개의 디자인 팀은표 1]과 같이 각기 다른 환경에서 디자인 리뷰 회의를 진행하도록 실험을 설계하였다. 이를 통해 각 디자인 리뷰 단계에 있어서 동일공간과 원격공간의 차이점을 파악하고자 하였으며' 동시에 협업대상물이 2차원 스케치일 때와 3차원 모델링일 때 협업 행태가 어떻게 달라지며 원격에서 협업할 경우 어떤 제약과 문제점이 발생하는지 관찰의 초점을 두었다.
3차원 모델을 다루는 원격 디자인 협업을 지원하기 위한 환경의 요구조건을 파악하기 위해 디자인 협업 프로세스 관찰 실험을 실시하였다. 디자인 프로세스 상에 3차원 모델을 다루는 협업이 어떤 단계에 수행되며 이 단계의 협업을 지원하기 위해 디자이너들이 필요로 하는 요구사항은 어떠한 것들이 있는지 파악하는 것을 목표로 설정하였다.
가상 3D 모델을 현실세계 이미지에 혼합하는 증강현실을 구현하기 위해 디렉터(Macromedia Director) 기반의 소프트웨어 툴킷인 DART(The Designers Augmented Reality Toolkit) 를 사용하였다 웹캠에서 입력받은 비디오 화면 내의 지정된 마커(marker)위에 가상의 3D 모델을 3차원적으로 정확히 오버레이함으로써 현실세계 이미지와 가상의 이미지를 혼합 한다. 사용자는 비디오 스트림과 가상물체가 합성된 화면을 HW를 통해 볼 수 있다.
가상 3D 모델의 실제 크기와 부피감을 인지할 수 있도록 하기 위해 본 협업 환경은 증강현실 기술을 활용하였다. HMD(Head Mounted Display)를 착용한 사용자는 현실 세계와 가상의 3D 모델이 합성된 화면을 보게 됨으로써 가상의 3D 모델을 현실 세계에서 조작하는 듯이 느끼게 된다.
사용된 테이블 색과 손의 색과 유사하여 배경과 손이 쉽게 구분될 수 있도록 남색계열 어두운 천을 사용하여 보정하였다. 가상그림자 의 이미지가공을 위한 소프트웨어는 Visual C++를 기반으로 제작하였다. 이처럼 가상그림자는 디지털 정보이기 때문에 제시된 단색의 그림자뿐 아니라 쉽게 다른 형태의 정보로 변환이 가능하다.
가상그림자를 시각화하기 위해 웹캠과 프로젝션 이미지를 사용하였다. 테이블 상단에 장착된 웹캠을 통해 회전원반 주변의 이미지를 지속적으로 촬영하였고 이 이미지를 그림자의 형태로 변환하여 상대방 원형테이블에 프로젝션 되게 하였다.
디자인 팀들 은 1차 디자인 브리프 회의, 2차 디자인 스케치 리뷰 회의, 3 차 모델링 리뷰 회의를 며칠 간격을 두고 단계적으로 진행하였다. 각 회의에서 논의된 내용을 바탕으로 개인적으로 디자인 작업을 수행하고 그 결과물을 다음 회의에서 공동으로 검토하는 방식으로 프로젝트가 진행되었다.
특히 3D 모델을 함께 다루는 원격 디자이너들이 서로의 실재감을 느낄 수 있고 비언어적인 의사소통 방법을 활용하여 원활하게 협업 할 수 있도록 하는 새로운 인터랙션 기법을 개발하였고, 개발된 기법이 디자인 협업 특히 디자인 리뷰와 관련된 작업에 어떠한 영향을 끼치는지 평가하였다. 관련 연구 조사와 디자인 협업 행태의 관찰 실험을 기반으로 요구사항을 도출하고, 특히 3차원 원격협업 환경에서 원격 실재감과 물리적 조작을 증대시키는 방법에 초점을 두었다. 증강현실 기술을 활용하여 가상의 3D 모델을 3차원 공간에서 조작할 수 있도록 하였고, 물리적인 회전원 반을 통해서 가상 모델의 직관적이고 물리적인 조작이 가능하게 하였다.
관찰요소로 추출된 협업과 연관된 행위들(지시, 제스처, 시선교환, 스케치, 모델링)이 실제 참여자들의 협업에 있어서 얼마나 중요한 역할을 하였는지(중요도), 그리고 원활히 이루어지기가 어려웠는지(난해도)에 대한 5점 척도 평가를 설문지를 통해 실시하였다. [그림 1]은 스케치 리뷰 회의, [그림 2]는 모델링 리뷰 회의에 대한 평가 결과로 선그래프는 중요도, 막대 그래프는 난해도를 나타낸다.
이러한 목표를 달성하기 위한 연구방법으로, 첫째 문헌 조사 분석을 통해 기존 연구의 현황과 제한점, 원격 협업을 지원하기 위한 개발의 중요 요소들을 파악하였다. 둘째, 관찰실험을 통해 디자인 협업 행태와 협업 환경의 활용을 보다 심층적으로 파악하여 3차원 원격 디자인 협업 환경이 갖추어야 할 요건을 도출하였다. 이를 바탕으로 새로운 환경과 이에 포함될 인터랙션 컨셉을 제안하고 프로토타입을 개발하였다.
영국 디자인 대학(Brunel University)에서 수학중인 박사과정 3명으로 구성된 한팀과 한국 디자인 대학에서 수학중 인 석사과정 3명으로 구성된 두팀이 참가하였다. 디자인 팀들 은 1차 디자인 브리프 회의, 2차 디자인 스케치 리뷰 회의, 3 차 모델링 리뷰 회의를 며칠 간격을 두고 단계적으로 진행하였다. 각 회의에서 논의된 내용을 바탕으로 개인적으로 디자인 작업을 수행하고 그 결과물을 다음 회의에서 공동으로 검토하는 방식으로 프로젝트가 진행되었다.
디자인 활동을 분석하는'대표적인 방법으로 디자이너의 사고 과정을 자세히 분석하기 위해 대화와 행동을 범주화 하는 프로토콜 분석 방법이 있다, 또한 연구의 목적에 따라 자세한 대화 내용보다는 주 관심대상인 특정 디자인 활동을 분석 하는 방법이 사용되기도 한다본 실험에서는 협업 환경 (동일 공간 - 원격 공간)과 대상물의 특성(2차원적 대상 - 3차 원적 대상)에 따라 작업공간이 어떻게 사용되는지 관찰하는 것이 주요 초점이었기 때문에 지시, 제스처, 시선 교환 등의 사소통을 위한 활동과 스케치, 모델링과 같이 직접적인 디자인 활동의 발생과 빈도를 측정하고 비교 분석하였다. 또한 실험 후 참여자 설문을 실시하여 협업의 중요 요소와 문제점을 언급하도록 하였다.
디자인 활동을 분석하는'대표적인 방법으로 디자이너의 사고 과정을 자세히 분석하기 위해 대화와 행동을 범주화 하는 프로토콜 분석 방법이 있다, 또한 연구의 목적에 따라 자세한 대화 내용보다는 주 관심대상인 특정 디자인 활동을 분석 하는 방법이 사용되기도 한다본 실험에서는 협업 환경 (동일 공간 - 원격 공간)과 대상물의 특성(2차원적 대상 - 3차 원적 대상)에 따라 작업공간이 어떻게 사용되는지 관찰하는 것이 주요 초점이었기 때문에 지시, 제스처, 시선 교환 등의 사소통을 위한 활동과 스케치, 모델링과 같이 직접적인 디자인 활동의 발생과 빈도를 측정하고 비교 분석하였다. 또한 실험 후 참여자 설문을 실시하여 협업의 중요 요소와 문제점을 언급하도록 하였다.
태스크의 종류(지시-변형), 태스크의 복잡도(일반-세밀), 실험환 경의 종류에 따라 태스크 수행의 정확도, 소요시간을 측정하고 설문지를 통해 3-5에서 도출된 요구사항 만족도를 평가하였다. 또한 태스크 수행의 정성적 관찰과 실험 후 참여자 인터뷰를 통해 협업 환경의 효용성 및 문제점, 발전 가능성을 모색하였다.
실험 환경은 본 연구에서 제안하는 인터랙션 기법인 회전원반, 가상그림자의 유무에 따라 세 가지 환경에서 동일한 태스크를 수행하여 비교 분석하였다. 또한 태스크의 복잡도를 달리하여 태스크 수행의 차이를 알아보았다. [그림 14]에서 태스크1, 태스크2는 복잡도가 높지 않은 일반 태스크, 태스크3은 복잡도가 높은 세밀한 태스크이다.
모델링 리뷰에서 최종 디자인 확정할 때 모델의 실제크기에 대한 논의가 이루어졌다. 이를 위해 참여자들은 디자인한 모델 옆에 주전자 모양의 모델을 배치하여 실제 공간에 놓일 때의 부피감을 확인하고자 하였다.
복잡도가 높지 않은 태스크1, 태스크2의 정확도와 소요시간을 평균하여 일반 태스크로, 복잡도가 높은 태스크 3을 세밀한 태스크로 하여 비교 분석하였다그림 15, 16, 17, 18]. 그림의 가로축은 실험 환경, 세로축은 소요시간과 점수를 나타낸다.
본 연구에서 제안된 3차원 원격 디자인 협업 환경의 활용 가능성과 효용성을 검토하기 위해 평가실험을 실시하였다. 또한 디자인 협업에 적용할 때 발생하는 문제점을 탐색하고 이를 해결하기 위한 개선 방안을 모색하고자 하였다.
원격 모터의 다른 인코더는 이 값을 받아 동일한 펄스를 발생시킴으로써 모터를 동일하게 회전시킨다. 본 연구의 프로토타 입은 두 개의 회전원반 모터가 직접 유선으로 연결되도록 제작하였다. 차후 보다 원거리의 원격협업 환경에 적용하기 위해서는 모터를 컴퓨터에 연결하고 네트웍으로 모터의 인코딩 및 디코딩 펄스를 실시간으로 전달하는 방법이 추가로 구현되어야 한다.
카메라를 통해 캡쳐된 이미지는 명도대비를 통해 배경과 사람의 신체를 나타내는 흑백 영상으로 분리하였다. 사용된 테이블 색과 손의 색과 유사하여 배경과 손이 쉽게 구분될 수 있도록 남색계열 어두운 천을 사용하여 보정하였다. 가상그림자 의 이미지가공을 위한 소프트웨어는 Visual C++를 기반으로 제작하였다.
새로운 원격협업 환경에서 가상의 3D 모델을 조작하고 공유하기 위한 조작 장치로 물리적인 회전원 반을 활용하였다. 이는 간단한 회전 인터페이스를 이용하여 가상의 3D 모델을 모든 방향에서 쉽고 직관적으로 검토할 수 있게 하며 손에 잡히지 않는 가상의 모델을 실제로 조작하는 것과 유사한 물리적 피드백을 부여한다.
사용자는 비디오 스트림과 가상물체가 합성된 화면을 HW를 통해 볼 수 있다. 웹캠이 부착된 H1를 사용하여 카메라에 입력되는 화면과 사용자의 시야가 같도록 비디오 투사형 HM를 구현하였다. 원격에 위치한 모든 사용자가 동일한 3D 모델이 지정된 마커를 위치시켜 같은 뷰를 볼 수 있게 하였다.
실시간 협동적 3D CAD System인 Syco3D°는 지리 적으로 분산된 디자이너들이 가상의 3D 모델들을 실시간으로 함께 설계하고 수정할 수 있게 한다. 이 시스템은 데스크톱 기반의 기존 CAD 환경과 유사한 모델링 환경에 실시간으로 3차원 모델의 생성과정을 공유하고 모델을 교환할 수 있는 공유 스테이지(Shared Stage)를 제공한다.
특히 3D 모델을 함께 다루는 원격 디자이너들이 서로의 실재감을 느낄 수 있고, 비언어적인 의사소통 방법을 활용하여 원활하게 협업할 수 있도록 하는 새로운 인터랙션 기법을 개발하는 것, 개발된 기법이 디자인 협업 특히 디자인 리뷰와 관련된 작업에 어떠한 영향을 끼치는지 평가하는 것을 세부목표로 정하였다. 이러한 목표를 달성하기 위한 연구방법으로, 첫째 문헌 조사 분석을 통해 기존 연구의 현황과 제한점, 원격 협업을 지원하기 위한 개발의 중요 요소들을 파악하였다. 둘째, 관찰실험을 통해 디자인 협업 행태와 협업 환경의 활용을 보다 심층적으로 파악하여 3차원 원격 디자인 협업 환경이 갖추어야 할 요건을 도출하였다.
둘째, 관찰실험을 통해 디자인 협업 행태와 협업 환경의 활용을 보다 심층적으로 파악하여 3차원 원격 디자인 협업 환경이 갖추어야 할 요건을 도출하였다. 이를 바탕으로 새로운 환경과 이에 포함될 인터랙션 컨셉을 제안하고 프로토타입을 개발하였다. 그리고 효용성 평가 실험을 통해 제안된 협업 환경의 타당성과 개선가능성을 탐색하였다.
따라서 자연스러운 조작을 하기에 어려움이 있었다. 이를 보완하기 위해 테이블 가운데 모터가 들어갈 수 있도록 원형 테이블을 제작하여 회전원반의 높이를 테이블과 같은 수준이 되도록 조 정하였다[그림 11].
회전원반이 동시적으로 연결되어 움직이도록 구현하기 위해서는 원반 회전 각도의 입력뿐 아니라 입력된 각도만큼 원격에서 회전할 수 있도록 출력이 가능해야 한다. 이를 위해 본 연구에서는 스테핑 모터 (Stepping Motor) 에 인코더(Encoder)를 장착하고 이를 회전원반 아래에 부착시켜 제어하 였다[그림 10], 모터의 회전 값을 인코더를 통해 입력받아 이를 펄스(Pulse)로 변환하고 원격에 위치한 모터에 전달한다. 원격 모터의 다른 인코더는 이 값을 받아 동일한 펄스를 발생시킴으로써 모터를 동일하게 회전시킨다.
실험에 사용된 태스크는 그림 14와 같이 원격에서 협업하는 사용자가 가상의 3D 모델에 대해 함께 검토하고 논의하는 것으로 정하였다. 즉 한 사용자는 모델의 수정사항을 설명하고 다른 사용자가 이를 얼마나 정확하고 빠르게 인지하는지 측정하였다. 정확도는 사용자가 실제 인지한 것을 평가하여 3 단계로 점수를 부여하였다.
[그림 14]에서 태스크1, 태스크2는 복잡도가 높지 않은 일반 태스크, 태스크3은 복잡도가 높은 세밀한 태스크이다. 즉, 실험의 독립변수는 태스크의 종류, 태스크의 복잡도, 실험 환경 종류이며, 종속변수는 태스크 수행 의 소요시간, 정확도였다. 피실험자로 디자인을 전공한 학 석 사 과정생 2명이 한 팀으로 구성된 6팀이 참가하였다.
관련 연구 조사와 디자인 협업 행태의 관찰 실험을 기반으로 요구사항을 도출하고, 특히 3차원 원격협업 환경에서 원격 실재감과 물리적 조작을 증대시키는 방법에 초점을 두었다. 증강현실 기술을 활용하여 가상의 3D 모델을 3차원 공간에서 조작할 수 있도록 하였고, 물리적인 회전원 반을 통해서 가상 모델의 직관적이고 물리적인 조작이 가능하게 하였다. 회전원반의 동시적인 연결과 함께 사용자의 손의 그림자를 테이블 표면에 가시화한 가상그림자를 제공하여 원격에 있는 상대방의 실재감을 증대시키는 방법을 제안하였다.
태스크의 종류(지시-변형), 태스크의 복잡도(일반-세밀), 실험환 경의 종류에 따라 태스크 수행의 정확도, 소요시간을 측정하고 설문지를 통해 3-5에서 도출된 요구사항 만족도를 평가하였다. 또한 태스크 수행의 정성적 관찰과 실험 후 참여자 인터뷰를 통해 협업 환경의 효용성 및 문제점, 발전 가능성을 모색하였다.
가상그림자를 시각화하기 위해 웹캠과 프로젝션 이미지를 사용하였다. 테이블 상단에 장착된 웹캠을 통해 회전원반 주변의 이미지를 지속적으로 촬영하였고 이 이미지를 그림자의 형태로 변환하여 상대방 원형테이블에 프로젝션 되게 하였다. 카메라를 통해 캡쳐된 이미지는 명도대비를 통해 배경과 사람의 신체를 나타내는 흑백 영상으로 분리하였다.
[그림 13]은 가상그림자의 시각화를 위한 시스템 구조를 나타낸다. 투사영상을 반사하는 거울을 설치하여 크기 대비 투사면적을 최대한 확보하고 장착에 요구되는 카메라와 프로젝트의 공간을 최소화할 수 있도록 하였다.
본 연구에서는 지리적으로 분산된 디자이너들 혹은 디자이너와 협력해야 하는 타 분야 전문가들이 보다 효과적으로 협업할 수 있도록 지원하기 위한 방법을 모색하였다. 특히 3D 모델을 함께 다루는 원격 디자이너들이 서로의 실재감을 느낄 수 있고 비언어적인 의사소통 방법을 활용하여 원활하게 협업 할 수 있도록 하는 새로운 인터랙션 기법을 개발하였고, 개발된 기법이 디자인 협업 특히 디자인 리뷰와 관련된 작업에 어떠한 영향을 끼치는지 평가하였다. 관련 연구 조사와 디자인 협업 행태의 관찰 실험을 기반으로 요구사항을 도출하고, 특히 3차원 원격협업 환경에서 원격 실재감과 물리적 조작을 증대시키는 방법에 초점을 두었다.
이는 지리적으로 분산되어 제품디자인 개발에 참여하는 디자이너들이 가상의 3D 모델을 검토하고 수정사항을 논의하는 단계를 지원한다. 특히 원격에 떨어진 상대의 실재감을 증대시키는 방법, 3D 모델의 검토에 있어서 실제 부피감을 인식하고 조작에 직관성과 물리적 피드백을 부여할 수 있는 방법, 간접적으로 상대방의 행위나 의사소통을 인식할 수 있도록 하는 방법을 보다 자연스럽게 제공하는데 초점을 두었다.
증강현실 기술을 활용하여 가상의 3D 모델을 3차원 공간에서 조작할 수 있도록 하였고, 물리적인 회전원 반을 통해서 가상 모델의 직관적이고 물리적인 조작이 가능하게 하였다. 회전원반의 동시적인 연결과 함께 사용자의 손의 그림자를 테이블 표면에 가시화한 가상그림자를 제공하여 원격에 있는 상대방의 실재감을 증대시키는 방법을 제안하였다.
대상 데이터
디자인 협업 행태 관찰은 디자인 대학 석 박사과정 학생이 참여하는 모의 디자인 프로젝트를 대상으로 수행되었다. 디자인 프로젝트의 주제는 새로운 디지털 카메라를 디자인하는 것이었다.
정확도는 사용자가 실제 인지한 것을 평가하여 3 단계로 점수를 부여하였다. 실험에서 디자인 리뷰의 대상이 되는 3D 모델은 관찰실험과 동일하게 디지털 카메라로 선정 하였다.
디자인 프로젝트의 주제는 새로운 디지털 카메라를 디자인하는 것이었다. 영국 디자인 대학(Brunel University)에서 수학중인 박사과정 3명으로 구성된 한팀과 한국 디자인 대학에서 수학중 인 석사과정 3명으로 구성된 두팀이 참가하였다. 디자인 팀들 은 1차 디자인 브리프 회의, 2차 디자인 스케치 리뷰 회의, 3 차 모델링 리뷰 회의를 며칠 간격을 두고 단계적으로 진행하였다.
즉, 실험의 독립변수는 태스크의 종류, 태스크의 복잡도, 실험 환경 종류이며, 종속변수는 태스크 수행 의 소요시간, 정확도였다. 피실험자로 디자인을 전공한 학 석 사 과정생 2명이 한 팀으로 구성된 6팀이 참가하였다.
데이터처리
수정사항에 대한 설명은 모델의 특정 부분의 '지시'와 이에 대한 '변형(위치 혹은 크기)'으로 구성되었다. 실험 환경은 본 연구에서 제안하는 인터랙션 기법인 회전원반, 가상그림자의 유무에 따라 세 가지 환경에서 동일한 태스크를 수행하여 비교 분석하였다. 또한 태스크의 복잡도를 달리하여 태스크 수행의 차이를 알아보았다.
성능/효과
새롭게 제안된 인터랙션 기법들이 제공된 증강 현실 기반의 본 협업 환경은 원격 사용자들이 3D 모델을 함께 검토하 는데 유용성이 있음을 확인할 수 있었다(5.6/7.0점). 특히 모델의 특정 부분을 대략적으로 지시하는데 효율적인 것으로 나타난 한편 세밀한 이동이나 크기 변형 등의 디자인 수정에는 한계가 있었다.
설문에서 참여자들은 3D 모델의 실재감(4.7/7.0점)을 충분히 느끼기에는 한계가 있었으나, 2차원의 데스크탑 환경의 모델링 툴에서 조작할 때보다 실제 공간에서 모델을 다룰 수 있어서 긍정적이라고 하였다.
이때 발생한 스케치는 디자인 아이디어의 표현 외에도 특정 부분을 지시하거나 방향 표시를 위한 것이 상당 부분 차지하였다. 시선교환의 비율도 스케치 리뷰, 모델링 리뷰 모두 원격공간에서 확연히 낮아진 결과를 보였다.
실험 후 인터뷰에서 사용자들은 회전원 반의 동시적 연결이 상대방과 모델을 확실히 공유하고 있다는 느낌을 주며, 가상그림자를 통해 상대의 위치와 지시 정보가 더해짐에 따라 서로 시야를 공유하는데 유용했다고 언급하였다. 실험 결과도 회전원반만 제공된 환경보다 가상그림자가 함께 제공되었을 때 지시(일반태스크)에 소요된 시간이 가장 짧았으몌그림 15], 변형에 소요된 시간은 늘었으나[그림 18] 정확도가 높아진 효과를 보였다[그림 18], 회전원반의 간단한 회전 인터페이스는 모델을 회전시키며 검토하는데 있어서 버튼과 마우스를 복잡하게 조합해야하는 데스크탑 기반의 모델링 툴에 비해 편리하고 직관적이라는 의견도 있었다. 또한 기존 데스크탑 기반 환경에서 원격협업 시 채팅툴과 모델링 툴을 함께 사용하면서 창을 전환해야하는 번거로움과 상대의 모드를 알 수 없는 문제가 있었으나 이러한 어려움이 효과적으로 해결되었다고 언급하였다.
실험 결과에서 알 수 있듯이 참가자들은 지시의 인식과 공유객체의 조작을 협업에 가장 중요한 요소로 언급한 반면, 표정 인식의 중요도는 가장 낮게 평가하였다[그림 2], 원격 공간의 회의 시 참여자들은 점차 디자인 협업 대상물에 집중하면서 상대표정을 확인할 수 있는 웹캠 화면을 거의 사용하지 않는 모습을 보였다. 이는 의사결정을 위한 일반적인 원격 협 업에서 비디오 컨퍼런싱이 주요 협업수단이 된다는 점과 달리, 협업대상물 자체를 공유하고, 대상물에 직접적으로 관련된 지시나 제스처 정보 등을 제공하는 것이 더 중요하다는 점을 암시한다.
회전원반과 가상그림자는 상대의 조작과 행동에 대한 물리적인 단서를 제공함으로써 실재감을 증대시키고 협업을 촉진하는 효과를 보였다. 실험 후 인터뷰에서 사용자들은 회전원 반의 동시적 연결이 상대방과 모델을 확실히 공유하고 있다는 느낌을 주며, 가상그림자를 통해 상대의 위치와 지시 정보가 더해짐에 따라 서로 시야를 공유하는데 유용했다고 언급하였다. 실험 결과도 회전원반만 제공된 환경보다 가상그림자가 함께 제공되었을 때 지시(일반태스크)에 소요된 시간이 가장 짧았으몌그림 15], 변형에 소요된 시간은 늘었으나[그림 18] 정확도가 높아진 효과를 보였다[그림 18], 회전원반의 간단한 회전 인터페이스는 모델을 회전시키며 검토하는데 있어서 버튼과 마우스를 복잡하게 조합해야하는 데스크탑 기반의 모델링 툴에 비해 편리하고 직관적이라는 의견도 있었다.
실험을 통해 제안된 협업 환경의 개선점도 파악할 수 있었다. 사용자들은 모델의 특정 부분을 정확히 지시하기 위해 가상그림자를 이용하고자 하였으나, 가상그림자는 테이블 표면에 투사되는 평면적인 정보만을 제공하였기 때문에 수직의 위치를 지시할 수 없는 한계가 있었다.
일반 태스크에서 지시에 소요된 시간은 82초로 회전원반과 가상그림자가 모두 제공된 실험 환경 C에서 가장 짧게 나타 났으며[그림 15], 정확도는 6점으로 실험 환경에 상관없이 모두 동일한 결과를 보였다[그림 16]. 즉 복잡도가 높지 않은 지시는 모두 정확히 수행되지만 인터랙션 기법들이 제공되었을 때 보다 신속히 이루어졌음을 알 수 있다.
세밀한 태스크에서 지시, 변형 태스크 모두 인터랙션 기법이 없는 실험 환경 A일 때 각각 316초, 312초로 소요시간이 가장 짧게 나타났다[그림 15, 17]. 지시 태스크의 정확도는 인터랙션 모두 제공된 실험 환경 C에서 6점으로 가장 높았으며[그림 16], 변형 태스크의 정확도는 환경에 상관없이 통일하게 8점으로 측정되었다[그림 18], 실제 복잡도가 높은 변형 태스크 수행 시 참여자들은 회전원반과 가상그림자를 활용하다가 논의가 원활히 진행되지 않자 주로 언어적 의사소통을 사용하는 경향을 보였다.
한편, 일반 태스크에서 변형(이동 혹은 크기)에 소요된 시간은 실험환경 C에서 428초로 가장 길게 나타났으며[그림 17], 정확도는 6점으로 실험환경 A, B보다 높게 나타났다. 이는 회전원반과 가상그림자의 인터랙션 기법 제공이 보다 자세하고 정확한 논의를 촉진한다는 가능성을 보여주는 결과이다.
회전원반과 가상그림자는 상대의 조작과 행동에 대한 물리적인 단서를 제공함으로써 실재감을 증대시키고 협업을 촉진하는 효과를 보였다. 실험 후 인터뷰에서 사용자들은 회전원 반의 동시적 연결이 상대방과 모델을 확실히 공유하고 있다는 느낌을 주며, 가상그림자를 통해 상대의 위치와 지시 정보가 더해짐에 따라 서로 시야를 공유하는데 유용했다고 언급하였다.
특히 모델의 특정 부분을 대략적으로 지시하는데 효율적인 것으로 나타난 한편 세밀한 이동이나 크기 변형 등의 디자인 수정에는 한계가 있었다. 회전원반과 가상그림자는 조작의 공유감과 상대의 실재감 증대에 기여함을 알 수 있었다.
회전원반과 가상그림자의 인터랙션이 제공된 본협업 환경은 복잡도가 높지 않은 지시태스크에 있어서 가장 신속하고 정확히 수행되도록 지원한 것으로 나타났다. 한편 버튼의 길이나 위치를 세밀하게 조정하는 변형 태스크를 지원하는 데는 어려움이 있었다.
후속연구
향후 연구로 우선 실험에서 문제점으로 파악된 바와 같이 3D 모델을 3차원적으로 정확히 지시할 수 있는 도구나 방법이 보완되어야 한다. 보다 자연스러운 지시와 인식을 위해 정확한 위치를 공간상에서 지속적으로 추적할 수 있는 방법에 관한 연구가 요구된다. 본 연구에서의 평가 실험은 실험실 내에서 제한된 태스크 하에서 이루어졌다.
한편 버튼의 길이나 위치를 세밀하게 조정하는 변형 태스크를 지원하는 데는 어려움이 있었다. 본 협업 환경이 3D 모델을 검토와 대략적인 수정사항 논의에는 효과적이나 자세하고 정밀한 디자인 수정에는 추가적인 보완이 필요함을 알 수 있었다.
즉 실제 원격협업 환경에서 장애가 될 수 있는 지연 시간(latency time)과 같은 문제가 협업에 어떤 영향을 미치며 어떻게 보완할 수 있을지에 대한 추가 연구가 보완 되어야 한다. 이를 통해 협업 환경의 실제 활용 가능성을 높일 수 있을 것으로 기대된다.
연구 목표를 달성하기 위해 본 연구에서는 증강현실 (Augmented Reality) 기반의 3차원 원격 디자인 협업 환경을 제안하고 원격 사용자에 대한 존재감(Awareness)을 제공하는 회전원반(Turn-table)과 가상그림자(Virtual iadow)라는 인터 랙션 도구를 제안하였다. 제안된 인터랙션 도구와 활용 기법 은 가상의 3차원 모델을 다루는 원격에 위치한 사용자들(디자이너-디자이너, 디자이너-엔지니어, 혹은 디자이너-모델러 등) 간의 자연스러운 의사소통을 촉진하고 협업의 효율을 증대시킬 수 있을 것으로 기대된다.
따라서 실제 원거리에 떨어진 상황에서 발생할 수 있는 기술적인 문제점들이 제거된 상황이라 할 수 있다. 즉 실제 원격협업 환경에서 장애가 될 수 있는 지연 시간(latency time)과 같은 문제가 협업에 어떤 영향을 미치며 어떻게 보완할 수 있을지에 대한 추가 연구가 보완 되어야 한다. 이를 통해 협업 환경의 실제 활용 가능성을 높일 수 있을 것으로 기대된다.
본 연구의 프로토타 입은 두 개의 회전원반 모터가 직접 유선으로 연결되도록 제작하였다. 차후 보다 원거리의 원격협업 환경에 적용하기 위해서는 모터를 컴퓨터에 연결하고 네트웍으로 모터의 인코딩 및 디코딩 펄스를 실시간으로 전달하는 방법이 추가로 구현되어야 한다.
향후 연구로 우선 실험에서 문제점으로 파악된 바와 같이 3D 모델을 3차원적으로 정확히 지시할 수 있는 도구나 방법이 보완되어야 한다. 보다 자연스러운 지시와 인식을 위해 정확한 위치를 공간상에서 지속적으로 추적할 수 있는 방법에 관한 연구가 요구된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.