홀로렌즈를 이용한 증강현실 환경에서 건축 설계 어플리케이션을 위한 인터랙션 설계 및 구현 Interaction Design and Implementation for Architectural Design Application in Augmented Reality Environment using the HoloLens원문보기
본 논문에서는, 증강현실 기술을 ‘건축 설계의 초기 단계’에 적용하여 전통적인 건축 설계 방식의 문제점을 해결하고자 한다. 건축가들은 상상 속의 형태를 현실에서 나타내기 위해 종이에 그림을 그리고, 건축 모형을 만들어보고 CAD(Computer-Aided Design) 프로그램을 이용하여 3D model을 만든다. 이러한 과정들은 모두 오랜 시간 작업을 해야 하는 단점이 있다. 이는 프로젝트 기간 내에 많은 이해와 소통이 이루어져야 하는 환경에서 커다란 걸림돌이 된다. 결국, 이해하기에 충분하지 않은 ...
본 논문에서는, 증강현실 기술을 ‘건축 설계의 초기 단계’에 적용하여 전통적인 건축 설계 방식의 문제점을 해결하고자 한다. 건축가들은 상상 속의 형태를 현실에서 나타내기 위해 종이에 그림을 그리고, 건축 모형을 만들어보고 CAD(Computer-Aided Design) 프로그램을 이용하여 3D model을 만든다. 이러한 과정들은 모두 오랜 시간 작업을 해야 하는 단점이 있다. 이는 프로젝트 기간 내에 많은 이해와 소통이 이루어져야 하는 환경에서 커다란 걸림돌이 된다. 결국, 이해하기에 충분하지 않은 3차원 형태를 만들어내어 작업자 간에 오해를 불러일으키며, 성급한 의사결정을 내리게 되고, 문제점을 뒤늦게 발견할 경우 해결이 불가피하거나 막대한 비용을 초래하게 된다. 증강현실은 이러한 건축 설계의 문제점을 해결할 수 있는 실마리가 될 수 있다. 증강현실 환경에서는 가상의 3차원 모형을 사용자가 원하는 크기로 만들고 원하는 시점으로 바라볼 수 있으며, 현실에서의 실제 건축 모형을 수정하지 않고 가상의 3차원 모형만을 이용하여 다른 형태를 확인해 볼 수 있기 때문이다. 즉, 2차원의 그림을 그리면서 건축 모형으로 발전하는 방식이 아닌, 3차원인 가상 모형을 이용해서 설계를 발전시킬 수 있는 것이다. 더불어 증강현실 환경 내에서 3차원 인터랙션(3D User Interaction)을 이용해 가상의 3차원 모형을 생성하고 수정하는 방법 또한 간편하고 효율적으로 이루어져야 한다. 이를 통해 건축가는 상상 속의 모형을 눈앞의 3차원 모형으로 단번에 만들어 낼 수 있다. 본 논문에서는, 증강현실 환경에서 건축 설계 작업 시에 필요한 3차원 인터랙션을 이용할 때, 고려해야 할 요소들을 3가지로 정하였다. 첫째로, 사용자는 자신이 만들어내고자 했던 의도대로의 모형을 ‘정확’하게 생성할 수 있어야 한다. 기존의 3차원 인터랙션은 허공에 손으로 선을 그리거나 모형의 꼭짓점이 위치할 곳을 손으로 선택하는 방식을 사용하였다. 이러한 방식의 결과물은 사용자가 시점을 옮겨 다른 방향에서 볼 경우 의도와 달리 잘못 만들어진 형태를 발견하게 된다. 둘째로, ‘신속’하게 진행되어야 한다. 건축 설계의 초기 단계에서는 짧은 기간 동안 많은 아이디어 검증과 프로토타입이 제작되어야 하므로 사용자가 원하는 방식대로 신속하게 사용할 수 있어야 한다. 마지막으로, 3차원 인터랙션을 사용할 경우 주로 에어 제스처(Air-gesture)를 사용하지만, 이는 장시간 사용할 경우 피로를 증가시키므로 지양해야 한다. 즉, 사용자가 오랫동안 사용하더라도 ‘피로도가 낮은’인터랙션 방법을 사용해야 한다. 본 논문에서는 증강현실을 적용한 건축 설계 어플리케이션에서 가상의 3차원 모형 생성을 사용자의 의도대로 정확하고 신속하게 할 수 있으며 작업에 의한 피로를 적게 느끼는 3차원 인터랙션을 추가하여 초기 건축 설계 작업이 빠르게 진행될 수 있도록 하고자 한다. 이를 위해 제안하고자 하는 시스템에서는 ‘테이블 터치 인터랙션’과 ‘손 포스처 인식 인터랙션’을 결합한 방식을 사용하였다. 테이블 터치 인터랙션은 사용자가 테이블 표면을 손가락으로 터치하는 순간을 파악하여 물리적인 테이블을 일종의 터치스크린처럼 사용한다. 손 포스처 인식은 사용자가 특정 손 모양을 취하게 되면 각각의 손 모양과 연결된 기능을 실행할 수 있도록 한다. 위의 두 가지 인터랙션을 결합하여 사용자는 다음과 같은 방식으로 작업할 수 있다. 먼저 3차원 모형을 생성할 경우, 테이블 터치 인터랙션을 이용하여 2차원 도형을 그린 후, CAD에서 통상적으로 사용되는 ‘extrude’를 이용하여 정확한 모형을 바로 만들어낸다. 또한, 사용자가 자주 사용하는 기능들을 특정 손 포스처만 취하게 되면 사용할 수 있도록 하여 신속하게 작업을 할 수 있다. 그리고 테이블 터치 인터랙션과 손 포스처를 이용한 방식은 두 팔을 테이블 위에 올려놓고 진행되는 부분이 많기 때문에 기존 방식에 비해 적은 피로를 느낄 수 있다. 제안하는 인터랙션과 증강현실 환경 구축을 위해 Microsoft의 홀로렌즈, 데이터 글러브인 SensoGlove, 작업을 수행하기 위한 테이블 그리고 인터랙션 연산을 위한 데스크탑 PC를 사용하였다. 제안하는 시스템을 평가하기 위해서 두 가지 측면의 실험을 진행하였다. 먼저, 시스템의 성능을 평가하기 위해서 테이블 표면 터치 인터랙션의 정확도와 손 포스처 인식의 정확도를 측정하였다. 총 8명의 피실험자들을 통해 각각 96.4%의 터치 인식률와 평균 11mm의 터치 오차범위를 나타내었고, 98.6%의 손 포스처 인식률을 보여주었다. 사용성 평가를 위해서는 건축 업계에 종사하는 8명의 피실험자들에게 두 가지 건축 모형을 보여주고 최대한 똑같이 재현하도록 하였다. 이때 4명의 대조군에는 기존 CAD 프로그램을 사용하도록 하였고, 나머지 4명은 제안하는 시스템을 사용하도록 하였다. 실험 결과, 제안하는 시스템을 사용한 그룹이 정확성이 평균적으로 34% 높았고, 업무 완료 시간은 약 1.8배 빨라짐을 보였다. 마지막으로 피로도 측면에서는 ‘Consumed Endurance’계측 방법에 따라 제안하는 시스템의 인터랙션을 사용할 경우 기존의 방식보다 낮은 피로도를 유지함을 확인할 수 있었다.
본 논문에서는, 증강현실 기술을 ‘건축 설계의 초기 단계’에 적용하여 전통적인 건축 설계 방식의 문제점을 해결하고자 한다. 건축가들은 상상 속의 형태를 현실에서 나타내기 위해 종이에 그림을 그리고, 건축 모형을 만들어보고 CAD(Computer-Aided Design) 프로그램을 이용하여 3D model을 만든다. 이러한 과정들은 모두 오랜 시간 작업을 해야 하는 단점이 있다. 이는 프로젝트 기간 내에 많은 이해와 소통이 이루어져야 하는 환경에서 커다란 걸림돌이 된다. 결국, 이해하기에 충분하지 않은 3차원 형태를 만들어내어 작업자 간에 오해를 불러일으키며, 성급한 의사결정을 내리게 되고, 문제점을 뒤늦게 발견할 경우 해결이 불가피하거나 막대한 비용을 초래하게 된다. 증강현실은 이러한 건축 설계의 문제점을 해결할 수 있는 실마리가 될 수 있다. 증강현실 환경에서는 가상의 3차원 모형을 사용자가 원하는 크기로 만들고 원하는 시점으로 바라볼 수 있으며, 현실에서의 실제 건축 모형을 수정하지 않고 가상의 3차원 모형만을 이용하여 다른 형태를 확인해 볼 수 있기 때문이다. 즉, 2차원의 그림을 그리면서 건축 모형으로 발전하는 방식이 아닌, 3차원인 가상 모형을 이용해서 설계를 발전시킬 수 있는 것이다. 더불어 증강현실 환경 내에서 3차원 인터랙션(3D User Interaction)을 이용해 가상의 3차원 모형을 생성하고 수정하는 방법 또한 간편하고 효율적으로 이루어져야 한다. 이를 통해 건축가는 상상 속의 모형을 눈앞의 3차원 모형으로 단번에 만들어 낼 수 있다. 본 논문에서는, 증강현실 환경에서 건축 설계 작업 시에 필요한 3차원 인터랙션을 이용할 때, 고려해야 할 요소들을 3가지로 정하였다. 첫째로, 사용자는 자신이 만들어내고자 했던 의도대로의 모형을 ‘정확’하게 생성할 수 있어야 한다. 기존의 3차원 인터랙션은 허공에 손으로 선을 그리거나 모형의 꼭짓점이 위치할 곳을 손으로 선택하는 방식을 사용하였다. 이러한 방식의 결과물은 사용자가 시점을 옮겨 다른 방향에서 볼 경우 의도와 달리 잘못 만들어진 형태를 발견하게 된다. 둘째로, ‘신속’하게 진행되어야 한다. 건축 설계의 초기 단계에서는 짧은 기간 동안 많은 아이디어 검증과 프로토타입이 제작되어야 하므로 사용자가 원하는 방식대로 신속하게 사용할 수 있어야 한다. 마지막으로, 3차원 인터랙션을 사용할 경우 주로 에어 제스처(Air-gesture)를 사용하지만, 이는 장시간 사용할 경우 피로를 증가시키므로 지양해야 한다. 즉, 사용자가 오랫동안 사용하더라도 ‘피로도가 낮은’인터랙션 방법을 사용해야 한다. 본 논문에서는 증강현실을 적용한 건축 설계 어플리케이션에서 가상의 3차원 모형 생성을 사용자의 의도대로 정확하고 신속하게 할 수 있으며 작업에 의한 피로를 적게 느끼는 3차원 인터랙션을 추가하여 초기 건축 설계 작업이 빠르게 진행될 수 있도록 하고자 한다. 이를 위해 제안하고자 하는 시스템에서는 ‘테이블 터치 인터랙션’과 ‘손 포스처 인식 인터랙션’을 결합한 방식을 사용하였다. 테이블 터치 인터랙션은 사용자가 테이블 표면을 손가락으로 터치하는 순간을 파악하여 물리적인 테이블을 일종의 터치스크린처럼 사용한다. 손 포스처 인식은 사용자가 특정 손 모양을 취하게 되면 각각의 손 모양과 연결된 기능을 실행할 수 있도록 한다. 위의 두 가지 인터랙션을 결합하여 사용자는 다음과 같은 방식으로 작업할 수 있다. 먼저 3차원 모형을 생성할 경우, 테이블 터치 인터랙션을 이용하여 2차원 도형을 그린 후, CAD에서 통상적으로 사용되는 ‘extrude’를 이용하여 정확한 모형을 바로 만들어낸다. 또한, 사용자가 자주 사용하는 기능들을 특정 손 포스처만 취하게 되면 사용할 수 있도록 하여 신속하게 작업을 할 수 있다. 그리고 테이블 터치 인터랙션과 손 포스처를 이용한 방식은 두 팔을 테이블 위에 올려놓고 진행되는 부분이 많기 때문에 기존 방식에 비해 적은 피로를 느낄 수 있다. 제안하는 인터랙션과 증강현실 환경 구축을 위해 Microsoft의 홀로렌즈, 데이터 글러브인 SensoGlove, 작업을 수행하기 위한 테이블 그리고 인터랙션 연산을 위한 데스크탑 PC를 사용하였다. 제안하는 시스템을 평가하기 위해서 두 가지 측면의 실험을 진행하였다. 먼저, 시스템의 성능을 평가하기 위해서 테이블 표면 터치 인터랙션의 정확도와 손 포스처 인식의 정확도를 측정하였다. 총 8명의 피실험자들을 통해 각각 96.4%의 터치 인식률와 평균 11mm의 터치 오차범위를 나타내었고, 98.6%의 손 포스처 인식률을 보여주었다. 사용성 평가를 위해서는 건축 업계에 종사하는 8명의 피실험자들에게 두 가지 건축 모형을 보여주고 최대한 똑같이 재현하도록 하였다. 이때 4명의 대조군에는 기존 CAD 프로그램을 사용하도록 하였고, 나머지 4명은 제안하는 시스템을 사용하도록 하였다. 실험 결과, 제안하는 시스템을 사용한 그룹이 정확성이 평균적으로 34% 높았고, 업무 완료 시간은 약 1.8배 빨라짐을 보였다. 마지막으로 피로도 측면에서는 ‘Consumed Endurance’계측 방법에 따라 제안하는 시스템의 인터랙션을 사용할 경우 기존의 방식보다 낮은 피로도를 유지함을 확인할 수 있었다.
This study attempts to solve the problems of traditional architectural design methods by implementing Augmented Reality technology during the initial stages in architectural design. Current methods used during the initial stage of architectural design pose many difficulties in creating and managing ...
This study attempts to solve the problems of traditional architectural design methods by implementing Augmented Reality technology during the initial stages in architectural design. Current methods used during the initial stage of architectural design pose many difficulties in creating and managing 3D structures. Architects must first draw on paper, build models and make them into 3D through CAD(Computer-Aided Design) program in order to realize their imagination. This process not only takes time but also hinders smooth and active communication and understanding in tight schedules, both of which are required in the architectural environment. As a result, unclear 3D models are generated that bring further confusion. This also is the direct reason for impetuous decisions, lead to inevitable situations that can be costly. Augmented reality can be the key to such issues in architectural design. Users can not only see the 3D models from any view and size in the virtual reality, but also can make simple adjustments rather than to fix the actual 3D models in reality. Hence, users no longer need to develop models through actual drawings, but virtually through AR technology. Nevertheless, this is not the complete solution to the fundamental issues in architectural design. Another key would be to simplify the process in creating and modifying the virtual 3D models in augmented reality environments. Architects should be able to bring their imagination into reality, by easily creating 3D models right in front of their eyes. Thus, recent studies have been actively focusing on 3D user interaction to generate virtual 3D models in the augmented reality environment. This study chose three specific factors that should be considered for the use of 3D user interaction in the augmented reality environment when working on architectural designs. First, the user must be able to generate the exact 3D model as he or she intended. Existing 3D user interaction had the users to draw lines in the air or to select where the model’s vertices would be. Such methods may distort the original intention of the users if they wish to see the models from a different point of view and from different directions. Secondly, modeling must be done rapidly. Many ideas and prototypes should be checked and produced during the initial phase of architectural designs, and hence the use must be able generate models quickly. Lastly, while most 3D user interaction adopts Air-gesture methods, this leads to fatigue when users work for long hours. Therefore, users should be able to use for a long time but should be fatigue-efficient. This paper seeks to provide architectural design application in augmented reality environment that delivers virtual 3D models rapidly and exactly as the user intended, by adding 3D user interaction that is fatigue efficient, which can eventually expedite initial architectural design process. To do so, the combination of table touch interaction and hand posture recognition interaction were used in the system. Table touch interaction uses an actual table as a touch screen that identifies the moment the user touches the surfaces with fingers. Hand posture recognition activates functions related to each hand postures when the user forms hands in designated forms. In other words, hand postures act as short keys. By combining the two interaction types, the user can benefit in three ways. First, the user can generate accurate models by using ‘extrude’ that is commonly used in CAD after drawing 2D models through table touch interaction for 3D models. Second, the user can be more efficient with time by designating frequently used functions to specific hand postures when working on 3D models. Last, the user can work fatigue-efficiently as table touch and hand posture recognition interaction allows users to place their hands on the table, compared to traditional methods.
This study attempts to solve the problems of traditional architectural design methods by implementing Augmented Reality technology during the initial stages in architectural design. Current methods used during the initial stage of architectural design pose many difficulties in creating and managing 3D structures. Architects must first draw on paper, build models and make them into 3D through CAD(Computer-Aided Design) program in order to realize their imagination. This process not only takes time but also hinders smooth and active communication and understanding in tight schedules, both of which are required in the architectural environment. As a result, unclear 3D models are generated that bring further confusion. This also is the direct reason for impetuous decisions, lead to inevitable situations that can be costly. Augmented reality can be the key to such issues in architectural design. Users can not only see the 3D models from any view and size in the virtual reality, but also can make simple adjustments rather than to fix the actual 3D models in reality. Hence, users no longer need to develop models through actual drawings, but virtually through AR technology. Nevertheless, this is not the complete solution to the fundamental issues in architectural design. Another key would be to simplify the process in creating and modifying the virtual 3D models in augmented reality environments. Architects should be able to bring their imagination into reality, by easily creating 3D models right in front of their eyes. Thus, recent studies have been actively focusing on 3D user interaction to generate virtual 3D models in the augmented reality environment. This study chose three specific factors that should be considered for the use of 3D user interaction in the augmented reality environment when working on architectural designs. First, the user must be able to generate the exact 3D model as he or she intended. Existing 3D user interaction had the users to draw lines in the air or to select where the model’s vertices would be. Such methods may distort the original intention of the users if they wish to see the models from a different point of view and from different directions. Secondly, modeling must be done rapidly. Many ideas and prototypes should be checked and produced during the initial phase of architectural designs, and hence the use must be able generate models quickly. Lastly, while most 3D user interaction adopts Air-gesture methods, this leads to fatigue when users work for long hours. Therefore, users should be able to use for a long time but should be fatigue-efficient. This paper seeks to provide architectural design application in augmented reality environment that delivers virtual 3D models rapidly and exactly as the user intended, by adding 3D user interaction that is fatigue efficient, which can eventually expedite initial architectural design process. To do so, the combination of table touch interaction and hand posture recognition interaction were used in the system. Table touch interaction uses an actual table as a touch screen that identifies the moment the user touches the surfaces with fingers. Hand posture recognition activates functions related to each hand postures when the user forms hands in designated forms. In other words, hand postures act as short keys. By combining the two interaction types, the user can benefit in three ways. First, the user can generate accurate models by using ‘extrude’ that is commonly used in CAD after drawing 2D models through table touch interaction for 3D models. Second, the user can be more efficient with time by designating frequently used functions to specific hand postures when working on 3D models. Last, the user can work fatigue-efficiently as table touch and hand posture recognition interaction allows users to place their hands on the table, compared to traditional methods.
주제어
#건축 설계 어플리케이션 증강현실(Augmented reality) 3차원 인터랙션(3D User Interaction) 홀로렌즈 터치 인터랙션 손 포스처 인식
학위논문 정보
저자
김인환
학위수여기관
연세대학교 일반대학원
학위구분
국내석사
학과
컴퓨터과학과
지도교수
한탁돈
발행연도
2019
총페이지
viii, 79p.
키워드
건축 설계 어플리케이션 증강현실(Augmented reality) 3차원 인터랙션(3D User Interaction) 홀로렌즈 터치 인터랙션 손 포스처 인식
※ AI-Helper는 부적절한 답변을 할 수 있습니다.