[논문]증강현실에 사용되는 상호작용 방법의 종류 및 분석

황재인

증강현실에 사용되는 상호작용 방법의 종류 및 분석 원문보기

정보처리학회지 = Korea information processing society review, v.25 no.2, 2018년, pp.39 - 47

황재인 (한국과학기술연구원)

초록이 없습니다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

AR 인터랙션의 종류는 다양하게 분류가 되는데 Browsing Interface, Tangible Interaction, Bare hand Interaction (맨손 인터랙션), 햅틱 인터랙션 등이 있다. 이 논문에서는 이러한 분류들의 여러 연구 사례들을 살펴보고자 한다.

제안 방법

VOMAR의 경우에는 실제 물리적인 패드를 사용해서 가상의 가구를 배치하고 위치를 바꾸는 일을 할 수 있다. 사용자는 HMD를 착용한 채로 카메라로 들어오는 영상과 합성된 가상의 가구들을 보면서 패들을 이용하여 조작을 한다. 패들의 움직임은 제스쳐 기반의 명령과 대응이 되어 있는데 예를 들어 패들을 기울이는 동작은 가상 물체를 그 장면에 놓는 명령이고 모델을 치는 동작은 삭제를 하는 동작이다.
그리고 두 번째 인터랙션 기기는 지도상의 위치와 관련된 정보의 제어를 할 수 있도록 도와준다. 사용자는 PDA와 사각형의 영상 브라우저 인터페이스를 사용하여 지도상의 특정 영역 및 내용을 PDA를 사용하여 선택 및 지정하고 그 결과의 이미지를 영상 브라우저에서 보여주게 된다.
Heidemann은 테이블탑 위의 물체들을 음성과 제스쳐로 선택하는 인터랙션을 선보였다^[20]. 여기에서 사용자의 검지를 파악하기 위해서 피부색을 이용하였고 사용자는 손가락과 음성 명령을 통해서 가상물체를 선택하거나 메뉴를 선택할 수가 있도록 제공되었다.
UC Santa Barbara에서는 HandyAR^[17]연구를 통해 일반적인 웹카메라를 사용해서 AR 환경에서 손을 사용한 인터랙션을 제시하였다. 이 연구에서는 손을 오므리거나 펴거나 함으로 물체를 선택하고 손을 회전하면서 물체를 돌리는 정도의 인터랙션을 보여주었다.

대상 데이터

증강현실에서 사용될 수 있는 사용자 정의형 제스쳐들에 대해서 정리하였다. 20명의 피실험자들에게 40개의 선택된 태스크를 수행하기 위해서 800개의 제스쳐들을 제시하고 이 중에 태스크와 맞는 제스쳐들이 선정되었다. 이 연구를 통해서 증강현실에서 사용될 수 있는 제스쳐들의 수많은 종류 중에서 어떤 제스쳐들이 일반적인 증강현실 명령들과 잘 매핑이 되는지 정리가 되었다.

성능/효과

이런 방법을 사용하면 기존의 가림 기반 인터랙션 방법보다 수십배 정밀하게 선택이 가능하면서 실제 계산양은 두세배 정도만 증가하는 효과를 보게 된다. 결과적으로 같은 정밀도를 가지는 경우에 기존 방법을 사용했을 때보다 계층적 방법을 사용하는 경우에 3배 정도의 속도 향상이 발생하는 것으로 나타났다.

후속연구

최근에 들어 AR 기기의 성능 향상과 딥러닝 기법의 개발 등으로 이전에는 불가능하거나 비실용적이었던 맨손 인식도 점차 가능해지고 있어서 맨손 인터랙션 방법이 향후에 일반적으로 보편화 될 것으로 보인다^[15,16]. 또한 손 끝에 부착하는 가볍고 간단한 방식의 햅틱 장치들이 점차 개발되면서 허공이라 할지라도 실제 물체가 있는 듯한 느낌을 전달하게 됨으로 보다 실감나는 인터랙션이 가능해질 것으로 보인다. 또한 점차 음성 인식 등 관련 기술이 발달함으로 여러 모달리티를 같이 사용하는 멀티모달 인터랙션 방식이 보편화 될 것이며 지능이 있는 가상 아바타를 현실에서 만나는 방식으로 진행이 될 것으로 고려된다.
또한 손 끝에 부착하는 가볍고 간단한 방식의 햅틱 장치들이 점차 개발되면서 허공이라 할지라도 실제 물체가 있는 듯한 느낌을 전달하게 됨으로 보다 실감나는 인터랙션이 가능해질 것으로 보인다. 또한 점차 음성 인식 등 관련 기술이 발달함으로 여러 모달리티를 같이 사용하는 멀티모달 인터랙션 방식이 보편화 될 것이며 지능이 있는 가상 아바타를 현실에서 만나는 방식으로 진행이 될 것으로 고려된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	햅틱 인터페이스는 어떤 방법인가?	햅틱 인터페이스는 증강현실에서 존재하지 않은 물체를 만졌을 시에 마치 실제로 만져지는 듯한 느낌을 줘서 존재하는 듯이 사용자가 착각하게 할 수 있는 방법이다. 햅틱 인터페이스 장치들은 기계적인 신호를 렌더링하여 사용자가 터치와 운동감을 느낄 수 있게 하는 것을 일컫는다.
	증강현실에서 햅틱 인터페이스를 사용하는 것은 어떻게 분류할 수 있는가?	증강현실에서 햅틱 인터페이스를 사용하는 것은 다양한 방법으로 접근이 가능하다. 크게 두가지로 분류하면 cutaneous/tactile(피부/촉각)과 kinesthetic(운동)으로 분류가 가능하다[22]. Cutaneous/tactile 방식은 cutaneous, active surfaces, mid-air등의 방법이 있다.
	AR이 현실 세계의 객체를 AR 인터페이스 요소로 사용할 수 있으며 물리적인 조작으로 가상 컨텐트와 상호 작용할 수 있는 매우 직관적인 방법을 제공할 수 있는 이유는 무엇인가?	AR은 실제 세계와 가상 세계를 연결하기 때문에 현실 세계의 객체를 AR 인터페이스 요소로 사용할 수 있으며 물리적인 조작으로 가상 컨텐트와 상호 작용할 수 있는 매우 직관적인 방법을 제공할 수 있다. 이전에 Ishii는 사용자가 물리적인 물체로 디지털 정보를 조작 할 수 있는 인터페이스인 Tangible User Interface (TUI)의 개념을 개발했다[4].

참고문헌 (34)

R. T. Azuma, "A survey of augmented reality," Presence: Teleoper. Virtual Environ., vol. 6, pp. 355-385, 1997.

상세보기
A. State, K. P. Keller, and H. Fuchs, "Simulation- based design and rapid prototyping of a parallax-free, orthoscopic video see-through head-mounted display," in Fourth IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR'05), 2005, pp. 28-31.
J. Rekimoto and K. Nagao, "The world through the computer: computer augmented interaction with real world environments," presented at the Proceedings of the 8th annual ACM symposium on User interface and software technology, Pittsburgh, Pennsylvania, USA, 1995.
H. Ishii and B. Ullmer, Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms, 1998.
D. Norman, The Design of Everyday Things: Doubleday Business 1988.
J. Gibson, The Theory of Affordance: Houghton Mifflin, 1979.
K. Ryokai, S. Marti, and H. Ishii, "I/O brush: drawing with everyday objects as ink," presented at the Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, Vienna, Austria, 2004.
M. G. Gorbet, M. Orth, and H. Ishii, "Triangles: tangible interface for manipulation and exploration of digital information topography," presented at the Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, Los Angeles, California, USA, 1998.
Y. Kitamura, Y. Itoh, T. Masaki, and F. Kishino, "ActiveCube: a bi-directional user interface using cubes," in Knowledge-Based Intelligent Engineering Systems and Allied Technologies, 2000. Proceedings. Fourth International Conference on, 2000, pp. 99-102 vol.1.
H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto, and K. Tachibana, "Virtual object manipulation on a table-top AR environment," in Proceedings IEEE and ACM International Symposium on Augmented Reality (ISAR 2000), 2000, pp. 111-119.
G. Reitmayr, E. Eade, and T. Drummond, "Localisation and interaction for augmented maps," in Fourth IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR'05), 2005, pp. 120-129.
S. Malik, C. McDonald, and G. Roth, "Hand tracking for interactive pattern-based augmented reality," in Proceedings. International Symposium on Mixed and Augmented Reality, 2002, pp. 117-126.
G. A. Lee, M. Billinghurst, and G. J. Kim, "Occlusion based interaction methods for tangible augmented reality environments," presented at the Proceedings of the 2004 ACM SIGGRAPH international conference on Virtual Reality continuum and its applications in industry, Singapore, 2004.
H. Kim, E. A. Widjojo, and J. I. Hwang, "Dynamic hierarchical virtual button-based hand interaction for wearable AR," in 2015 IEEE Virtual Reality (VR), 2015, pp. 207-208.
J. H. Hammer and J. Beyerer, "Robust hand tracking in realtime using a single headmounted RGB camera," presented at the Proceedings of the 15th international conference on Human-Computer Interaction: interaction modalities and techniques - Volume Part IV, Las Vegas, NV, 2013.
F. Mueller, F. Bernard, O. Sotnychenko, D. Mehta, S. Sridhar, D. Casas, et al., "GANerated Hands for Real-time 3D Hand Tracking from Monocular RGB," in Computer Vision and Pattern Recognition (in submission), 2018.
T. Lee and T. Hollerer, "Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking," in 2007 11th IEEE International Symposium on Wearable Computers, 2007, pp. 83-90.
T. Piumsomboon, A. Clark, M. Billinghurst, and A. Cockburn, "User-Defined Gestures for Augmented Reality."
J. O. Wobbrock, M. R. Morris, and A. D. Wilson, "User-defined gestures for surface computing," presented at the Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, Boston, MA, USA, 2009.
G. Heidemann, I. Bax, and H. Bekel, "Multimodal interaction in an augmented reality scenario," presented at the Proceedings of the 6th international conference on Multimodal interfaces, State College, PA, USA, 2004.
M. Kolsch, R. Bane, T. Hollerer, and M. Turk, "Multimodal interaction with a wearable augmented reality system," IEEE Computer Graphics and Applications, vol. 26, pp. 62-71, 2006.

상세보기
C. Bermejo and P. Hui, A survey on haptic technologies for mobile augmented reality, 2017.
F. Chinello, C. Pacchierotti, N. G. Tsagarakis, and D. Prattichizzo, "Design of a wearable skin stretch cutaneous device for the upper limb," in 2016 IEEE Haptics Symposium (HAPTICS), 2016, pp. 14-20.
H. Culbertson, J. M. Walker, and A. M. Okamura, "Modeling and design of asymmetric vibrations to induce ungrounded pulling sensation through asymmetric skin displacement," in 2016 IEEE Haptics Symposium (HAPTICS), 2016, pp. 27-33.
C. Pacchierotti, G. Salvietti, I. Hussain, L. Meli, and D. Prattichizzo, "The hRing: A wearable haptic device to avoid occlusions in hand tracking," in 2016 IEEE Haptics Symposium (HAPTICS), 2016, pp. 134-139.
S. Horvath, J. Galeotti, B. Wu, R. Klatzky, M. Siegel, and G. Stetten, "FingerSight: Fingertip Haptic Sensing of the Visual Environment," IEEE Journal of Translational Engineering in Health and Medicine, vol. 2, pp. 1-9, 2014.

상세보기
H. Benko, C. Holz, M. Sinclair, and E. Ofek, "NormalTouch and TextureTouch: High-fidelity 3D Haptic Shape Rendering on Handheld Virtual Reality Controllers," presented at the Proceedings of the 29th Annual Symposium on User Interface Software and Technology, Tokyo, Japan, 2016.
D. Spelmezan, D. R. Sahoo, and S. Subramanian, "Sparkle: Towards Haptic Hover-Feedback with Electric Arcs," presented at the Proceedings of the 29th Annual Symposium on User Interface Software and Technology, Tokyo, Japan, 2016.
R. Sodhi, I. Poupyrev, M. Glisson, and A. Israr, "AIREAL: interactive tactile experiences in free air," ACM Trans. Graph., vol. 32, pp. 1-10, 2013.
T. H Massie and J. K Salisbury, The PHANTOM haptic interface: a device for probing virtual objects vol. 55, 1994.
J. Aleotti, G. Micconi, and S. Caselli, "Programming manipulation tasks by demonstration in visuo-haptic augmented reality," in 2014 IEEE International Symposium on Haptic, Audio and Visual Environments and Games (HAVE) Proceedings, 2014, pp. 13-18.
I. Choi, E. W. Hawkes, D. L. Christensen, C. J. Ploch, and S. Follmer, "Wolverine: A wearable haptic interface for grasping in virtual reality," in 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2016, pp. 986-993.
T. Handa, K. Murase, M. Azuma, T. Shimizu, S. Kondo, and H. Shinoda, "A haptic three-dimensional shape display with three fingers grasping," in 2017 IEEE Virtual Reality (VR), 2017, pp. 325-326
한국정보과학회, "AR/MR 세계 기술 동향 및 기술 분석 연구", 2018.3

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증