$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

A Study on the Gesture Based Virtual Object Manipulation Method in Multi-Mixed Reality 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.26 no.2, 2021년, pp.125 - 132  

Park, Sung-Jun (Company of DataReality)

초록
AI-Helper 아이콘AI-Helper

본 논문에서 혼합현실에서 공동 작업을 위한 환경 구축에 대한 연구와 웨어러블 IOT 디바이스와 연동하기 위한 방법을 제안한다. 혼합현실은 가상현실증강현실의 혼합되어진 형태로서 실세계와 가상세계의 물체가 동시에 보이고, 가상현실과 달리 멀미 현상이 일어나지 않고 무선 방식이라 산업현장에서 적용될 기술로 주목 받고 있다. 마이오 웨어러블 디바이스는 삼축 센서, 근전도 센서, 가속도 센서를 이용하여 팔의 회전 트래킹과 손 제스처 인식을 가능하게 하는 디바이스이다. 혼합현실 관련 다양한 연구가 진행되고 있지만 여러 사람이 함께 혼합 현실 참여할 수 있는 환경 구축, 가상 객체를 직접 손으로 조작하는 것에 대한 논의는 미비한 상황이다. 본 논문에서는 실제 산업 현장에서 혼합 현실을 적용하기 위해 공동 작업이 가능한 환경 구축 방법에 대해 연구하였고, 상호작용이 원활하게 이루어지기 위한 인터랙션 방법에 대해 논의하였다. 그 결과 2인이 동시에 혼합현실 환경에 참여하여 객체에 대한 일원화된 객체를 공유할 수 있었고, 마이오 웨어러블 인터페이스 장비를 가지고 각자 인터랙션 할 수 있는 환경을 조성하였다.

Abstract AI-Helper 아이콘AI-Helper

In this paper, We propose a study on the construction of an environment for collaboration in mixed reality and a method for working with wearable IoT devices. Mixed reality is a mixed form of virtual reality and augmented reality. We can view objects in the real and virtual world at the same time. A...

주제어

표/그림 (13)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 본 연구에서는 실제 산업 현장에 적용할 수 있도록 하기 위해 2대 이상의 홀로렌즈 착용을 하여 클라이언트, 서버 환경을 구축하여 가상의 공동협업 멀티 환경을 구축하려고 한다[2-3]. 구축 방법에 있어 발생되는 중요한 문제점을 제시하려고 한다. 우선 홀로렌즈는 실행될 때 마다 월드축의 축 정보가 변경이 되는 문제다.
  • 방법을 제시하고자 한다. 기본적으로 제공해 주는 제스처 인식 외에 실제 산업 현장에서 사용될 수 있는 제스처를 개발하여 새로운 인터랙션 방법을 소개 한다. 홀로렌즈 환경에서 자연스러운 제스처 인식을 위해서는 가상 객체를 조작하기 위한 손의 위치, 회전 트래킹에 대한 문제를 고려해야 한다.
  • 연구 방법으로는 첫 번째로 고유 넘버 지정 방식을 사용하여 구별된 왼팔과 오른팔에 대한 인식을 구현하였으며, 두 번 째로이미지 인식을 통한 축 재조정 방식을 사용하여 다중 사용자가 동기화된 좌표계를 활용하는 방법에 대해 논의하였다. 마지막으로 여러 센서 디바이스와 융합한 가상 객체 방법에 대해 설명하였다. 그 결과 2대의 홀로렌즈를 사용하여 가상 공동 협업 환경에서 스마트 폰을 사용하여 인테리어 가상공간을 구축하였고 서로 다른 사람이 일관된 좌표 시스템을 유지할 수 있었다.
  • 본 논문에서는 MR 홀로렌즈 기반위에 제스처를 적용하는 방법을 제시하고자 한다. 기본적으로 제공해 주는 제스처 인식 외에 실제 산업 현장에서 사용될 수 있는 제스처를 개발하여 새로운 인터랙션 방법을 소개 한다.
  • 홀로렌즈는 2D, 3D 데이터를 시각화 할 수 있지만 실제 산업 현장에 적용할 경우 다양한 IoT 및 센서들과 연동되어 실시간 인터랙션이 발생 하게 된다. 본 논문에서는 대표적인 혼합현실 HMD인 마이크로소프트사의 홀로렌즈를 사용하여 클라이언트, 서버 환경을 구축하였고, 2 인 이상이 가상의 네트워크 환경에 접속하여 공유 객체 조작을 위한 멀티 환경에 대한 연구를 진행하였고, 실제 산업 현장에서 사용하기 위한 IoT 와 센서 등과 연동하는 방법에 대해 논의 하였다. 마이오 웨어러블 암 밴드는 홀로렌즈와 연동하여 다양한 인터랙션 조작이 가능한 디바이스다.
  • 이 논문에서는 스마트 폰과 홀로렌즈와 연동하여 비상구의 위치 정보를 단순히 보여주는 기능을 가지고 있다. 본 논문에서는 독립적인 서버를 구축하고 스마트 폰과 연결하고 공간의 위치 정보를 데이터 메이스에 저장했다가 보여주는 방법을 선택하여 활용하도록 하였다.
  • 또한, 스마트 폰과 홀로렌즈와 연동이 가능하여 다양한 객체 조작을 응용할 수 있다. 본 논문에서는 멀티 환경 기반에서 여러 개의 마이오 인터페이스를 활용하기 위한 방법과 스마트 폰을 활용한 응용 사례에 대해 소개하였다. 연구 방법으로는 첫 번째로 고유 넘버 지정 방식을 사용하여 구별된 왼팔과 오른팔에 대한 인식을 구현하였으며, 두 번 째로이미지 인식을 통한 축 재조정 방식을 사용하여 다중 사용자가 동기화된 좌표계를 활용하는 방법에 대해 논의하였다.
  • 이러한 작업들이 실제 산업 현장에서 필요한 혼합현실 응용 기술이라고 할 수 있다[2]. 본 논문에서는 이러한 두 가지 문제점을 해결하기 위한 연구에 대해 논하고자 한다.
  • 그래서 2대의 홀로렌즈를 사용하여 서로간의 객체 공유를 하려면 클라이언트-서버 구조로 환경을 구축하여야 하는데 독립적인 컴퓨팅 파워가 있는 홀로렌즈라 하더라도 서버로 운영할 시그 에 해당하는 파워를 감당할 수 없다. 본 논문에서는 이러한 문제점을 해결하기 위해 여러 시행착오 끝에 독립적인 서버 운영을 선택하여 해결하였다. 마지막으로 개발 시 고려해야 되는 문제로서 홀로렌즈의 운영체제는 UWP(Universal Windows Platform)기반에서 운영되고 있기 때문에, 일반적으로 UWP를 지원하지 않는 다양한 웨어러블 IoT 센서는 홀로렌즈와 쉽게 연동할 수 없다.
  • 본 논문에서는 혼합현실 환경에서 가상 환경에서 공동협업을 위한 플랫폼 구성에 대한 연구를 진행하였다. 홀로렌즈는 2D, 3D 데이터를 시각화 할 수 있지만 실제 산업 현장에 적용할 경우 다양한 IoT 및 센서들과 연동되어 실시간 인터랙션이 발생 하게 된다.
  • 본 논문에서는 혼합현실기반의 다중 사용자 참여를 위해 객체들 간의 기준 좌표 점을 공유 및 재조정하고, 성능 저하 없는 플랫폼 구성, 다양한 디바이스들 간의 통신은 서버를 통하여 홀로렌즈에 연동할 수 있는 방법을 제시하고자 한다.
  • 본 연구에서는 가상 협업을 위한 환경 구축에 대해 연구를 진행하였고 실제 가상 객체 조작을 위한 인터랙션 방법 등에 대해서는 구체적이지 않다. 향후 연구에서는 실제 마이오 밴드를 사용한 인터랙션에 대한 연구와 두 사람이 하나의 객체에 대한 무게감을 인지하여 객체를 들 수 있는 방법 등에 대해 연구를 진행 할 계획이다.
  • 본 연구에서는 다중 홀로렌즈 사용자가 멀티 환경에 참여할 때 각각 마이오 디바이스를 양팔에 착용할 경우에 대해 논의 하였고 아직 이러한 사례는 구현되고 있지 않다 [9, 12]. 본 연구에서는 무거운 에어콘을 천장에 설치를 할 경우 2인 이상이 동시에 작업을 해야 할 경우 4개의 마이오 디바이스와 홀로렌즈가 서로 통신을 해야 하며 각각 왼팔과 오른팔에 실시간 입력되는 센서 데이터를 구분하여 제스처로 재구성하여 공동 협업이 가능하도록 하였다.
  • 12]. 본 연구에서는 무거운 에어콘을 천장에 설치를 할 경우 2인 이상이 동시에 작업을 해야 할 경우 4개의 마이오 디바이스와 홀로렌즈가 서로 통신을 해야 하며 각각 왼팔과 오른팔에 실시간 입력되는 센서 데이터를 구분하여 제스처로 재구성하여 공동 협업이 가능하도록 하였다.
  • 마지막으로 두 번째와 연관되는 문제로서 마이오(Myo), 키넥트(Kinect), 립 모션 (Leap motion), 모바일 등과 같은 웨어러블 및 모션 인식디바이스 등과 호환이 되지 않아 특정 애플리케이션 개발이 어렵다는 문제점이 있다[3]. 본 연구에서는 실제 산업 현장에 적용할 수 있도록 하기 위해 2대 이상의 홀로렌즈 착용을 하여 클라이언트, 서버 환경을 구축하여 가상의 공동협업 멀티 환경을 구축하려고 한다[2-3]. 구축 방법에 있어 발생되는 중요한 문제점을 제시하려고 한다.
  • 실험은 서버를 담당하는 PC와 마이오, 객체관리를 위한 PC, 스마트 폰, 가상객체들을 보여줄 홀로렌즈 모두 하나의 혼합현실 내에서, 성능 저하 없이 작동하는 것을 목표로 실험하였다. [표2]은 실험에서 사용된 장비들에 대한 스펙을 나타낸 것이다.
  • 이때 뷰포리아 라이브러리를 이용해서 태그 인식을 통해 건물의 특정 배치를 스마트 폰에 적용하여 경로 계산을 할 수 있는 앱을 개발하였다. 이 논문에서는 스마트 폰과 홀로렌즈와 연동하여 비상구의 위치 정보를 단순히 보여주는 기능을 가지고 있다. 본 논문에서는 독립적인 서버를 구축하고 스마트 폰과 연결하고 공간의 위치 정보를 데이터 메이스에 저장했다가 보여주는 방법을 선택하여 활용하도록 하였다.
본문요약 정보가 도움이 되었나요?

참고문헌 (12)

  1. Maximilian Spicher, Brian D.Hall, Michael Nebeling, "What is Mixed Reality?," CHI Conference, No.537, pp.1-15, May 2019, DOI:10.1145/3290605.3300767 

  2. Chunfern Xu, Yange Wang, Wei Quan, He Yang, "Multi-person Collaborative Interaction Algorithm and Application Based on Hololens," Springer AISC, Vol. 1006, pp 303-315, Oct. 2019 

  3. Rafael Radkowski, "Hololens Integration into a Multi-Kinnect Tracking Environment," IEEE, April, 2019, DOI:10.1109/ISMAR-Adunct.2018.00052 

  4. P.Hubner, M.Weinmann, S.Wursthorn, "MARKER-BASED LOCALIZATION OF THE MICROSOFT HOLOELENS IN BUILDING MODELS," Vol.XLII-1, pp.195-202, DOI:10.5194/isprs-archives-XLII-1-195-2018 

  5. M.Ostanin, R.Yagfarov, A.Klimchik, "Interactive Robots Control Using Mixed Reality," IFAC, pp.695-700, 2019, DOI:10.1016/j.ifacol.2019.11.307 

  6. Muun Wu, Yanbin Xu, Chenguang Yang, Ying Feng, "Omnidirectinal Mobile Robot Control based on Mixed Reality and sEMG Signals," IEEE Xplore, January 2019, DOI:10.1109/CAC.2018.8623114 

  7. Mulun Wu, Shi-Lu Dai, and Chenguang Yang, "Mixed Reality Enhanced User Interaction Path Planning for Omnidirectional Mobile Robot," Applied Sciences, Vol, DOI:10.3390/app10031135 

  8. Tobias Mulling, Mithileysh Sathiyanarayanan, "Characteristics of Hand Gesture Navigation: a case study using a wearable device(MYO)," British HCI'15:Proceedings of the 2015 British HCI Conference, pp.283-284, July 2015, DOI:10.1145/2783446.2783612 

  9. Lee Stearns, Victor DeSouza, Jessica Yin, Leah Findlater, Jon E. Froehlich, "Augmented Reality Magnification for Low Vision Users with the Microsoft Hololens and a Finger-Worn Camera," ACM SGACCESS Conference, pp.361-362, Oct. 2017, DOI:10.1145/3132525.3134812 

  10. Will Guest, Fridolin Wild, Alla Vovk, Mikhail Fominykh, Bibeg Limbu, Roland Klemke, Puneet Sharma, jaakko Karjalainen, Carl Smith, Jazz Rasool, Soyeb Aswat, Kajh Helin, Daniele Di Mitri, Jan Schneider, "Affordances for Capturing and Re-enacting Expert Performance with Wearables," Springer LNCS, Vol. 10474, pp. 403-409, Sep. 2017. 

  11. Kdhong, "An Efficient Dynamic Workload Balancing Strategy," Journal of The Korea Society of Computer and Information, Vol. 15, No. 1, pp. 1-10, Nov. 2010. 

  12. Kei Sato, Syunta Sato, "Pedestrian Navigation System for Visually Impaired People Using HoloLens and RFID," IEEE Xplore, 2017, DOI:10.1109/TAAI.2017.9 

관련 콘텐츠

오픈액세스(OA) 유형

FREE

Free Access. 출판사/학술단체 등이 허락한 무료 공개 사이트를 통해 자유로운 이용이 가능한 논문

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로