[논문]A Study on Sensor-Based Upper Full-Body Motion Tracking on HoloLens

Park, Sung-Jun

doi:10.9708/jksci.2021.26.04.039

A Study on Sensor-Based Upper Full-Body Motion Tracking on HoloLens 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.26 no.4, 2021년, pp.39 - 46

Park, Sung-Jun (Company of DataReality)

초록
AI-Helper

본 논문에서는 혼합현실에서 산업 현장에서 필요한 동작 인식 방법에 대한 방법을 제안한다. 산업 현장에서는 몸통 움직임부터 팔 동작에 이르기까지 상체 전역의 동작(잡고, 들어올리고, 나르는 작업)이 필요하다. 본 논문에서는 무거운 모션 캡처 장비를 사용하지 않으면서 키넥트와 같은 비전 기반이 아닌 센서와 웨어러블 디바이스로 구성된 방법을 사용하고 있다. 몸통 동작과 어깨 동작은 2개의 IMU 센서를 사용하고 있으며, 팔 동작은 마이오 암 밴드를 사용하였다. 총 4개로부터 들어오는 실시간 데이터를 퓨전하여 상체 전 영역에 대한 모션 인식이 가능하도록 하였다. 실험 방법으로서는 실제 옷에 센서를 부착하였고 동기화 작업을 통해 물체 조작을 하였다. 그 결과 동기화 방법을 사용한 방식은 큰 동작과 작은 동작에 있어서 오류가 없었다. 마지막으로 성능 평가를 통해 홀로렌즈 상에서 한손 조작일 경우 평균적으로 50 프레임, 양 손 조작일 경우 60 프레임을 보이는 결과를 나타 내였다.

Abstract ▼ AI-Helper

In this paper, we propose a method for the motion recognition method required in the industrial field in mixed reality. In industrial sites, movements (grasping, lifting, and carrying) are required throughout the upper full-body, from trunk movements to arm movements. In this paper, we use a method composed of sensors and wearable devices that are not vision-based such as Kinect without using heavy motion capture equipment. We used two IMU sensors for the trunk and shoulder movement, and used Myo arm band for the arm movements. Real-time data coming from a total of 4 are fused to enable motion recognition for the entire upper body area. As an experimental method, a sensor was attached to the actual clothes, and objects were manipulated through synchronization. As a result, the method using the synchronization method has no errors in large and small operations. Finally, through the performance evaluation, the average result was 50 frames for single-handed operation on the HoloLens and 60 frames for both-handed operation.

주제어

표/그림 (14)

그림 Fig. 1. (a) attaching Kinect on the HoloLens (b) Recognition of both hand motions on the HoloLens
그림 Fig. 2. (a), (b) GyroWand Ring Sensor using IMU (c) Myo wearable arm band on the HoloLens
표 Table 1. Comparison of user interaction between VR and MR devices.
그림 Fig. 3. System Diagram
그림 Fig. 4. Kinds of motion based on fusion method using IMU sensors and Myo arm band
그림 Fig. 5. shows the order of calling the function when the hand touches the object.
그림 Fig. 6. shows the order of calling of the function when holding an object with both hands
표 Table 2. Processing steps for object manipulation using both hands
그림 Fig. 8. General motion tracking method
그림 Fig. 9. Motion tracking method using synchronization
그림 Fig. 7. (a) Attached two Myo arm bands and two IMU sensors, ( b) 3D avatar move in real time for motion tracking in Unity Tool
표 Table 3. System Environment
그림 Fig. 10. Working process between client and server
그림 Fig. 11. Real object manipulation result screen with HoloLens

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

관성 측정 장치 센서는 관성을 측정하여 최종적으로 물체가 기울어진 각도를 구해낸다. 본 논문에서는 혼합 현실에서 자연스러운 제스처 기반의 물체 조작을 위해 마이오와관성 측정 장치 센서를 혼합하여 동작 인식을 할 수 있는 플랫폼을 개발하였다.
그리고 간헐적으로 빈번히 일어나는 가속도 센서의 값이 정확하지 않아서 보정 작업이 필요하다. 본연구에서는 이러한 문제를 해결하기 위해 관성 측정 장치를 사용하여 해결하려고 한다. 관성 측정 장치 센서는 양쪽 어깨 부분에 부착하여 해결하였다.

가설 설정

향후 연구로서 첫 번째 문제점은 머신러닝을 적용하여 해결할 수 있는데 마이오 같은 경우 근저도 정보와 손동작 정보를 XML로 출력하고 실제 손동작과 다르게 판정된 부분을 수정하여 머신러닝에 사용하기 위한 레이블로 만들고, 이 레이블을 이용하여 MLP 알고리즘을 적용하여 손동작 트래킹 부분을 적용할 계획이다. 두 번째 문제점을 해결하기 위한 방법으로서 센서를 가슴 쪽에 한 개 더 부착할 것이다. 다음으로 상체 움직임에 대한 실시간 성능 평가이다.

제안 방법

두 논문에서는 혼합현실 환경에서 웨어러블 디바이스 인마 이오와 관성 측정 장치 센서를 활용하여 상체 움직임에 대한 트래킹을 연구하였다. 마이오의 팔 움직임에 대한 트래킹이 정확하지 않아서, 주먹을 쥐고 있지 않아도 쥐고 있다고 판정해 버리는 문제 때문에 자유롭게 팔을 움직이다가 가상 물체와 손이 닿으면 가상 물체가 따라오는 현상이 발생했다.
[그림 10]은 그 결과를 보이고 있다. 두 방법 모두 홀로렌즈를 착용한 상태에서 진행하였다. 한 손만을 사용한 인터랙션은 평균적으로 60 프레임을 나타냈고 양 손을 사용한 경우는 50 프레임을 나타냈다.
두 번째 실험은 양쪽 두 팔을 기준 원점(0, 0, 0)으로 두고 동기화 하는 방법을 사용하였다. 동기화란 앞으로 손을 뻗는 동작을 의미한다.
실험하였다. 두 번째로는 홀로렌즈를 착용한 후 상체 움직임 기반에서 객체 조작(이동 및 회전)이 원활하게 이루어지는 것에 대해 실험 하였다. 마지막 실험으로 한 손을 사용했을 때의 성능과 양 손을 사용했을 경우에 대해 성능 평가를 실험하였다.
우선 사용자는 두 개의 마이오 암 밴드와 두 개의 관성 측정 장치 센서를 일반 옷에 착용하여 실험하였다. 마이오는 신체 하완 부위에 부착하여 팔꿈치의 회전 값을 트래킹 할 수 있도록 하였으며 두 개의 관성 측정 장치 센서는 신체 상완부 위에 부착하여 어깨의 회전 값을 트래킹 할 수 있도록 구성하였다. 관성 측정 장치 센서로부터 들어오는 데이터는 커다란 동작 인식하는 데에 사용하고 있고, 마이오로부터 입력되는 데이터는 상세한 동작 인식을 위한 것이다.
영점을 기준으로 회전하기 때문에 실험1에서 발생되는 양쪽 팔이 평행이 되는 문제가 발생하지 않았다. 마지막 실험으로 2개의 관성 측정 장치 센서와 1개의 마이오를 사용한 인터랙션(한쪽 손만 사용)의 성능과 2개의 마이오를 사용한 인터랙션(양 쪽 손을 사용한 경우)에 대한 성능(fps)을 측정하였다.
두 번째로는 홀로렌즈를 착용한 후 상체 움직임 기반에서 객체 조작(이동 및 회전)이 원활하게 이루어지는 것에 대해 실험 하였다. 마지막 실험으로 한 손을 사용했을 때의 성능과 양 손을 사용했을 경우에 대해 성능 평가를 실험하였다. 테이블 2는 실험에 사용된 장비들에 대한 리스트를 보여주고 있다.
하지만, 양 손을 사용할 경우에는 물체의 회전축이 두 손의 움직임에 따라 바뀌게 되어 일관된 물체의 움직임을 보장 할 수 없다. 본 논문에서는 양 손을 사용한 물체 조작의 일치성 확보를 위해 아래와 같은 단계 별 처리를 위한 알고리즘을 적용하였다.
본 논문에서는 우선 첫 번째 실험으로서 마이오 2개와 관성 측정 장치 센서 2개를 옷에 부착하여 가상의 세계에서 상체 움직임에 대한 트래킹이 제대로 움직이는가에 대해 실험하였다. 두 번째로는 홀로렌즈를 착용한 후 상체 움직임 기반에서 객체 조작(이동 및 회전)이 원활하게 이루어지는 것에 대해 실험 하였다.
본 논문에서는 혼합현실에서 상세한 상체 동작의 인식을 위해 웨어러블 인터페이스 및 센서를 사용하였다. 마이오는 자체 디바이스에 내장된 센서로부터 팔의 근육의 이완 정도를 데이터로 추출하여 움직임을 표현할 수 있다.
이러한 복잡한 동작 인식 방법은 다양한 방법이 있으나 위에서 언급한 바와 같이 이동할 수 있어야 하며 복잡한 착용이 아닌 간편하게 사용할 수 있어야 한다. 본 연구에서는 이러한 문제를 해결하기 위해 커다란 동작 인식을 위해 관성 측정 장치 (IMU:Inertial Measurement Unit) 센서를 사용하였고, 팔 동작 인식을 위해 마이오(Myo) 웨어러블 암 밴드를 사용하였다. 실시간으로 들어오는 2개의 관성 측정 장치 센서와 2개의 마이오 밴드의 데이터 퓨전을 통해 상체 전체 동작에 대한 인식을 가능하게 하였고 이를 기반으로 홀로렌즈 환경에서 물체 조작을 할 수 있도록 하였다.
물론 마이오는 왼손과 오른손이라는 구분이 없기 때문에 실시간 입력되는 데이터를 구분해야 한다. 본연구에서는 새로운 프로토콜을 설계하여 마이오 암 밴드의 왼손과 오른손을 구분하게 하였다. [그림 4]는 관성 측정 장치 센서와 마이오 암 밴드를 사용했을 경우 동작 인식을 위한 운동 정의를 그림으로 나타낸 것이다.
본 연구에서는 이러한 문제를 해결하기 위해 커다란 동작 인식을 위해 관성 측정 장치 (IMU:Inertial Measurement Unit) 센서를 사용하였고, 팔 동작 인식을 위해 마이오(Myo) 웨어러블 암 밴드를 사용하였다. 실시간으로 들어오는 2개의 관성 측정 장치 센서와 2개의 마이오 밴드의 데이터 퓨전을 통해 상체 전체 동작에 대한 인식을 가능하게 하였고 이를 기반으로 홀로렌즈 환경에서 물체 조작을 할 수 있도록 하였다.
증강현실(AR:Augumented Reality) 기반의 스마트 글라스는 현재 많이 제품으로 나오고 있고 다양한 연구가 진행되고 있지만 본 논문에서는 디바이스의 지원하는 기능과 성능 차이에 따라 VR과 MR 로만 비교하도록 하겠다. 대부분의 VR 디바이스들은 유선 형태로 컴퓨터와 연결을 하고 있다.
첫 번째 실험은 홀로렌즈의 위치에 따라 동작 트래킹이 잘 되는가를 실험하였다. 상체 움직임에 대한 트래킹을 하기 위해서는 몸통의 회전 축, 두 개의 어깨 회전축이 있어야지만 상체 움직임을 정확하게 트래킹 할 수 있다.
상체 움직임에 대한 트래킹을 하기 위해서는 몸통의 회전 축, 두 개의 어깨 회전축이 있어야지만 상체 움직임을 정확하게 트래킹 할 수 있다. 첫 번째 실험은 홀로렌즈의 위치에 따라 몸통의 위치 정보를 설정한 모션 트래킹 방법이다. 이러한 방법은 전방을 향해 바라보고 작업하는 것은 가능하나, 몸통을 뒤 틀게 되면 왼쪽 팔과 오른쪽 팔이 기준 축의 정보가 틀어져서 서로 평행하게 되는 심각한 오류를 발생한다.

대상 데이터

마이오 같은 경우 Thalmic Lab에서 많은 SDK와 애플리케이션을 제공해 주고 있다. 관성 측정 장치 센서는 E2 BOX에서 제작한 EB MotionV4를 사용하였고 COM 포트를 사용하여 데이터를 전송 받았다. 이때 주의할 점은 마이오 디바이스와 충돌이 일어나지 않도록 해야 한다.
[그림 3]는 전체 시스템구성을 보여주고 있다. 우선 사용자는 두 개의 마이오 암 밴드와 두 개의 관성 측정 장치 센서를 일반 옷에 착용하여 실험하였다. 마이오는 신체 하완 부위에 부착하여 팔꿈치의 회전 값을 트래킹 할 수 있도록 하였으며 두 개의 관성 측정 장치 센서는 신체 상완부 위에 부착하여 어깨의 회전 값을 트래킹 할 수 있도록 구성하였다.

성능/효과

[8] (b)는 버클리 대학에서 키넥트를 활용하여 양 손에 대한 트래킹 작업을 수행하고 있는 모습을 보이고 있다. [2] 두 가지 경우 모두 키넥트를 활용하여 상체모션 트래킹을 사용하고 있지만 고정된 키넥트 앞에서만 활용할 수 있고, 제한적인 동작 인식으로 인해 커다란 동작은 판단하기 어렵다. 그리고, 무거운 헤드 셋 등을 고려 해 볼 때 산업현장에 적용하는 데에 어려움이 있다.
본 연구를 통해 첫 번째 손동작 판정의 불 정확함과 두 번째로 손 위치 트래킹이 부 정확한 점을 발견하였다. 향후 연구로서 첫 번째 문제점은 머신러닝을 적용하여 해결할 수 있는데 마이오 같은 경우 근저도 정보와 손동작 정보를 XML로 출력하고 실제 손동작과 다르게 판정된 부분을 수정하여 머신러닝에 사용하기 위한 레이블로 만들고, 이 레이블을 이용하여 MLP 알고리즘을 적용하여 손동작 트래킹 부분을 적용할 계획이다.
다음으로 상체 움직임에 대한 실시간 성능 평가이다. 홀로렌즈에서 평균적으로 50~60 (FPS)이 꾸준하게 반영이 된 것을 확인하였다.

후속연구

향후 연구로서 첫 번째 문제점은 머신러닝을 적용하여 해결할 수 있는데 마이오 같은 경우 근저도 정보와 손동작 정보를 XML로 출력하고 실제 손동작과 다르게 판정된 부분을 수정하여 머신러닝에 사용하기 위한 레이블로 만들고, 이 레이블을 이용하여 MLP 알고리즘을 적용하여 손동작 트래킹 부분을 적용할 계획이다. 두 번째 문제점을 해결하기 위한 방법으로서 센서를 가슴 쪽에 한 개 더 부착할 것이다.

참고문헌 (14)

Maximilian Spicher, Brian D.Hall, Michael Nebeling, "What is Mixed Reality?," CHI Conference, No.537, pp. 1-15, May. 2019, DOI:10.1145/3290605.3300767
Markus Funk, Mareike Kritzler, Florian Michahelles, "Hololens is more than air Tap: natural and intuitive interaction with holograms," IoT 17 Proceedings, No.31, pp. 1-2, Oct. 2017, DOI:10.1145/3131542.3140267
Mathi, Krish Chaithanya, "Augment HoloLens' Body Recognition and Tracking Capabilities Using Kinect," Wright State University, Computer Science, 2016, http://orcid.org/0000-0002-8185-8142
Poonsiri Jailungka, Siam Charoenseang, "Intuitive 3D Model Prototyping with Leap Motion and Microsoft HoloLens," Springer LNCS, Vol.10903, pp. 269-284, Jun. 2018, DOI:10.1007/978-3-319-91250-9_21
Rafael Radkowski, "Hololens Integration into a Multi-Kinect Tracking Environment," IEEE ISMAR-Adjunct, Apr. 2019, DOI:10.1109/ISMAR-Adjunct.2018.00052
Tobias Mulling, Mithileysh Sathiyanarayanan, "Characteristics of Hand Gesture Navigation: a case study using a wearable device(MYO)," British HCI'15, pp. 283-284, Jul. 2015, DOI:10.1145/2783446.2783612
Patrick Hubner, Kate Clintworth, Qingyi Liu, Martin Weinmann and Sven Wursthorn,"Evaluation of HoloLens Tracking and Depth Sensing for Indoor Mapping Applications," Sensors, Vol.20, No.4, pp. 283-284, Feb. 2020, DOI:10.3390/s20041021

상세보기
Mathias Unberath, Kevin Yu, Roghayeh Barmaki, Alex Johnson, Nassir Navab, "Augment Yourself: Mixed Reality Self-Augmen tation Using Optical See-through Head-mounted Displays and Physical Mirrors," IEEE VR TVCG, Nov. 2017, arXiv:2007.02884[cs.HC]
Juan David Hincapie-Ramos, Kasim Ozacar, Pourang P.Irani, Yoshifumi Kitamura, "GyroWand: IMU-based Raycasting for Augmented Reality Head-Mounted Displays," ACM SUI Proceedings, pp. 89-98, Aug. 2015, DOI:10.1145/2788940.2788947
Hui Liang, Junsong Yuan, Daniel Thalmann, Nadia Magnenat Thalmann, "AR in Hand : Egocentric Palm Pose Tracking and Gesture Recognition for Augmented Reality Applications," ACM MM Proceedings, pp. 743-744, Oct.2015, DOI:10.1145/2733373.2807972
Yizheng Gu, Chun Yu, Zhipeng Li, Weiqi Li, Shuchang Xu, Xiaoying Wei, Yuanchun Shi, "Accurate and Low-Latency Sensing of Touch Contact on Any Surface with Finger-Worn IMU Sensor," UIST ACM Proceedings, pp. 1059-1070, Oct.2019,DOI:10.1145/3332165.3347947
Taylor Frantz, Bart Jansen, Johnny Duerinck, Jef Vandemeuleb roucke, "Augmenting Microsoft's HoloLens with vuforia tracking for neuronavigation," Healthc Technol Left, Vol. 5, No. 5, pp. 221-225, Oct. 2018, DOI :10.1049/htl.2018.5079

상세보기
Lucio Tommaso De Paolis, Valerio De Luca, "The impact of the input interface in a virtual environment: Vive controller and the Myo armband," Springer Vritual Reality, Vol. 24, pp. 483-502, Nov. 2019, DOI : 10.1007/s10055-019-00409-6

상세보기
Carol Naranjo-Valero, Sriram Srinivasa, Achim Ebert, and Hamann, "Enhanced Freehand Interaction by Combining Vision and EMG-based systems in Mixed Reality Environments," CSCE

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증