[논문]AR 전신 상호작용을 위한 이종 센서 간 좌표계 보정 기법

김항기; 김대환; 이동춘; 이기석; 백낙훈

doi:10.3745/ktsde.2023.12.7.315

AR 전신 상호작용을 위한 이종 센서 간 좌표계 보정 기법
Heterogeneous Sensor Coordinate System Calibration Technique for AR Whole Body Interaction 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.12 no.7, 2023년, pp.315 - 324

김항기 (한국전자통신연구원 VR) , 김대환 (울산대학교 IT융합전공) , 이동춘 (한국전자통신연구원 VR) , 이기석 (한국전자통신연구원 VR) , 백낙훈 (경북대학교 컴퓨터학부)

초록
AI-Helper

꾸준히 증가하는 노인성 질환 환자 대상으로 몰입형 디지털 콘텐츠를 이용한 쉽고 정확한 전신 재활 상호작용 기술이 필요하며, 본 연구에서는 이를 위해 홀로렌즈와 키넥트를 사용한 전신 상호작용 기술을 소개한다. 이를 위해 메쉬 특징점 기반 변환, AR 마커 기반 변환, 신체 인식 기반 변환 방법의 3가지 좌표 변환 방식을 제안한다. 메쉬 특징점 기반 변환은 공간 메쉬에 3개의 특징점을 지정하고 변환 행렬을 이용하여 좌표계를 일치시킨다. 이 방법은 수작업이 필요하여 사용성이 떨어지지만 정확도가 8.5mm로 상대적으로 높다. AR 마커 기반 방식은 홀로렌즈s와 키넥트가 동시에 인식하는 AR, QR마커를 사용하여 평균오차 11.2mm로 준수한 정확도를 달성했다. 신체 인식 기반 변환 방법은 두 기기가 동시에 인식하는 머리 혹은 HMD위치와 양 손 혹은 컨트롤러 위치를 이용하여 좌표계를 일치시킨다. 이 방법은 정확도가 떨어지지만 부가적인 도구나 수작업이 필요 없으므로 사용성이 좋다. 또한 후처리 기술로 RANSAC을 적용함으로써 오차를 10% 이상 줄였다. 이러한 3가지 방식은 콘텐츠가 필요한 사용 편의성과 정확도에 따라서 선택적으로 적용할 수 있다. 본 연구에서는 이 기술을 이용해서 '썬더펀치'와 재활 치료 콘텐츠에 적용하여 검증하였다.

Abstract ▼ AI-Helper

A simple and accurate whole body rehabilitation interaction technology using immersive digital content is needed for elderly patients with steadily increasing age-related diseases. In this study, we introduce whole-body interaction technology using HoloLens and Kinect for this purpose. To achieve this, we propose three coordinate transformation methods: mesh feature point-based transformation, AR marker-based transformation, and body recognition-based transformation. The mesh feature point-based transformation aligns the coordinate system by designating three feature points on the spatial mesh and using a transform matrix. This method requires manual work and has lower usability, but has relatively high accuracy of 8.5mm. The AR marker-based method uses AR and QR markers recognized by HoloLens and Kinect simultaneously to achieve a compliant accuracy of 11.2mm. The body recognition-based transformation aligns the coordinate system by using the position of the head or HMD recognized by both devices and the position of both hands or controllers. This method has lower accuracy, but does not require additional tools or manual work, making it more user-friendly. Additionally, we reduced the error by more than 10% using RANSAC as a post-processing technique. These three methods can be selectively applied depending on the usability and accuracy required for the content. In this study, we validated this technology by applying it to the "Thunder Punch" and rehabilitation therapy content.

주제어

표/그림 (15)

그림 Fig. 1. Structure of AR Immersive Content Interaction Using Multiple Sensors
그림 Fig. 2. An Example of Using Feature Points of Kinect and HoloLens on the Spatial Mesh of Content
그림 Fig. 3. Transformation of the Coordinate System in Space based on AR Marker
그림 Fig. 4. Transform Analysis using QR Code Recognition
그림 Fig. 5. Body Parts Corresponding to Coordinate System Transformation Based on Body Recognition
그림 Fig. 6. The Result of Mapping to Whole Body Joint Information Seen from HoloLens (green line)
그림 Fig. 7. Pseudo Code of Coordinate Transform Calculation
그림 Fig. 8. Collider for Collision Detection Linked with Whole- Body Joint Information
그림 Fig. 9.The Result of Applying AR Whole Body Interaction Technology to Thunder Punch Contents
그림 Fig. 10. Results of AR Rehabilitation Content Interaction Using Whole Body Motions
표 Table 1. Comparison of Features of 3 Methods
표 Table 2. Average Errors of 3 Methods
표 Table 3. Average Errors based on RANSAC
그림 Fig. 11. Box-and-whisker Plot of Errors
그림 Fig. 12. Errors by Distance

참고문헌 (21)

KERI, International Comparison of Low Fertility and Aging？Trends and Implications, 2021.
S. H. Shin, "Use of rehabilitation medical services for？stroke patients," HIRA, pp.72-81, 2019.
S. H. Kollins et al., "A novel digital intervention for actively？reducing severity of paediatric ADHD (STARS-ADHD): A？randomised controlled trial," The Lancet Digital Health,？Vol.2, No.4, pp.168-178, 2020.
S. C. Cramer et al., "Efficacy of home-based telerehabilitation vs in-clinic therapy for adults after stroke: A？randomized clinical trial," JAMA neurology, Vol.76, No.9,？pp.1079-1087, 2019.

상세보기
M. Maier, B. R. Ballester, and P. F. Verschure, "Principles？of neurorehabilitation after stroke based on motor？learning and brain plasticity mechanisms," Frontiers in？Systems Neuroscience, 2019.
D. Y. Kim et al., "Clinical practice guideline for stroke？rehabilitation in Korea 2016," Brain & Neurorehabilatation, 13:74, 2016.
B. Liu, F. Zhang, X. Qu, and X. Shi, "A rapid coordinate？transformation method applied in industrial robot calibration based on characteristic line coincidence," Sensors,？Vol.16, No.2, pp.239, 2016.

상세보기
M. De Cecco et al., "Sharing augmented reality between？a patient and a clinician for assessment and rehabilitation？in daily living activities," Information, Vol.14, No.4, pp.204,？2023.
M. Garon, P.-O. Boulet, J.-P. Doiron, L. Beaulieu, and J.-F.？Lalonde, "Real-time high resolution 3D data on the Holo-Lens," 2016 IEEE International Symposium on Mixed and？Augmented Reality (ISMAR-Adjunct), pp.189-191, 2016.
J. Smisek, M. Jancosek, and T. Pajdla, "3D with Kinect,"？Consumer Depth Cameras for Computer Vision: Research？Topics and Applications, pp.3-25, 2013.
S. H. Choi et al., "An integrated mixed reality system for？safety-aware human-robot collaboration using deep learning and digital twin generation," Robotics and Computer-Integrated Manufacturing, Vol.73, 2022.

상세보기
C.-H. Hsieh, J.-D. Lee, and C.-T. Wu. "A Kinect-based？medical augmented reality system for craniofacial applications using image-to-patient registration," Neuropsychiatry, Vol.7, No.6, pp.927-939, 2017.
M.-L. Wu, J.-C. Chien, C.-T. Wu, and J.-D. Lee, "An augmented reality system using improved-iterative closest？point algorithm for on-patient medical image visualization," Sensors, Vol.18, No.8, pp.2505,
K. Hattori and T. Hirai, "Inside-out tracking controller for？VR/AR HMD using image recognition with smartphones,"？ACM SIGGRAPH 2020 Posters, 2020.
C. T. Russell, "Geophysical coordinate transformations,"？Cosmic Electrodynamics, Vol.2, No.2, pp.184-196, 1971.
S. Garrido-Jurado, R. Munoz-Salinas, F. J. Madrid-Cuevas,？and M. J. Marin-Jimenez, "Automatic generation and detection of highly reliable fiducial markers under occlusion," Pattern Recognition, Vol.47, No.6, pp.2280-2292,？2014.

상세보기
H. Kato and M. Billinghurst, "Marker tracking and hmd？calibration for a video-based augmented reality conferencing system," Proceedings 2nd IEEE and ACM International？Workshop on Augmented Reality (IWAR'99), IEEE, pp.85-94,？1999.
Denso Wave Corporation, QR Code features [Internet].？http://www.qrcode.com.2000.
M. A. Fischler and R. C. Bolles. "Random sample consensus: A paradigm for model fitting with applications to？image analysis and automated cartography," Communications of the ACM, Vol.24, No.6, pp.381-395, 1981.

상세보기
S. Park et al., "Development of Projection based Virtual？Experience System using Punching," Korea HCI Conference, pp.847-849, 2017.
D. H. Kim, H. M. Kim, H. K. Kim, S. R. Park, K. S. Lee,？and K. H. Kim, "ThunderPunch: A bare-hand, gesture-based, large interactive display interface with upper-body-part detection in a top view," IEEE Computer Graphics and Applications, Vol.38, No.5, pp.100-111, 2018.？

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증