[논문]사실적인 가상 임팩트 감각 전달을 위한 햅틱 시스템

전제찬; 박재영

doi:10.7472/jksii.2023.24.6.23

사실적인 가상 임팩트 감각 전달을 위한 햅틱 시스템
Haptic System to Provide the Realistic Sensation of Virtual Impact 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.24 no.6, 2023년, pp.23 - 29

전제찬 (Department of Mechanical & System Design Engineering, Hongik University) , 박재영 (Department of Computer Engineering, Hongik University)

초록
AI-Helper

가상현실 분야에서는 사용자 경험의 몰입도를 극대화하기 위해 햅틱 피드백을 활용하고 발전시키려는 지속적인 노력이 있었다. 그러나 대부분의 햅틱 피드백은 진동 모터 등 경제성을 고려한 액추에이터를 사용하는 문제로 인해 제한적인 촉각 경험만을 사용자에게 제공할 수 있었다. 복싱과 같은 스포츠 시뮬레이션이나 게임에서의 타격 경험의 경우, 실제 물체를 타격하는 감각과 진동 액추에이터로 렌더링되는 감각 사이의 괴리 때문에 한계가 분명하다. 본 연구에서는 이를 주목하여, 사용자가 손으로 가상의 물체를 타격할 때 가상 임팩트를 생성할 수 있는 햅틱 임팩트 시스템을 제안했다. 햅틱 인터페이스는 퀵 리턴 메커니즘을 사용하여 엔드이펙터가 사용자의 주먹에 햅틱 임팩트 피드백을 직접 전달하고 진동 촉감을 통해서 사용자의 손바닥에 가상 임팩트 감각을 전달할 수 있도록 하였다. 제안된 시스템은 인간 대상 실험을 통해 평가하였으며 실험 결과는 햅틱 임팩트 가상 임팩트의 인지 강도와 사실감에 유의한 영향을 미친다는 것을 나타낸다.

Abstract ▼ AI-Helper

As an effort to maximize the immersiveness of user experience in virtual reality, there have been constant efforts to provide a user with tactile sensation by providing haptic feedback. Most of the haptic feedback methods, however, can create only limited or unrealistic haptic sensations since they utilize affordable actuators such as a vibrotactile actuator. When it comes to martial arts training or a game, the limitation of such haptic feedback is apparent due to the significant difference between the physical impact of hitting an object and the sensation departed from a vibrotactile actuator. Noting this, we proposed a haptic impact system that can create a haptic impact when the user hits a virtual object with the fist. The haptic interface uses a quick-return mechanism that can deliver haptic impact feedback to a user's fist. The realism of the haptic impact was evaluated by conducting a human-subject experiment. The results indicate a significant effect of haptic feedback on the realism of the virtual impact.

주제어

표/그림 (6)

그림 (그림 1) 햅틱 인터페이스의 CAD 이미지. (좌):조립된 햅틱 충격 인터페이스 (우): 햅틱 인터페이스의 내부 구조. (Figure 1) CAD image of the haptic interface (left): Assembled haptic impact interface(right): interior view of the haptic interface.
그림 (그림 2) 햅틱 임팩트 액추에이터의 작동. 퀵 리턴 메커니즘은 엔드이펙터를 구동하여 햅틱 임팩트를 생성한다. (Figure 2) Actuation of the haptic impact actuator. A quick-return mechanism drives the end-effector to create an haptic impact.
그림 (그림 3) 실험 셋업. (Figure 3) Experimental setup.
그림 (그림 4) 실험을 위한 가상 환경(좌): 실험 지침이 포함된 좌측 장면 (우): 전방 가상 장면. 피실험자는 왼쪽 정사각형을 타격함. 일정한 간격으로 주먹이 오른쪽 정사각형으로 움직여 속도 참조 역할을 함. (Figure 4) Virtual scene for the experiment (Left): Left scene with experimental instruction (Right): Front virtual scene. A participant blows a punch onto the left square. A constant array of fists move toward the right square, serving as velocity reference.
그림 (그림 5) 실험 조건에 따른 햅틱 임팩트의 인지 강도(0~100) 평균. 오차막대는 표준 오차를 나타낸다. (Figure 5) Mean of perveived intensity (0~100) of haptic impact by experimental conditions. Error bars indicate standard errors.
그림 (그림 6) 실험 조건에 따른 햅틱 임팩트의 사실감(5점 리커트척도) 평균. 오차 막대는 표준 오차를 나타낸다. (Figure 6) Mean of realism of haptic impact in 5-pt Likert scale by experimental conditions. Error bars indicate standard errors.

AI 본문요약
AI-Helper

문제 정의

본 논문은 스포츠 시뮬레이터나 게임에서 사용자가 가상물체를 능동적으로 타격 시, 사용자의 손에 직접적이고 사실적인 충격 감각, 즉 가상 임팩트를 전달할 수 있는 햅틱 시스템을 제안한다. 기존에 제시된 가상 임팩트를 표현하는 접근법은 전달되는 감각의 종류와 촉각렌더링의 사실감에 있어서 제한적 이였다.
본 연구는 가상 임팩트를 표현하는 데 있어 인지 강도와 사실감 측면에서 햅틱 임팩트 피드백의 중요성을 실험을 통해서 입증하였다. 향후 보다 일반적인 조건에서의 테스트를 위해 다양한 출력을 가진 진동 액추에이터를 사용하여 실험을 진행할 계획이다.
본 연구에서는 사용자가 가상의 객체를 타격할 때 손에 가상 임팩트 렌더링할 수 있는 햅틱 임팩트 시스템을 제안했다. 이를 평가하기 위해 인간 대상 실험을 실시하였으며 실험 결과에 따르면 햅틱 임팩트가 렌더링 되었을 때의 인지 강도가 진동 전달 피드백보다 유의하게 높았다.
반면, 본 논문에서 제안하는 햅틱 시스템은 사용자의 손과 실제 객체 사이의 물리 접촉을 통해 재현하며, 손바닥으로 전달되는 진동을 생성한다는 점에서 가상 임팩트를 사실적으로 렌더링할 수 있도록 하였다. 본문에서는 사용자가 가상물체를 타격할 때 햅틱 인터페이스의 작동 원리에 대해 설명하며, 충격 제어의 유효성을 입증하기 위해 액추에이터의 입력 전압에 의한 충격의 가속도를 측정하였고 인간 대상 실험을 통해 렌더링 된 가상 임팩트의 인지 강도와 사실감을 평가하였다.

가설 설정

엔드이펙터의 속도는 PD 컨트롤러[3]를 사용하여 제어되었다. 진동 촉각 피드백의 경우, 액추에이터의 빠른 반응 시간을 고려하여 작동부터 충격까지의 지연시간을 0m/s으로 가정한다.

제안 방법

입력 전압과 가속도 사이에 명확한 추세가 있다면, 전압입력을 변경하여 충격을 제어할 수 있다는 것을 의미한다. 두 번째 연구문제에 답하기 위해서, 사용자의 손동작이 가상공간에 매핑되는 VR 프로그램을 구축하였고, 인간 대상 실험을 통해 가상 임팩트의 인지 강도와 사실감을 평가하였다.
또한, 조작의 편의성을 위해 햅틱 인터페이스의 치수(125 x 130 x 50mm) 와 무게(168g)를 컴팩트하게 결정하였다. 또한, 물체를 타격할 때 느껴지는 촉감의 사실적인 렌더링을 위해서 사용자의 손에 멀티 모달 피드백을 제공할 수 있도록 설계하였다. 주먹에 대한 충격은 엔드이펙터(end-effector)가 사용자의 주먹을 실제로 타격하는 형태로 모사된다.
본 연구에서 제안하는 햅틱 임팩트 인터페이스는 가상 환경에서 사용자가 가상객체를 타격 시, 이와 동기화되어 사용자의 주먹과 손바닥에 햅틱 피드백을 전달하도록 설계되었다. 이 햅틱 인터페이스는 설치와 편의성과 사용성 향상을 위해 사용자가 손에 들고 사용하는 핸드헬드 타입의 햅틱 인터페이스로 설계되었다.
제안된 햅틱 임팩트 시스템의 유효성 평가를 위해서 햅틱 피드백의 종류에 따라 인지된 촉각 충격 강도와 사실감을 평가하는 실험을 실시하였다. 실험에서 피실험자는 세 가지의 햅틱 피드백을 통해 가상 임팩트를 경험하였다.
실험 참여 동의서에 서명 후, 참가자는 HMD를 착용하지 않은 상태에서 실험 절차에 대해 지시를 받았다. 실험은 피실험자가 1.5m/s와 2.5m/s로 속도로 가상의 벽을 타격하고 진동피드백(V), 햅틱 임팩트(HI), 진동 피드백 + 햅틱 임팩트 (V + HI), 세가지 조건에서 가상 임팩트의 인지 강도를 평가하였다.
제안된 햅틱 임팩트 시스템의 유효성 평가를 위해서 햅틱 피드백의 종류에 따라 인지된 촉각 충격 강도와 사실감을 평가하는 실험을 실시하였다. 실험에서 피실험자는 세 가지의 햅틱 피드백을 통해 가상 임팩트를 경험하였다.
첫 번째 연구문제에 답하기 위해, 본 논문에서는 제안된 햅틱 인터페이스에 가해지는 입력 전압에 따른 햅틱 임팩트의 강도 추이를 가속도 측정을 통해 관찰하였다. 입력 전압과 가속도 사이에 명확한 추세가 있다면, 전압입력을 변경하여 충격을 제어할 수 있다는 것을 의미한다.
Lopes 등은 반대로 사용자의 팔에 타격이 가해질 때의 수동 촉감을 재현하는 착용형 햅틱 인터페이스를 제안한 바 있다 [7]. 해당 햅틱 인터페이스는 타격이 가해질 때 솔레노이드를 통해 하박을 두드리는 감각을 렌더링했으며 EMS(electrical muscle stimulation) 전극을 상박에 장착하여 팔을 뒤로 밀어낼 수 있도록 했다. 이러한 수동 촉감 피드백은 사용자가 가상객체로부터 타격을 당할 때의 감각을 재현하기 때문에 능동적으로 가상객체를 타격할 때의 감각을 재현하는 데는 한계가 있었다.

대상 데이터

사용자의 손 위치는 손목에 착용된 VIVE 트래커로 추적되고 가상의 손 아바타의 위치에 매핑된다. 가상 환경은 HMD(VIVE Pro, HTC Corporation, 대만)로 시각적으로 표시되며 사용자는 햅틱 임팩트 인터페이스와 함께 VR 컨트롤러를 사용할 수 있다. 실험 프로그램은 직렬통신을 통해 마이크로프로세서(Arduino Uno, Arduino, 이탈리아)에 목표 속도에 대한 명령을 보낼 수 있다.
이 햅틱 인터페이스는 설치와 편의성과 사용성 향상을 위해 사용자가 손에 들고 사용하는 핸드헬드 타입의 햅틱 인터페이스로 설계되었다. 또한, 조작의 편의성을 위해 햅틱 인터페이스의 치수(125 x 130 x 50mm) 와 무게(168g)를 컴팩트하게 결정하였다. 또한, 물체를 타격할 때 느껴지는 촉감의 사실적인 렌더링을 위해서 사용자의 손에 멀티 모달 피드백을 제공할 수 있도록 설계하였다.
서보 모터는 햅틱 인터페이스의 크기를 최소화하기 위해 선정되었으며 제어를 위해 기어형 DC 모터로 작동하도록 재배선하였다. 모터의 제어를 위해, 자기 회전형 인코더 (RM08ID0012B02L2 G00 , RLS, 슬로베니아)가 설치되었다. 그림 2는 햅틱 임팩트 생성을 위해 퀵 리턴 메커니즘을 통해서 엔드이펙터가 사용자의 손 방향으로 이동하는 것을 보여준다.
엔드이펙터는 서보 모터(SG90S, Tower Pro 대만)로 구동되는 퀵리턴 메커니즘으로 구동된다. 서보 모터는 햅틱 인터페이스의 크기를 최소화하기 위해 선정되었으며 제어를 위해 기어형 DC 모터로 작동하도록 재배선하였다. 모터의 제어를 위해, 자기 회전형 인코더 (RM08ID0012B02L2 G00 , RLS, 슬로베니아)가 설치되었다.
실험에는 시촉각을 포함한 감각에 문제가 없는 건강한 피실험자 11명 (남성 6명, 여성 5명)이 참여하였다. 실험에 앞서 조사한 설문에서 모든 참가자가 오른손잡이라고 보고하였으며, 연령 분포는 21세부터 26세였다.

데이터처리

실험 프로그램은 Unity를 사용하여 프로그래밍 되었다. 사용자의 손 위치는 손목에 착용된 VIVE 트래커로 추적되고 가상의 손 아바타의 위치에 매핑된다.

성능/효과

5m/s 속도로 이동하는 가상 주먹들이 오른쪽 정사각형으로 이동했다. 그 후, 피실험자에게 오른쪽 정사각형으로 움직이는 가상 주먹의 속도와 최대한 가까운 속도로 왼쪽 정사각형을 타격하도록 지시했다, 가상 주먹아바타가 왼쪽 조건에 따라 다르게 렌더링 된 가상 임팩트가 표현되었다. 그런 다음, 실험 감독관은 피험자에게 가상 임팩트의 인지 강도(perceived intensity)와 사실감(realism)에 대해 질문하였다.
이를 평가하기 위해 인간 대상 실험을 실시하였으며 실험 결과에 따르면 햅틱 임팩트가 렌더링 되었을 때의 인지 강도가 진동 전달 피드백보다 유의하게 높았다. 또한 햅틱 임팩트의 사실감 또한 진동 피드백에 비해 유의하게 높았다는 것을 관찰되었다.
기존에 제시된 가상 임팩트를 표현하는 접근법은 전달되는 감각의 종류와 촉각렌더링의 사실감에 있어서 제한적 이였다. 반면, 본 논문에서 제안하는 햅틱 시스템은 사용자의 손과 실제 객체 사이의 물리 접촉을 통해 재현하며, 손바닥으로 전달되는 진동을 생성한다는 점에서 가상 임팩트를 사실적으로 렌더링할 수 있도록 하였다. 본문에서는 사용자가 가상물체를 타격할 때 햅틱 인터페이스의 작동 원리에 대해 설명하며, 충격 제어의 유효성을 입증하기 위해 액추에이터의 입력 전압에 의한 충격의 가속도를 측정하였고 인간 대상 실험을 통해 렌더링 된 가상 임팩트의 인지 강도와 사실감을 평가하였다.
실험 결과에서 눈에 띄는 점은 가상객체 타격 시 진동 피드백만 제공되는 경우보다 햅틱 임팩트가 제공될 경우의 지각 강도가 더 높다는 것이다. 이 결과는 다중 감각통합(multiple sensory integration) 모델을 통해서 일부 설명할 수 있다.
본 연구에서는 사용자가 가상의 객체를 타격할 때 손에 가상 임팩트 렌더링할 수 있는 햅틱 임팩트 시스템을 제안했다. 이를 평가하기 위해 인간 대상 실험을 실시하였으며 실험 결과에 따르면 햅틱 임팩트가 렌더링 되었을 때의 인지 강도가 진동 전달 피드백보다 유의하게 높았다. 또한 햅틱 임팩트의 사실감 또한 진동 피드백에 비해 유의하게 높았다는 것을 관찰되었다.
피실험자가 실험을 시작할 준비가 되었다는 의사를 알리면 HMD를 착용하고 한 손에는 햅틱 충격 인터페이스를 , 다른 손에는 VR 컨트롤러를 들도록 안내되었다. 가상 환경의 왼쪽에는 실험 지침이 표시되었고 참가자 정면에 두개의 정사각형이 배치되었다(그림 4).
이와 관련된 현상은 시각, 청각, 촉각간에서만 아니라 다른 종류의 촉각 정보를 사용자에게 전달할 때도 관찰된 바 있다 [12]. 해당 이론을 본 연구의 실험 결과에 적용할 경우 진동 촉감과 손에 전달되는 햅틱 임팩트 또한 다중 감각 통합의 형태로 처리될 수 있다고 예상할 수 있다.

후속연구

향후 보다 일반적인 조건에서의 테스트를 위해 다양한 출력을 가진 진동 액추에이터를 사용하여 실험을 진행할 계획이다. 또한, 다양한 엔드이펙터 질량과 충돌 속도를 실험 조건으로 하여 실험 결과의 일반화를 추진할 예정이다.
본 연구는 가상 임팩트를 표현하는 데 있어 인지 강도와 사실감 측면에서 햅틱 임팩트 피드백의 중요성을 실험을 통해서 입증하였다. 향후 보다 일반적인 조건에서의 테스트를 위해 다양한 출력을 가진 진동 액추에이터를 사용하여 실험을 진행할 계획이다. 또한, 다양한 엔드이펙터 질량과 충돌 속도를 실험 조건으로 하여 실험 결과의 일반화를 추진할 예정이다.

참고문헌 (12)

Tactosy for Hands, 2023.？https://www.bhaptics.com/tactsuit/tactosy-for-hands
K. Erleben, J. Sporring, K.Henriksen, and H.？Dohlmann. "Physics-basedanimation," Charles River？Media Hingham, 2005.
G. F. Franklin, J. D. Powell, A. Emami-Naeini, and J.？D. Powell, "Feedback control ofdynamic systems,"？Prentice hall Upper Saddle River, 2002
S. Kim, W.Lee, and J. Park(author), "A 2-DOF Impact？Actuator for Haptic Application," Actuators,Vol 11,？No.3, pp.70, 2022. https://doi.org/10.3390/act11030070

상세보기
S.-Y. Kim,and T.-H. Yang, "Miniature impact actuator？for haptic interaction with mobiledevices," International？Journal of Control, Automation and Systems, Vol 12,？No.6, pp.1283-1288, 2014.？https://doi.org/10.1007/s12555-013-0499-5

상세보기
R. Liu, F.Yang, X. Mu, H. Yue, and Chenxi Zhu,？"Research on the 2-degree-of-freed omelectromagnetic？actuator in space," Advances in Mechanical？Engineering, Vol 10, No.1, 2018.？https://doi.org/10.1177/1687814017750265

상세보기
P. Lopes, A. Ion, and P.Baudisch, "Impacto:？Simulating physical impact by combining tactile？stimulationwith electrical muscle stimulation," 28th？Annual ACM Symposium on UserInterface Software &？Technology, pp. 11-19, 2015.？https://doi.org/10.1145/2807442.2807443
W. Qiu, Zhaoyang Li, G. Wang, Y. Peng, M. Zhang,？X. Wang, J.Zhong, and L. Lin, "A Moisture-Resistant？Soft Actuator with Low DrivingVoltages for Haptic？Stimulations in Virtual Games," ACS Applied？Materials &Interfaces, Vol. 14, No.27, pp. 31257-31266, 2022.？https://doi.org/10.1021/acsami.2c06209

상세보기
Y. Sekiguchi, K. Hirota, and M.Hirose, "Haptic？interface using estimation of box contents metaphor",？In Proceedings of ICAT 2003, Vol. 203, pp. 197-202,？2003.
T.-H. Yang, D. Pyo, S.-Y. Kim,and D.-S. Kwon,？"Development and evaluation of an impact vibration？actuatorusing an unstable mass for mobile devices,"？International Journal of Control,Automation and？Systems, Vol. 14, No.3, pp. 827-834, 2016.？https://doi.org/10.1007/s12555-014-0490-9

상세보기
M. O. Ernst, and M. S. Banks,"Humans integrate？visual and haptic information in a statistically？optimalfashion," Nature, vol. 415, pp. 429-433, 2002.？https://doi.org/10.1038/415429a

상세보기
J. Park(author) B. Son, I. Han, and W.Lee, "Effect of？Cutaneous Feedback on the Perception of Virtual？ObjectWeight during Manipulation," Scientific Reports,？vol. 10, no. 1, pp.449-454, 2020.？https://doi.org/10.1038/s41598-020-58247-5

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증