3D/가상환경 애플리케이션을 위한 3D 인터랙션에 관한 연구는 이동(navigation), 선택(selection), 조작 (manipulation), 시스템 제어(system control)와 같은 기본적인 4가지 형태의 상호작용으로 정의하고 광범위하게 연구되어 왔으며, 일반적으로 현실세계나 가상환경에서 작은 물체라도 상호작용하기에 적합한 기술로 여겨져 왔다. 그러나 이러한 비직관적인 상호작용 방법은 최근 산업계에서 필요시 되고 있는 가상 훈련이나 가상 디자인/사용성 평가 시스템과 같이 사용자가 도구나 장치를 사용하여 간접적으로 물체를 조작해야 하는 비직관적인 상호작용 방법이 아닌, 자신의 손으로 직접 물체를 만지거나 조작할 수 있는 직관적인 상호작용 방법이 필요한 고품질, 고정밀 애플리케이션을 지원하기에는 적합하지 않은 방법이었다. 따라서 본 연구에서는 직관적이며 자연스러운 상호작용을 지원하기 위한 방법으로 고정밀 핸드 조작과 사실적 역.촉감을 제공하는 장갑형 핸드 인터페이스 장치 및 햅틱 장갑 장치와 6자유도햅틱 장치로 구성된 핸드 햅틱 인터페이스를 제시하고자 한다.
3D/가상환경 애플리케이션을 위한 3D 인터랙션에 관한 연구는 이동(navigation), 선택(selection), 조작 (manipulation), 시스템 제어(system control)와 같은 기본적인 4가지 형태의 상호작용으로 정의하고 광범위하게 연구되어 왔으며, 일반적으로 현실세계나 가상환경에서 작은 물체라도 상호작용하기에 적합한 기술로 여겨져 왔다. 그러나 이러한 비직관적인 상호작용 방법은 최근 산업계에서 필요시 되고 있는 가상 훈련이나 가상 디자인/사용성 평가 시스템과 같이 사용자가 도구나 장치를 사용하여 간접적으로 물체를 조작해야 하는 비직관적인 상호작용 방법이 아닌, 자신의 손으로 직접 물체를 만지거나 조작할 수 있는 직관적인 상호작용 방법이 필요한 고품질, 고정밀 애플리케이션을 지원하기에는 적합하지 않은 방법이었다. 따라서 본 연구에서는 직관적이며 자연스러운 상호작용을 지원하기 위한 방법으로 고정밀 핸드 조작과 사실적 역.촉감을 제공하는 장갑형 핸드 인터페이스 장치 및 햅틱 장갑 장치와 6자유도 햅틱 장치로 구성된 핸드 햅틱 인터페이스를 제시하고자 한다.
Several researches in 3D interaction have identified and extensively studied the four basic interaction tasks for 3D/VE applications, namely, navigation, selection, manipulation and system control. These interaction schemes in the real world or VE are generally suitable for interacting with small gr...
Several researches in 3D interaction have identified and extensively studied the four basic interaction tasks for 3D/VE applications, namely, navigation, selection, manipulation and system control. These interaction schemes in the real world or VE are generally suitable for interacting with small graspable objects. In some applications, it is important to duplicate real world behavior. For example, a training system for a manual assembly task and usability verification system benefits from a realistic system for object grasping and manipulation. However, it is not appropriate to instantly apply these interaction technologies to such applications, because the quality of simulated grasping and manipulation has been limited. Therefore, we introduce the intuitive and natural 3D interaction haptic interface supporting high-precision hand operations and realistic haptic feedback.
Several researches in 3D interaction have identified and extensively studied the four basic interaction tasks for 3D/VE applications, namely, navigation, selection, manipulation and system control. These interaction schemes in the real world or VE are generally suitable for interacting with small graspable objects. In some applications, it is important to duplicate real world behavior. For example, a training system for a manual assembly task and usability verification system benefits from a realistic system for object grasping and manipulation. However, it is not appropriate to instantly apply these interaction technologies to such applications, because the quality of simulated grasping and manipulation has been limited. Therefore, we introduce the intuitive and natural 3D interaction haptic interface supporting high-precision hand operations and realistic haptic feedback.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 연구에서는 산업 현장에서도 사용 가능한 고정밀 핸드 햅틱 인터페이스의 개발을 위하여 기존의 저항이나 광학 방식 등의 센서를 이용한 연구에 비해 높은 해상도와 빠른 갱신율을 제공하는 절대 변위 센서를 사용한 고정밀 장갑형 핸드 인터페이스 장치의 개발과 사용자에게 사실적 역⦁촉감을 제공하여 상호작용의 현실감을 증가시키는 햅틱 장비로서 손가락에 역⦁촉감을 제공하는 햅틱 장갑 장치와 손 전체의 역감을 제공하는 6자유도 햅틱 장치의 개발을 제시한다. 또한 이러한 인터페이스 장치의 효용성을 검증하기 위한 애플리케이션으로 사실적 자동차 내관 품평이 가능한 가상 품평 시스템을 구현하였다.
따라서 본 연구에서는 산업 현장에서도 사용 가능한 고정밀 핸드 햅틱 인터페이스의 개발을 위하여 기존의 저항이나 광학 방식 등의 센서를 이용한 연구에 비해 높은 해상도와 빠른 갱신율을 제공하는 절대 변위 센서를 사용한 고정밀 장갑형 핸드 인터페이스 장치의 개발과 사용자에게 사실적 역⦁촉감을 제공하여 상호작용의 현실감을 증가시키는 햅틱 장비로서 손가락에 역⦁촉감을 제공하는 햅틱 장갑 장치와 손 전체의 역감을 제공하는 6자유도 햅틱 장치의 개발을 제시한다. 또한 이러한 인터페이스 장치의 효용성을 검증하기 위한 애플리케이션으로 사실적 자동차 내관 품평이 가능한 가상 품평 시스템을 구현하였다.
본 연구에서는 제시한 핸드 햅틱 인터페이스의 효용성을 검증하기 위하여 자동차 내관 품평 시스템을 구현하였다. 이 시스템은 직경 3m의 몰입형 반구형 화면과 4096×1536의 고해상도를 지원하는 디스플레이 장치[11]를 이용하여 실제 자동차에 승차하여 내관을 보는 듯한 몰입감과 현실감을 제공한다.
본 연구에서는 직관적이며 자연스러운 상호작용을 위하여 편안하고 정밀 핸드 조작이 가능한 고정밀 장갑형 핸드 인터페이스 장치와 사실적 역⦁․촉감을 제공을 위한 햅틱 장갑 및 6자 유도 햅틱 장치의 개발과 함께 각종 애플리케이션과의 손쉬운 통합을 지원하는 햅틱 API를 제시하였다. 또한 사용자의 손과 가장 유사하며 자연스러운 움직임의 가상 핸드 모델을 제공하기 위하여 가변형 스킨매쉬 기법을 이용한 3차원 핸드 모델과 움직임을 가시화하였고, 간편한 캘리브레이션이 가능한 매니지먼트 툴 등도 제시하였다.
제안 방법
이때 시각적으로 가시화되는 가상 핸드 모델은 기존 연구와 같이 사용자에게 이질감을 주었던 저품질의 투박한 실린더형의 핸드 모델이 아닌, 실제 사용자의 손과 유사한 고품질의 가상 핸드 모델을 제공하기 위하여 가변형 스킨매쉬 기법을 적용한 사실적 핸드 모델과 움직임을 가시화하였다[그림 2. (a)].
또한 사용편의를 위하여 2가지 형태의 간단한 손동작만으로도 정확하고 신속한 캘리브레이션 작업이 가능한 매니지먼트 툴을 개발하였다[그림 2. (b)]. 이 2가지 형태의 손동작은 주먹을 쥔 상태에서 엄지만 편 동작과 손가락을 전부 편 상태에서 엄지손가락만 구부린 동작으로 각 손가락 관절의 최대/최소의 구부림 범위를 알 수 있기 위함이다.
이 장치의 구동부인 스텝 모터는 가상환경에서 물체와 사용자의 실제 손이 닫았을 경우 가상 물체 안으로 손이 뚫고 들어가지 않도록 손가락 끝에 걸려있는 골무 형태의 주머니와 연결되어 있는 와이어를 당기게 된다. 이때 발생되는 역감의 효율성을 위하여 그림 3에서 보는 것과 같이 기구부를 사용하여 와이어가 당겨지는 힘이 손가락의 손등 방향과 수직으로 작용할 수 있도록 하였다. 또한 무저항 상태의 자유로운 손가락 움직임을 제공하기 위하여 손을 쥐거나 펴는 동작을 감지하여 스텝 모터에 감겨있는 와이어를 풀어주거나 감아줌으로써 스텝 모터에서 발생될 수 있는 저항감을 최소한으로 줄였다.
구현된 시스템은 펜티엄 4 3.2Ghz의 CPU와 GeForec 8800 그래픽스 하드웨어를 기반으로 햅틱 시뮬레이션 시스템을 구현하였고, 손의 위치를 추적하기 위한 장비로는 초음파 방식의 IS-900 위치추적 장치[12]를 사용하고 있으며, 손가락 움직임 추적은 본 연구에서 제시한 고정밀 핸드 인터페이스 장치를 사용하였다. 또한 사용자에게 역⦁촉감을 제공하기 위해서 햅틱 장비로는 앞에서 설명한 햅틱 장갑 장치와 6자 유도 햅틱 장치가 사용되었다.
또한 사용자의 손과 가장 유사하며 자연스러운 움직임의 가상 핸드 모델을 제공하기 위하여 가변형 스킨매쉬 기법을 이용한 3차원 핸드 모델과 움직임을 가시화하였고, 간편한 캘리브레이션이 가능한 매니지먼트 툴 등도 제시하였다. 이를 이용하여 핸드 햅틱 인터페이스의 적용 애플리케이션으로 자동차 내관 품평을 위한 가상 품평 시스템을 구현하였다. 이는 구현된 자동차의 내관 품평을 위한 가상 품평 시스템뿐만 아니라 정보가전 기기의 디자인/기능성 품평과 같은 고품질 애플리케이션 분야와 게임과 같은 엔터테인먼트 분야에서도 직관적이며 자연스러운 상호작용 도구로 사용될 것으로 기대한다.
대상 데이터
본 연구에서 사용될 방식은 전자기 모터를 이용한 텐던 구동식 햅틱 장갑 장치(tendon-driven haptic glove device)로 각 손가락에 대하여 최대 약 8~9N의 힘을 제공할 수 있다[그림 3]. 이 장치의 구동부인 스텝 모터는 가상환경에서 물체와 사용자의 실제 손이 닫았을 경우 가상 물체 안으로 손이 뚫고 들어가지 않도록 손가락 끝에 걸려있는 골무 형태의 주머니와 연결되어 있는 와이어를 당기게 된다.
이론/모형
본 연구에 사용된 센서는 정밀 미소 변위를 측정하기 위한 LVDT(Linear Variable Differential Transducer)식 절대 변위 센서로 공장 설비, 공작 기계, 의료 기기, 로봇 등과 같은 직선 변위 측정을 위해 일본 LEVEX 사에 의해서 개발되었다[10]. 이 센서는 4kHz의 갱신율과 12bit의 해상도의 초 정밀성과 반복 특성을 가지며, 극한의 환경에서도 측정이 가능한 장점이 있다.
가상 객체와의 상호작용을 위한 실시간 충돌처리는 가상 핸드 모델과 객체 간의 폴리곤 단위의 계층적 처리를 통하여 정확하고 신속한 처리가 가능하다. 정확한 충돌처리를 위하여 수백만 폴리곤의 대용량 모델을 대상으로 폴리곤 대 폴리곤의 충돌검사를 하게 되며, 수백만 폴리곤 대상의 충돌검사시 실시간 충돌처리를 위하여 전처리 단계로 충돌검사 관심 대상의 부분 객체만을 선택적으로 분류하여 단계적으로 충돌여부를 검사하는 계층적 충돌검사 기법과 3차원 그래픽 가시화 프로세스와는 독립된 충돌처리 프로세스로 분리하는 멀티쓰레드 기법을 사용한다. 이때 발생된 충돌 이벤트는 사용자에게 2가지 형태의 느낌으로 전달될 수 있다.
성능/효과
본 장갑형 핸드 인터페이스 장치는 편안한 착용성과 통풍성을 제공하는 장갑에 장착되어 있는 인간의 손가락 관절과 근육을 모사한 기구부와 초소형 절대 변위 센서를 통하여 사용자의 손가락 동작에 관한 움직임 정보를 입력 받고, 데이터 획득 장치를 통해서 입력된 아날로그 데이터를 디지털 값으로 변환하여 손가락 움직임을 정확히 추적한다.
이때 발생되는 역감의 효율성을 위하여 그림 3에서 보는 것과 같이 기구부를 사용하여 와이어가 당겨지는 힘이 손가락의 손등 방향과 수직으로 작용할 수 있도록 하였다. 또한 무저항 상태의 자유로운 손가락 움직임을 제공하기 위하여 손을 쥐거나 펴는 동작을 감지하여 스텝 모터에 감겨있는 와이어를 풀어주거나 감아줌으로써 스텝 모터에서 발생될 수 있는 저항감을 최소한으로 줄였다.
따라서 4~6축의 관절각은 햅틱 장치의 자세에만 영향을 미치고 위치에는 영향을 미치진 않는다. 결론적으로 햅틱 장치의 위치계산을 위해서는 1~3축의 관계를 이용하여 관절각을 구하고, 역방향을 계산하기 위해서는 4~6축의 관계식을 이용 한다.
후속연구
이를 이용하여 핸드 햅틱 인터페이스의 적용 애플리케이션으로 자동차 내관 품평을 위한 가상 품평 시스템을 구현하였다. 이는 구현된 자동차의 내관 품평을 위한 가상 품평 시스템뿐만 아니라 정보가전 기기의 디자인/기능성 품평과 같은 고품질 애플리케이션 분야와 게임과 같은 엔터테인먼트 분야에서도 직관적이며 자연스러운 상호작용 도구로 사용될 것으로 기대한다.
추후 연구로는 더욱 실감나는 상호작용을 위한 물리엔진 기반의 상호작용 기법을 제공하여 더욱 일반적이고 다양한 상황에서도 사실적 상호작용이 가능한 핸드 햅틱 인터페이스를 제공할 예정이다.
질의응답
핵심어
질문
논문에서 추출한 답변
핸드 햅틱 API란 무엇인가?
핸드 햅틱 API는 3차원/가상현실 애플리케이션에서 핸드 햅틱 인터페이스 장치를 손쉽게 통합 운용할 수 있도록 장치의 초기화 및 제어, 데이터 입출력, 가상 핸드 모델 제어, 충돌 처리, 햅틱 렌더링 등의 기능을 지원하며, 각종 애플리케이션에 손쉽게 통합이 가능한 C++ 기반의 라이브러리이다.[그림 8].
핸드 햅틱 API의 각 계층은 어떤 역할을 하는가?
장치 드라이버 계층은 핸드 햅틱 인터페이스 장치를 관리하기 위해 손가락 움직임 데이터 획득 장치 및 역⦁촉감 제시 구동기의 초기화 등을 수행하여 올바른 장치의 기동을 보장 한다. 저수준 장치 제어 API 계층은 데이터 획득 장치로부터의 핸드 인터페이스 센서 데이터들을 버퍼로부터 가져오는 역할과 상위 계층인 고수준 햅틱 렌더링 API에서 계산되거나 직접 입력된 힘⦁토크 데이터를 역⦁촉감 제시 구동기 장치로 보내어 구동기를 제어하게 된다. 그리고 마지막 상위 계층인 고수준 햅틱 렌더링 API 계층은 가상 핸드 모델 제어, 핸드 모델 운동학 처리, 충돌 처리, 사실적 역⦁촉감 제시를 위한 동역학 처리와 힘⦁토크 데이터를 생성하는 역감 렌더링 등의 역할을 한다.
3D/가상환경 애플리케이션을 위한 3D 인터랙션에 관한 연구는 4가지의 상호작용 형태로 정의하여 연구되었는데 이는 무엇인가?
3D/가상환경 애플리케이션을 위한 3D 인터랙션에 관한 연구는 기본적인 4가지의 상호작용 형태(이동(navigation), 선택(selection), 조작(manipulation), 시스템 제어(system control))로 정의하여 연구되었으나[1], 이러한 방법은 장치나 도구를 사용하여 간접적으로 물체를 조작해야 하는 비직관적인 상호작용 방법으로 사용자가 직접 자신의 손으로 물체를 만지거나 조작해 볼 수 있는 직관적인 상호작용 방법과는 큰 차이가 있다. 그러므로 특히, 산업 현장에서 제품을 생산하는 작업자의 조립 작업을 숙달시키기 위한 가상 훈련 시스템이나 핸드폰과 같은 정보기기의 새로운 모델의 사용성 높은 디자인을 위한 가상 디자인/사용성 평가 시스템 등과 같은 고품질, 고정밀 애플리케이션에서는 이러한 기존의 4가지 형태의 기본적인 상호작용 방법은 적합하지 않은 방법이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.