선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 기존 컨트롤러들의 사용자 동작 추적입력 방법의 단점들을 해결하기 위해 절대위치 추적과 가속도 추적이 가능하고 좀 더 다양한 진동을 제공할 수 있는 무선 게임 컨트롤러를 제안한다. 본 논문은 우리의 이전 연구[4]의 연장선상에 있는 연구로써 이전 연구에서 개발한 리모트 컨트롤러에서 더 발전한 형태의 컨트롤러이다.
- 무선 게임 컨트롤러를 제안한다. 본 논문은 우리의 이전 연구[4]의 연장선상에 있는 연구로써 이전 연구에서 개발한 리모트 컨트롤러에서 더 발전한 형태의 컨트롤러이다. 본 게임 컨트롤러는 비전 기술을 이용한 적외선 위치추적과 가속도 센서를 이용한 가속도 추적을 결합하여 6 자유도의 위치추적과 3 자유도의 가속도 추적이 가능하다.
가설 설정
- 게임 컨트롤러를 이용하여 버튼이 아닌 사용자의 동작을 입력으로 사용하기 위해서는 사용자의 동작과 상관 관계가 큰 입력 값을 얻을 수 있어야 하며, 본 연구에서는 컨트롤러의 위치 상태에 대한 정보가 사용자의 동작과 큰상관 관계를 보이리라고 가정했다. 따라서 컨트롤러의 위치 상태에 대한 정보를 얻기 위해 비전 기술을 이용해 추적한 3 차원 위치 값과 가속도계를 통해 얻어낸 컨트롤러에 가해지는 가속도의 값을 이용했다.
제안 방법
- 있었다. MCU 는 이전 연구에서 사용하던 ATMEGA48 을 그대로 사용하였으나 내부의 카운터와 8 개의 포트를 이용하여 진동 모듈을 제작했고, 이 모듈에 적용하기 위한 진동 파형을 프로그래밍하여 내장하였다.
- 가속도 데이터는 상대적인 위치에 관한 정보는 줄 수 있지만 절대적인 위치에 관한 정보는 주지 않기 때문에 적외선 카메라와 적외선 마커를 사용하는 비전 추적 방법을 사용하여 컨트롤러의 6 자유도 절대위치를 추적한다. 게임 컨트롤러의 6자유도 위치 추적은 가장 최근에 발표된 닌텐도 Wii 게임 시스템에서도 제공하지 않는 기능이다.
- 본 게임 컨트롤러는 비전 기술을 이용한 적외선 위치추적과 가속도 센서를 이용한 가속도 추적을 결합하여 6 자유도의 위치추적과 3 자유도의 가속도 추적이 가능하다. 그리고 이 두 종류의 데이터의 장단점을 서로 보완하여 이를 사용자의 동작 패턴 인식에 사용하는 방법을 제시한다. 또한 기존의 진동모터 대신, 보이스코일(Voice Coil) 진동자를 이용한 좀 더 다양한진 동감을 사용자에게 제공할 수 있는 진동감 출력 기능을 위 입력장치에 추가하여 최종적으로 광범위한 사용자 동작 인식이 가능하고 다양한 진동감을 줄 수 있는 체험형 게임 컨트롤러를 제안한다.
- 이 모델은 640x480 의 해상도, 30Hz 의 갱신 주기를 가졌으며 일반 카메라에 존재하는 적외선 제거 필터가 없다. 따라서 적외선 통과 필터를 장착하여 적외선 영역의 영상만을 감지할 수 있도록 만들어 사용하였다.
- 관계를 보이리라고 가정했다. 따라서 컨트롤러의 위치 상태에 대한 정보를 얻기 위해 비전 기술을 이용해 추적한 3 차원 위치 값과 가속도계를 통해 얻어낸 컨트롤러에 가해지는 가속도의 값을 이용했다.
- 그리고 이 두 종류의 데이터의 장단점을 서로 보완하여 이를 사용자의 동작 패턴 인식에 사용하는 방법을 제시한다. 또한 기존의 진동모터 대신, 보이스코일(Voice Coil) 진동자를 이용한 좀 더 다양한진 동감을 사용자에게 제공할 수 있는 진동감 출력 기능을 위 입력장치에 추가하여 최종적으로 광범위한 사용자 동작 인식이 가능하고 다양한 진동감을 줄 수 있는 체험형 게임 컨트롤러를 제안한다. 이와 더불어 제안한 게임 컨트롤러를 실제 게임에 적용함으로써 본 컨트롤러 가게임과 상호 작용하는 방법을 제시한다.
- 본 논문에서 제안하는 시스템은 이전 연구[4]에서 제안된 체험형 리모트 컨트롤러를 바탕으로 보다 개선된 동작 인식 및 진동감과 3차원 위치 추적 기능을 제공한다. 따라서 이전 연구에서 체험형 리모트 컨트롤러의 요건으로써 제안된 다섯 가지 하드웨어의 조건에 더해 다음과 같은 두 가지 조건이 더 필요하다.
- 이는 컨트롤러의 방향에 의해서 나타나게 되는 성분으로 정확한 동작인식을 위한 블록 추출을 위해서는 전처리 과정을 통해 제거되어야 한다. 본 논문에서는 오프셋 필터를 이용하여 중력 가속도에 의한 가속도 성분을 제거했다. 또한 사용자의 손 떨림이나 센서의 노이즈 등으로 센서에서 나오는 가속도 데이터는 고주파의 특성을 가지고 있으므로 저주파필터를 통해서 제거한다.
- 위에 기술한 방법으로 동작인식 모듈을 구현하여 여러 상황에 대해서 테스트 해 보았다. 테트리스와 같이 간단한 직선 운동과 회전 운동 등으로 구성된 경우에는 95% 이상의 좋은 인식률을 보였지만, 숫자를 쓰는 것과 같이 부분적으로 유사한 형태의 동작이 모여 있는 경우에는 상대적으로 인식률이 떨어져 90% 정도의 인식률을 보였다.
- MCU 에서 제공되는 8bit 의 정보는 디지털 정보이기 때문에 실제로 진동 파형이라고 말할 수는 없다. 이를 아날로그 신호로 바꾸어주기 위해 8bit DAC(Digital to Analog Converter)인 TLC7528LCN 과 OP-Amp, 그리고 NPN 트랜지스터를 이용해 진동파형 발생 및 증폭기를 만들었다. DAC 칩의 경우 전체적인 딜레이가 평균 180ns 로 매우 작기 때문에 전체적인 진동 피드백을 주는 데 무리가 없다.
- 이와 같이 추출된 블록 및 중력 성분을 고려한 입력데이터를 학습된 각 모델에 대입, 유사도를 계산한 뒤어플리케이션의 특성에 따라 특정 동작의 선택 가능성을 조절하도록 가중치를 보정한다. 이러한 과정을 거쳐 유사도가 가장 큰 동작으로 동작 인식을 결정하게 된다.
- 또한 기존의 진동모터 대신, 보이스코일(Voice Coil) 진동자를 이용한 좀 더 다양한진 동감을 사용자에게 제공할 수 있는 진동감 출력 기능을 위 입력장치에 추가하여 최종적으로 광범위한 사용자 동작 인식이 가능하고 다양한 진동감을 줄 수 있는 체험형 게임 컨트롤러를 제안한다. 이와 더불어 제안한 게임 컨트롤러를 실제 게임에 적용함으로써 본 컨트롤러 가게임과 상호 작용하는 방법을 제시한다.
- 이를 제거해주기 위해서 가우시안 필터를 적용하며, 이는 이미지를 흐리게 하여 점 노이즈를 상쇄시켜주는 역할을 한다. 이제부터는 네 개의 마커를 찾기 위해 Threshold 값과 카메라의 민감도를 조절해가면서 전체 이미지 픽셀에 대해 Threshold 함수를 적용해 그림 6 의 세 번째 그림과 같은 바이너리 이미지를 얻어낸다.
- 일인칭 슈팅 게임의 어플리케이션에 본 게임 컨트롤러의 모든 기능을 구현해보았다. 사용자는 게임 컨트롤러를 마치 총이나 칼처럼 사용하게 된다.
- 컨트롤러를 통해서 lHz-400Hz 까지의 진동을 발생시킬 수 있었으며 Sine 파형과 삼각 파형에 대해 테스트를 진행하였다. Sine 파형의 경우 좀 더 무거운 느낌을 받을 수 있었고 삼각파의 경우 조금 더 가볍고 날카롭게 떨리는 느낌을 받을 수 있었다.
대상 데이터
- 마커와 카메라 사이가 멀어지면 이 오차는 커지게 되고 카메라의 작은 해상도로 인해 떨림이 발생한다. 이 떨림을 줄이기 위해 컷오프 주파수가 5Hz 인 저주파필터를 추적된 데이터에 적용했다.
이론/모형
- Zhang et al.[6]이 제안한 방법을 이용하여 카메라의 내부 파라미터를 측정하였다.
- 본 컨트롤러 시스템 중 서버 측 하드웨어에서 추가된 것은 적외선 카메라였으며, HyVision 사의 HVR-2030 모델을 사용했다. 이 모델은 640x480 의 해상도, 30Hz 의 갱신 주기를 가졌으며 일반 카메라에 존재하는 적외선 제거 필터가 없다.
- 절대위치 추적은 DeMenthon et al. 이 제안한 POSIT(Pose from Orthography and Scaling with Iterations) 알고리즘을 사용한다[7]. 이 알고리즘은 위치 관계를 알고 있는 4 개 이상의 마커들의 2 차원 위치만을 추적하여 마커들 전체의 3차원 위치와 방향을 실시간에 추적해 내는 방법이다.
- 있다. 이를 위해 가속도 데이터를 기반으로 각 동작을 은닉 마르코프 모델(Hidden Markov Model)[5] 로모델링하고 학습된 모델을 바탕으로 동작 인식을 수행하는 모듈을 사용한다.
성능/효과
- 테트리스와 같이 간단한 직선 운동과 회전 운동 등으로 구성된 경우에는 95% 이상의 좋은 인식률을 보였지만, 숫자를 쓰는 것과 같이 부분적으로 유사한 형태의 동작이 모여 있는 경우에는 상대적으로 인식률이 떨어져 90% 정도의 인식률을 보였다. 동작 인식의 경우 블록을 얼마나 잘 추출하는가에 따라서 동작의 인식률이 크게 좌우되는데, 본 연구에서는 가속 도의값과 가속도 변화량의 값을 모두 고려하여 블록을 추출하여 자연스럽고 정확한 블록 추출이 가능했다.
- 되었다. 또한 보다 더 다양한 햅틱 피드백을 전달할 수 있게 되어 사용자의 조작감과 몰입감을 높일 수 있었다.
- Sine 파형의 경우 좀 더 무거운 느낌을 받을 수 있었고 삼각파의 경우 조금 더 가볍고 날카롭게 떨리는 느낌을 받을 수 있었다. 또한 세세한 파형의 변화에 즉각적으로 진동이 바뀌는 것을 느낄 수 있었다. 이러 한파형에 따른 진동감에는 좀 더 많은 연구가 필요할 것이다.
- 본 논문은 우리의 이전 연구[4]의 연장선상에 있는 연구로써 이전 연구에서 개발한 리모트 컨트롤러에서 더 발전한 형태의 컨트롤러이다. 본 게임 컨트롤러는 비전 기술을 이용한 적외선 위치추적과 가속도 센서를 이용한 가속도 추적을 결합하여 6 자유도의 위치추적과 3 자유도의 가속도 추적이 가능하다. 그리고 이 두 종류의 데이터의 장단점을 서로 보완하여 이를 사용자의 동작 패턴 인식에 사용하는 방법을 제시한다.
- 본 논문에서 구현한 추적기의 추적 성능은 1 초에 30 번의 갱신 주기를 가지며 카메라와 마커 사이가 1 미터일 때 평균 2 센티미터, 3-6 도 정도의 추적 오차를 가진다. 마커와 카메라 사이가 멀어지면 이 오차는 커지게 되고 카메라의 작은 해상도로 인해 떨림이 발생한다.
- 본 연구의 위치 추적 기법을 적용한 컨트롤러는 기존의 Wii 나 여타 총 쏘는 게임을 위한 컨트롤러에 비해 자유도가 높다. Wii 컨트롤러의 경우 컨트롤러 자체에 장착된 카메라를 통해 센서 바를 인식하는데, 3 차원 인식에 필요한 6 자유도를 모두 추적하지 못하는 한계가 있다.
- 이 연구의 결과로 이전 연구[4]에서 가능했던 버튼 입력, 동작 인식에 더해 적외선 센서를 이용한 3차원 좌표 및 방향 추적이 가능하게 되어 좀 더 직관적인 조작을 할 수 있게 되었다. 또한 보다 더 다양한 햅틱 피드백을 전달할 수 있게 되어 사용자의 조작감과 몰입감을 높일 수 있었다.
- 이에 비교해, 본 컨트롤러는 보이스코일진동자를 채택하여 다양한 패턴 및 상황에 적절한 진동을 주는 것과 더불어 주파수와 진폭의 독립적인 조절이 가능, 좀 더 다양한 진동감을 만들어낼 수 있었다.
- 대해서 테스트 해 보았다. 테트리스와 같이 간단한 직선 운동과 회전 운동 등으로 구성된 경우에는 95% 이상의 좋은 인식률을 보였지만, 숫자를 쓰는 것과 같이 부분적으로 유사한 형태의 동작이 모여 있는 경우에는 상대적으로 인식률이 떨어져 90% 정도의 인식률을 보였다. 동작 인식의 경우 블록을 얼마나 잘 추출하는가에 따라서 동작의 인식률이 크게 좌우되는데, 본 연구에서는 가속 도의값과 가속도 변화량의 값을 모두 고려하여 블록을 추출하여 자연스럽고 정확한 블록 추출이 가능했다.
후속연구
- 이를 통해 다양한 환경에서의 적절한 진동 패턴을 만들어낼 수 있을 것이며 사용자의 몰입감을 높일 수 있을 것으로 기대된다. 또한 동작 인식의 성능을 개선하기 위해 가속도만이 아닌 3차원 위치와 같은 인자들을 추가하여 좀 더 나은 동작 인식 성능을 보일 수 있도록 알고리즘을 개선해야 할 것이다.
- 또한 세세한 파형의 변화에 즉각적으로 진동이 바뀌는 것을 느낄 수 있었다. 이러 한파형에 따른 진동감에는 좀 더 많은 연구가 필요할 것이다.
- 조사가 필요하다. 이를 통해 다양한 환경에서의 적절한 진동 패턴을 만들어낼 수 있을 것이며 사용자의 몰입감을 높일 수 있을 것으로 기대된다. 또한 동작 인식의 성능을 개선하기 위해 가속도만이 아닌 3차원 위치와 같은 인자들을 추가하여 좀 더 나은 동작 인식 성능을 보일 수 있도록 알고리즘을 개선해야 할 것이다.
- 이번에 새로 추가한 진동자를 좀 더 잘 활용하기 위해, 사용자 측면에서 인지하는 진동감과 입력 파형간의 관계에 대한 조사가 필요하다. 이를 통해 다양한 환경에서의 적절한 진동 패턴을 만들어낼 수 있을 것이며 사용자의 몰입감을 높일 수 있을 것으로 기대된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.