선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 뇌전도 신호에서 검출할 수 있는 EOG 를 이용한 가상현실 HMD용 키보드 시스템을 구현하였다. 구현된 시스템은 디스플레이 소자, 자이로스코프 센서, 중력센서, EEG 센서 등이 들어있는 HMD 형태의 VR 헤드셋을 사용하였고 가상현실을 구축하기 위하여 Unity3D 개발 툴을 사용하였다.
- 본 논문에서는 EEG 센서를 사용하여 Eye-Blink 동작을 할 때 발생하는 EOG를 이용한 가상현실 HMD용 키보드 시스템을 제안하였다. 제안된 가상현실 HMD용 키보드 시스템은 디스플레이 소자, 자이로스코프센서, 중력센서, EEG 센서 등으로 구성하였고 VR 헤드셋 자체에 하드웨어를 구축하여 사용하는 방법이나 VR 헤드셋에 스마트폰을 연결하여 사용하는 방법 모두 사용 가능하다.
- 본 연구는 손을 사용하지 않는 입력장치로써, 일반인뿐만 아니라 신체적 장애인들에게 유용할 것으로 판단되며, 향후 EEG 센서에서 EOG 뿐만 아니라 뇌전도의 다양한 신호를 이용하여 입력장치로 적용가능한지에 대한 연구를 진행하고자 한다.
제안 방법
- 구현된 시스템은 디스플레이 소자, 자이로스코프 센서, 중력센서, EEG 센서 등이 들어있는 HMD 형태의 VR 헤드셋을 사용하였고 가상현실을 구축하기 위하여 Unity3D 개발 툴을 사용하였다. 제안된 시스템은 목의 움직임만으로 포인터를 이동시키고 눈을 깜빡일 때 발생하는 EOG를 키보드 입력으로 사용함으로써 다른 동작 없이 목 위의 두 가지 요소만으로 VR 헤드셋에서 키보드를 입력할 수 있다.
- 키보드 사용자 인터페이스 디자인 및 구성은 [그림 2]와 같이 한글, 영어, 숫자 및 기호로 구현하였으며, ‘한영’ 버튼을 통해 한/영 전환, ‘shift’ 버튼을 통해 소/대문자 전환, ‘123’ 버튼을 통해 숫자 전환, ‘기호’ 버튼을 통해 기호 전환 할 수 있도록 구성하였다.
- 제안한 EOG를 이용한 가상현실 HMD용 키보드 시스템은 디스플레이 소자, 자이로스코프센서, 중력센서, EEG 센서 등으로 구성된다. [그림 1]은 EOG를 이용한 가상현실 HMD용 키보드 시스템의 구성도와 신호처리의 흐름도를 보여준다.
- 본 논문에서는 EOG 신호검출을 위하여 EEG 센서의 경우 Neurosky社의 Mindwave Mobile제품을 사용하였고 이를 통해 Blink, Poor, Attention, Meditation, Delta, Low Alpha, High Alpha, Low Beta, High Beta, Low Gamma, High Gamma, Connect State등의 신호를 얻는다. Mindwave 제품의 경우 이마 센서부와 귀 연결부로 구성되어 있으며 연결부를 정확히 연결하였을 때 Bluetooth 통신을 통해 사용자의 뇌전도를 연결된 장치로 획득한다.
- Neurosky社에서 Mindwave 제품에 대해 제공되는 ThinkGear SDK에서는 뇌전도 신호를 분석할 수 있도록 내부 알고리즘을 구현해 놓았다. 이를 활용하여 획득된 뇌전도 신호를 분석하여 Eye-blink 동작을 할 때 생기는 Blink 값을 키보드 입력장치로 사용 하도록 하였다. Blink 값은 눈 주변 근육의 움직임이나 Eye-blink의 동작을 할 때 생기는 안전도 신호로 사용 하는 기기에서는 1초에 한번씩 0-255 사이의 값으로 출력 한다[17].
- 하지만 무의식적인 눈 깜빡임이나 눈 주변 근육의 움직임에 따른 값들은 사용자 의지에 의해 생기는 값이 아니기 때문에 노이즈 값으로 정의할 수 있다. 의식적으로 Eye-blink 동작을 할 때 발생하는 Blink값과 노이즈 동작에 의해 발생하는 Blink값을 확인하기 위하여 사용자 5명에게 반복적인 실험을 통해 Blink값을 확인하였다. 사용자 별로 차이가 있지만 의식적인 Eye-blink 동작을 할 때는 [표 1]과 같이 최소 43, 최대 92 값이 나왔고 대부분의 값은 60이상의 값을 확인하였고 노이즈 동작을 할 때는 [표 2]와 같이 최소 21, 최대 42 값이 나왔고 대부분의 값은 40이하의 값으로 나타내는 것을 확인하였다.
- 이를 통해 노이즈 값의 경우 사용자의 의지에 의한 Eye-blink 동작을 할 때 보다는 낮은 신호가 발생 되는 것을 확인하였다. 이를 근거로 [그림 3]과 같이 의식적인 Eye-blink 동작을 할 때 발생하는 Blink값과 노이즈에 의해 발생하는 Blink값의 비교를 통해 중간 값인 Threshold값을 50으로 설정하여 50이 하의 값은 노이즈 값이라 정의하고 50이상의 값은 의식 적인 Eye-blink 동작으로 정의하여 사용자의 의지에 의한 Eye-blink 동작일 때만 Blink 함수를 호출할 수 있도록 구현하여 키보드 입력장치로 사용하였다.
- 본 논문에서의 가상현실은 Google社에서 제시한 Cardboard SDK와 Unity3D를 사용하여 구현하였고 Cardboard SDK에서 기본적으로 주어진 포인터에 UI 를 입혀 사용자의 시선을 점 모양 포인터로 표현하였다. 이 포인터의 경우 [그림 4(a)]와 같이 항상 사용자가 보고 있는 디스플레이의 중앙에 위치하고 있는 특징을 가지고 있다.
- 포인터의 초기 위치를 확인하기 위해 [그림 5]와 같이 VR 헤드셋에 장착되어 있는 자이로스코프 센서와 중력 센서를 사용하여 현재 위치에 대한 위치 값을 확인한다. 포인터를 움직이기 위하여 [그림 6] 과 같은 개념과 같이 yaw, pitch, roll 회전을 했을 때 변하는 자이로스코프 센서값과 중력 센서값을 획득하여 포인터의 위치가 움직이도록 구현하였다. 원하는 물체 (버튼)를 바라보았을 때 확인을 위하여 [그림 4(b)]와 같이 포인터의 UI가 원이 되도록 하였고 만약 물체를 바라보지 않았을 경우 [그림 4(a)]와 같이 초기 포인터 형태로 돌아가도록 구현하였다.
- 키보드의 입력은 [그림 7(a)]와 같이 키보드 버튼을 바라보지 않았을 경우 초기 포인터 모양인 점 모양을 하고 있으며 [그림 7(b)]와 같이 키보드 버튼을 바라보면 포인터 모양이 원 모양으로 바뀌게 되는데 이 때 Eye-blink 동작을 하면 포인터가 위치하고 있는 키보드 버튼의 해당하는 값이 입력 되도록 구현하였다. 키보드 입력 시 결과는 천지인 키보드의 원리와 같이 해당 버튼에 표시 되어있는 문자 순서대로 입력이 되도록 설정하였다. 예를 들어 한글 자음의 경우 ‘ㄱㅋ’ 버튼은한 번의 Eye-blink 동작 시 [그림 8(a)]와 같이 ‘ㄱ’ 이 입력되며, 두 번 Eye-blink 동작 시 [그림 8(b)]와 같이 ‘ㅋ’이 입력된다.
- 한글 모음의 경우 ‘ㅣ’, ‘ㅡ’, ‘․’ 버튼의 조합으로 모음을 만들 수 있으며 예를 들어 ‘ㅏ’를 입력 한다면 ‘ㅣ’버튼과 ‘․’ 버튼을 순서대로 입력 하면 된다. 영어 및 기호의 경우도 마찬가지로 Eye-blink 동작 수에 따라 해당하는 버튼의 표시 순서대로 키보드 입력이 되도록 구현하였다. 대문자 영어의 경우 ‘shift’ 버튼을 입력한 뒤 사용하고 기호의 경우 ‘기 호’ 버튼을 누르게 되면 [그림 9]와 같이 3페이지로 나뉘어 있으며 ‘□/3’ 형태의 페이지 버튼 입력을 통해 원하는 페이지의 기호를 사용할 수 있다.
- 키보드 입력 실험은 [그림 10(a)]와 같이 HMD에 스마트폰을 장착하여 착용하고 EEG를 획득하여 EOG를 검출하기 위해 EEG 센서를 머리카락이 닿지 않게 이마에 부착시키고 [그림 10(b)]와 같이 귓불에 귀 연결부의 클립을 집어준다. 착용이 완료된 후 HMD에 장착되어 있는 스마트폰에서 검증용 어플리케이션을 실행시켜 실험준비를 하였다. 실험에 사용된 장비의 스펙은 [표 3]과 같다.
- EOG 인식성공률을 평가하기 위해 Eye-Blink 동작 시 발생하는 EOG를 이용하여 인식성공률 측정을 위한 [그림 11]과 같이 검증용 애플리케이션을 구현하였다. 측정 실험은 검증용 애플리케이션을 통해 키보드 버튼 1개만을 구현하여 해당 버튼이 EOG에 따라 동작이 되는지 확인하는 실험이다.
- EOG 인식성공률을 평가하기 위해 Eye-Blink 동작 시 발생하는 EOG를 이용하여 인식성공률 측정을 위한 [그림 11]과 같이 검증용 애플리케이션을 구현하였다. 측정 실험은 검증용 애플리케이션을 통해 키보드 버튼 1개만을 구현하여 해당 버튼이 EOG에 따라 동작이 되는지 확인하는 실험이다.
- 검증용 애플리케이션의 Click값은 클릭버튼을 바라본 후 Eye-Blink 동작을 사용자가 임의로 실행하였을때 Click 버튼이 실행되면 1씩 추가로 카운트 되도록 하였고 Blink값은 EEG 센서가 EOG를 감지했을 때 1씩 추가로 카운트 되도록 하였다. 마지막으로 Wink 값은 사용자의 의지에 의해 눈 깜빡임을 했을 경우 본 논문 에서 구현한 방식으로 EOG를 감지했을 때 1씩 추가로 카운트 되도록 하였다.
- 검증용 애플리케이션의 Click값은 클릭버튼을 바라본 후 Eye-Blink 동작을 사용자가 임의로 실행하였을때 Click 버튼이 실행되면 1씩 추가로 카운트 되도록 하였고 Blink값은 EEG 센서가 EOG를 감지했을 때 1씩 추가로 카운트 되도록 하였다. 마지막으로 Wink 값은 사용자의 의지에 의해 눈 깜빡임을 했을 경우 본 논문 에서 구현한 방식으로 EOG를 감지했을 때 1씩 추가로 카운트 되도록 하였다.
- 키보드 입력 실험 검증용 애플리케이션의 경우 [그림 12]와 같이 메모장 환경에서의 키보드 시스템의 모습을 구현하였고 머리 회전에 따라 포인터를 이동시키고 Eye-Blink 동작을 할 때 발생하는 EOG를 사용하여 포인터가 위치하는 키보드 버튼을 입력하는 실험을 진행 하였다. 실험은 사용자에게 ‘안녕하세요’ 단어를 10번 입력하게 했으며 그 결과 [그림 13(a)]와 같이 ‘안녕하세요’ 단어가 입력되는 것을 확인하였고 이때 ‘input’ 버튼을 입력할 경우 [그림 13(b)]와 같이 메모장에 출력이 되는 것을 확인하였다.
- 본 논문에서는 EEG 센서를 사용하여 Eye-Blink 동작을 할 때 발생하는 EOG를 이용한 가상현실 HMD용 키보드 시스템을 제안하였다. 제안된 가상현실 HMD용 키보드 시스템은 디스플레이 소자, 자이로스코프센서, 중력센서, EEG 센서 등으로 구성하였고 VR 헤드셋 자체에 하드웨어를 구축하여 사용하는 방법이나 VR 헤드셋에 스마트폰을 연결하여 사용하는 방법 모두 사용 가능하다.
이론/모형
- 본 논문에서는 뇌전도 신호에서 검출할 수 있는 EOG 를 이용한 가상현실 HMD용 키보드 시스템을 구현하였다. 구현된 시스템은 디스플레이 소자, 자이로스코프 센서, 중력센서, EEG 센서 등이 들어있는 HMD 형태의 VR 헤드셋을 사용하였고 가상현실을 구축하기 위하여 Unity3D 개발 툴을 사용하였다. 제안된 시스템은 목의 움직임만으로 포인터를 이동시키고 눈을 깜빡일 때 발생하는 EOG를 키보드 입력으로 사용함으로써 다른 동작 없이 목 위의 두 가지 요소만으로 VR 헤드셋에서 키보드를 입력할 수 있다.
- 따라서 공간상의 문제를 줄이기 위해 한글의 경우 삼성社에서 스마트폰에 사용하는 천지인 키보드 방식을 사용하였고 영어와 기호, 숫자의 경우 3×4 키보드 방식을 사용하여 구현하였다[16].
- VR 헤드셋에 내장된 자이로스코프 센서와 중력 센서를 사용하여 머리의 움직임의 정보를 획득하고 이를 처리 하여 포인터로 사용한다. 그리고 EEG 센서를 통해 눈을 깜빡이는 동작에 대한 특징을 찾아내어 이를 키보드 입력으로 사용하고 다른 기기와도 호환이 가능하고 가상현실 구현을 위해 Unity3D 엔진을 사용하였다.
성능/효과
- 의식적으로 Eye-blink 동작을 할 때 발생하는 Blink값과 노이즈 동작에 의해 발생하는 Blink값을 확인하기 위하여 사용자 5명에게 반복적인 실험을 통해 Blink값을 확인하였다. 사용자 별로 차이가 있지만 의식적인 Eye-blink 동작을 할 때는 [표 1]과 같이 최소 43, 최대 92 값이 나왔고 대부분의 값은 60이상의 값을 확인하였고 노이즈 동작을 할 때는 [표 2]와 같이 최소 21, 최대 42 값이 나왔고 대부분의 값은 40이하의 값으로 나타내는 것을 확인하였다. 이를 통해 노이즈 값의 경우 사용자의 의지에 의한 Eye-blink 동작을 할 때 보다는 낮은 신호가 발생 되는 것을 확인하였다.
- 사용자 별로 차이가 있지만 의식적인 Eye-blink 동작을 할 때는 [표 1]과 같이 최소 43, 최대 92 값이 나왔고 대부분의 값은 60이상의 값을 확인하였고 노이즈 동작을 할 때는 [표 2]와 같이 최소 21, 최대 42 값이 나왔고 대부분의 값은 40이하의 값으로 나타내는 것을 확인하였다. 이를 통해 노이즈 값의 경우 사용자의 의지에 의한 Eye-blink 동작을 할 때 보다는 낮은 신호가 발생 되는 것을 확인하였다. 이를 근거로 [그림 3]과 같이 의식적인 Eye-blink 동작을 할 때 발생하는 Blink값과 노이즈에 의해 발생하는 Blink값의 비교를 통해 중간 값인 Threshold값을 50으로 설정하여 50이 하의 값은 노이즈 값이라 정의하고 50이상의 값은 의식 적인 Eye-blink 동작으로 정의하여 사용자의 의지에 의한 Eye-blink 동작일 때만 Blink 함수를 호출할 수 있도록 구현하여 키보드 입력장치로 사용하였다.
- 본 실험은 사용자 5명을 토대로 실험을 진행하였으며 결과는 [표 4]와 같이 최소 약 83%, 최대 약 92%의 인식성공률을 확인 할 수 있었고 평균 적으로 약 87%의 인식성공률을 가지는 것을 확인 할 수 있었다. 또한 노이즈 값을 포함하였을 때 성공률은 최소 약 60%, 최대약 69%의 인식성공률을 확인 할 수 있었고 평균 적으로 약 65%의 인식성공률을 가지는 것을 확인 할 수 있었다.
- 본 실험은 사용자 5명을 토대로 실험을 진행하였으며 결과는 [표 4]와 같이 최소 약 83%, 최대 약 92%의 인식성공률을 확인 할 수 있었고 평균 적으로 약 87%의 인식성공률을 가지는 것을 확인 할 수 있었다. 또한 노이즈 값을 포함하였을 때 성공률은 최소 약 60%, 최대약 69%의 인식성공률을 확인 할 수 있었고 평균 적으로 약 65%의 인식성공률을 가지는 것을 확인 할 수 있었다. 노이즈 동작에 의해 발생하는 Blink 값과 본 논문 에서 제안한 방법에 의해 사용자가 의도했을 때 발생하는 Wink 값의 인식성공률의 비교를 통해 사용자가 의도한 동작과 노이즈 동작을 Threshold 값을 사용하여 구분이 되는 것을 확인하였고 그에 따라 인식성공률이 증가 한 것을 확인하였다.
- 또한 노이즈 값을 포함하였을 때 성공률은 최소 약 60%, 최대약 69%의 인식성공률을 확인 할 수 있었고 평균 적으로 약 65%의 인식성공률을 가지는 것을 확인 할 수 있었다. 노이즈 동작에 의해 발생하는 Blink 값과 본 논문 에서 제안한 방법에 의해 사용자가 의도했을 때 발생하는 Wink 값의 인식성공률의 비교를 통해 사용자가 의도한 동작과 노이즈 동작을 Threshold 값을 사용하여 구분이 되는 것을 확인하였고 그에 따라 인식성공률이 증가 한 것을 확인하였다.
- 실험 초기에 ‘안녕하세요’ 단어를 입력하는데 평균 42초가 소요 되었으며 이후 연습을 통해 평균 29초까지 줄일 수 있었다.
- 실험결과 손의 사용 없이 목의 움직임과 Eye-Blink 동작을 할 때 발생하는 안전도만을 사용하여 키보드 입력이 가능함을 확인하였고, 숙련을 통한 입력 소요시간의 단축이 가능함을 확인하였다.
- 실험을 통해 평균 약 87%의 인식률을 가지고 있는 것을 확인했으며 손의 사용 없이 목의 움직임과 EOG 만으로 키보드 입력이 되는 것을 확인하고 연습을 통해 키보드 입력에 걸리는 소요시간도 단축시킬 수 있음을 확인하였다. 뿐만 아니라 포인터의 이동을 마우스의 이동 기능으로 사용하고 Eye-Blink 동작을 마우스 왼쪽 클릭 기능으로 사용하여 마우스 역할도 가능함을 확인 하였다.
- 실험을 통해 평균 약 87%의 인식률을 가지고 있는 것을 확인했으며 손의 사용 없이 목의 움직임과 EOG 만으로 키보드 입력이 되는 것을 확인하고 연습을 통해 키보드 입력에 걸리는 소요시간도 단축시킬 수 있음을 확인하였다. 뿐만 아니라 포인터의 이동을 마우스의 이동 기능으로 사용하고 Eye-Blink 동작을 마우스 왼쪽 클릭 기능으로 사용하여 마우스 역할도 가능함을 확인 하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.