선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 손동작으로 스마트기기를 제어할 수 있도록 다중 도플러 레이다와 머신러닝을 이용하여 손동작 인식방법을 제안하고, 그 가능성을 실험적으로 확인하였다. 2개의 도플러 레이다와 SVM 기법을 이용하여 4가지 손동작(Push, Pull, Left Slide 및 Right Slide)을 100 % 인식할 수 있었다.
- 이에 본 논문에서는 송수신 안테나가 통합되어 소형으로 제작된 CW 도플러 레이다를 여러 개 사용하여 다양한 손동작 인식이 가능한 시스템을 제안하고자 한다. 하나의 도플러 레이다는 간단한 손동작만을 인식할 수 있는데 반해, 다중 도플러 레이다는 레이다 위치에 따라 각각 다른 시간 특성을 갖는 도플러 효과가 발생되므로 다양한 손동작을 인식할 수 있다.
가설 설정
- 센서의 동작에 따른 도플러 주파수의 차이를 설명하기 위하여 그림 2(a)와 같이 손이 센서 쪽으로 다가오는 경우(push)를 가정한다. 이 때 손의 움직임으로 인해 반사된 신호는 손의 속도에 따라 양의 도플러 천이 현상을 겪는다.
제안 방법
- 2-1절의 요구조건을 만족할 수 있는 도플러 레이다 센서로 2.45 GHz ISM 대역에서 동작하는 송수신 안테나 일체형 모노스테이틱(monostatic) 도플러 레이다 센서를 설계하였다. 모노스테이틱 도플러 레이다 센서의 기본 원리를 간단히 설명하면 다음과 같다.
- 그리고 검증된 3가지 SVM을 이용하여 최종적으로 4가지 손동작에 대해 각 50개씩 총 200개의 데이터를 새롭게 측정하고 데이터를 무작위로 배치하여 실험한 결과는 그림 9와 같다. 4가지 손동작에 대한 각 50개의 데이터는 손 크기, 동작이 이루어지는 속도와 각도 등을 고려하여 5명의 실험자가 각 10번씩 측정하였다. 그림 9(a)에서 SVM1에 의해 100개의 Push/Pull(■)과 100개의 Right Slide/Left Slide(▲)로 분류되었음을 확인하였다.
- 따라서 그림 5와 같이 총 3가지의 SVM이 필요하고, decision tree 구조에 의해 손동작 분류가 진행된다. Push/Pull과 Right Slide/Left Slide를 분류하는 SVM1, SVM1을 통해 분류된 데이터를 이용하여 Pull과 Push를 분류하는 SVM2, 그리고 Right Slide와 Left Slide를 분류하는 SVM3까지 총 3가지의 SVM을 이용하였다. 먼저 SVM1의 경우, Push/Pull, Right Slide/Left Slide를 구분해야 하는데, Push/Pull은 2개의 레이다에서 동시에 같은 부호의 도플러 주파수가 발생한다.
- 추출한 특징은 학습을 위한 트레이닝 데이터가 되고, 학습을 통해 분류 모델을 생성한다. 그리고 검증 단계에서는 생성된 분류 모델을 검증할 새로운 테스트 데이터를 입력하여 검증한다.
- 13 Hz의 배수로 추출된다. 그리고 그림 7과 같이 트레이닝 데이터와 테스트 데이터를 이용하여 각각의 SVM 모델을 생성하였다. 그리고 검증된 3가지 SVM을 이용하여 최종적으로 4가지 손동작에 대해 각 50개씩 총 200개의 데이터를 새롭게 측정하고 데이터를 무작위로 배치하여 실험한 결과는 그림 9와 같다.
- 이때 FFT 개수는 1,024개이고, 도플러천이 주파수의 해상도와 시간 인덱스를 고려하여 실험적으로 window의 길이는 256개로 설정하였다. 마지막으로 2-3절에서 설명한 SVM을 이용한 손동작 분류 알고리즘을 통해 4가지 손동작을 분류하였다.
- 참고문헌 [8]에서 사람의 몸의 큰 움직임에 머신러닝의 일종인 SVM(Support Vector Machine)을 적용하여 인식 정확도를 높인 사례가 발표되었다. 본 논문에서는 이를 참조하여 손동작 인식의 정확도를 높이기 위해 SVM을 적용하였다.
- 이 LHCP 신호는 다시 CP 안테나와 90° 하이브리드 결합기를 통해 수신된 후, 송신 주파수와 동일한 주파수와 믹싱되어 I/Q 기저대역 신호가 출력된다. 설계된 도플러 센서의 기본 구성은 참고문헌 [11]과 동일하나, 사람의 손동작에 의해 생기는 도플러 주파수를 인식하기 위하여 아날로그 필터 회로를 수정하였고, 센서 별로 독립적인 동작을 하도록 센서 별로 1 MHz 간격의 CW 신호(예를 들어 2,450 MHz와 2,451 MHz)를 출력하도록 하였다. 각각의 레이다에서 서로 다른 주파수의 CW 신호를 송신하면 손동작에 따라 각각 다른 도플러 천이된 CW 신호가 발생된다.
- 손동작을 구분하기 위해 생성한 각 SVM 모델의 트레이닝 데이터 집합을 구성하기 위해 추출한 특징으로는, SVM1은 각 레이다의 도플러 주파수 곱과 신호의 에너지 크기를 이용하였고, SVM2는 각 레이다의 도플러 주파수 합과 신호의 에너지 크기, 마지막으로 SVM3는 각 레이다의 대역폭 차이와 시간 인덱스를 이용하였다. 추출한 특징들은 레이다에서 수신된 신호를 STFT하여 결과로 나온 배열에서 도플러 주파수의 배열 인덱스와 에너지 값을 사용하였다.
- 그리고 레이다가 이 신호를 수신하여, ADC 과정을 거쳐 PC로 전송된다. 이 신호는 MATLAB을 이용하여 STFT(Short Time Fourier Transform) 변환된 후, 각각의 손동작에 대한 특징을 추출한다. 추출한 특징을 가지고 간단한 조건부 알고리즘으로 손동작을 분류할 수 있지만, 본 논문에서는 손동작 인식의 높은 정확도를 위해 분류 알고리즘인 SVM을 사용하여 손동작을 분류하였다.
- 반면에, Right Slide/Left Slide는 2개의 레이다에서 동시에 부호가 다른 주파수가 발생한다. 이를 이용하여 동시에 발생하는 도플러 주파수의 곱으로 Push/Pull, Right Slide/Left Slide를 분류하였다. SVM2의 경우, Push와 Pull은 손동작이 서로 반대방향이기 때문에 2개의 레이다에서 추출한 도플러 주파수의 부호를 이용하여 분류한다.
- SVM을 사용할 때와 그렇지 않을 때의 손동작을 인식하는 정확도를 비교하기 위해 조건부 알고리즘으로 분류한 결과, 약 80 %의 정확도를 보여 SVM 알고리즘을 적용했을 때 더 정확한 결과를 보였다. 조건부 알고리즘을 이용한 분류 시스템에서는 Pull과 Push를 구분하기 위한 조건으로 도플러 주파수가 양수인지 음수인지를 이용하였고, Left Slide와 Right Slide를 구분하는 조건으로는 두 레이다의 대역폭 차이가 양수인지 음수인지를 이용하였다[12]. 즉, 조건부 알고리즘에 의한 분류는 정해진 기준에 따라 분류하기 때문에 추출한 특징이 해당 손동작에 속하여도 조건의 경계에 있거나 조건과 부합하지 않는다면 오류가 발생한다.
- 손동작을 구분하기 위해 생성한 각 SVM 모델의 트레이닝 데이터 집합을 구성하기 위해 추출한 특징으로는, SVM1은 각 레이다의 도플러 주파수 곱과 신호의 에너지 크기를 이용하였고, SVM2는 각 레이다의 도플러 주파수 합과 신호의 에너지 크기, 마지막으로 SVM3는 각 레이다의 대역폭 차이와 시간 인덱스를 이용하였다. 추출한 특징들은 레이다에서 수신된 신호를 STFT하여 결과로 나온 배열에서 도플러 주파수의 배열 인덱스와 에너지 값을 사용하였다. 그림 8은 pull 동작에 대한 예시이다.
- 이 신호는 MATLAB을 이용하여 STFT(Short Time Fourier Transform) 변환된 후, 각각의 손동작에 대한 특징을 추출한다. 추출한 특징을 가지고 간단한 조건부 알고리즘으로 손동작을 분류할 수 있지만, 본 논문에서는 손동작 인식의 높은 정확도를 위해 분류 알고리즘인 SVM을 사용하여 손동작을 분류하였다. 마지막으로, 분류된 결과를 통해 손동작을 제대로 인식하였는지 판단한다.
- 그리고 전체 데이터의 90 %를 랜덤으로 정하여 트레이닝 데이터 집합으로, 나머지에 해당하는 10 %의 데이터를 테스트 데이터 집합으로 나눈다. 트레이닝 데이터 집합을 이용하여 학습이 진행되고, 학습된 모델이 만들어지면 테스트 데이터로 SVM1의 정확도를 확인한다. 이러한 과정을 거쳐 SVM2, SVM3의 정확도를 확인한다.
대상 데이터
- SVM1은 4가지 손동작을 크게 2가지로, 즉 Push/Pull과 Right Slide/Left Slide로 분류하는 SVM이다. 4가지 손동작에 대해 각 100번씩 측정하여, 총 400개의 데이터를 전체 데이터 집합으로 구성한다. 그리고 전체 데이터의 90 %를 랜덤으로 정하여 트레이닝 데이터 집합으로, 나머지에 해당하는 10 %의 데이터를 테스트 데이터 집합으로 나눈다.
- 실험구성은 그림 6과 같다. ISM 대역의 2.45 GHz Monostatic Doppler Radar 2개, NI DAQ USB-6008, 전원 공급 장치, MATLAB 연산용 PC로 구성하였다. 전원 공급 장치는 레이다에 필요한 3 V의 전압을 인가하여 레이다를 구동시킨다.
- PC에서는 디지털로 변환된 I/Q 신호를 이용하여 복소신호로 변환하고, 이 신호는 STFT를 거친다. 이때 FFT 개수는 1,024개이고, 도플러천이 주파수의 해상도와 시간 인덱스를 고려하여 실험적으로 window의 길이는 256개로 설정하였다. 마지막으로 2-3절에서 설명한 SVM을 이용한 손동작 분류 알고리즘을 통해 4가지 손동작을 분류하였다.
이론/모형
- 앞서 2-2절에서 언급하였듯이, 손동작에 따라 각 레이다에 대역폭의 크기가 달라지기 때문에 대역폭의 차이의 변화를 이용하면 2개의 Slide를 분류할 수 있다. 본 논문에서는 MATLAB에서 제공하는 SVM 함수를 사용하였다. SVM으로 분류한 결과를 통해 테스트 데이터가 어떤 손동작으로 분류되었는지 확인이 가능하다.
성능/효과
- 그리고 그림 9(b)에서 SVM1에 의해 Push/Pull(▲)로 분류된 100개의 데이터는 SVM2의 새로운 테스트 데이터가 되어 50개의 Push(▲)와 50개의 Pull(■)로 정확하게 분류되었다. 또한, 그림 9(c)에서 SVM1에서 Right Slide/Left Slide(■)로 분류된 100개의 데이터는 SVM3의 새로운 테스트 데이터가 되어 50개의 Left Slide(▲)와 50개의 Right Slide(■)로 분류됨을 확인하였다. 그리고 그림 10과 같이 각 손동작 인식 정확도를 살펴본 결과, 각각의 손동작에 대한 50개 테스트 데이터가 오류 없이 정확하게 분류되었다.
- 1) 사람의 손은 상/하/좌/우로 움직임에 따라 커서가 움직일 수 있도록 2차원 평면에서의 움직임을 인식할 수 있어야 한다.
- 2) 커서가 원하는 메뉴에 도착했을 때 손으로 마우스를 클릭하는 것처럼 선택할 수 있어야 한다. 즉, 손으로 앞으로 살짝 push하는 동작을 인식할 수 있어야 한다.
- 본 논문에서는 손동작으로 스마트기기를 제어할 수 있도록 다중 도플러 레이다와 머신러닝을 이용하여 손동작 인식방법을 제안하고, 그 가능성을 실험적으로 확인하였다. 2개의 도플러 레이다와 SVM 기법을 이용하여 4가지 손동작(Push, Pull, Left Slide 및 Right Slide)을 100 % 인식할 수 있었다. 따라서 제안한 알고리즘을 기반으로 4개의 레이다를 상하좌우로 설치한다면, 상하좌우 이동과 채널 선택 등의 HCI 기능을 보다 효율적으로 수행할 수 있을 것이다.
- 3) 마우스를 두 번 클릭하듯이 push를 두 번 할 수 있으므로 이를 위해 push와 pull 동작을 분리할 수 있어야 한다.
- 그리고 그림 10과 같이 각 손동작 인식 정확도를 살펴본 결과, 각각의 손동작에 대한 50개 테스트 데이터가 오류 없이 정확하게 분류되었다. SVM을 사용할 때와 그렇지 않을 때의 손동작을 인식하는 정확도를 비교하기 위해 조건부 알고리즘으로 분류한 결과, 약 80 %의 정확도를 보여 SVM 알고리즘을 적용했을 때 더 정확한 결과를 보였다. 조건부 알고리즘을 이용한 분류 시스템에서는 Pull과 Push를 구분하기 위한 조건으로 도플러 주파수가 양수인지 음수인지를 이용하였고, Left Slide와 Right Slide를 구분하는 조건으로는 두 레이다의 대역폭 차이가 양수인지 음수인지를 이용하였다[12].
- 또한, 그림 9(c)에서 SVM1에서 Right Slide/Left Slide(■)로 분류된 100개의 데이터는 SVM3의 새로운 테스트 데이터가 되어 50개의 Left Slide(▲)와 50개의 Right Slide(■)로 분류됨을 확인하였다. 그리고 그림 10과 같이 각 손동작 인식 정확도를 살펴본 결과, 각각의 손동작에 대한 50개 테스트 데이터가 오류 없이 정확하게 분류되었다. SVM을 사용할 때와 그렇지 않을 때의 손동작을 인식하는 정확도를 비교하기 위해 조건부 알고리즘으로 분류한 결과, 약 80 %의 정확도를 보여 SVM 알고리즘을 적용했을 때 더 정확한 결과를 보였다.
후속연구
- 2개의 도플러 레이다와 SVM 기법을 이용하여 4가지 손동작(Push, Pull, Left Slide 및 Right Slide)을 100 % 인식할 수 있었다. 따라서 제안한 알고리즘을 기반으로 4개의 레이다를 상하좌우로 설치한다면, 상하좌우 이동과 채널 선택 등의 HCI 기능을 보다 효율적으로 수행할 수 있을 것이다. 본 연구결과를 바탕으로 앞으로 손동작 이외의 다양한 모션 인식에 대한 연구를 진행할 예정이다.
- 따라서 제안한 알고리즘을 기반으로 4개의 레이다를 상하좌우로 설치한다면, 상하좌우 이동과 채널 선택 등의 HCI 기능을 보다 효율적으로 수행할 수 있을 것이다. 본 연구결과를 바탕으로 앞으로 손동작 이외의 다양한 모션 인식에 대한 연구를 진행할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.