본 논문에서는 사람의 손동작을 이용해 전자기기를 제어할 수 있도록 다중 도플러 레이다와 머신러닝의 일종인 SVM (Support Vector Machine)을 이용한 손동작 인식 기술을 제안하였다. 하나의 도플러 레이다는 간단한 손동작만을 인식할 수 있는데 반해, 다중 도플러 레이다는 레이다 위치에 따라 각각 다른 도플러 효과가 발생되므로, 이를 이용하여 다양한 손동작을 인식할 수 있다. 또한, 머신러닝 기법을 이용하여 손동작을 분류하면 손동작 인식의 성공률을 높일 수 있다. 다중 도플러 레이다와 머신러닝을 이용한 손동작 인식 시스템의 구현 가능성을 확인하기 위하여 두 개의 도플러 레이다, NI DAQ USB-6008, MATLAB을 이용한 실험 장치를 구성하였다. 구현된 실험 장치를 이용하여 Push, Pull, Right Slide 및 Left Slide의 4가지 손동작 인식 실험을 수행하였고, SVM 모델을 적용하여 손동작 인식의 높은 정확도를 확인하였다.
본 논문에서는 사람의 손동작을 이용해 전자기기를 제어할 수 있도록 다중 도플러 레이다와 머신러닝의 일종인 SVM (Support Vector Machine)을 이용한 손동작 인식 기술을 제안하였다. 하나의 도플러 레이다는 간단한 손동작만을 인식할 수 있는데 반해, 다중 도플러 레이다는 레이다 위치에 따라 각각 다른 도플러 효과가 발생되므로, 이를 이용하여 다양한 손동작을 인식할 수 있다. 또한, 머신러닝 기법을 이용하여 손동작을 분류하면 손동작 인식의 성공률을 높일 수 있다. 다중 도플러 레이다와 머신러닝을 이용한 손동작 인식 시스템의 구현 가능성을 확인하기 위하여 두 개의 도플러 레이다, NI DAQ USB-6008, MATLAB을 이용한 실험 장치를 구성하였다. 구현된 실험 장치를 이용하여 Push, Pull, Right Slide 및 Left Slide의 4가지 손동작 인식 실험을 수행하였고, SVM 모델을 적용하여 손동작 인식의 높은 정확도를 확인하였다.
This paper suggests a hand gesture recognition technology to control smart devices using multiple Doppler radars and a support vector machine(SVM), which is one of the machine learning algorithms. Whereas single Doppler radar can recognize only simple hand gestures, multiple Doppler radar can recogn...
This paper suggests a hand gesture recognition technology to control smart devices using multiple Doppler radars and a support vector machine(SVM), which is one of the machine learning algorithms. Whereas single Doppler radar can recognize only simple hand gestures, multiple Doppler radar can recognize various and complex hand gestures by using various Doppler patterns as a function of time and each device. In addition, machine learning technology can enhance recognition accuracy. In order to determine the feasibility of the suggested technology, we implemented a test-bed using two Doppler radars, NI DAQ USB-6008, and MATLAB. Using this test-bed, we can successfully classify four hand gestures, which are Push, Pull, Right Slide, and Left Slide. Applying SVM machine learning algorithm, it was confirmed the high accuracy of the hand gesture recognition.
This paper suggests a hand gesture recognition technology to control smart devices using multiple Doppler radars and a support vector machine(SVM), which is one of the machine learning algorithms. Whereas single Doppler radar can recognize only simple hand gestures, multiple Doppler radar can recognize various and complex hand gestures by using various Doppler patterns as a function of time and each device. In addition, machine learning technology can enhance recognition accuracy. In order to determine the feasibility of the suggested technology, we implemented a test-bed using two Doppler radars, NI DAQ USB-6008, and MATLAB. Using this test-bed, we can successfully classify four hand gestures, which are Push, Pull, Right Slide, and Left Slide. Applying SVM machine learning algorithm, it was confirmed the high accuracy of the hand gesture recognition.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 손동작으로 스마트기기를 제어할 수 있도록 다중 도플러 레이다와 머신러닝을 이용하여 손동작 인식방법을 제안하고, 그 가능성을 실험적으로 확인하였다. 2개의 도플러 레이다와 SVM 기법을 이용하여 4가지 손동작(Push, Pull, Left Slide 및 Right Slide)을 100 % 인식할 수 있었다.
이에 본 논문에서는 송수신 안테나가 통합되어 소형으로 제작된 CW 도플러 레이다를 여러 개 사용하여 다양한 손동작 인식이 가능한 시스템을 제안하고자 한다. 하나의 도플러 레이다는 간단한 손동작만을 인식할 수 있는데 반해, 다중 도플러 레이다는 레이다 위치에 따라 각각 다른 시간 특성을 갖는 도플러 효과가 발생되므로 다양한 손동작을 인식할 수 있다.
가설 설정
센서의 동작에 따른 도플러 주파수의 차이를 설명하기 위하여 그림 2(a)와 같이 손이 센서 쪽으로 다가오는 경우(push)를 가정한다. 이 때 손의 움직임으로 인해 반사된 신호는 손의 속도에 따라 양의 도플러 천이 현상을 겪는다.
제안 방법
2-1절의 요구조건을 만족할 수 있는 도플러 레이다 센서로 2.45 GHz ISM 대역에서 동작하는 송수신 안테나 일체형 모노스테이틱(monostatic) 도플러 레이다 센서를 설계하였다. 모노스테이틱 도플러 레이다 센서의 기본 원리를 간단히 설명하면 다음과 같다.
그리고 검증된 3가지 SVM을 이용하여 최종적으로 4가지 손동작에 대해 각 50개씩 총 200개의 데이터를 새롭게 측정하고 데이터를 무작위로 배치하여 실험한 결과는 그림 9와 같다. 4가지 손동작에 대한 각 50개의 데이터는 손 크기, 동작이 이루어지는 속도와 각도 등을 고려하여 5명의 실험자가 각 10번씩 측정하였다. 그림 9(a)에서 SVM1에 의해 100개의 Push/Pull(■)과 100개의 Right Slide/Left Slide(▲)로 분류되었음을 확인하였다.
따라서 그림 5와 같이 총 3가지의 SVM이 필요하고, decision tree 구조에 의해 손동작 분류가 진행된다. Push/Pull과 Right Slide/Left Slide를 분류하는 SVM1, SVM1을 통해 분류된 데이터를 이용하여 Pull과 Push를 분류하는 SVM2, 그리고 Right Slide와 Left Slide를 분류하는 SVM3까지 총 3가지의 SVM을 이용하였다. 먼저 SVM1의 경우, Push/Pull, Right Slide/Left Slide를 구분해야 하는데, Push/Pull은 2개의 레이다에서 동시에 같은 부호의 도플러 주파수가 발생한다.
추출한 특징은 학습을 위한 트레이닝 데이터가 되고, 학습을 통해 분류 모델을 생성한다. 그리고 검증 단계에서는 생성된 분류 모델을 검증할 새로운 테스트 데이터를 입력하여 검증한다.
13 Hz의 배수로 추출된다. 그리고 그림 7과 같이 트레이닝 데이터와 테스트 데이터를 이용하여 각각의 SVM 모델을 생성하였다. 그리고 검증된 3가지 SVM을 이용하여 최종적으로 4가지 손동작에 대해 각 50개씩 총 200개의 데이터를 새롭게 측정하고 데이터를 무작위로 배치하여 실험한 결과는 그림 9와 같다.
이때 FFT 개수는 1,024개이고, 도플러천이 주파수의 해상도와 시간 인덱스를 고려하여 실험적으로 window의 길이는 256개로 설정하였다. 마지막으로 2-3절에서 설명한 SVM을 이용한 손동작 분류 알고리즘을 통해 4가지 손동작을 분류하였다.
참고문헌 [8]에서 사람의 몸의 큰 움직임에 머신러닝의 일종인 SVM(Support Vector Machine)을 적용하여 인식 정확도를 높인 사례가 발표되었다. 본 논문에서는 이를 참조하여 손동작 인식의 정확도를 높이기 위해 SVM을 적용하였다.
이 LHCP 신호는 다시 CP 안테나와 90° 하이브리드 결합기를 통해 수신된 후, 송신 주파수와 동일한 주파수와 믹싱되어 I/Q 기저대역 신호가 출력된다. 설계된 도플러 센서의 기본 구성은 참고문헌 [11]과 동일하나, 사람의 손동작에 의해 생기는 도플러 주파수를 인식하기 위하여 아날로그 필터 회로를 수정하였고, 센서 별로 독립적인 동작을 하도록 센서 별로 1 MHz 간격의 CW 신호(예를 들어 2,450 MHz와 2,451 MHz)를 출력하도록 하였다. 각각의 레이다에서 서로 다른 주파수의 CW 신호를 송신하면 손동작에 따라 각각 다른 도플러 천이된 CW 신호가 발생된다.
손동작을 구분하기 위해 생성한 각 SVM 모델의 트레이닝 데이터 집합을 구성하기 위해 추출한 특징으로는, SVM1은 각 레이다의 도플러 주파수 곱과 신호의 에너지 크기를 이용하였고, SVM2는 각 레이다의 도플러 주파수 합과 신호의 에너지 크기, 마지막으로 SVM3는 각 레이다의 대역폭 차이와 시간 인덱스를 이용하였다. 추출한 특징들은 레이다에서 수신된 신호를 STFT하여 결과로 나온 배열에서 도플러 주파수의 배열 인덱스와 에너지 값을 사용하였다.
그리고 레이다가 이 신호를 수신하여, ADC 과정을 거쳐 PC로 전송된다. 이 신호는 MATLAB을 이용하여 STFT(Short Time Fourier Transform) 변환된 후, 각각의 손동작에 대한 특징을 추출한다. 추출한 특징을 가지고 간단한 조건부 알고리즘으로 손동작을 분류할 수 있지만, 본 논문에서는 손동작 인식의 높은 정확도를 위해 분류 알고리즘인 SVM을 사용하여 손동작을 분류하였다.
반면에, Right Slide/Left Slide는 2개의 레이다에서 동시에 부호가 다른 주파수가 발생한다. 이를 이용하여 동시에 발생하는 도플러 주파수의 곱으로 Push/Pull, Right Slide/Left Slide를 분류하였다. SVM2의 경우, Push와 Pull은 손동작이 서로 반대방향이기 때문에 2개의 레이다에서 추출한 도플러 주파수의 부호를 이용하여 분류한다.
SVM을 사용할 때와 그렇지 않을 때의 손동작을 인식하는 정확도를 비교하기 위해 조건부 알고리즘으로 분류한 결과, 약 80 %의 정확도를 보여 SVM 알고리즘을 적용했을 때 더 정확한 결과를 보였다. 조건부 알고리즘을 이용한 분류 시스템에서는 Pull과 Push를 구분하기 위한 조건으로 도플러 주파수가 양수인지 음수인지를 이용하였고, Left Slide와 Right Slide를 구분하는 조건으로는 두 레이다의 대역폭 차이가 양수인지 음수인지를 이용하였다[12]. 즉, 조건부 알고리즘에 의한 분류는 정해진 기준에 따라 분류하기 때문에 추출한 특징이 해당 손동작에 속하여도 조건의 경계에 있거나 조건과 부합하지 않는다면 오류가 발생한다.
손동작을 구분하기 위해 생성한 각 SVM 모델의 트레이닝 데이터 집합을 구성하기 위해 추출한 특징으로는, SVM1은 각 레이다의 도플러 주파수 곱과 신호의 에너지 크기를 이용하였고, SVM2는 각 레이다의 도플러 주파수 합과 신호의 에너지 크기, 마지막으로 SVM3는 각 레이다의 대역폭 차이와 시간 인덱스를 이용하였다. 추출한 특징들은 레이다에서 수신된 신호를 STFT하여 결과로 나온 배열에서 도플러 주파수의 배열 인덱스와 에너지 값을 사용하였다. 그림 8은 pull 동작에 대한 예시이다.
이 신호는 MATLAB을 이용하여 STFT(Short Time Fourier Transform) 변환된 후, 각각의 손동작에 대한 특징을 추출한다. 추출한 특징을 가지고 간단한 조건부 알고리즘으로 손동작을 분류할 수 있지만, 본 논문에서는 손동작 인식의 높은 정확도를 위해 분류 알고리즘인 SVM을 사용하여 손동작을 분류하였다. 마지막으로, 분류된 결과를 통해 손동작을 제대로 인식하였는지 판단한다.
그리고 전체 데이터의 90 %를 랜덤으로 정하여 트레이닝 데이터 집합으로, 나머지에 해당하는 10 %의 데이터를 테스트 데이터 집합으로 나눈다. 트레이닝 데이터 집합을 이용하여 학습이 진행되고, 학습된 모델이 만들어지면 테스트 데이터로 SVM1의 정확도를 확인한다. 이러한 과정을 거쳐 SVM2, SVM3의 정확도를 확인한다.
대상 데이터
SVM1은 4가지 손동작을 크게 2가지로, 즉 Push/Pull과 Right Slide/Left Slide로 분류하는 SVM이다. 4가지 손동작에 대해 각 100번씩 측정하여, 총 400개의 데이터를 전체 데이터 집합으로 구성한다. 그리고 전체 데이터의 90 %를 랜덤으로 정하여 트레이닝 데이터 집합으로, 나머지에 해당하는 10 %의 데이터를 테스트 데이터 집합으로 나눈다.
실험구성은 그림 6과 같다. ISM 대역의 2.45 GHz Monostatic Doppler Radar 2개, NI DAQ USB-6008, 전원 공급 장치, MATLAB 연산용 PC로 구성하였다. 전원 공급 장치는 레이다에 필요한 3 V의 전압을 인가하여 레이다를 구동시킨다.
PC에서는 디지털로 변환된 I/Q 신호를 이용하여 복소신호로 변환하고, 이 신호는 STFT를 거친다. 이때 FFT 개수는 1,024개이고, 도플러천이 주파수의 해상도와 시간 인덱스를 고려하여 실험적으로 window의 길이는 256개로 설정하였다. 마지막으로 2-3절에서 설명한 SVM을 이용한 손동작 분류 알고리즘을 통해 4가지 손동작을 분류하였다.
이론/모형
앞서 2-2절에서 언급하였듯이, 손동작에 따라 각 레이다에 대역폭의 크기가 달라지기 때문에 대역폭의 차이의 변화를 이용하면 2개의 Slide를 분류할 수 있다. 본 논문에서는 MATLAB에서 제공하는 SVM 함수를 사용하였다. SVM으로 분류한 결과를 통해 테스트 데이터가 어떤 손동작으로 분류되었는지 확인이 가능하다.
성능/효과
그리고 그림 9(b)에서 SVM1에 의해 Push/Pull(▲)로 분류된 100개의 데이터는 SVM2의 새로운 테스트 데이터가 되어 50개의 Push(▲)와 50개의 Pull(■)로 정확하게 분류되었다. 또한, 그림 9(c)에서 SVM1에서 Right Slide/Left Slide(■)로 분류된 100개의 데이터는 SVM3의 새로운 테스트 데이터가 되어 50개의 Left Slide(▲)와 50개의 Right Slide(■)로 분류됨을 확인하였다. 그리고 그림 10과 같이 각 손동작 인식 정확도를 살펴본 결과, 각각의 손동작에 대한 50개 테스트 데이터가 오류 없이 정확하게 분류되었다.
1) 사람의 손은 상/하/좌/우로 움직임에 따라 커서가 움직일 수 있도록 2차원 평면에서의 움직임을 인식할 수 있어야 한다.
2) 커서가 원하는 메뉴에 도착했을 때 손으로 마우스를 클릭하는 것처럼 선택할 수 있어야 한다. 즉, 손으로 앞으로 살짝 push하는 동작을 인식할 수 있어야 한다.
본 논문에서는 손동작으로 스마트기기를 제어할 수 있도록 다중 도플러 레이다와 머신러닝을 이용하여 손동작 인식방법을 제안하고, 그 가능성을 실험적으로 확인하였다. 2개의 도플러 레이다와 SVM 기법을 이용하여 4가지 손동작(Push, Pull, Left Slide 및 Right Slide)을 100 % 인식할 수 있었다. 따라서 제안한 알고리즘을 기반으로 4개의 레이다를 상하좌우로 설치한다면, 상하좌우 이동과 채널 선택 등의 HCI 기능을 보다 효율적으로 수행할 수 있을 것이다.
3) 마우스를 두 번 클릭하듯이 push를 두 번 할 수 있으므로 이를 위해 push와 pull 동작을 분리할 수 있어야 한다.
그리고 그림 10과 같이 각 손동작 인식 정확도를 살펴본 결과, 각각의 손동작에 대한 50개 테스트 데이터가 오류 없이 정확하게 분류되었다. SVM을 사용할 때와 그렇지 않을 때의 손동작을 인식하는 정확도를 비교하기 위해 조건부 알고리즘으로 분류한 결과, 약 80 %의 정확도를 보여 SVM 알고리즘을 적용했을 때 더 정확한 결과를 보였다. 조건부 알고리즘을 이용한 분류 시스템에서는 Pull과 Push를 구분하기 위한 조건으로 도플러 주파수가 양수인지 음수인지를 이용하였고, Left Slide와 Right Slide를 구분하는 조건으로는 두 레이다의 대역폭 차이가 양수인지 음수인지를 이용하였다[12].
또한, 그림 9(c)에서 SVM1에서 Right Slide/Left Slide(■)로 분류된 100개의 데이터는 SVM3의 새로운 테스트 데이터가 되어 50개의 Left Slide(▲)와 50개의 Right Slide(■)로 분류됨을 확인하였다. 그리고 그림 10과 같이 각 손동작 인식 정확도를 살펴본 결과, 각각의 손동작에 대한 50개 테스트 데이터가 오류 없이 정확하게 분류되었다. SVM을 사용할 때와 그렇지 않을 때의 손동작을 인식하는 정확도를 비교하기 위해 조건부 알고리즘으로 분류한 결과, 약 80 %의 정확도를 보여 SVM 알고리즘을 적용했을 때 더 정확한 결과를 보였다.
후속연구
2개의 도플러 레이다와 SVM 기법을 이용하여 4가지 손동작(Push, Pull, Left Slide 및 Right Slide)을 100 % 인식할 수 있었다. 따라서 제안한 알고리즘을 기반으로 4개의 레이다를 상하좌우로 설치한다면, 상하좌우 이동과 채널 선택 등의 HCI 기능을 보다 효율적으로 수행할 수 있을 것이다. 본 연구결과를 바탕으로 앞으로 손동작 이외의 다양한 모션 인식에 대한 연구를 진행할 예정이다.
따라서 제안한 알고리즘을 기반으로 4개의 레이다를 상하좌우로 설치한다면, 상하좌우 이동과 채널 선택 등의 HCI 기능을 보다 효율적으로 수행할 수 있을 것이다. 본 연구결과를 바탕으로 앞으로 손동작 이외의 다양한 모션 인식에 대한 연구를 진행할 예정이다.
질의응답
핵심어
질문
논문에서 추출한 답변
지금까지 등장한 HCI 기술 중 가장 관심이 높은 기술은?
지금까지 등장한 HCI 기술 중 가장 관심이 높은 기술로 영상기반의 HCI 기술이 있다. 영상기반의 HCI 기술을 적용한 사례로 MicroSoft사의 Kinect처럼 적외선 카메라를 이용한 제품이나, 스마트폰 카메라를 이용하여 손동작을 인식하는 방법들이 발표된 바 있다[2],[3].
손동작을 분류하기 위한 전체적인 과정을 설명하시오.
손동작을 분류하기 위한 전체적인 과정을 간단히 설명하면 그림 3과 같다. 레이다에서 송신한 신호가 물체에 움직임에 의해 반사된다. 그리고 레이다가 이 신호를 수신하여, ADC 과정을 거쳐 PC로 전송된다. 이 신호는 MATLAB을 이용하여 STFT(Short Time Fourier Transform) 변환된 후, 각각의 손동작에 대한 특징을 추출한다. 추출한 특징을 가지고 간단한 조건부 알고리즘으로 손동작을 분류할 수 있지만, 본 논문에서는 손동작 인식의 높은 정확도를 위해 분류 알고리즘인 SVM을 사용하여 손동작을 분류하였다. 마지막으로, 분류된 결과를 통해 손동작을 제대로 인식하였는지 판단한다.
도플러 레이다 센서에서 출력되는 I/Q 신호로부터 손동작을 어떻게 분류해야 하는가?
각각의 도플러 레이다 센서에서 출력되는 I/Q 신호로부터 손동작을 분류하기 위해서는 I/Q 신호를 디지털신호로 변환하여 PC에서 신호처리를 통해 손동작에 따른 특징을 추출한 후 손동작을 분류해야 한다.
참고문헌 (12)
김정인, "손동작 인식을 이용한 마우스제어기법", 멀티미디어학회논문지, 15(11), pp. 1377-1383, 2012년 11 월.
Zhihan Lv, et al. "Finger in air: touch-less interaction on smartphone", Proceedings of the 12th International Conference on Mobile and Ubiquitous Multimedia, ACM, 2013.
Jaime Lien, et al. "Soli: ubiquitous gesture sensing with millimeter wave radar", ACM Transactions on Graphics (TOG), vol. 35, no. 4, pp. 142, 2016.
Fadel Adib et. al., "3D tracking via body radio reflections", 11th USENIX Symposium on Networked Systems Design and Implementation(NSDI 14), 2014.
Jue Wang, Deepak Vasisht, and Dina Katabi. "RF-IDraw: virtual touch screen in the air using RF signals", ACM SIGCOMM Computer Communication Review 44.4, pp. 235-246, 2015.
Qifan Pu, et al. "Whole-home gesture recognition using wireless signals", Proceedings of the 19th Annual International Conference on Mobile Computing & Networking, ACM, 2013.
Youngwook Kim, Hao Ling, "Human activity classification based on micro-Doppler signatures using a support vector machine", Geoscience and Remote Sensing, IEEE Transactions on 47.5, pp. 1328-1337, May. 2009.
Qian Wan, et al. "Gesture recognition for smart home applications using portable radar sensors", 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 6414-6417, 2014.
Yiran Li et al. "Non-contact multi-radar smart probing of body orientation based on micro-Doppler signatures", 20014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 598-601, 2014.
장병준 외, "하나의 원형 편파 안테나와 PLL을 이용하여 소형이면서도 개선된 잡음 성능을 갖는 2.4 GHz 바이오 레이다시스템", 한국전자파학회논문지, 20(12), pp. 1325-1332, 2009년 12월.
윤지수 외, "전파를 이용한 모션 인식 시스템 구현", WISET 주니어과학기술연구논문발표집, vol. 1 pp. 412-417, 2015년.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.