[논문]FMCW 레이다 기반의 포인트 클라우드와 LSTM을 이용한 자동 핸드 제스처 영역 추출 및 인식 기법

라승탁; 이승호

doi:10.7471/ikeee.2023.27.4.486

FMCW 레이다 기반의 포인트 클라우드와 LSTM을 이용한 자동 핸드 제스처 영역 추출 및 인식 기법
Automatic hand gesture area extraction and recognition technique using FMCW radar based point cloud and LSTM 원문보기

전기전자학회논문지 = Journal of IKEEE, v.27 no.4, 2023년, pp.486 - 493

라승탁 (Dept. Electronic Engineering, Hanbat National University) , 이승호 (Dept. Electronic Engineering, Hanbat National University)

초록
AI-Helper

본 논문에서는 FMCW 레이다 기반의 포인트 클라우드와 LSTM을 이용한 자동 핸드 제스처 영역 추출 및 인식 기법을 제안한다. 제안한 기법은 기존의 방식과 다른 다음과 같은 독창성이 있다. 첫 번째, 기존의 range-doppler 등의 2D 이미지를 입력 벡터로 하는 방식과 다르게 시계열 형태의 포인트 클라우드 입력 벡터는 레이다 전방에서 발생하는 시간에 따른 움직임을 좌표계 형태로 인식할 수 있는 직관적인 입력 데이터이다. 두 번째, 입력 벡터의 크기가 작기 때문에 인식에 쓰이는 딥러닝 모델도 가볍게 설계할 수 있다. 제안하는 기법의 수행 과정은 다음과 같다. FMCW 레이다로 측정된 거리, 속도, 각도 정보를 활용해 x, y, z 좌표 형식과 도플러 속도 정보를 포함한 포인트 클라우드를 활용한다. 제스처 영역은 속도 정보를 통해 얻어진 도플러 포인트를 이용하여 제스처의 시작과 끝 지점을 파악해 자동으로 핸드 제스처 영역을 추출하게 된다. 추출된 제스처 영역의 시점에 해당하는 시계열 형태의 포인트 클라우드는 최종적으로 본 논문에서 사용한 LSTM 딥러닝 모델의 학습 및 인식에 활용되게 된다. 제안하는 기법의 객관적인 신뢰성을 평가하기 위해 다른 딥러닝 모델들과 MAE를 산출하는 실험과 기존 기법들과 인식률을 산출하는 실험을 수행하여 비교하였다. 실험 결과, 시계열 형태의 포인트 클라우드 입력 벡터 + LSTM 딥러닝 모델의 MAE 값이 0.262, 인식률이 97.5%로 산출되었다. MAE는 낮을수록, 인식률은 높을수록 우수한 결과를 나타내므로 본 논문에서 제안한 기법의 효율성이 입증되었다.

Abstract ▼ AI-Helper

In this paper, we propose an automatic hand gesture area extraction and recognition technique using FMCW radar-based point cloud and LSTM. The proposed technique has the following originality compared to existing methods. First, unlike methods that use 2D images as input vectors such as existing range-dopplers, point cloud input vectors in the form of time series are intuitive input data that can recognize movement over time that occurs in front of the radar in the form of a coordinate system. Second, because the size of the input vector is small, the deep learning model used for recognition can also be designed lightly. The implementation process of the proposed technique is as follows. Using the distance, speed, and angle information measured by the FMCW radar, a point cloud containing x, y, z coordinate format and Doppler velocity information is utilized. For the gesture area, the hand gesture area is automatically extracted by identifying the start and end points of the gesture using the Doppler point obtained through speed information. The point cloud in the form of a time series corresponding to the viewpoint of the extracted gesture area is ultimately used for learning and recognition of the LSTM deep learning model used in this paper. To evaluate the objective reliability of the proposed technique, an experiment calculating MAE with other deep learning models and an experiment calculating recognition rate with existing techniques were performed and compared. As a result of the experiment, the MAE value of the time series point cloud input vector + LSTM deep learning model was calculated to be 0.262 and the recognition rate was 97.5%. The lower the MAE and the higher the recognition rate, the better the results, proving the efficiency of the technique proposed in this paper.

주제어

표/그림 (14)

그림 Fig. 1. A complete overview of the proposed method in this paper. 그림 1. 본 논문에서 제안한 기법의 전체 개요도
그림 Fig. 2. Chirp signal from FMCW radar. 그림 2. FMCW 레이다의 첩 신호
그림 Fig. 3. Calculation of distance between radar and object using IF signal. 그림 3. IF 신호를 통한 레이다와 물체 간의 거리 계산
그림 Fig. 4. Speed measurement using phase difference between signals. 그림 4. 첩 신호 간의 위상차를 이용한 속도 측정
그림 Fig. 5. Angle measurement using phase difference between Rx. 그림 5. Rx 간의 위상차를 이용한 각도 측정
그림 Fig. 6. 3D cube information formed by FMCW radar. 그림 6. FMCW 레이다가 형성하는 3차원 큐브 정보
그림 Fig. 7. Point cloud example. 그림 7. 포인트 클라우드 예시
그림 Fig. 8. Hand gesture area extraction using doppler points. 그림 8. 도플러 포인트를 이용한 핸드 제스처 영역 추출
그림 Fig. 9. The entire hand gesture recognition process. 그림 9. 전체 핸드 제스처 인식 과정
그림 Fig. 10. Loss graph according to Epoch. 그림 10. Epoch에 따른 loss 그래프
그림 Fig. 11. Four hand gestures used in the experiment. 그림 11. 실험에 사용한 4가지 핸드 제스처
그림 Fig. 12. Test set prediction graph for each model. 그림 12. 각 모델의 test set 예측 그래프
표 Table 1. MAE comparison results with deep learning models. 표 1. 딥러닝 모델들과의 MAE 비교 결과
표 Table 2. Comparison results of hand gesture recognition rates with existing techniques. 표 2. 기존 기법들과의 핸드 제스처 인식률 비교 결과

참고문헌 (8)

Mitra, Sushmita, and Tinku Acharya. "Gesture？recognition: A survey." IEEE Transactions on？Systems, Man, and Cybernetics, Part C (Applications？and Reviews) 37.3, 311-324, 2007.？DOI: 10.1109/TSMCC.2007.893280

상세보기
Molchanov, Pavlo, et al. "Multi-sensor system？for driver's hand-gesture recognition." 2015 11th？IEEE international conference and workshops on？automatic face and gesture recognition (FG).？Vol.1. IEEE, 2015. DOI: 10.1109/FG.2015.7163132
Franceschini, S., et al. "Hand gesture recognition？via radar sensors and convolutional neural networks."？2020 IEEE Radar Conference (RadarConf20). IEEE,？2020.？DOI: 10.1109/RadarConf2043947.2020.9266565
Wu, Qisong, and Dixian Zhao. "Dynamic hand？gesture recognition using FMCW radar sensor for？driving assistance." 2018 10th International Conference on Wireless Communications and Signal？Processing (WCSP). IEEE, 2018.？DOI: 10.1109/WCSP.2018.8555642
Skaria, Sruthy, et al. "Hand-gesture recognition？using two-antenna Doppler radar with deep？convolutional neural networks." IEEE Sensors？Journal 19.8, 3041-3048, 2019.？DOI: 10.1109/JSEN.2019.2892073

상세보기
Yu, Yong, et al. "A review of recurrent neural？networks: LSTM cells and network architectures."？Neural computation 31.7, 1235-1270, 2019.？DOI: 10.1162/neco_a_01199

상세보기
Shen, Zhipeng, et al. "SeriesNet: a generative？time series forecasting model." 2018 international？joint conference on neural networks (IJCNN).？IEEE, 2018. DOI: 10.1109/IJCNN.2018.8489522
Hazra, Souvik, and Avik Santra. "Short-range？radar-based gesture recognition system using 3D？CNN with triplet loss." IEEE Access 7:125623-125633, 2019.？DOI: 10.1109/ACCESS.2019.2938725

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증