[논문]연속파 레이다를 활용한 이진 신경망 기반 사람 식별 및 동작 분류 시스템 설계 및 구현

김경민; 김성진; 남궁호정; 정윤호

doi:10.12673/jant.2022.26.4.211

연속파 레이다를 활용한 이진 신경망 기반 사람 식별 및 동작 분류 시스템 설계 및 구현
Design and Implementation of BNN based Human Identification and Motion Classification System Using CW Radar 원문보기

한국항행학회논문지 = Journal of advanced navigation technology, v.26 no.4, 2022년, pp.211 - 218

김경민 (한국항공대학교 항공전자정보공학부) , 김성진 (한국항공대학교 항공전자정보공학부) , 남궁호정 (한국항공대학교 항공전자정보공학부) , 정윤호 (한국항공대학교 항공전자정보공학부)

초록
AI-Helper

연속파 레이다는 카메라나 라이다와 같은 센서에 비해서 안정성과 정확성이 보장된다는 장점이 있다. 또한 이진 신경망은 다른 딥러닝 기술에 비해서 메모리 사용량과 연산 복잡도를 크게 줄일 수 있는 특징이 있다. 따라서 본 논문에서는 연속파 레이다와 이진 신경망 기반 사람 식별 및 동작 분류 시스템을 제안한다. 연속파 레이다 센서를 통해 수신된 신호를 단시간 푸리에 변환함으로써 스펙트로그램을 생성한다. 이 스펙트로그램을 기반으로 레이다를 향해 사람이 다가오는지 감지하는 알고리즘을 제안한다. 더불어, 최적화된 이진 신경망 모델을 설계하여 사람 식별 90.0%, 동작 분류 98.3%의 우수한 정확도를 지원할 수 있음을 확인하였다. 이진 신경망 연산을 가속하기 위해 FPGA (field programmable gate array)를 이용하여 이진 신경망 연산에 대한 하드웨어 가속기를 설계하였다. 해당 가속기는 1,030개의 로직, 836개의 레지스터, 334.906 Kbit의 블록 메모리를 사용하여 구현되었고, 추론에서 결과 전송까지 총 연산 시간이 6 ms로 실시간 동작이 가능함을 확인하였다.

Abstract ▼ AI-Helper

Continuous wave (CW) radar has the advantage of reliability and accuracy compared to other sensors such as camera and lidar. In addition, binarized neural network (BNN) has a characteristic that dramatically reduces memory usage and complexity compared to other deep learning networks. Therefore, this paper proposes binarized neural network based human identification and motion classification system using CW radar. After receiving a signal from CW radar, a spectrogram is generated through a short-time Fourier transform (STFT). Based on this spectrogram, we propose an algorithm that detects whether a person approaches a radar. Also, we designed an optimized BNN model that can support the accuracy of 90.0% for human identification and 98.3% for motion classification. In order to accelerate BNN operation, we designed BNN hardware accelerator on field programmable gate array (FPGA). The accelerator was implemented with 1,030 logics, 836 registers, and 334.904 Kbit block memory, and it was confirmed that the real-time operation was possible with a total calculation time of 6 ms from inference to transferring result.

주제어

표/그림 (11)

그림 그림 1. 제안된 사람 식별 및 동작 분류 시스템의 구조도 Fig. 1. Structure of the proposed human identification and motion classification system.
그림 그림 2. 실험 환경 Fig. 2. Experiment environment.
그림 그림 3. 일반적인 걷기 동작에서 사람별 스펙트로그램 Fig. 3. Spectrogram by person in walk motion.
그림 그림 4. 성큼성큼 걷기 동작에서 사람별 스펙트로그램 Fig. 4. Spectrogram by person in stride motion.
그림 그림 6. 제안된 이진 신경망 분류기의 구조 Fig. 6. Structure of the proposed BNN classifier.
그림 그림 5. 선정된 이진 신경망 모델의 혼동 행렬 Fig. 5. Confusion matrix of selected BNN model.
표 표 1. 합성곱 신경망과 이진 신경망 구조별 정확도와 메모리 사용량 Table 1. Accuracy and memory usage by CNN and BNN architectures.
그림 그림 7. 제안된 이진 신경망 하드웨어 가속기의 구조 Fig. 7. Structure of the proposed BNN hardware accelerator.
그림 그림 8. 제안된 이진 신경망 연산 모듈 구조 Fig. 8. Structure of the proposed BNN computation module.
그림 그림 9. 제안된 사람 식별 및 동작 분류 시스템의 검증 환경 Fig. 9. Verification environment of the proposed human identification and motion classification system.
표 표 2. 제안된 사람 식별 및 동작 분류 시스템의 구현 결과 Table 2. Implementation results of the proposed human identification and motion classification system.

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 연속파 레이다와 이진 신경망을 기반으로 걷는 모습을 통한 사람 식별 및 동작 분류 시스템을 제안하였다. 4명의 사람과 3개의 동작으로 총 12개의 클래스를 정의하였고, 레이다를 향해 다가오는 표적을 감지하는 감지 알고리즘과 최적화된 딥러닝 모델이 포함된 시스템을 설계하였다.

제안 방법

본 논문에서는 연속파 레이다와 이진 신경망을 기반으로 걷는 모습을 통한 사람 식별 및 동작 분류 시스템을 제안하였다. 4명의 사람과 3개의 동작으로 총 12개의 클래스를 정의하였고, 레이다를 향해 다가오는 표적을 감지하는 감지 알고리즘과 최적화된 딥러닝 모델이 포함된 시스템을 설계하였다. 그 결과 사람의 구분 정확도는 90.
따라서 스펙트로그램의 전체 파워 합을 문턱 값과 비교하도록 하였다. 둘째로 레이다에 가까이 다가온 시점에 도플러 주파수는 DC 주파수를 기준으로 하여 상하 3 point, 총 6 point 내에 강하게 나타나는 것을 활용하여, 특정 시점에서 각 시간 축에 대해 도플러 주파수가 문턱 값을 초과하는지 비교하였다. 마지막으로 특정 주파수 영역에서 최대 파워를 가지는 값을 시간 축에서 확인했을 때 레이다에 가까워지는 시점인 측정 후반부에 위치하는 것을 활용하여, 문턱 값과 비교하였다.
먼저, 여러 합성곱 신경망 모델을 실험하여 정확도와 메모리 사용량을 비교하였으며, 궁극적으로 사람 식별 및 동작 분류 시스템을 라즈베리 파이와 FPGA에 구현하기 위해 모델을 경량화 할 필요가 있으므로 앞서 실험했던 모델을 이진 신경망으로 변환한 모델 또한 비교하여 최종 모델을 선정하였다. 앞선 두 종류의 신경망 모델의 성능 평가를 위해 하나의 클래스당 100개씩 측정하여 총 1,200개의 데이터를 활용했다.
본 논문에서 제안하는 시스템의 하드웨어는 Intel MAX 10 FPGA에 Verilog HDL (hardware description language)을 사용하여 구현하였다. 제안된 시스템의 이진 신경망 하드웨어 가속기의 구조는 그림 7과 같다.
표적이 레이다를 향해 다가오며 속도가 변하는 경우, 시간 축에서 변화하는 도플러 주파수를 관측하기 위해 시간과 주파수 축을 동시에 측정해야 할 필요가 있으며, 이를 위해 윈도우 함수를 이용한 STFT를 활용하여 표적의 속도를 측정한다. 본 논문에서는 STFT를 활용하여 스펙트로그램을 생성하여 표적의 사람 식별 및 동작 분류에 사용한다.
본 논문에서는 사람마다 다른 걸음걸이, 걸음 속도, 팔과 다리의 움직임 등에 의해 각기 다른 마이크로 도플러 특성을 추출할 수 있는 것을 활용한다. 시스템의 경량화를 위해 라즈베리 파이 (Raspberry Pi)를 사용하여 연속파 레이다를 향해 걸어오는 표적으로부터 신호를 수신하고 신호처리 하는 과정을 소프트웨어로 설계하고, 빠른 연산 속도를 확보하기 위해 FPGA (field programmable gate array)를 사용하여 최적화된 이진 신경망 연산 가속기를 하드웨어로 설계함으로써 사람 식별 및 동작 분류 시스템을 구현한다.
예를 들어, 남성2의 걷기에 해당하는 결과를 확인하기 위해 세로축에서 M2_W를 찾고 해당 행에서 가로축을 참고하여 자세한 분류 결과를 확인할 수 있고 남성1의 걷기로 잘못 분류한 경우가 1회 발생한 것을 확인할 수 있다. 빨간색 칸의 숫자들의 합과 초록색 칸의 숫자들의 합으로 각각 동작 구분, 사람 식별의 정확도를 계산하였고, 이러한 방식을 통해 여러 모델에 대한 사람 식별 및 동작 분류 성능을 확인한 결과는 표 1과 같다. 합성곱 계층이 3개이며 완전 연결 계층의 노드 수가 112개인 모델이 성능도 다른 모델에 비해 높을 뿐만 아니라 메모리 사용량 또한 적정하여 최종 모델로 선정하였으며, 이를 도식화한 것은 그림 6과 같다.
스펙트로그램은 감지 알고리즘에 활용되어 사람이 레이다를 향해 접근하고 있는지 판단하고, 사람이 다가오고 있다는 것이 감지되면 정규분포를 활용한 이진화 과정을 진행한다. 시리얼 통신 중 SPI를 통해 이진화된 스펙트로그램을 FPGA로 전송하고, FPGA에서는 SPI로 수신한 데이터를 미리 학습된 이진 신경망 모델의 분류 연산에 사용하여 최종 예측 클래스를 얻은 후, SPI 인터페이스를 통해 라즈베리 파이에 전송한다. 라즈베리 파이에서는 전달받은 예측 결과와 스펙트로그램을 모니터에 출력한다.
본 논문에서는 사람마다 다른 걸음걸이, 걸음 속도, 팔과 다리의 움직임 등에 의해 각기 다른 마이크로 도플러 특성을 추출할 수 있는 것을 활용한다. 시스템의 경량화를 위해 라즈베리 파이 (Raspberry Pi)를 사용하여 연속파 레이다를 향해 걸어오는 표적으로부터 신호를 수신하고 신호처리 하는 과정을 소프트웨어로 설계하고, 빠른 연산 속도를 확보하기 위해 FPGA (field programmable gate array)를 사용하여 최적화된 이진 신경망 연산 가속기를 하드웨어로 설계함으로써 사람 식별 및 동작 분류 시스템을 구현한다.
표적이 레이다를 향해 다가오며 속도가 변하는 경우, 시간 축에서 변화하는 도플러 주파수를 관측하기 위해 시간과 주파수 축을 동시에 측정해야 할 필요가 있으며, 이를 위해 윈도우 함수를 이용한 STFT를 활용하여 표적의 속도를 측정한다. 본 논문에서는 STFT를 활용하여 스펙트로그램을 생성하여 표적의 사람 식별 및 동작 분류에 사용한다.

대상 데이터

해당 레이다의 중심 주파수는 24 GHz이고, 인식 범위는 수평 29 °, 수직 80 °다. 그림 2와 같이 장애물이 없는 실내에서 지면으로부터 1 m 높이에 연속파 레이다를 위치시키고, 측정 시간은 3초로 설정하였다. 실험 인원으로는 남성1 (177 cm), 남성2 (178 cm), 여성1 (165 cm), 여성2 (158 cm) 4명을 측정하였고, 실험 동작으로는 일반적인 걷기 (walk), 성큼성큼 걷기 (stride), 살금살금 걷기 (creep) 3가지의 동작을 측정하였다.
본 논문에서 제안하는 시스템의 소프트웨어는 Raspberry Pi 4 Model B에 Python을 사용하여 구현하였다. 소프트웨어를 기능별로 나눠 나타내면, 레이다로부터 데이터를 받기 위한 UART 인터페이스 모듈, 감지 알고리즘을 사용하여 사람이 접근하는 것을 판별하는 모듈, STFT와 정규분포를 사용한 데이터 선 처리 모듈, FPGA와 데이터를 주고받기 위한 SPI 통신 모듈, 예측 결과를 모니터에 출력하는 모듈로 구성된다.
본 시스템에서는 Infineon Tech사의 Sense2Go 연속파 레이다를 사용했다. 해당 레이다의 중심 주파수는 24 GHz이고, 인식 범위는 수평 29 °, 수직 80 °다.
본 논문에서 제안하는 시스템의 소프트웨어는 Raspberry Pi 4 Model B에 Python을 사용하여 구현하였다. 소프트웨어를 기능별로 나눠 나타내면, 레이다로부터 데이터를 받기 위한 UART 인터페이스 모듈, 감지 알고리즘을 사용하여 사람이 접근하는 것을 판별하는 모듈, STFT와 정규분포를 사용한 데이터 선 처리 모듈, FPGA와 데이터를 주고받기 위한 SPI 통신 모듈, 예측 결과를 모니터에 출력하는 모듈로 구성된다.
그림 2와 같이 장애물이 없는 실내에서 지면으로부터 1 m 높이에 연속파 레이다를 위치시키고, 측정 시간은 3초로 설정하였다. 실험 인원으로는 남성1 (177 cm), 남성2 (178 cm), 여성1 (165 cm), 여성2 (158 cm) 4명을 측정하였고, 실험 동작으로는 일반적인 걷기 (walk), 성큼성큼 걷기 (stride), 살금살금 걷기 (creep) 3가지의 동작을 측정하였다. 동작 별로 속도가 다른 것을 고려하여 일반적인 걷기는 4 m, 성큼성큼 걷기는 5 m, 살금살금 걷기는 3 m로 측정 거리를 설정하였다.
먼저, 여러 합성곱 신경망 모델을 실험하여 정확도와 메모리 사용량을 비교하였으며, 궁극적으로 사람 식별 및 동작 분류 시스템을 라즈베리 파이와 FPGA에 구현하기 위해 모델을 경량화 할 필요가 있으므로 앞서 실험했던 모델을 이진 신경망으로 변환한 모델 또한 비교하여 최종 모델을 선정하였다. 앞선 두 종류의 신경망 모델의 성능 평가를 위해 하나의 클래스당 100개씩 측정하여 총 1,200개의 데이터를 활용했다. 이 중에서 70%인 840개를 기반으로 데이터 증강을 통해 추가로 데이터를 생성하여 총 8,400개를 학습에 사용하였고, 나머지 30%인 360개를 평가에 사용하였다.
앞선 두 종류의 신경망 모델의 성능 평가를 위해 하나의 클래스당 100개씩 측정하여 총 1,200개의 데이터를 활용했다. 이 중에서 70%인 840개를 기반으로 데이터 증강을 통해 추가로 데이터를 생성하여 총 8,400개를 학습에 사용하였고, 나머지 30%인 360개를 평가에 사용하였다. 학습을 위해 파이토치를 기반으로 크로스 엔트로피 손실 함수와 Adam optimizer를 사용하였으며 학습률은 0.
BNN 블록에는 BNN 블록 내부 연산 결과를 읽고 쓰는 RAM, 학습된 파라미터를 저장한 가중치/문턱 값 ROM (read only memory), 이진 신경망 연산과 데이터 입출력을 제어하는 컨트롤러 모듈, 이진 신경망 연산 모듈로 구성되어 있다. 이진 신경망 연산 모듈은 그림 8과 같이 XNOR, popcount, 누산기등으로 구성되어 연산 순서에 맞게 배치 및 연결하였고, 선정된 이진 신경망 모델의 3개의 합성곱 계층과 2개의 완전 연결 계층은 그림 8에서 도식한 하나의 회로 위에서 동작한다.
빨간색 칸의 숫자들의 합과 초록색 칸의 숫자들의 합으로 각각 동작 구분, 사람 식별의 정확도를 계산하였고, 이러한 방식을 통해 여러 모델에 대한 사람 식별 및 동작 분류 성능을 확인한 결과는 표 1과 같다. 합성곱 계층이 3개이며 완전 연결 계층의 노드 수가 112개인 모델이 성능도 다른 모델에 비해 높을 뿐만 아니라 메모리 사용량 또한 적정하여 최종 모델로 선정하였으며, 이를 도식화한 것은 그림 6과 같다.

데이터처리

둘째로 레이다에 가까이 다가온 시점에 도플러 주파수는 DC 주파수를 기준으로 하여 상하 3 point, 총 6 point 내에 강하게 나타나는 것을 활용하여, 특정 시점에서 각 시간 축에 대해 도플러 주파수가 문턱 값을 초과하는지 비교하였다. 마지막으로 특정 주파수 영역에서 최대 파워를 가지는 값을 시간 축에서 확인했을 때 레이다에 가까워지는 시점인 측정 후반부에 위치하는 것을 활용하여, 문턱 값과 비교하였다. 위 세 가지 조건에 부합한다면, 해당 스펙트로그램을 정규분포로 변환한 후 이진화하여 FPGA의 입력 데이터로 사용한다.

이론/모형

자세한 성능 평가를 위해 그림 5와 같이 confusion matrix를 활용하여 사람 식별과 동작 구분에 대한 정확도로 구분하였다. 그림 5에서 M1은 남성1, M2는 남성2, W1은 여성1, W2는 여성2를 의미하며, W는 걷기, S는 성큼성큼 걷기, C는 살금살금 걷기를 의미한다.

성능/효과

4명의 사람과 3개의 동작으로 총 12개의 클래스를 정의하였고, 레이다를 향해 다가오는 표적을 감지하는 감지 알고리즘과 최적화된 딥러닝 모델이 포함된 시스템을 설계하였다. 그 결과 사람의 구분 정확도는 90.0%, 동작의 구분 정확도는 98.3%를 확인하였으며, 이진 신경망으로 구현한 결과 합성곱 신경망과 비교하여 메모리 사용량이 약 96.9% 감소한 것을 확인하였다. 또한 하드웨어 가속기를 통해 이진 신경망 연산을 진행한 결과, 감지된 스펙트로그램을 FPGA로 전송하고 FPGA에서 이진 합성곱 연산을 수행한 후 다시 라즈베리 파이로 전송하기까지 총 6 ms가 소요되는 것을 확인함으로써 실시간 동작이 가능함을 확인하였다.
9% 감소한 것을 확인하였다. 또한 하드웨어 가속기를 통해 이진 신경망 연산을 진행한 결과, 감지된 스펙트로그램을 FPGA로 전송하고 FPGA에서 이진 합성곱 연산을 수행한 후 다시 라즈베리 파이로 전송하기까지 총 6 ms가 소요되는 것을 확인함으로써 실시간 동작이 가능함을 확인하였다.
설계한 하드웨어를 FPGA로 구현한 후 그림 9와 같은 환경에서 검증한 결과, 표 2와 같이 1,030개의 로직과 836개의 레지스터, 334.906 Kbit의 메모리를 사용하여 구현되었으며, 최대 동작 주파수 102.35 MHz에서 6 ms의 실행 시간을 확인하였다.
레이다 앞으로 누군가 걸어오고 있다는 것을 판단하기 위한 감지 알고리즘을 구현하기 위해 다음의 조건을 사용했다. 첫째로 누군가가 레이다에 가까이 접근하기에 그만큼 스펙트로그램의 파워 값도 커지게 된다. 따라서 스펙트로그램의 전체 파워 합을 문턱 값과 비교하도록 하였다.

참고문헌 (14)

R. Soubra, D. Alshamaa, A. Chkeir, B. Dauriac, F. Mourad-Chehade and J. Duchene, "Doppler radar system for an automatic transfer phase detection using wavelet transform analysis," in 3rd International Conference on Bio-engineering for Smart Technologies, Paris, France, pp. 1-4, 2019.
K. Saho, K. Uemura, K. Sugano and M. Matsumoto, "Using micro-doppler radar to measure gait features associated with cognitive functions in elderly adults," IEEE Access, Vol. 7, pp. 24122-24131, Feb. 2019.

상세보기
Z. Xia, G. Ding, H. Wang and F. Xu, "Person identification with millimeter-wave radar in realistic smart home scenarios," IEEE Geoscience and Remote Sensing Letters, Vol. 19, No. 3509405, pp. 1-5, Oct. 2022.
A. -K. Seifert, M. G. Amin and A. M. Zoubir, "Toward unobtrusive in-home gait analysis based on radar micro-doppler signatures," IEEE Transactions on Biomedical Engineering, Vol. 66, No. 9, pp. 2629-2640, Sep. 2019.

상세보기
Jeonghee Nam, Chaeyoung Kang, Jeongyeon Kook and Yunho Jung, "Design and implementation of CW radar-based human activity recognition system," The Journal of Korea Navigation Institute, Vol. 25, No. 5, pp. 415-425, Oct. 2021.
K. J. Baik, B. J. Jang, "Hand gesture classification using multiple doppler radar and machine learning," The Journal of Korean Institute of Electromagnetic Engineering and Science, Vol. 28, No. 1, pp. 33-41, Jan. 2017.

원문보기 상세보기
L. Yang, G. Li, M. Ritchie, F. Fioranelli and H. Griffiths, "Gait classification based on micro-doppler features," in CIE International Conference on Radar, Guangzhou, China, pp. 1-4, 2016.
R. J. Javier, Y. Kim, "Application of linear predictive coding for human activity classification," IEEE Geoscience and Remote Sensing Letters, Vol. 11, No. 10, pp. 1831-1834, Oct. 2014.

상세보기
X. Li, Y. He and X. Jing, "A deep multi-task network for activity classification and person identification with micro-doppler signatures," in International Radar Conference, Toulon, France, pp. 1-5, 2019.
V. S. Papanastasiou, R. P. Trommel, R. I. A. Harmanny and A. Yarovoy, "Deep learning-based identification of human gait by radar micro-doppler measurements," in Proceedings of The 17th European Radar Conference, Utrecht, Netherlands, pp. 49-52, 2021.
P. Cao, W. Xia, M. Ye, J. Zhang, and J. Zhou, "Radar-ID: human identification based on radar micro-doppler signatures using deep convolutional neural networks," IET Radar, Sonar & Navigation, Vol. 12, No. 7, pp. 729-734, Jul. 2018.

상세보기
Y. Yang, C. Hou, Y. Lang, G. Yue, Y. He and W. Xiang, "Person identification using micro-doppler signatures of human motions and UWB radar," IEEE Microwave and Wireless Components Letters, Vol. 29, No. 5, pp. 366-368, May. 2019.

상세보기
F. Conti, P. D. Schiavone and L. Benini, "XNOR neural engine: a hardware accelerator IP for 21.6-fJ/op binary neural network inference," IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, Vol. 37, No. 11, pp. 2940-2951, Nov. 2018.

상세보기
H. Yonekawa and H. Nakahara, "On-chip memory based binarized convolutional deep neural network applying batch normalization free technique on an FPGA," in IEEE International Parallel and Distributed Processing Symposium Workshops, Lake Buena Vista, FL, USA, pp. 98-105, 2017.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증