본 논문은 딥뉴럴네트워크(deep neural network: DNN)를 이용해 사람 걸음 및 배경잡음원에 의해 발생한 마이크로 도플러 신호를 탐지 및 분류 처리하는 연구를 제안한다. 기존 분류처리 연구는 경험 및 통계적인 방법을 통해 분류기 성능에 직접적으로 영향을 미치는 의미있는 특징을 추출하기 위한 복잡한 과정을 포함한다. 그러나 딥뉴럴네트워크는 다수의 레이어 층을 단계적으로 통과하는 과정을 통해 점진적으로 특징을 재구성 및 생성하므로, 별도의 특징 추출과정을 생략할 수 있으며, 자연스럽게 네트워크상에서 특징을 생성할 수 있는 이점이 있다. 따라서 본 논문에서는 마이크로 도플러 신호 인식을 위한 딥뉴럴네트워크 효과성 입증을 위해, 이진분류기와 다층클래스 분류기를 다층퍼셉트론과 딥뉴럴네트워크를 통해 설계하고 비교분석한다. 실험 결과, 다층퍼셉트론은 이진분류기의 경우 테스트세트에 대한 분류 정확도가 90.3 %로 측정되었고, 다층클래스 분류기의 경우 테스트세트에 대한 분류정확도가 86.1 %로 측정되었다. 딥뉴럴네트워크는 이진분류기의 경우 테스트세트에 대한 분류 정확도가 97.3 %로 측정되었고, 다층클래스 분류기의 경우 테스트세트에 대한 분류정확도가 96.1 %로 측정되었다.
본 논문은 딥뉴럴네트워크(deep neural network: DNN)를 이용해 사람 걸음 및 배경잡음원에 의해 발생한 마이크로 도플러 신호를 탐지 및 분류 처리하는 연구를 제안한다. 기존 분류처리 연구는 경험 및 통계적인 방법을 통해 분류기 성능에 직접적으로 영향을 미치는 의미있는 특징을 추출하기 위한 복잡한 과정을 포함한다. 그러나 딥뉴럴네트워크는 다수의 레이어 층을 단계적으로 통과하는 과정을 통해 점진적으로 특징을 재구성 및 생성하므로, 별도의 특징 추출과정을 생략할 수 있으며, 자연스럽게 네트워크상에서 특징을 생성할 수 있는 이점이 있다. 따라서 본 논문에서는 마이크로 도플러 신호 인식을 위한 딥뉴럴네트워크 효과성 입증을 위해, 이진분류기와 다층클래스 분류기를 다층퍼셉트론과 딥뉴럴네트워크를 통해 설계하고 비교분석한다. 실험 결과, 다층퍼셉트론은 이진분류기의 경우 테스트세트에 대한 분류 정확도가 90.3 %로 측정되었고, 다층클래스 분류기의 경우 테스트세트에 대한 분류정확도가 86.1 %로 측정되었다. 딥뉴럴네트워크는 이진분류기의 경우 테스트세트에 대한 분류 정확도가 97.3 %로 측정되었고, 다층클래스 분류기의 경우 테스트세트에 대한 분류정확도가 96.1 %로 측정되었다.
The effectiveness of deep neural networks (DNNs) for detection and classification of micro-Doppler signals generated by human walking and background noise sources is investigated. Previous research included a complex process for extracting meaningful features that directly affect classifier performa...
The effectiveness of deep neural networks (DNNs) for detection and classification of micro-Doppler signals generated by human walking and background noise sources is investigated. Previous research included a complex process for extracting meaningful features that directly affect classifier performance, and this feature extraction is based on experiences and statistical analysis. However, because a DNN gradually reconstructs and generates features through a process of passing layers in a network, the preprocess for feature extraction is not required. Therefore, binary classifiers and multiclass classifiers were designed and analyzed in which multilayer perceptrons (MLPs) and DNNs were applied, and the effectiveness of DNNs for recognizing micro-Doppler signals was demonstrated. Experimental results showed that, in the case of MLPs, the classification accuracies of the binary classifier and the multiclass classifier were 90.3% and 86.1%, respectively, for the test dataset. In the case of DNNs, the classification accuracies of the binary classifier and the multiclass classifier were 97.3% and 96.1%, respectively, for the test dataset.
The effectiveness of deep neural networks (DNNs) for detection and classification of micro-Doppler signals generated by human walking and background noise sources is investigated. Previous research included a complex process for extracting meaningful features that directly affect classifier performance, and this feature extraction is based on experiences and statistical analysis. However, because a DNN gradually reconstructs and generates features through a process of passing layers in a network, the preprocess for feature extraction is not required. Therefore, binary classifiers and multiclass classifiers were designed and analyzed in which multilayer perceptrons (MLPs) and DNNs were applied, and the effectiveness of DNNs for recognizing micro-Doppler signals was demonstrated. Experimental results showed that, in the case of MLPs, the classification accuracies of the binary classifier and the multiclass classifier were 90.3% and 86.1%, respectively, for the test dataset. In the case of DNNs, the classification accuracies of the binary classifier and the multiclass classifier were 97.3% and 96.1%, respectively, for the test dataset.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 논문에서는 딥뉴럴네트워크를 이용해 사람걸음 및 배경잡음에 의해 발생한 마이크로 도플러 신호를 분류하는 연구를 제안한다. 불필요한 전처리를 제외한 참고문헌 [5]의 방법론을 따름으로써 윈도우시간(Windowtime)을 개선하고, 딥뉴럴네트워크를 적용함으로써 참고문헌 [5]의 한계를 극복한다.
본 논문에서는 딥뉴럴네트워크를 이용해 사람 걸음 및 배경잡음에 의해 발생한 마이크로 도플러 신호를 분류하는 연구를 제안했다. 기존의 도플러 신호의 분류처리 연구는 경험 및 통계적인 방법을 통해 분류기 분류 성능에 직접적으로 영향을 미치는 의미있는 특징을 찾는 과정이 필수적이었다.
이런 딥뉴럴네트워크의 효과성을 입증하기 위해, 본 논문에서는 이진분류기와 다층클래스 분류기를 설계하여 비교 분석하였다. 이진분류기의 경우, 3개의 히든 레이어를 사용하는 Sigmoid 기반 MLP와 6개의 히든 레이어를 사용하는 ReLU 기반의 DNN을 설계하고 비교 분석하였다.
제안 방법
그러나 초기 시점에서 레이다 센서가 첫 번째 결과를 얻기 위해 여러 시간 단계 동안의 입력 데이터를 요구하므로, CNN과 마찬가지로 센서 응답 속도가 느려지는 문제를 갖고 있다. 따라서 제기된 제한사항을 고려하여 본 논문에서는 입력에 따라 출력이 바로 생성되는 피드포워드(feedforward) 딥뉴럴네트워크(이하 딥뉴럴네트워크)를 선택하고 설계한다.
본 논문에서 설계하는 딥뉴럴네트워크의 첫 번째 유형은 사람의 마이크로 도플러 신호 [e, f, g, h]와 배경 잡음의 마이크로 도플러 신호 [a, b, c, d]를 분류하는 이진 분류기이다. 그림 5는 성능 비교를 위한 목적으로 설계된 다층퍼셉트론을 이용한 이진분류기의 구조를 보여주며, 그림 6은 딥뉴럴네트워크를 이용한 이진분류기의 구조를보여준다.
아울러 배경 잡음으로 인해 발생하는 도플러 신호를 수집하기 위해 잡음원들이 서로 섞이지 않도록 상호 환경 요소를 최대한 통제하며 신호를 수집하였다. 수집한 마이크로 도플러 신호는 다음의 8가지인 (a) ‘야외환경(LOS)’, (b) ‘팬’, (c) ‘눈’, (d) ‘비’, (e) ‘사람의 걸음’, (f) ‘사람의 걸음과 팬’, (g) ‘사람의 걸음과 눈’, (h) ‘사람의 걸음과 비’를 포함한다.
3%로 측정되었다. 한편, 다층분류기의 경우, 5개의 히든레이어를 갖는 DNN(Sigmoid)와 7개의 히든 레이어를 갖는 DNN(ReLU)를 설계하고 비교 분석하였다. 분석결과, DNN(Sigmoid)의 테스트 세트에 대한 분류 정확도는 86.
대상 데이터
그림 4는 수집한 신호를 STFT(ShortTime Fourier Transform)로 처리한 결과를 보여준다. 본 논문에서는 512개의 주파수 도메인 데이터가 네트워크의 입력으로 사용된다.
특징선택 및 생성 과정을 위해 필터링을 포함한 어떠한 전처리과정을 사용하지 않았다. 생성된 데이터 세트는 160,000개의 배경 잡음 클래스 데이터와 160,000개의 사람 걸음클래스 데이터가 있다. 배경잡음 클래스 데이터에는 (a) 40,000개의 ‘야외 환경’ 잡음 데이터, (b) 40,000개의 ‘팬’ 잡음 데이터, (c) 40,000개의 ‘눈’ 잡음 데이터 및 (d) 40,000개의 ‘비’ 잡음 데이터가 있다.
선택된 테스트 사이트에 도플러 레이다를 설치하고, 원시 데이터를 그림 2와 같이 수집했다. 사람 걸음으로 발생한 도플러 신호를 수집하기 위해 실험자는 레이다 감지 영역 내에서 자유로운 걸음으로 움직였다.
설계한 다층계층퍼셉트론(MLP) 이진분류기는 5개의 레이어로 구성하였다. 첫 번째 입력층(input layer)은 512개의 노드를 가지며, 세 개의 은닉층(hidden layer)은 각각 64개의 노드를 갖고, 마지막 출력층(output layer)은 1개의 노드를 갖는다.
원시 데이터 중 이상치를 제외한 후, 선택한 원시 데이터로부터 320,000개의 데이터 세트를 생성하였다. 특징선택 및 생성 과정을 위해 필터링을 포함한 어떠한 전처리과정을 사용하지 않았다.
한편, 사람 걸음 클래스 데이터에는 (e) 40,000개의 사람 걸음 데이터, (f) 40,000개의 ‘사람걸음과 팬’ 데이터, (g) 40,000개의 ‘사람 걸음과 눈’ 데이터, (h) 40,000개의‘사람 걸음과 비’ 데이터가 있다. 이 중 훈련 데이터(training dataset)를 위해 무작위로 240,000개의 데이터가 선택하였으며, 8가지 경우의 데이터가 균등하게 포함되었다. 그리고 또한 40,000개의 데이터와 40,000개의 데이터를 무작위로 선택하여 테스트 세트(test dataset)와 교차 검증세트(cross validation dataset)로 설정하였다.
이론/모형
한편, 활성화 함수의 일종인 ReLU(Rectified Linear Unit)는 그라디언트가 사라지는 문제를 방지하고, 효율적인 그라디언트를 네트워크에 전파한다. 따라서 본 연구에서도 DNN의 활성화 함수로 ReLU를 사용한다. ReLU는 입력 값이 0보다 작으면 0을 출력하고, 입력 값이 0보다 크면 출력은 입력과 같다.
손실함수와 관련하여 교차 엔트로피(cross entropy는 평균 제곱 오차(mean squred error)보다 학습 속도가 빠르기 때문에 손실함수로 널리 사용한다. 최적화는 손실 함수를 최소화하는 방법을 학습함으로써 네트워크의 최적 변수를 찾는 과정이며, 본 연구에서는 최근 개발되어 널리 사용되고 있는 Adam 알고리즘을 최적화 도구로 사용한다. 오버피팅(overfitting)은 모델이 훈련 데이터세트(training dataset)에 과도하게 피팅(fitting)되어 시험 데이터세트(testdataset)에 대한 분류 정확도가 떨어지는 현상이다.
성능/효과
DNN(Sigmoid) 다중클래스의 성능은 훈련세트에 대한 분류정확도가 87.2 %, 검증세트에 대한 분류정확도는 86.4%, 테스트세트에 대한 분류정확도는 86.1 %로 측정되었다. 한편, ReLU 기반 DNN 다중클래스 분류기의 경우, 훈련세트에 대한 분류정확도가 96.
물론 결과는 제한된 환경 조건에서 얻어진 데이터 세트를 기반으로 하기에, 더 일반화된 결과를 얻기 위해서는 다양한 장소 및 상황에 대한 추가 실험을 요구한다. 그럼에도 불구하고, 본 결과는 레이다의 마이크로 도플러신호 인식과 관련된 문제에 있어 설계된 딥뉴럴네트워트가 기존 방식과 달리, 특징 추출을 요구하지 않으면서도 높은 수준의 분류 정확도를 보여주는 효과적인 방법임을 증명한다. 추가 실험을 통해 확보한 데이터를 실험에 추가한다고 하더라도, 딥뉴럴네트워크의 효과성은 유지될 것으로 확신한다.
다층퍼셉트론(MLP)으로 분류 처리한 결과, 훈련세트에 대한 분류 정확도는 91.6 %, 검증세트에 대한 분류 정확도는 90.7 %, 테스트 세트에 대한 분류 정확도는 90.3 %로 측정되었다. Receiver Operating Characteristic(ROC)에서의 AUC(Area Under and ROC curve)는 0.
한편, 다층분류기의 경우, 5개의 히든레이어를 갖는 DNN(Sigmoid)와 7개의 히든 레이어를 갖는 DNN(ReLU)를 설계하고 비교 분석하였다. 분석결과, DNN(Sigmoid)의 테스트 세트에 대한 분류 정확도는 86.1 %, DNN(ReLU)의 테스트 세트에 대한 분류 정확도는 96.1 %로 측정되었다. 이는 이진분류기나 다층분류기 문제에 있어서 ReLU 기반의 DNN이 더 우수한 성능을 가짐을 보여준다.
이진분류기의 경우, 3개의 히든 레이어를 사용하는 Sigmoid 기반 MLP와 6개의 히든 레이어를 사용하는 ReLU 기반의 DNN을 설계하고 비교 분석하였다. 분석결과, MLP의 테스트 세트에 대한 분류 정확도는 90.3 %, DNN의 테스트 세트에 대한 분류 정확도는 97.3%로 측정되었다. 한편, 다층분류기의 경우, 5개의 히든레이어를 갖는 DNN(Sigmoid)와 7개의 히든 레이어를 갖는 DNN(ReLU)를 설계하고 비교 분석하였다.
한편, 딥뉴럴네트워크(DNN)으로 분류 처리한 결과, 훈련세트에 대한 분류 정확도는 97.7 %, 검증세트에 대한 분류 정확도는 97.5 %, 테스트 세트에 대한 분류 정확도는 97.3 %로 측정되었다. ROC에서의 AUC은 0.
후속연구
향후 연구와 관련하여 언급하면, 레이다 도플러 신호인식과 관련된 연구의 가장 큰 어려움은 데이터세트를 확보하는 부분에 있다. 따라서 향후 연구는 실제 확보한 데이터로부터 가상의 데이터를 생성하는 연구 등에 초점을 맞출 필요가 있다.
물론 결과는 제한된 환경 조건에서 얻어진 데이터 세트를 기반으로 하기에, 더 일반화된 결과를 얻기 위해서는 다양한 장소 및 상황에 대한 추가 실험을 요구한다. 그럼에도 불구하고, 본 결과는 레이다의 마이크로 도플러신호 인식과 관련된 문제에 있어 설계된 딥뉴럴네트워트가 기존 방식과 달리, 특징 추출을 요구하지 않으면서도 높은 수준의 분류 정확도를 보여주는 효과적인 방법임을 증명한다.
그럼에도 불구하고, 본 결과는 레이다의 마이크로 도플러신호 인식과 관련된 문제에 있어 설계된 딥뉴럴네트워트가 기존 방식과 달리, 특징 추출을 요구하지 않으면서도 높은 수준의 분류 정확도를 보여주는 효과적인 방법임을 증명한다. 추가 실험을 통해 확보한 데이터를 실험에 추가한다고 하더라도, 딥뉴럴네트워크의 효과성은 유지될 것으로 확신한다.
향후 연구와 관련하여 언급하면, 레이다 도플러 신호인식과 관련된 연구의 가장 큰 어려움은 데이터세트를 확보하는 부분에 있다. 따라서 향후 연구는 실제 확보한 데이터로부터 가상의 데이터를 생성하는 연구 등에 초점을 맞출 필요가 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
레이다 센서란?
상업용 레이다 센서는 스마트 홈 및 스마트 시티를 위한 LED 제어 및 경보 모니터링 목적의 센서로 실내외 환경에서 폭넓게 사용될 수 있다. 레이다 센서는 움직이는 표적에 의한 도플러 신호를 감지하는 센서로써, 음향, 적외선, 진동 및 카메라 센서 사용에 제한이 있는 분야에서 유용하게 활용할 수 있다. 예를 들어, 음향 및 진동 센서는 잡음에 매우 취약하며, 적외선 센서는 실외 환경에서 빈번한 거짓 경보를 생성한다.
상업용 레이다 센서는 어디에 사용되는가?
상업용 레이다 센서는 스마트 홈 및 스마트 시티를 위한 LED 제어 및 경보 모니터링 목적의 센서로 실내외 환경에서 폭넓게 사용될 수 있다. 레이다 센서는 움직이는 표적에 의한 도플러 신호를 감지하는 센서로써, 음향, 적외선, 진동 및 카메라 센서 사용에 제한이 있는 분야에서 유용하게 활용할 수 있다.
레이다 센서의 장점은 무엇인가?
반면, 레이다 센서는 기상 환경에 상대적으로 강인하고, 야간에도 센서 성능이 감소하지 않는다. 또한, 표적 검출을 위한 신호처리가 상대적으로 쉽고 효과적이기 때문에, 다양한 실내외 분야에서 사물 감지목적으로 활용할 수 있다.
참고문헌 (13)
R. C. Browning, E. A., Baker, J. A. Herron, and R. Kram, "Effects of obesity and sex on the energetic cost and preferred speed of walking," Journal of Applied Physiology, vol. 100, no. 2, pp. 390-398, 2006.
Y. Kim, S. Ha, and J. Kwon, "Human detection using Doppler radar based on physical characteristics of targets," IEEE Geoscience and Remote Sensing Letters, vol. 12, no. 2, pp. 289-293, Feb. 2015.
Y. Kim, H. Ling, "Human activity classification based on micro-Doppler signatures using an artificial neural network," in 2008 IEEE Antennas and Propagation Society International Symposium, 2008.
P. Van Dorp, F. C. A. Groen, "Feature-based human motion parameter estimation with radar," IET Radar, Sonar & Navigation, vol. 2 no. 2, pp. 135-145, 2008.
J. Kwon, N. Kwak, "Human detection by neural networks using a low-cost short-range Doppler radar sensor," in 2017 IEEE Radar Conference, Seattle, WA, May 2017, pp. 755-760.
Y. Kim, T. Moon, "Human detection and activity classification based on micro-Doppler signatures using deep convolutional neural networks," IEEE Geoscience and Remote Sensing Letters, vol. 13, no. 1, pp. 8-12, Jan. 2016.
J. Li, S. L. Phung, F. H. C. Tivive, and A. Bouzerdoum, "Automatic classification of human motions using Doppler radar," in the 2012 International Joint Conference on Neural Networks, 2012.
P. Van Dorp, F. C. A. Groen, "Feature-based human motion parameter estimation with radar," IET Radar, Sonar and Navigation, vol. 2, no. 2, pp. 135-145, 2008.
T. Thayaparan, S. Abrol, E. Riseborough, L. J. Stankovic, D. Lamothe, and G. Duff, "Analysis of radar micro-Doppler signatures from experimental helicopter and human data," IET Radar, Sonar & Navigation, vol. 1, no. 4, pp. 289-299, 2007.
J. Ding, B. Chen, H. Liu, and M. Huang, "Convolutional neural network with data augmentation for SAR target recognition," IEEE Geoscience and Remote Sensing Letters, vol. 13, no. 3, pp. 364-368, 2016.
H. Sak, A. Senior, and F. Beaufays, "Long short-term memory recurrent neural network architectures for large scale acoustic modeling," in Fifteenth Annual Conference of the International Speech Communication Association, 2014.
Y. Gal, Z. Ghahramani, "Dropout as a Bayesian approximation: Representing model uncertainty in deep learning," in International Conference on Machine Learning, 2016, pp. 1050-1059.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.