[논문]스마트 홈 사용자를 위한 라이다, 영상, 오디오 센서를 이용한 인공지능 이상징후 탐지 알고리즘

김다현; 안준호

doi:10.7472/jksii.2021.22.3.17

스마트 홈 사용자를 위한 라이다, 영상, 오디오 센서를 이용한 인공지능 이상징후 탐지 알고리즘
Intelligent Abnormal Situation Event Detections for Smart Home Users Using Lidar, Vision, and Audio Sensors 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.22 no.3, 2021년, pp.17 - 26

김다현 (Dept. of Software, Korea National University of Transportation) , 안준호 (Dept. of Software, Korea National University of Transportation)

초록
AI-Helper

최근 COVID-19가 확산하고 외출 자제 권고와 같은 방역지침에 따라 집에서 생활하는 시간이 늘고 있다. 이에 따라 집에서 생활하는 1인 가구가 증가하고 있지만 1인 가구는 다인 가구보다 집 안에서 위급한 상황이 발생할 때 외부에 알리기 어렵다. 본 연구는 집안에서 발생하는 다양한 상황을 라이다, 영상, 음성 센서로 수집하고 센서에 따른 데이터를 각각의 알고리즘을 통해 분석하였다. 이를 이용해 위급상황 등의 비정상 패턴을 분석하여 사람의 이상징후를 탐지하는 연구를 진행했다. 각 센서에 따른 사람의 이상징후를 탐지하는 인공지능 알고리즘을 연구하였으며 센서에 따른 이상징후 탐지 정확도를 측정했다. 또한, 본 연구는 다양한 상황에 대한 센서의 탐지 가능 여부를 실험하여 센서 간의 장단점을 보완한 융합 방식을 제안한다.

Abstract ▼ AI-Helper

Recently, COVID-19 has spread and time to stay at home has been increasing in accordance with quarantine guidelines of the government such as recommendations to refrain from going out. As a result, the number of single-person households staying at home is also increasingsingle-person households are less likely to be notified to the outside world in times of emergency than multi-person households. This study collects various situations occurring in the home with lidar, image, and voice sensors and analyzes the data according to the sensors through their respective algorithms. Using this method, we analyzed abnormal patterns such as emergency situations and conducted research to detect abnormal signs in humans. Artificial intelligence algorithms that detect abnormalities in people by each sensor were studied and the accuracy of anomaly detection was measured according to the sensor. Furthermore, this work proposes a fusion method that complements the pros and cons between sensors by experimenting with the detectability of sensors for various situations.

주제어

표/그림 (14)

그림 (그림 1) 이상징후 탐지 알고리즘 개념도 (Figure 1) Abnormal Situation Event Detection Algorithm Conceptual diagram
그림 (그림 2) 2D 라이다 알고리즘 구조 (Figure 2) Flow chart of the 2D LiDAR algorithm
그림 (그림 3) 영상 알고리즘 구조 (Figure 3) Flow chart of the vision algorithm
그림 (그림 4) 음성 알고리즘 구조 (Figure 4) Flow chart of the audio algorithm
그림 (그림 5) 융합 방식 구조 (Figure 5) Flow chart of the fusion method
그림 (그림 6) X4 2D 라이다 (Figure 6) X4 2D LiDAR sensor
그림 (그림 7) 라이다를 이용하여 물체 추정 결과 (Figure 7) The Result of the object detections using the LiDAR sensor
그림 (그림 8) 라이다를 통해 탐지된 객체의 움직임, a)는 객체의 움직임 패턴 결과, b)는 객체가 움직이지 않는 패턴 결과 (Figure 8) Movement of object detected through LiDAR, a) is movement of object patten result, b) is not movement of object patten result
표 (표 1) 라이다 알고리즘의 탐지 성능 (Table 1) The detection performance result of the LiDAR algorithm
그림 (그림 9) YOLOv4를 이용한 객체탐지 결과 (Figure 9) The Result of the vision object detections using YOLOv4
그림 (그림 10) 영상 알고리즘을 이용하여 객체탐지 결과 (Figure 10) Exapmles of the object detection result using the vision algorithm
표 (표 2) 영상 알고리즘의 이상징후 탐지 성능 (Table 2) The result of user event detections using the vision algorithm
표 (표 3) 음성 알고리즘의 탐지 성능 (Table 3) The performance result of the audio algorithm
표 (표 4) 융합 방식을 통한 이상징후 탐지 가능 여부 (Table 4) Unusual user event detections using the fusion method

AI 본문요약
AI-Helper

문제 정의

영상 센서는 제한된 구역만 감지할 수 있으며 라이다의 경우 로봇 청소기 등에 부착된 저렴한 2D 라이다를 이용하기 때문에 정확한 상황판단이 힘들다. 따라서 본 연구에서는 다양한 상황에서 연구하여 상황에 따른 센서들의 사용 가능 여부를 조사하고 센서를 융합한 알고리즘을 제안한다. 연구에 대한 개념도는 그림 1을 보면 알 수 있다.

제안 방법

본 연구를 통해서 라이다, 영상, 음성 알고리즘을 이용하여 1인 가구에서 발생하는 사용자의 비정상적인 패턴인 이상징후를 탐지했다. 라이다의 경우 사람의 움직임패턴을 분석하여 움직이는 경우 대략 0.
표 4는 집 안에서 발생할 수 있는 9개의 정상적인 상황과 3개의 비정상적인 상황에 대해서 알고리즘의 이상징후 탐지 가능 여부를 나타내고 있다. 본 연구에서 제안하는 융합 알고리즘은 각 센서 알고리즘이 상호보완적으로 사용된다. 만약 청소기를 사용하는 상황이라면 음성 센서는 이상징후를 탐지할 수 없지만, 영상 센서를 이용해 사람의 행동 패턴을 분석하여 이상징후를 탐지할 수 있다.
본 연구에서는 각 센서의 알고리즘을 통하여 이상징후를 탐지하는 실험을 진행하고 각 알고리즘에 따른 결과를 구하였다.
음성 알고리즘의 경우 생활 속 다양한 노이즈로 인해 탐지의 정확도가 낮아지며 오판의 가능성이 크다. 본 연구에서는 라이다와 영상, 음성 알고리즘을 동시에 사용함으로써 넓은 범위를 탐지하며 정확도를 높였다. 알고리즘 Flow chart는 그림 5와 같으며 다양한 상황에서 각 센서가 탐지한 결과를 분석하여 이상징후를 판단한다.
본 연구에서는 집 안에 있는 로봇 청소기, 인공지능 스피커, 홈 CCTV 등 다양한 IoT 사물의 센서를 활용하여 1 인 가구의 패턴을 파악하고 수집된 패턴과 데이터에 따른 각각의 알고리즘과 융합 알고리즘을 통해 사용자의 비정상적인 패턴인 이상징후를 판단한다. 이때 이상징후는 갑작스러운 변화나 장시간의 무 변화 등 자연스럽지 않은 비정상의 패턴을 뜻한다.
사용하는 모델은 COCO 데이터를 이용하여 학습된 모델로 객체를 탐지하여 객체가 어떤 것을 나타내는지 80개의 라벨로 분류하게 된다. 본 연구에서는 탐지된 객체를 바탕으로 객체가 가지는 경계상자의 값과 라벨의 이름을 이용하여 사람인지 사물인지 구분하고 이때, 사람으로 판단된 객체의 움직임을 분석한다. OpenCV를 이용하여 객체가 비정상적 패턴을 탐지한다.
특정 패턴의 소리가하루 이상 지속 되는 경우 집 안에서 이상징후가 발생했다고 판단했다. 본 연구의 알고리즘은 음성 데이터의 패턴을 분석하여 데이터가 어떠한 소리 유형에 가까운지 분류했다. 분류 가능한 소리 유형에는 대화 소리, 노이즈 낀 소리, 조용한 소리가 있다.
알고리즘을 융합하여 이상징후 탐지 정확도를 높이기 위해 각 상황에 따른 알고리즘 및 센서 사용 가능 여부를 실험하였다. 표 4는 집 안에서 발생할 수 있는 9개의 정상적인 상황과 3개의 비정상적인 상황에 대해서 알고리즘의 이상징후 탐지 가능 여부를 나타내고 있다.
이때 이상징후는 갑작스러운 변화나 장시간의 무 변화 등 자연스럽지 않은 비정상의 패턴을 뜻한다. 음성, 영상, 라이다를 이용하여 패턴 분석하고 이상징후 판단하는 알고리즘을 제안한다. 하지만 단일 센서만으로 이상징후를 판단하는 경우 제한상황이 발생할 수 있다.

대상 데이터

라이다는 360도 전 방향 스캔하며 6~12Hz의 스캔 주파수를 갖는다. 본 연구에서는 Ubuntu 18.04 OS 환경에 Ros Melodic 버전을 이용하여 라이다를 사용하였다.
본 연구에서는 총 216개의 위치 정보를 얻었으며 이에 따라 움직일 때의 정확도와 움직임이 없을 때의 정확도는 표 1과 같다. 본 연구에서는 사람으로 분류된 객체에 움직임이 하루 이상 No-MOVE와 같이 나타나는 경우 이상징후가 발생했다 판단했다.
분류 가능한 3가지 소리에 따라 유투브 동영상과 직접 녹음한 음성파일을 이용하여 실험하였다. 각각의 소리마다 5개의 씩의 음성 파일을 수집하여 나타낸 결과는 그림 11과 같다.
그림9에서는 탐지한 객체가 어떤 객체인지 분류하여 라벨을 붙이고 어느 정도의 비율로 해당 라벨로 분류되었는지 같이 표시되고 있다. 영상 데이터는 홈 CCTV를 이용하여 실제 1인 가구와 같은 환경에서 수집했다. 홈 CCTV는 1초에 30프레임을 얻을 수 있으며 눕거나, 움직이는 등 다양한 상황을 연출하여 영상을 수집하였다.
영상 데이터는 홈 CCTV를 이용하여 실제 1인 가구와 같은 환경에서 수집했다. 홈 CCTV는 1초에 30프레임을 얻을 수 있으며 눕거나, 움직이는 등 다양한 상황을 연출하여 영상을 수집하였다. 본 연구의 알고리즘은 YOLOv4 모델을 통해 객체를 탐지한 뒤 기존에 연구된 OpenCV를 사용한 컴퓨터 비전 알고리즘으로 움직임과 패턴을 분석하였다.

데이터처리

이때 물체로 추정된 point cloud의 집합은 초록과 빨강으로 이루어진 원으로 나타나며 벽으로 추정되는 부분은 파란색 선으로 나타내고 있다. 그리고 라이다가 스캔하여 얻어내는 point cloud는 빨간색 점으로 나타나고 동시에 라이다만으로 Mapping이 가능한 Hector Mapping을 이용하여 Mapping 하였다. Mapping 결과는 회색으로 채워져 있으며 채워진 부분은 사람이 움직일 수 있는 범위이다.
이러한 움직임이 비정상적일 경우 이상징후라 탐지했다. 본 연구에서는 수집한 영상 중 객체가 탐지된 120개의 데이터에서 알고리즘의 정확도를 Recall, Precision, Accuracy를 구하고 이를 표 2에 나타냈다.

이론/모형

홈 CCTV는 1초에 30프레임을 얻을 수 있으며 눕거나, 움직이는 등 다양한 상황을 연출하여 영상을 수집하였다. 본 연구의 알고리즘은 YOLOv4 모델을 통해 객체를 탐지한 뒤 기존에 연구된 OpenCV를 사용한 컴퓨터 비전 알고리즘으로 움직임과 패턴을 분석하였다. 연산의 과정을 줄이기 위해 모든 프레임에서 객체를 탐지하는 것이 아닌 5초에 1번씩 객체를 탐지하였다.
영상 알고리즘은 홈 CCTV를 활용하여 이상징후를 판단하였다. 홈 CCTV는 일반적인 단안 카메라로 집안의 상황을 실시간으로 촬영한다.
홈 CCTV를 통해 녹화된 영상에서 실시간 탐지를 위해 5초에 한 번 객체를 탐지한다. 탐지 시 YOLO를 이용하여 학습시킨 모델을 사용하는데 다양한 YOLO 버전 중 YOLOv4를 사용하였다. YOLOv4는 이전에 개발된 알고리즘들에 비해 속도 및 정확도가 월등히 높다.

성능/효과

하지만 실제 상황에서 사각지대나 제한상황이 발생할 경우를 단일 센서의 담지 정확도는 더 낮아질 수 있다. 단일 알고리즘뿐만 아니라 융합 알고리즘을 제안하여 이상징후를 잘못 판단할 경우 각 센서가 서로 보완할 수 있게 하였다. 차후 연구를 통해 각 센서를 통한 탐지의 정확도 및 융합 알고리즘의 정확도를 높여서 1인 가구에서 발생할 수 있는 위험을 예방하는데 도움을 줄 수 있을 것이다.
본 연구를 통해서 라이다, 영상, 음성 알고리즘을 이용하여 1인 가구에서 발생하는 사용자의 비정상적인 패턴인 이상징후를 탐지했다. 라이다의 경우 사람의 움직임패턴을 분석하여 움직이는 경우 대략 0.95의 탐지 정확도 나타내고 움직이지 않는 경우 대략 0.87의 탐지 정확도를 나타내고 있다. 카메라를 이용한 경우 대략 0.
87의 탐지 정확도를 나타내고 있다. 카메라를 이용한 경우 대략 0.89의 정확도를 나타내며 음성 센서를 이용한 경우 각 상황에 따라 말하는 경우 약 0.71의 정확도를 나타내며 노이즈가 낀 경우 0.56의 정확도를 나타내고 조용한 경우에는 0.85의 정확도를 나타내고 있다. 하지만 실제 상황에서 사각지대나 제한상황이 발생할 경우를 단일 센서의 담지 정확도는 더 낮아질 수 있다.

후속연구

단일 알고리즘뿐만 아니라 융합 알고리즘을 제안하여 이상징후를 잘못 판단할 경우 각 센서가 서로 보완할 수 있게 하였다. 차후 연구를 통해 각 센서를 통한 탐지의 정확도 및 융합 알고리즘의 정확도를 높여서 1인 가구에서 발생할 수 있는 위험을 예방하는데 도움을 줄 수 있을 것이다.

참고문헌 (20)

The Statistics Korea, "2020 Statistics show single-person households", 2020. http://kostat.go.kr/portal/korea/kor_nw/1/1/index.board?bmoderead&aSeq386517
Korea Mutual-aid News, "The soaring rise of elderly lonely deaths, Urgent need for a social safety net", 2020. https://www.kongje.or.kr/news/articleView.html?idxno880
The Science Times, "How has your lifestyle changed since COVID-19?", 2020. https://www.sciencetimes.co.kr/news/%EC%BD%94%EB%A1%9C%EB%82%98-%EC%9D%B4%ED%9B%84-%EB%9D%BC%EC%9D%B4%ED%94%84-%EC%8A%A4%ED%83%80%EC%9D%BC%EC%9D%80-%EC%96%B4%EB%96%BB%EA%B2%8C-%EB%B3%80%ED%96%88%EB%82%98/#.YCvUs4HVA8Y.link
Yonhapnews, "AI speaker saved for the elderly living alone", 2020. https://www.yna.co.kr/view/AKR20200803102200052
Csaba Benedek, "3D people surveillance on range data sequences of a rotating Lidar", Pattern Recognition Letters, Vol. 50, pp. 149-158, 2014. https://doi.org/10.1016/j.patrec.2014.04.010

상세보기
Z. Ma, J. Bigham, S. Poslad, B. Wu, X. Zhang and E. Bodanese, "Device-Free, Activity During Daily Life, Recognition Using a Low-Cost Lidar", IEEE Global Communications Conference (GLOBECOM) ,pp. 1-6, 2018. https://doi.org/10.1109/GLOCOM.2018.8647251
M. Przybyla, "Detection and tracking of 2D geometric obstacles from LRF data," 2017 11th International Workshop on Robot Motion and Control (RoMoCo), pp. 135-141, 2017. https://doi.org/10.1109/RoMoCo.2017.8003904
C. Premebida, O. Ludwig and U. Nunes, "Exploiting LIDAR-based features on pedestrian detection in urban scenarios", 12th International IEEE Conference on Intelligent Transportation Systems, pp. 1-6, 2009. https://doi.org/10.1109/ITSC.2009.5309697
Dan Jia, Mats Steinweg, Alexander Hermans, Bastian Leibe, "Self-Supervised Person Detection in 2D Range Data using a Calibrated Camera", arXiv, 2020. https://arxiv.org/abs/2012.08890
Tslil, Or and Elbaz, Amit and Feiner, Tal and Carmi, Avishy, "Representing and updating objects' identities in semantic SLAM", IEEE 23rd International Conference on Information Fusion (FUSION), Rustenburg, South Africa, pp. 1-7, 2020. https://doi.org/10.23919/FUSION45008.2020.9190524
Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation", arXiv, 2014. https://arxiv.org/abs/1311.2524
Ross Girshick, "Fast R-CNN", International Conference on Computer Vision(ICCV), 2015. https://arxiv.org/abs/1504.08083
He, Kaiming and Zhang, Xiangyu and Ren, Shaoqing and Sun, Jian, "Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition", Lecture Notes in Computer Science, pp. 346-361, 2014. http://dx.doi.org/10.1007/978-3-319-10578-9_23

상세보기
Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, "You Only Look Once: Unified, Real-Time Object Detection", arXiv, 2016. https://arxiv.org/abs/1506.02640
S. Cosar, G. Donatiello, V. Bogorny, C. Garate, L. O. Alvares and F. Bremond, "Toward Abnormal Trajectory and Event Detection in Video Surveillance", IEEE Transactions on Circuits and Systems for Video Technology, Vol. 27, No. 3, pp. 683-695, March 2017. https://doi.org/10.1109/TCSVT.2016.2589859

상세보기
L. Vuegen, B. V. Broeck, P. Karsmakers, J. Gemmeke, B. Vanrumste, H. V. hamme, "An MFCC GMM approach for event detection and classification", IEEE AASP Challenge on Detection and Classification of Acoustic Scenes and Events, 2013. https://limo.libis.be/primo-explore/fulldisplay?docidLIRIAS2349843&contextL&vidLirias&search_scopeLirias&tabdefault_tab&langen_US
Xilin Yu, Laishuan Wang, Xian Zhao, Chunmei Lu, Xi Long, Wei Chen, "An Investigation into Audio Features and DTW Algorithms for Infant Cry Classification", Association for Computing Machinery, No. 06, pp. 54-59, 2019. https://doi.org/10.1145/3375923.3375929
Huy Phan, Lars Hertel, Marco Maass, Philipp Koch, Radoslaw Mazur, Alfred Mertins, "Improved Audio Scene Classification Based on Label-Tree Embeddings and Convolutional Neural Networks", IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 25, 2017. https://doi.org/10.1109/TASLP.2017.2690564

상세보기
Ju-Ho Jung, Jun-Ho Ahn, "Intelligent User Pattern Recognition based on Vision, Audio and Activity for Abnormal Event Detections of Single Households", Korean Society of Computer Information, Vol. 24, No. 5, pp. 59-66, 2019. https://doi.org/10.9708/JKSCI.2019.24.05.059

원문보기 상세보기
R. Bardeli and D. Stein, "Uninformed Abnormal Event Detection on Audio," Speech Communication, 10. ITG Symposium, Braunschweig, Germany, pp. 1-4, 2012. https://ieeexplore.ieee.org/stamp/stamp.jsp?tp&arnumber6309608

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증