[논문]Anomaly Event Detection Algorithm of Single-person Households Fusing Vision, Activity, and LiDAR Sensors

Lee, Do-Hyeon; Ahn, Jun-Ho

doi:10.9708/jksci.2022.27.06.023

Anomaly Event Detection Algorithm of Single-person Households Fusing Vision, Activity, and LiDAR Sensors 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.27 no.6, 2022년, pp.23 - 31

Lee, Do-Hyeon (Dept of Software, Korea National University of Transportation) , Ahn, Jun-Ho (Dept of Software, Korea National University of Transportation)

초록
AI-Helper

최근 코로나 19가 유행하고 더불어 고령화 시대와 1인 가구 증가로 인해 가구 구성원이 집에서 다양한 활동을 하며 머무는 시간이 매우 증가하였다. 본 연구에서는 노인을 포함한 1인 가구의 구성원들의 이상 징후를 탐지하기 위한 알고리즘을 제안한다. 홈 CCTV를 통한 영상 센서 알고리즘, 스마트폰에 내장된 가속도 센서를 이용한 활동 센서 알고리즘 및 2D LiDAR 센서 기반의 LiDAR 센서 알고리즘을 이용한 사람의 움직임 및 낙상 탐지 결과를 기반으로 이상 징후를 탐지하는 알고리즘들을 제안한다. 하지만, 각 단일 센서 기반 알고리즘은 센서가 가진 한계점으로 인해 특정 상황에서 이상징후를 탐지하기 어려운 단점을 가지고 있다. 그에 따라 단일 센서 기반 알고리즘만을 사용한 것보다 다양한 상황에서 이상 징후를 탐지하기 위해 각 알고리즘을 결합하는 융합 방식을 제안한다. 우리는 각 센서로 수집한 데이터를 통해 알고리즘들의 성능을 평가하고, 특정 시나리오들을 통하여 알고리즘 하나만 사용하여 정확한 이상 징후를 탐지할 수 없는 상황에서도 융합 방식을 통해 서로 보완하여 정확한 이상 징후를 효율적으로 탐지할 수 있음을 보여준다.

Abstract ▼ AI-Helper

Due to the recent outbreak of COVID-19 and an aging population and an increase in single-person households, the amount of time that household members spend doing various activities at home has increased significantly. In this study, we propose an algorithm for detecting anomalies in members of single-person households, including the elderly, based on the results of human movement and fall detection using an image sensor algorithm through home CCTV, an activity sensor algorithm using an acceleration sensor built into a smartphone, and a 2D LiDAR sensor-based LiDAR sensor algorithm. However, each single sensor-based algorithm has a disadvantage in that it is difficult to detect anomalies in a specific situation due to the limitations of the sensor. Accordingly, rather than using only a single sensor-based algorithm, we developed a fusion method that combines each algorithm to detect anomalies in various situations. We evaluated the performance of algorithms through the data collected by each sensor, and show that even in situations where only one algorithm cannot be used to detect accurate anomaly event through certain scenarios we can complement each other to efficiently detect accurate anomaly event.

주제어

표/그림 (13)

그림 Fig. 1. Flow Chart of Vision Sensor Algorithm
그림 Fig. 2. Flow Chart of Activity Sensor Algorithm
그림 Fig. 3. Flow Chart of LiDAR Sensor Algorithm
그림 Fig. 4. Flow Chart of Fusion Algorithm based on Single Sensor
그림 Fig. 5. Human Detection using the Vision Sensor Algorithm
그림 Fig. 7. Y/X Ratio-based Falling Situation Detection
그림 Fig. 8. Y/X Ratio-based Sitting Situation Detection
그림 FIg. 6. Y/X Ratio-based Walking Situation Detection
그림 Fig. 9. Walking Impact Detection
그림 Fig. 10. Falling Impact Detection
그림 Fig. 11. YDLIDAR X4 2D LiDAR
그림 Fig. 12. Human Detection using the LiDAR Sensor Algorithm (Left : Standing, Right : Falling)
표 Table 1. Detectability based on Conditions for Each Sensor

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 사람의 움직임이 없는 상황뿐만 아니라 집 내부에서 가장 많이 일어나는 사고인 낙상을 감지하면서 사람의 이상 징후를 탐지할 수 있는 알고리즘을 제안한다. 2장에서는 단일 센서와 다중센서 기반 낙상 감지 알고리즘과 융합 기반 이상 징후 탐지 알고리즘과 관련된 연구를 소개하고, 3장에서는 기존 이상 징후 탐지 연구에서 개선된 알고리즘들과 제안하는 방식에 대하여 설명한 뒤 4장에서 실험을 통해 알고리즘들에 대한 성능을 평가하고 결과를 분석할 예정이다.

가설 설정

안드로이드 환경에서 개발된 애플리케이션은 각 3 축의 가속도 센서값과 그 값을 통해 계산한 High Peak 값, Low Peak 값, Impact 값을 단순출력하는 애플리케이션으로, Impact 값이 발생하게 되면 시간과 계산된 값들을 저장했다가 애플리케이션을 종료할 때 엑셀 파일 형태로 내부저장소에 저장된다. 실험은 해당 애플리케이션을 설치하여 실행 중인 스마트폰을 주머니에 넣어 소지한 채로 걷기, 뛰기, 계단 걷기 등의 일상 행동과 사람이 쓰러지는 것을 가정한 상황에서 실험을 진행하였다.
영상 센서 알고리즘 실험에 사용한 센서는 와이즈넷 사의 Pan&Tilt 홈 카메라로 한 장소에 고정되어 회전 기능, 소리 감지 등의 부가기능을 사용하지 않고 야간 촬영 기능만 적용하여 데이터를 수집하였으며, 일상생활뿐만 아니라 걷기, 앉기, 쓰러지기 등 다양한 상황을 가정하여 수집했다

제안 방법

본 논문에서는 영상, 활동, LiDAR 센서 기반 알고리즘들을 결합하여 사람의 움직임 및 낙상을 탐지를 기반으로 효율적으로 이상 징후를 탐지할 수 있는 융합 알고리즘을 제안했다. 각 알고리즘은 센서가 가진 한계점 때문에 특정 상황에서 이상 징후를 탐지할 수 없어 이를 해결하기 위해 융합 방식을 제안했다. 영상 센서와 2D LiDAR 센서는 실내공간에서 서로 보완하며 사람을 탐지하여 정확한 이상 징후를 탐지하고, 활동 센서는 실내를 벗어나 실외 환경에서도 이상 징후 탐지가 가능하다.
영상 데이터에서 사람을 탐지하기 위해 1-stage 기반 객체 탐지 알고리즘인 YOLOv4[18]를 사용했으며, 해당 알고리즘을 적용한 결과는 그림 5와 같다. 본 논문에서 제안하는 영상 센서 알고리즘은 사람의 낙상 및 움직임을 빠르게 판단하기 위해 사물을 제외하고 오직 사람 객체만 탐지하도록 설정하였다.
본 논문에서는 각각의 알고리즘이 가지고 있는 한계점을 보완하기 위해 단일 센서 알고리즘들의 융합 방식을 제안한다. 영상 센서 알고리즘은 한 장소에 고정된 센서로 데이터를 수집하기 때문에 탐지 범위를 벗어나거나 고정된 장애물에 의해 사람을 탐지할 수 없는 경우가 발생할 수 있다.
본 논문에서는 영상, 활동, LiDAR 센서 기반 알고리즘들을 결합하여 사람의 움직임 및 낙상을 탐지를 기반으로 효율적으로 이상 징후를 탐지할 수 있는 융합 알고리즘을 제안했다. 각 알고리즘은 센서가 가진 한계점 때문에 특정 상황에서 이상 징후를 탐지할 수 없어 이를 해결하기 위해 융합 방식을 제안했다.
본 연구는 사람을 탐지한 Bounding Box 결과로 낙상 및 움직임 탐지를 통해 이상 징후를 판단하는 영상 센서 알고리즘을 제안하였다. 그림 5의 왼쪽 위부터 순서대로 가만히 서 있기, 쓰러지기, 의자에 앉기, 걷는 상황에서 사람을 탐지하고 있는 결과로, 사람의 일부가 영상에서 벗어나거나 사물에 가려지는 상황에서도 정확하게 사람을 탐지할 수 있다.
단일 센서 기반 알고리즘들의 융합 방식을 통해 다중센서를 구현하여 사람의 이상 징후를 탐지하는 알고리즘의 연구[16, 17]를 진행하였다. 영상, 음성, 먼지 센서 등 다양한 센서들을 활용하여 사람의 이상 징후를 탐지할 수 있는 알고리즘들을 연구하였다. 여기서 이상 징후는 일정 시간 동안 사람의 움직임이 없는 사람의 도움이 필요한 상황으로 정의하고 있다.
우리는 단일 센서를 사용한 각 낙상 감지 알고리즘의 실험을 진행하고 그에 따른 결과를 구하였다. 영상 센서 알고리즘 실험에 사용한 센서는 와이즈넷 사의 Pan&Tilt 홈 카메라로 한 장소에 고정되어 회전 기능, 소리 감지 등의 부가기능을 사용하지 않고 야간 촬영 기능만 적용하여 데이터를 수집하였으며, 일상생활뿐만 아니라 걷기, 앉기, 쓰러지기 등 다양한 상황을 가정하여 수집했다.
각 단일 센서 알고리즘 실험결과를 봤을 때 서 있기, 걷기, 쓰러지는 행동들의 인식과 움직임 탐지가 가능했지만, 센서마다 탐지할 수 없는 상황이 달랐다. 이를 기반으로, 특정 상황의 조건에 따라서 융합 방식을 통해 각 단일 센서 알고리즘이 서로 보완하여 이상 징후를 탐지할 수 있는지 확인하기 위해 실험을 진행하였다. 표 1은 각 단일 센서 알고리즘 실험에서 같은 조건과 행동으로 실험을 진행한 결과를 정리한 것이다.
우리의 기존 연구에서는 사람의 움직임 유무만으로 이상 징후를 판단하여 가만히 앉아있는 행동과 같이 특정 행동에서 이상 징후로 탐지되는 한계점이 존재했다. 이를 보완하기 위하여 사람의 낙상을 감지할 수 있는 낙상 감지 알고리즘을 결합했다. 사람이 일정 시간 동안 움직임이 없기 전에 낙상이 감지되지 않았다면 이상 징후로 판단하지 않고, 낙상이 감지되고 그 후에 움직임이 없다고 탐지하면 이상 징후로 판단한다.

대상 데이터

LiDAR 센서에서 수집한 데이터는 포인트-클라우드 데이터로 영상 센서의 이미지 데이터와 다르게 프라이버시 문제를 방지할 수 있다. 또한, LiDAR 센서 알고리즘은 단순한 움직임 탐지만 가능한 영상 센서 알고리즘보다 이차원적 정보를 통해 구체적인 위치 정보를 수집할 수 있다.
그림 11은 LiDAR 센서 알고리즘 실험에서 사용한 센서는 YD LIDAR 사의 X4 2D LiDAR로, 6-12Hz의 스캔 주파수로 360도 회전하면서 10m 범위까지 거리를 측정할 수 있다. 2D LiDAR로 수집한 데이터는 Point Cloud 형태로 SLAM 기술을 이용하여 물체와 벽을 구분한 결과는 그림 12와 같다.

이론/모형

영상 센서 알고리즘 실험에 사용한 센서는 와이즈넷 사의 Pan&Tilt 홈 카메라로 한 장소에 고정되어 회전 기능, 소리 감지 등의 부가기능을 사용하지 않고 야간 촬영 기능만 적용하여 데이터를 수집하였으며, 일상생활뿐만 아니라 걷기, 앉기, 쓰러지기 등 다양한 상황을 가정하여 수집했다. 영상 데이터에서 사람을 탐지하기 위해 1-stage 기반 객체 탐지 알고리즘인 YOLOv4[18]를 사용했으며, 해당 알고리즘을 적용한 결과는 그림 5와 같다. 본 논문에서 제안하는 영상 센서 알고리즘은 사람의 낙상 및 움직임을 빠르게 판단하기 위해 사물을 제외하고 오직 사람 객체만 탐지하도록 설정하였다.
영상 센서를 통해 수집한 영상 데이터에서 객체 탐지 알고리즘을 사용하여 사람을 탐지한다. 이때 사람을 탐지했다면 사람 객체의 Bounding Box 정보를 기반으로 낙상 및 움직임을 탐지한다.
활동 센서 알고리즘은 스마트폰에서 가속도 센서값을 측정하기 위해 개발한 애플리케이션을 통해 실험을 진행하였다. 안드로이드 환경에서 개발된 애플리케이션은 각 3 축의 가속도 센서값과 그 값을 통해 계산한 High Peak 값, Low Peak 값, Impact 값을 단순출력하는 애플리케이션으로, Impact 값이 발생하게 되면 시간과 계산된 값들을 저장했다가 애플리케이션을 종료할 때 엑셀 파일 형태로 내부저장소에 저장된다.

성능/효과

각 단일 센서 알고리즘 실험결과를 봤을 때 서 있기, 걷기, 쓰러지는 행동들의 인식과 움직임 탐지가 가능했지만, 센서마다 탐지할 수 없는 상황이 달랐다. 이를 기반으로, 특정 상황의 조건에 따라서 융합 방식을 통해 각 단일 센서 알고리즘이 서로 보완하여 이상 징후를 탐지할 수 있는지 확인하기 위해 실험을 진행하였다.
하지만, 활동 센서 알고리즘은 구성원이 스마트폰을 소지하지 않았다면 실내에서조차 이상 징후를 탐지할 수 없는 단점을 가지고 있다. 각 알고리즘은 임계 값으로 낙상 탐지와 이상 징후를 판단하면서 주로 앉아있는 상황을 움직임이 없다고 판단하거나 휴식을 위해 눕는 사람을 낙상으로 탐지할 수가 있었지만, 지속적인 실험을 통해 적절한 임계 값을 설정하여 오차를 최대한 줄일 수 있었다. 우리는 영상, LiDAR, 활동 센서 알고리즘을 결합한 융합 알고리즘을 통해 실내외, 스마트폰 소지 여부와 상관없이 이상 징후를 탐지할 수 있었다.
각 알고리즘은 센서가 가진 한계점 때문에 특정 상황에서 이상 징후를 탐지할 수 없어 이를 해결하기 위해 융합 방식을 제안했다. 영상 센서와 2D LiDAR 센서는 실내공간에서 서로 보완하며 사람을 탐지하여 정확한 이상 징후를 탐지하고, 활동 센서는 실내를 벗어나 실외 환경에서도 이상 징후 탐지가 가능하다. 직접 수집한 데이터와 다양한 상황 및 조건 시나리오에서 이상 징후 탐지 실험을 통해 융합 방식을 통해 각 센서가 가진 한계점을 보완할 수 있음을 확인하였다.
각 알고리즘은 임계 값으로 낙상 탐지와 이상 징후를 판단하면서 주로 앉아있는 상황을 움직임이 없다고 판단하거나 휴식을 위해 눕는 사람을 낙상으로 탐지할 수가 있었지만, 지속적인 실험을 통해 적절한 임계 값을 설정하여 오차를 최대한 줄일 수 있었다. 우리는 영상, LiDAR, 활동 센서 알고리즘을 결합한 융합 알고리즘을 통해 실내외, 스마트폰 소지 여부와 상관없이 이상 징후를 탐지할 수 있었다.
영상 센서와 2D LiDAR 센서는 실내공간에서 서로 보완하며 사람을 탐지하여 정확한 이상 징후를 탐지하고, 활동 센서는 실내를 벗어나 실외 환경에서도 이상 징후 탐지가 가능하다. 직접 수집한 데이터와 다양한 상황 및 조건 시나리오에서 이상 징후 탐지 실험을 통해 융합 방식을 통해 각 센서가 가진 한계점을 보완할 수 있음을 확인하였다. 추후 연구로는 다양한 센서와 낙상뿐만 아니라 다양한 사람의 행동을 탐지한 일상생활 패턴 분석을 통해 더 정확한 이상 징후 탐지 연구를 할 예정이다.
한 장소에 고정돼서 탐지가 가능한 범위가 제한된 영상 센서 알고리즘의 단점은 로봇청소기와 같이 이동 가능한 로봇에 내장된 LiDAR 센서 알고리즘으로 해결할 수 있다. LiDAR 센서 알고리즘의 탐지 정확도는 LiDAR 센서 성능에 영향을 받기 때문에 가구 구성원이 주로 생활하는 장소에서는 영상 센서 알고리즘을 통해 이상 징후를 정확하게 탐지할 수 있다.

후속연구

직접 수집한 데이터와 다양한 상황 및 조건 시나리오에서 이상 징후 탐지 실험을 통해 융합 방식을 통해 각 센서가 가진 한계점을 보완할 수 있음을 확인하였다. 추후 연구로는 다양한 센서와 낙상뿐만 아니라 다양한 사람의 행동을 탐지한 일상생활 패턴 분석을 통해 더 정확한 이상 징후 탐지 연구를 할 예정이다.

참고문헌 (18)

KCCI, "Perspectives of "A survey on changes in consumption behavior and implications in the COVID-19 era," http://www.korcham.net/nCham/Service/Economy/appl/KcciReportDetail.asp?SEQ_NO_C01020120933952&CHAM_CDB001
KOSTAT, "2020 Population and Housing Census," https://kostat.go.kr/portal/korea/kor_nw/1/2/2/index.board?bmoderead&aSeq391020&pageNo&rowNum10&amSeq&sTarget&sTxt
MOIS, "Resident registration demographics," https://jumin.mois.go.kr/
Seoul 50 Plus Foundation, "A Study on the Solitary Death of Middle-aged People by Analysis of Single-person Household Cahracteristics", https://50plus.or.kr/org/detail.do?id15001507
NARS, "Problems and Improvement Tasks of Funeral for the Unrelated Death," https://www.nars.go.kr/report/view.do?cmsCodeCM0018&brdSeq36212
KBS, "A dog that protected the death of an elderly person living alone in Brazil. Shade of "Lonely Death" in Korea," https://news.kbs.co.kr/news/view.do?ncd5314741
KCA, "A press release for analyzing trends in safety accidents for the elderly," https://www.kca.go.kr/smartconsumer/sub.do?menukey7301&modeview&no1002931735&page6
NBN News, "Gumi City Prevents Solitary Deaths of Single-person Households by Installing Smart Plugs," http://www.nbnnews.co.kr/news/articleView.html?idxno667523
X. Wang, and K. Jia, "Human fall detection algorithm based on YOLOv3," IEEE 5th International Conference on Image, Vision and Computing (ICIVC), pp. 50-54, 2020. DOI: https://doi.org/10.1109/ICIVC50857.2020.9177447
K. De Miguel, A. Brunete, M. Hernando and E. Gambao, "Home camera-based fall detection system for the elderly," Sensors, Vol. 17, No. 12: 2864, 2017. DOI: https://doi.org/10.3390/s17122864

상세보기
P. Van Thanh, D. T. Tran, D. C. Nguyen, N. Duc Anh, D. Nhu Dinh, S. El-Rabaie and K. Sandrasegaran, "Development of a real-time, simple and high-accuracy fall detection system for elderly using 3-DOF accelerometers," Arabian Journal for Science and Engineering, Vol. 44, No. 4, pp. 3329-3342, 2019. DOI: https://doi.org/10.1007/s13369-018-3496-4

상세보기
J. S. Lee, and H. H. Tseng, "Development of an enhanced threshold-based fall detection system using smartphones with built-in accelerometers," IEEE Sensors Journal, Vol. 19, No. 18, pp. 8293-8302, 2019. DOI: https://doi.org/10.1109/JSEN.2019.2918690

상세보기
I. N. Figueiredo, C. Leal, L. Pinto, J. Bolito and A. Lemos, "Exploring smartphone sensors for fall detection," mUX: the journal of mobile user experience, Vol. 5, No. 1, pp. 1-17, 2016. DOI: https://doi.org/10.1186/s13678-016-0004-1

상세보기
H. Miawarni, T. A. Sardjono, E. Setijadi, D. Arraziqi, A. B. Gumelar and M. H. Purnomo, "Fall detection system for elderly based on 2d lidar: a preliminary study of fall incident and activities of daily living (ADL) detection," 2020 International Conference on Computer Engineering, Network, and Intelligent Multimedia (CENIM), pp. 1-5, 2020. DOI: https://doi.org/10.1109/CENIM51130.2020.9298000
F. Luo, S. Poslad and E. Bodanese, "Temporal convolutional networks for multiperson activity recognition using a 2-d lidar," IEEE Internet of Things Journal, Vol. 7, No. 8, pp. 7432-7442, 2020. DOI: https://doi.org/10.1109/JIOT.2020.2984544

상세보기
D. H. Kim and J. H. Ahn, "Intelligent Abnormal Situation Event Detections for Smart Home Users Using Lidar, Vision, and Audio Sensors," Journal of Internet Computing and Services, Vol. 22, No. 3, pp. 17-26, 2021. DOI: https://doi.org/10.7472/jksii.2021.22.3.17

원문보기 상세보기
J. H. Jung, D. H. Lee, S. S. Kim and J. H. Ahn, "Deep Learning-Based User Emergency Event Detection Algorithms Fusing Vision, Audio, Activity and Dust Sensors," Journal of Internet Computing and Services, Vol. 21, No. 5, pp. 109-118, 2020. DOI: https://doi.org/10.7472/jksii.2020.21.5.109

원문보기 상세보기
A. Bochkovskiy, C. Y. Wang and H. Y. M. Liao, "Yolov4: Optimal speed and accuracy of object detection," arXiv preprint arXiv:2004.10934, 2020. DOI: https://doi.org/10.48550/arXiv.2004.10934

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증