$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

영상, 음성, 활동, 먼지 센서를 융합한 딥러닝 기반 사용자 이상 징후 탐지 알고리즘
Deep Learning-Based User Emergency Event Detection Algorithms Fusing Vision, Audio, Activity and Dust Sensors 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.21 no.5, 2020년, pp.109 - 118  

정주호 (Dept. of Software, Korea National University of Transportation) ,  이도현 (Dept. of Software, Korea National University of Transportation) ,  김성수 (Dept. of Software, Korea National University of Transportation) ,  안준호 (Dept. of Software, Korea National University of Transportation)

초록
AI-Helper 아이콘AI-Helper

최근 다양한 질병 때문에 사람들은 집 안에서 많은 시간을 보내고 있다. 집 안에서 다치거나 질병에 감염되어 타인의 도움이 필요한 1인 가구의 경우 타인에게 도움을 요청하기 어렵다. 본 연구에서는 1인 가구가 집 안에서 부상이나 질병 감염 등 타인의 도움이 필요로 하는 상황인 이상 징후를 탐지하기 위한 알고리즘을 제안한다. 홈 CCTV를 이용한 영상 패턴 탐지 알고리즘인공지능 스피커 등을 이용한 음성 패턴 탐지 알고리즘, 스마트폰의 가속도 센서를 이용한 활동 패턴 탐지 알고리즘, 공기청정기 등을 이용한 먼지 패턴 탐지 알고리즘을 제안한다. 하지만, 홈 CCTV의 보안 문제로 사용하기 어려울 경우 음성, 활동, 먼지 패턴 센서를 결합한 융합 방식을 제안한다. 각 알고리즘은 유튜브와 실험을 통해 데이터를 수집하여 정확도를 측정했다.

Abstract AI-Helper 아이콘AI-Helper

Recently, people are spending a lot of time inside their homes because of various diseases. It is difficult to ask others for help in the case of a single-person household that is injured in the house or infected with a disease and needs help from others. In this study, an algorithm is proposed to d...

주제어

표/그림 (17)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 그림 5의 (a)는 원본 영상을 의미하며 (b)는 Faster R-CNN Inception v2 알고리즘을 통해 탐지를 하고 물체별 탐지 결과에 대한 Bounding box와 탐지 Class 및 정확도를 나타낸다. 그림 5의 (c)는 영상의 첫 프레임을 Gray 이미지로 복사한 후에 사람이라고 탐지된 물체의 중간 영역에 파란색 원을 그리고 사물이라고 탐지되는 물체의 영역에는 빨간색 원을 그려 시각적으로 물체의 움직임을 파악하고자 했다. 그림 5의 (d)는 Opencv를 이용하여 움직이는 물체와 배경을 감산하여 움직임이 발생될 수록 밝아지도록 하였으며 움직이는 물체에 대해 시각적으로 확인할 수 있다.
  • 본 연구에서는 각 알고리즘의 성능을 평가하기 위해 유튜브를 통해 수집한 데이터와 자체적으로 실험을 통해 수집한 데이터를 통해 알고리즘의 성능을 평가했다. 영상 패턴 알고리즘은 유튜브를 통해 수집한 영상 데이터 및 자체적으로 실험한 데이터를 기반으로 했으며 알고리즘의 성능은 표 1과 같다.
  • 스마트폰의 가속도 센서를 사용하는 이유는 스마트폰 종류는 굉장히 다양하며 스마트폰의 가격대에 따라 내장된 센서의 종류도 다양하지만 대부분의 스마트폰에는 가속도 센서가 내장되어 있다. 본 연구에서는 대부분의 스마트폰에 내장되어 있는 가속도 센서를 이용하여 효율적으로 사람의 움직임 또는 이상 징후를 탐지하고자 한다.
  • 본 연구에서는 영상, 음성, 활동, 먼지 센서를 이용하여 사람의 움직임 또는 이상 징후 상태를 효과적으로 탐지하는 패턴 탐지 알고리즘을 제안했다. 또한, 보안 문제로 영상 패턴 알고리즘을 사용하지 못할 경우 음성, 활동, 먼지 패턴 알고리즘을 통해 이상 징후를 탐지할 수 있는 융합 방식을 제안했다.
  • 우리는 1인 가구가 집 안에서 부상이나 질병 감염 등 타인의 도움이 필요로 하는 상황인 이상 징후를 보여 일반적인 생활 패턴과 다른 비정상적인 패턴을 탐지하고자 한다. 본 연구에서는 집 안에 설치된 홈 CCTV를 이용해 사람 및 사물을 탐지하여 사람의 움직임 및 이상 징후를 파악하는 영상 패턴 알고리즘과 사람의 음성을 수집하고 분석하여 사람의 움직임 및 이상 징후를 파악하는 음성 패턴 알고리즘을 제안한다. 또한, 스마트폰의 가속도 센서를 이용하여 사람의 움직임 및 이상 징후를 파악하는 활동 패턴 알고리즘과 공기청정기 등 가정의 다양한 기계에서 사용되고 있는 먼지 센서를 이용하여 사람의 움직임 및 이상 징후를 파악하는 먼지 패턴 알고리즘을 제안한다.
  • 그러나, 영상 패턴 알고리즘은 홈 CCTV를 통해 영상 데이터를 수집하는데 보안 문제로 인해 사용을 원하지 않을 수 있다. 영상 패턴 알고리즘을 사용하지 않을 경우 음성, 활동, 먼지 패턴 알고리즘을 결합한 융합 방식을 제안하고자 한다. 융합 방식을 통해 각 패턴 알고리즘이 가지고 있는 단점을 서로 보완할 수 있다.
  • 1인 가구의 수는 점점 더 많아지고 있는 추세이며 한국의 문제뿐만 아니라 전 세계적으로 증가하고 있는 추세[1]이다. 우리는 1인 가구가 집 안에서 부상이나 질병 감염 등 타인의 도움이 필요로 하는 상황인 이상 징후를 보여 일반적인 생활 패턴과 다른 비정상적인 패턴을 탐지하고자 한다. 본 연구에서는 집 안에 설치된 홈 CCTV를 이용해 사람 및 사물을 탐지하여 사람의 움직임 및 이상 징후를 파악하는 영상 패턴 알고리즘과 사람의 음성을 수집하고 분석하여 사람의 움직임 및 이상 징후를 파악하는 음성 패턴 알고리즘을 제안한다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
활동 패턴 알고리즘은 무엇을 통해 데이터를 수집하는가? 활동 패턴 알고리즘은 스마트폰의 가속도 센서를 통해 데이터를 수집하며 알고리즘의 구조는 그림 3과 같다. 수집한 데이터를 기반으로 데이터를 분석하여 사람의 움직임 또는 이상 징후 상태를 탐지한다.
Faster R-CNN Inception v2 알고리즘은 어떤 과정을 통해 사람의 활동 및 이상 징후를 탐지하는가? Faster R-CNN Inception v2 알고리즘은 2-Stage detection 알고리즘으로 높은 정확도와 처리 속도를 기반으로 탐지할 수 있다. 사람이 탐지되면 사람의 움직임 여부를 분석한다. 사람이라고 탐지된 물체의 Bounding box의 x, y 좌표 값의 변화와 비율, 탐지 정확도의 정보를 기반으로 움직임을 분석한다. 움직임이 없다고 판단되면 패턴 분석을 통해 휴식 공간에서 휴식을 취하는 중인지, 휴식을 취하는 시간인지를 분석한다. 패턴 분석의 결과를 통해 움직임이 없으면 이상 징후가 발생했다고 탐지되며 정상적인 휴식 장소 및 시간대면 정상적인 활동이라고 판단한다. 사물이 탐지되면 사물의 움직임 여부를 분석한다. 사람이 영상 영역 밖에서 물체를 움직일 수 있기 때문에 물체의 Bounding box의 x, y 좌표 값의 변화를 기반으로 사물의 움직임 여부를 판단한다. 움직임이 없다고 판단되면 사물 위치의 패턴을 분석한다. 위치 변동이 없던 사물이 위치가 변동되었으면 사람이 인위적으로 물체를 이동시켰다고 판단하여 정상적인 상태로 분류하며 사물의 위치가 지속적으로 변동되지 않으면 이상 징후가 발생되었다고 판단한다.
영상 패턴 알고리즘이란 무엇인가? 영상 패턴 알고리즘은 홈 CCTV를 기반으로 영상 데이터를 수집하고 사람 및 사물을 탐지하여 사람의 정상적인 활동 및 이상 징후 상태를 탐지한다. 영상 패턴 알고리즘의 구조는 그림 1과 같다.
질의응답 정보가 도움이 되었나요?

참고문헌 (14)

  1. Dementianews, "The number of single-person households in the world has skyrocketed. Familyoriented care policy for the elderly 'hourly wage'", https://www.dementianews.co.kr/news/articleView.html?idxno2397 

  2. S. Ren, K. He, R. Girshick, J. Sun, "Faster R-CNN: towards real-time object detection with region proposal networks", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, No. 6, pp. 1137-1149, 2017. https://doi.org/10.1109/TPAMI.2016.2577031 

  3. C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, Z. Wojna, "Rethinking the inception architecture for computer vision", IEEE Conference on Computer Vision and Pattern Recognition, pp. 2818-2826, 2016. https://doi.org/10.1109/CVPR.2016.308 

  4. Tensorflow, "Object detection model zoo", 2020. https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/detection_model_zoo.md 

  5. L. Vuegen, B. V. D. Broeck, P. Karsmakers, J. F. Gemmeke, B. Vanrumste, H. V. Hamme, "An mfcc-gmm approach for event detection and classification", IEEE AASP Challenge on Detection and Classification of Acoustic Scenes and Events, pp.1-3, 2013. http://c4dm.eecs.qmul.ac.uk/sceneseventschallenge/abstracts/OL/VVK.pdf 

  6. S. Sahoo, A. Routray, "Detecting Aggression in Voice Using Inverse Filtered Speech Features", IEEE Transactions on Affective Computing, Vol. 9, No. 2, pp. 217-226, 2018. https://doi.org/10.1109/TAFFC.2016.2615607 

  7. J. Lee, H. Tseng, "Development of an Enhanced Threshold-Based Fall Detection System Using Smartphones with Built-In Accelerometers," in IEEE Sensors Journal, Vol. 19, No. 18, pp. 8293-8302, 2019. https://doi.org/10.1109/JSEN.2019.2918690 

  8. A. Jalal, M. A. K. Quaid, M. A. Sidduqi, "A Triaxial Acceleration-based Human Motion Detection for Ambient Smart Home System", 16th International Bhurban Conference on Applied Sciences and Technology, pp. 353-358, 2019. https://doi.org/10.1109/IBCAST.2019.8667183 

  9. Guto LS, Patricia TE, Kayo HDCM, Elisson DSR, lvanovitch S, Theo L, "Accelerometer-based human fall detection using convolutional neural networks", Sensors (Basel), Vol. 19, No.7, pp. 1-12, 2019. https://doi.org/10.3390/s19071644 

  10. C. Srivastava, S. Singh, A. P. Singh, "IoT-enabled air monitoring system", Intelligent Systems, Technologies and Applications, Vol. 910, pp. 173-180, 2020. https://doi.org/10.1007/978-981-13-6095-4_13 

  11. L. A. A. Cruza, M. T. T. Grinoa, T. M. V. Tungola, J. T. Bautista, "Development of a Low-Cost Air Quality Data Acquisition IoT-based System using Arduino Leonardo", International Journal of Engineering and Manufacturing, Vol. 9, No. 3, pp. 1-18, 2019. https://doi.org/10.5815/ijem.2019.03.01 

  12. J. Jung, J. Ahn, "Intelligent user pattern recognition based on vision, audio and activity for abnormal event detections of single households", Journal of The Korea Society of Computer and Information, Vol. 24, No. 5, pp. 59-66, 2019. https://doi.org/10.9708/jksci.2019.24.05.059 

  13. J. Jung, J. Ahn, "Intelligent abnormal event detection algorithm for single households at home via daily audio and vision patterns", Journal of Internet Computing and Services, Vol. 20, No. 1, pp. 77-86, 2019. https://doi.org/10.7472/jksii.2019.20.1.77 

  14. J. Song, J. Jung, J. Ahn, "Intelligent pattern recognition algorithms based on dust, vision and activity sensors for user unusual event detection", Journal of The Korea Society of Computer and Information, Vol. 24, No. 8, pp. 95-103, 2019. https://doi.org/10.9708/jksci.2019.24.08.095 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

BRONZE

출판사/학술단체 등이 한시적으로 특별한 프로모션 또는 일정기간 경과 후 접근을 허용하여, 출판사/학술단체 등의 사이트에서 이용 가능한 논문

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로