[논문]Deep Learning-based Pet Monitoring System and Activity Recognition device

Kim, Jinah; Kim, Hyungju; Park, Chan; Moon, Nammee

doi:10.9708/jksci.2022.27.02.025

Deep Learning-based Pet Monitoring System and Activity Recognition device 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.27 no.2, 2022년, pp.25 - 32

Kim, Jinah (Dept. of Computer Science and Engineering, Hoseo University) , Kim, Hyungju (Dept. of Computer Science and Engineering, Hoseo University) , Park, Chan (Dept. of Computer Science and Engineering, Hoseo University) , Moon, Nammee (Dept. of Computer Science and Engineering, Hoseo University)

초록
AI-Helper

본 논문에서는 활동 인식장치를 이용한 딥러닝 기반의 반려동물 모니터링 시스템을 제안한다.이 시스템은 반려동물의 활동 인식장치와 반려인의 스마트 기기, 서버로 구성된다. 아두이노 기반 활동 인식 장치로부터 가속도와 자이로 데이터를 수집하고, 이로부터 반려동물의 걸음 수를 연산하였다. 수집된 데이터는 전처리 과정을 거쳐 CNN과 LSTM을 하이브리드한 딥러닝 모델을 통해 5가지 형태(앉기, 서기, 눕기, 걷기, 뛰기)로 활동을 인식함으로써 활동량을 측정한다. 마지막으로, 반려인의 스마트 기기에 일일 및 주간 브리핑 차트 등 활동 변화에 대한 모니터링을 제공한다. 성능 평가 결과, 반려동물의 구체화된 활동 인식 및 활동량 측정이 가능함을 확인하였다. 향후 데이터 축적을 통해 반려동물의 이상행동 탐지 및 헬스 케어 서비스의 확장을 기대할 수 있다.

Abstract ▼ AI-Helper

In this paper, we propose a pet monitoring system based on deep learning using an activity recognition device. The system consists of a pet's activity recognition device, a pet owner's smart device, and a server. Accelerometer and gyroscope data were collected from an Arduino-based activity recognition device, and the number of steps was calculated. The collected data is pre-processed and the amount of activity is measured by recognizing the activity in five types (sitting, standing, lying, walking, running) through a deep learning model that hybridizes CNN and LSTM. Finally, monitoring of changes in the activity, such as daily and weekly briefing charts, is provided on the pet owner's smart device. As a result of the performance evaluation, it was confirmed that specific activity recognition and activity measurement of pets were possible. Abnormal behavior detection of pets and expansion of health care services can be expected through data accumulation in the future.

주제어

표/그림 (12)

그림 Fig. 1. Overview of deep Learning-based pet monitoring system
표 Table 1. Comparison of pet activity recognition device [20, 21]
그림 Fig. 2. Activity recognition device
그림 Fig. 3. Process of data collection
표 Table 2. Data table structure
그림 Fig. 4. Deep learning-based behavior recognition model structure
그림 Fig. 5. Daily and weekly briefing chart
그림 Fig. 6. Confusion matrix of each activity
표 Table 3. Hardware Specification of Server
표 Table 4. Result of collected data
표 Table 5. Precision, Recall, F1-S Score for each activity
그림 Fig. 7. Activity monitoring service UI

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 활동 인식 장치를 이용하여 딥러닝 기반의 반려동물 모니터링 시스템을 제안하였다. 아두이노 기반으로 제작된 활동 인식장치는 반려동물의 목에 착용하는 형태로 가속도와 자이로 센서값을 수집하고, 이로부터 반려동물의 걸음 수를 연산하였다.
이에 따라 본 논문에서는 최소한의 기기를 통해 반려동물의 활동 모니터링을 할 수 있는 시스템과 이를 위한 활동 인식 장치를 제안한다. 반려동물의 활동에 방해받지 않는 웨어러블 형태의 활동 인식 장치를 통해 반려동물의 활동 데이터(가속도, 자이로)를 수집한다.
수집된 데이터를 가지고 딥러닝 기반의 모델을 통해 5가지(앉기, 서기, 눕기, 걷기, 뛰기)로 활동을 인식하여 활동량을 구체화한다. 최종적으로, 측정된 활동 패턴에 대한 분석 결과를 반려인에게 제공함으로써 모니터링을 하고자 한다.

제안 방법

따라서 본 논문에서는 기존 반려동물 활동 인식 장치의 한계를 개선하기 위해 가속도와 자이로센서를 병행하여 사용하고자 한다. 또한, 반려동물의 활동을 5가지(앉다, 서다, 눕다, 걷다, 뛰다)로 구분하여 활동 인식을 통해 활동량을 구체화하고자 한다.
본 논문에서 제안하는 웨어러블 형태의 활동 인식 장치를 이용한 딥러닝 기반 반려동물 모니터링 시스템의 구조는 Fig. 1과 같이 활동 인식 장치(Activity recognition device), 반려인의 스마트 기기(Smart device), 서버 (Server)로 구분된다.
아두이노 기반으로 제작된 활동 인식장치는 반려동물의 목에 착용하는 형태로 가속도와 자이로 센서값을 수집하고, 이로부터 반려동물의 걸음 수를 연산하였다. 수집된 데이터는 전처리 과정을 통해 CNN-LSTM을 이용한 딥러닝 기반 활동 인식 모델의 입력값으로 사용하여 반려동물의 활동을 5가지(앉다, 서다, 눕다, 걷다, 뛰다)형태로 인식하였다. 인식된 결과에 따라 활동별 활동량 측정 과정을 통해 반려인 스마트 기기에 일일 및 주간 브리핑 차트 등 반려동물의 활동 변화에 대한 모니터링을 제공한다.
반려동물의 활동에 방해받지 않는 웨어러블 형태의 활동 인식 장치를 통해 반려동물의 활동 데이터(가속도, 자이로)를 수집한다. 수집된 데이터를 가지고 딥러닝 기반의 모델을 통해 5가지(앉기, 서기, 눕기, 걷기, 뛰기)로 활동을 인식하여 활동량을 구체화한다. 최종적으로, 측정된 활동 패턴에 대한 분석 결과를 반려인에게 제공함으로써 모니터링을 하고자 한다.
본 논문에서는 활동 인식 장치를 이용하여 딥러닝 기반의 반려동물 모니터링 시스템을 제안하였다. 아두이노 기반으로 제작된 활동 인식장치는 반려동물의 목에 착용하는 형태로 가속도와 자이로 센서값을 수집하고, 이로부터 반려동물의 걸음 수를 연산하였다. 수집된 데이터는 전처리 과정을 통해 CNN-LSTM을 이용한 딥러닝 기반 활동 인식 모델의 입력값으로 사용하여 반려동물의 활동을 5가지(앉다, 서다, 눕다, 걷다, 뛰다)형태로 인식하였다.
마지막으로, 서버는 반려동물의 활동 데이터를 수집 및 전처리하며, 딥러닝 기반의 활동 인식 모델을 통해 반려동물의 활동을 5가지(앉다, 서다, 눕다, 걷다, 뛰다)로 구분한다. 이를 바탕으로 활동량을 측정하며, 활동 패턴에 따른 분석 결과를 반려인의 스마트 기기를 통해 제공함으로써 모니터링을 한다.
이에 따라 본 논문에서는 목에 착용하는 방식의 웨어러블 장치를 이용한 반려동물 모니터링 시스템을 제안하고자 하며, 이때 CNN과 LSTM을 하이브리드하여 반려동물의 활동 인식을 통해 성능을 향상시키고자 한다.

대상 데이터

마지막으로 활동 인식을 위한 학습 데이터를 구성하기 위해 슬라이딩 윈도우기법을 적용하여 4초 길이의 시퀀스 데이터를 생성하였다.
이에 따라 본 논문에서는 최소한의 기기를 통해 반려동물의 활동 모니터링을 할 수 있는 시스템과 이를 위한 활동 인식 장치를 제안한다. 반려동물의 활동에 방해받지 않는 웨어러블 형태의 활동 인식 장치를 통해 반려동물의 활동 데이터(가속도, 자이로)를 수집한다. 수집된 데이터를 가지고 딥러닝 기반의 모델을 통해 5가지(앉기, 서기, 눕기, 걷기, 뛰기)로 활동을 인식하여 활동량을 구체화한다.
3과 같이 진행된다. 보드에 내장된 저전력 블루투스 (BLE : Bluetooth Low Energy) 모듈인 NINA-W102를 통해 스마트폰 애플리케이션과 연결하여가 속도 데이터, 자이로 데이터, 걸음 수 데이터, 활동 인식 장치의 MAC 주소를 수집하였다. 데이터 수집 주기는 디바이스의 배터리 지속시간과 데이터의 오차를 방지하기 위해 1초당 1회로 설정하였다.
본 논문에서 제안한 시스템 구성을 위하여 서버는 Nginx를 이용한 웹서버를 구축하였다. 데이터 수집을 위해 PHP 7.

데이터처리

대체할 경우 시계열 데이터의 특성에 맞게 적절한 대체 값을 선택해야 하며, 제거하는 경우는 학습 모델에 활용하기에 데이터의 수가 충분하지 않을 수 있어 이를 고려해야 한다. 2초 이상의 결측치가 발생한 경우 필터링을 통해 데이터를 제거하였으며, 결측치는 평균값으로 설정하여 진행하였다.
앞서 수집된 데이터를 바탕으로 제안된 딥러닝 기반 활동 인식 모델에 대한 성능 평가를 진행하였다. 학습 수 (Epoch)는 100이며, Adam 최적화 함수를 이용해 학습률 0.

이론/모형

다음으로 장치에서 발생할 수 있는 노이즈를 제거하기 위해 Z-점수 정규화 방법을 사용한다. Z-점수 정규화는 평균 (Mean)과 표준편차(Stddev)를 이용해 이상치를 제거하는데 특화된 방법으로 식 (1)과 같이 Z-점수를 도출한다.
반려동물의 활동은 일반적으로 사람보다 불규칙하고 변칙적인 패턴을 나타낸다. 본 논문에서는 반려동물 활동 데이터의 특징과 패턴인식을 위해 CNN과 LSTM의 하이브리드 모델인 CNN-LSTM 방법을 사용하였다.

성능/효과

그러나 반려동물의 목에 활동 인식 장치를 착용하기 때문에 머리의 움직임에 민감하다. 따라서, 머리를 움직이면서 발생하는 활동인 앉기, 서기, 눕기, 걷기에 대해서는 약간의 오차가 발생함을 확인하였다. 향후 반려동물의 머리 움직임에 따라 데이터 수집이 더 진행된다면 정확도가 향상될 수 있을 것으로 생각된다.
본 논문에서 제안된 딥러닝 기반 활동 인식 모델에 대해 성능평가를 진행하였으며, 활동 인식장치만을 활용해 반려동물의 구체화된 활동 인식 및 활동량 측정이 가능함을 확인하였다.
또한, Table 5와 같이 활동 인식 모델에서 각 활동에 따른 정밀도(Precision), 재현도(Recall), f1-점수(F1-Score)와 정확도를 함께 도출하였다. 전체 정확도는 약 87%로, 대부분의 활동에서 인식 잘되고 있음을 확인하였다. 그러나 반려동물의 목에 활동 인식 장치를 착용하기 때문에 머리의 움직임에 민감하다.

후속연구

향후 폭넓은 데이터 축적을 통해 지속적인 연구를 진행한다면 현재 인식 가능한 활동보다 세분화된 활동 인식이 가능하다. 또한, 세분화된 활동 인식을 기반으로 반려동물의 이상행동 탐지 및 헬스케어 서비스의 확장까지 기대할 수 있다.
수집된 데이터는 전처리 과정을 통해 CNN-LSTM을 이용한 딥러닝 기반 활동 인식 모델의 입력값으로 사용하여 반려동물의 활동을 5가지(앉다, 서다, 눕다, 걷다, 뛰다)형태로 인식하였다. 인식된 결과에 따라 활동별 활동량 측정 과정을 통해 반려인 스마트 기기에 일일 및 주간 브리핑 차트 등 반려동물의 활동 변화에 대한 모니터링을 제공한다.
따라서, 머리를 움직이면서 발생하는 활동인 앉기, 서기, 눕기, 걷기에 대해서는 약간의 오차가 발생함을 확인하였다. 향후 반려동물의 머리 움직임에 따라 데이터 수집이 더 진행된다면 정확도가 향상될 수 있을 것으로 생각된다.
향후 폭넓은 데이터 축적을 통해 지속적인 연구를 진행한다면 현재 인식 가능한 활동보다 세분화된 활동 인식이 가능하다. 또한, 세분화된 활동 인식을 기반으로 반려동물의 이상행동 탐지 및 헬스케어 서비스의 확장까지 기대할 수 있다.

참고문헌 (22)

Statistics Korea, "Results of the 2020 Population and Housing Census," http://kostat.go.kr/assist/synap/preview/skin/miri.html?fne5e1074842287827113312&rs/assist/synap/preview
KDB Bank Future Strategy Research Center, "Weekly KDB report," Vol. 936, https://rd.kdb.co.kr/fileView?groupIdE2575B12-A76C-DE36-BB0A-135AE6F5EC56&fileId8B322F1B-255A-6A0D-1C11-CA1C6B7D7CC9
KB Financial Group Management Research Center, "2021 Korea Pet Report," https://www.kbfg.com/kbresearch/report/reportView.do?reportId2000160
P. Paci, C. Mancini, and B. A. Price, "Wearer-centered design for animal biotelemetry: implementation and wearability test of a prototype," In Proceedings of the 23rd International Symposium on Wearable Computers, pp. 177-185, New York, United States, September 2019. DOI: 10.1145/3341163.3347750
Y. Chen, and M. Elshakankiri, "Implementation of an IoT based pet care system," In 2020 Fifth International Conference on Fog and Mobile Edge Computing, pp. 256-262, Paris, France, April 2020. DOI: 10.1109/FMEC49853.2020.9144910
R. C. Chen, V. S. Saravanarajan, and H. T. Hung, "Monitoring the behaviours of pet cat based on YOLO model and raspberry Pi," International Journal of Applied Science and Engineering, Vol. 18, No. 5, pp. 1-12, September 2021. DOI: 10.6703/IJASE.202109_18(5).016
P. Kumpulainen, A. V. Cardo, S. Somppi, H. Tornqvist, H. Vaataja, P. Majaranta, Y, Gizatdinova, C. H. Antink, V. Surakka, M. V. Kujala, O. Vainio, and A. Vehkaoja, "Dog behaviour classification with movement sensors placed on the harness and the collar," Applied Animal Behaviour Science, Vol. 241, No. 105393, pp 1-7, August 2021. DOI: 10.1016/j.applanim.2021.105393

상세보기
M. Foster, S. Mealin, M. Gruen, D. L. Roberts, and A. Bozkurt, "Preliminary Evaluation of a Wearable Sensor System for Assessment of Heart Rate, Heart Rate Variability, and Activity Level in Working Dogs," In 2019 IEEE SENSORS, Montreal, Canada, pp. 1-4, October 2019. DOI: 10.1109/SENSORS43011.2019.8956771
S. Aich, S. Chakraborty, J. Sim, D. Jang, and H. Kim, "The design of an automated system for the analysis of the activity and emotional patterns of dogs with wearable sensors using machine learning," Applied Sciences, Vol. 9, No. 22, pp. 1-22, November 2019. DOI: 10.3390/app9224938

상세보기
C. Ladha, J. O'Sullivan, Z. Belshaw, and L. Asher, "Gaitkeeper: A system for measuring canine gait," Sensors, Vol. 17, No. 2, pp. 1-17, February 2017. DOI: 10.3390/s17020309

상세보기
K. Czajkowski, S. Fitzgerald, I. Foster, and C. Kesselman, "Grid Information Services for Distributed Resource Sharing," In 10th IEEE International Symposium on High Performance Distributed Computing, pp. 181-184, San Francisco, United States, August 2001. DOI: 10.1109/HPDC.2001.945188
C. C. Aggarwal, "Neural Networks and Deep Learning," Springer, pp. 38-42, 2018
H. Wang, J. Zhao, J. Li, L. Tian, P. Tu, T. Cao, Y. An, K. Wang, S. Li, "Wearable sensor-based human activity recognition using hybrid deep learning techniques," Security and Communication Networks, Vol. 2020, pp. 1-12, July 2020. DOI: 10.1155/2020/2132138

상세보기
D. Setiawan, M. W. Sari, and R. H. Hardyanto, "Geofencing technology implementation for pet tracker using Arduino based on Android," In Journal of Physics: Conference Series, Vol. 1823, No. 1, pp. 1-10, November 2020. DOI: 10.1088/1742-6596/1823/1/012055

상세보기
R. D. Chambers, N. C. Yoder, A. B. Carson, C. Junge, D. E. Allen, L. M. Prescott, S. Bradley, G. Wymore, K. Lloyd, and S. Lyle, "Deep learning classification of canine behavior using a single collar-mounted accelerometer: Real-world validation," Animals, Vol. 11, No. 6, pp. 1-19, May 2021. DOI: 10.3390/ani11061549

상세보기
P. Paci, C. Mancini, and B. A. Price, "Understanding the Interaction Between Animals and Wearables: The Wearer Experience of Cats," In Proceedings of the 2020 ACM Designing Interactive Systems Conference, pp. 1701-1712, New York, United States, July 2020. DOI: 10.1145/3357236.3395546
W. J. M. Boteju, H. M. K. S. Herath, M. D. P. Peiris, A. K. P. E. Wathsala, P. Samarasinghe, and L. Weerasinghe, "Deep Learning Based Dog Behavioural Monitoring System," In 2020 3rd International Conference on Intelligent Sustainable Systems, pp. 82-87, Thoothukudi, India, December 2020. DOI: 10.1109/ICISS49785.2020.9315983
J. Colpoys, and D. DeCock, "Evaluation of the FitBark Activity Monitor for Measuring Physical Activity in Dogs," Animals, Vol. 11, No. 3, pp. 1-8, March 2021. DOI: 10.3390/ani11030781

상세보기
A. Ferrari, D. Micucci, M. Mobilio, and P. Napoletano, "Human activities recognition using accelerometer and gyroscope," In European Conference on Ambient Intelligence, pp. 357-362, Rome, Italy, November 2019. DOI: 10.1007/978-3-030-34255-5_28
H. Kim and N. Moon "1D-CNN-LSTM based Pet Behavior Recognition using Wearable device," The 13th International Conference on Computer Science and its Applications, pp. 1-6, Jeju, Korea, December 2021.
D. Van Der Linden, A. Zamansky, I. Hadar, B. Craggs, and A. Rashid, "Buddy's wearable is not your buddy: Privacy implications of pet wearables," IEEE Security & Privacy, Vol. 17, No. 3, pp. 28-39, May 2019. DOI: 10.1109/MSEC.2018.2888783

상세보기
Github, SparkFun LSM6DS3 Arduino Library, https://github.com/sparkfun/SparkFun_LSM6DS3_Arduino_Library

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증