[논문]반려동물 모니터링을 위한 YOLO 기반의 이동식 시스템 설계

이민혜; 강준영; 임순자

doi:10.6109/jkiice.2020.24.1.22

반려동물 모니터링을 위한 YOLO 기반의 이동식 시스템 설계
Design of YOLO-based Removable System for Pet Monitoring 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.24 no.1, 2020년, pp.22 - 27

이민혜 (Department of Computer Information Engineering, Kunsan National University) , 강준영 (Department of Electronic Engineering, Wonkwang University) , 임순자 (Department of Electronic Engineering, Wonkwang University)

초록
AI-Helper

최근 1인 가구의 증가로 반려동물을 키우는 가구가 많아짐에 따라, 주인의 부재 시에도 반려동물의 상태나 행동을 모니터링하는 시스템에 대한 필요성이 요구되고 있다. 가정용 CCTV를 이용한 반려동물의 모니터링에는 지역적 한계가 있어, 다수의 CCTV를 필요로 하거나 반려동물의 행동반경을 제한하는 방법을 사용하게 된다. 본 논문에서는 반려동물 모니터링의 지역적 한계를 해결하고자 딥러닝을 이용하여 고양이를 검출하고 추적하는 이동식 시스템을 제안한다. 객체 검출 신경망 모델의 하나인 YOLO(You Look Only Once)를 이용하여 데이터셋을 학습하고, 이를 기반으로 라즈베리파이에 적용하여 영상에서 검출된 객체를 추적한다. 라즈베리파이와 노트북을 무선 랜으로 연결하고 고양이의 움직임과 상태를 실시간으로 확인이 가능한 이동식 모니터링 시스템을 설계하였다.

Abstract ▼ AI-Helper

Recently, as the number of households raising pets increases due to the increase of single households, there is a need for a system for monitoring the status or behavior of pets. There are regional limitations in the monitoring of pets using domestic CCTVs, which requires a large number of CCTVs or restricts the behavior of pets. In this paper, we propose a mobile system for detecting and tracking cats using deep learning to solve the regional limitations of pet monitoring. We use YOLO (You Look Only Once), an object detection neural network model, to learn the characteristics of pets and apply them to Raspberry Pi to track objects detected in an image. We have designed a mobile monitoring system that connects Raspberry Pi and a laptop via wireless LAN and can check the movement and condition of cats in real time.

주제어

표/그림 (9)

그림 Fig. 1 Pet removable monitoring system block diagram
그림 Fig. 2 Labeling with YOLO Mark
그림 Fig. 3 Test of trained Weight Files
그림 Fig. 4 Designed Pet Tracking Module
그림 Fig. 5 Tracking algorithm flow chart
그림 Fig. 6 Raspberry Pi's pet detection source code
그림 Fig. 7 Monitoring screen using WLAN and SSH
표 Table. 1 Accuracy by The pet tracking module
표 Table. 2 distance, range, response of The pet tracking module

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 고정식 모니터링의 지역적 한계를 해결하고자 객체 검출 신경망 모델의 하나인 YOLO(You Look Only Once)[12]를 이용하여 고양이를 검출하고 추적하여 사용자에게 가시화하는 시스템을 제안한다. 본론의 1절에서는 전체 시스템에 대해 서술하고, 2절에서는 데이터셋과 YOLO-v3 모델을 이용하여 고양이의 특징을 학습하는 과정에 대해 서술한다.
본 논문에서는 반려동물 모니터링의 지역적 한계를 해결하고자 딥러닝을 이용하여 고양이를 검출하고 추적하는 이동식 시스템을 제안하였다. 객체 검출 신경망모델의 하나인 YOLO를 이용하여 고양이의 머리, 몸, 꼬리를 라벨링한 데이터셋을 학습하고, 라즈베리파이에 적용하여 영상에서 검출된 객체를 추적하는 모듈을 설계하였다.

제안 방법

AlexeyAB GitHub에서 무료로 배포하고 있는 YOLO 라벨링용 오픈소스 툴인 YOLO Mark[13]를 사용하여 고양이를 머리, 몸통, 꼬리 세 부위로 나누어 분류한다. 실시간 영상에 대한 검출율을 높이기 위해 세 분류로 나누어 라벨링한다.
이동식 시스템을 제안하였다. 객체 검출 신경망모델의 하나인 YOLO를 이용하여 고양이의 머리, 몸, 꼬리를 라벨링한 데이터셋을 학습하고, 라즈베리파이에 적용하여 영상에서 검출된 객체를 추적하는 모듈을 설계하였다. 추적 한 모듈로부터 수집되는 영상은 무선랜을 이용하여 고양이의 실시간 감시가 가능하여 반려동물을 위한 이동식 모니터링 시스템의 가능성을 확인하였다.
라즈베리파이에 YOLO-v3 모델을 이식하고, 얻어진 훈련 가중치 파일을 적용하여 파이카메라로부터 받아온 실시간 영상에서 고양이의 부위를 검출한다. 검출된 부위를 기반으로 바퀴의 움직임을 제어하도록 설계한다. 모니터링 파트에서 무선 랜과 SSH을 이용하여 추적 중인 고양이와 실내 상황을 모니터로 전송하여 사용자에게 보여준다.
라즈베리파이에 YOLO를 적용하고 실시간 영상에서 객체를 검출하게 되면 연산량이 많아지기 때문에 검출성능에 한계를 보인다. 따라서 신경망 프로그래밍 학습용으로 인텔(Intel)사에서 제공하는 Intel Movidius NCS을 장착하여 연산 성능을 높였다. 설계 모듈의 외형을 그림 4에 나타내었다.
실시간 영상에서 고양이가 인식되지 않으면 실내를 돌아다니며 고양이를 찾아다니고, 고양이를 발견하면 추적하도록 코드를 설계하였다. 또한, 인식률을 높이기 위해 인체감지센서를 이용하여 일정 온도와 일정 거리에서 생체반응이 있는 경우, 고양이로 판단하는 기능도 추가하였다. 고양이를 추적하는 동안, 파이카메라로부터 받아오는 영상은 무선 랜과 SSH를 통해 실시간으로 전송한다.
모듈제어 파트에서는 라즈베리파이에 파이카메라, 적외선 인체감지센서, 서보모터, 신경망 학습용 외장 그래픽 메모리스틱을 장착하여 이동이 가능한 차량형태의 모듈을 제작한다. 라즈베리파이에 YOLO-v3 모델을 이식하고, 얻어진 훈련 가중치 파일을 적용하여 파이카메라로부터 받아온 실시간 영상에서 고양이의 부위를 검출한다. 검출된 부위를 기반으로 바퀴의 움직임을 제어하도록 설계한다.
적외선 인체감지센서는 20∼60℃내의 생체온도감지 기능과 2∼8m를 감지가 가능한 특성을 가지고 있다. 라즈베리파이에 서보모터와 바퀴를 장착하여 RC카 형태로 모듈을 구성하고 검출 유무에 따라 고양이를 자동으로 추적할 수 있도록 설계하였다. 라즈베리파이에 YOLO를 적용하고 실시간 영상에서 객체를 검출하게 되면 연산량이 많아지기 때문에 검출성능에 한계를 보인다.
검출된 부위를 기반으로 바퀴의 움직임을 제어하도록 설계한다. 모니터링 파트에서 무선 랜과 SSH을 이용하여 추적 중인 고양이와 실내 상황을 모니터로 전송하여 사용자에게 보여준다.
신경망 파트에서는 머리(head), 몸(body), 꼬리(tail) 세 부위로 라벨링한 고양이데이터 셋을 YOLO를 통해 학습하여 가중치 파일을 얻는다. 모듈제어 파트에서는 라즈베리파이에 파이카메라, 적외선 인체감지센서, 서보모터, 신경망 학습용 외장 그래픽 메모리스틱을 장착하여 이동이 가능한 차량형태의 모듈을 제작한다. 라즈베리파이에 YOLO-v3 모델을 이식하고, 얻어진 훈련 가중치 파일을 적용하여 파이카메라로부터 받아온 실시간 영상에서 고양이의 부위를 검출한다.
OpenCV에서 제공하는 face_cascade 함수에 훈련 가중치 파일을 적용하여 바운딩 박스를 그려주는 형태로 구현된다. 실시간 영상에서 고양이가 검출되면 우선순위를 기준으로 서보모터를 제어하여 검출 부위를 따라다니도록 설계하였다. 우선순위는 머리(0), 몸(1), 꼬리(2) 순으로 설정하였다.
우선순위는 머리(0), 몸(1), 꼬리(2) 순으로 설정하였다. 실시간 영상에서 고양이가 인식되지 않으면 실내를 돌아다니며 고양이를 찾아다니고, 고양이를 발견하면 추적하도록 코드를 설계하였다. 또한, 인식률을 높이기 위해 인체감지센서를 이용하여 일정 온도와 일정 거리에서 생체반응이 있는 경우, 고양이로 판단하는 기능도 추가하였다.
3를 사용하였다. 실시간으로 영상을 받아오기 위해 파이카메라를 장착하였으며 인식률을 높이기 위해 YwRobot사의 적외선 인체감지센서(HC-SR501)를 부착하였다. 적외선 인체감지센서는 20∼60℃내의 생체온도감지 기능과 2∼8m를 감지가 가능한 특성을 가지고 있다.
3절에서는 얻어진 훈련 가중치 파일을 라즈베리파이에 적용하여 실시간 영상에서 고양이를 검출하고 이동하며 추적하는 제어 알고리즘에 대해 기술한다. 실험 및 고찰에서는 구현된 시스템을 이용하여 실제 고양이를 검출하고 정확도를 측정하여 본 연구의 유효성을 확인하였다. 마지막으로 본 논문에 대한 결론 및 추후 연구에 대해 서술하였다.
제작한 반려동물 추적 모듈을 이용하여 고양이의 움직임을 100회 테스트하고 그 결과를 표 1과 표 2에 도시하였다. 총 100회의 테스트 결과, 검출 및 추적에 성공한 횟수는 77회로 도출되었으며, 나머지 23회는 부위의 중복 검출로 인한 오검출, 미검출 된 경우 등이 포함되었다.
있다. 추적 모듈과 노트북을 연결하기 위해 무선 랜을 사용하였으며 Putty 프로그램으로 연결 옵션을 설정하였다. 추적 모듈의 파이카메라를 통해 수집되는 화면은 Tight VNC Viewer을 통하여 노트북에서 출력이 가능하다.
총 100회의 테스트 결과, 검출 및 추적에 성공한 횟수는 77회로 도출되었으며, 나머지 23회는 부위의 중복 검출로 인한 오검출, 미검출 된 경우 등이 포함되었다. 추적 모듈이 고양이를 발견하고 추적을 시도하는 최대 거리는 평균 2m로 추적 중에 대상에 가까워지는 것을 제한하기 위해 인체감지센서를 이용하여 최대 접근거리를 50cm로 제한하였다. 고양이를 검출하고 추적하는데 걸리는 반응속도는 평균적으로 1~2초 이내로 높은 성능을 보였으며 단, 주어진 이미지의 정보량이 많을 경우 최장 3초까지 소요되는 것을 확인할 수 있었다.
있다. 추적 모듈과 노트북을 연결하기 위해 무선 랜을 사용하였으며 Putty 프로그램으로 연결 옵션을 설정하였다. 추적 모듈의 파이카메라를 통해 수집되는 화면은 Tight VNC Viewer을 통하여 노트북에서 출력이 가능하다.

대상 데이터

데이터셋을 만들기 위해 다양한 각도로 촬영한 고양이 영상에서 852×480 크기의 고정 이미지 500장을 추출하였다. 총 500장의 영상에서 470장을 훈련 데이터셋으로 사용하고 검증 데이터셋 10장, 테스트 데이터셋 20장으로 사용하였다.
시스템의 구성은 크게 신경망 파트, 모듈제어파트, 모니터링 파트로 구성된다. 신경망 파트에서는 머리(head), 몸(body), 꼬리(tail) 세 부위로 라벨링한 고양이데이터 셋을 YOLO를 통해 학습하여 가중치 파일을 얻는다.
윈도우 기반에서 YOLO를 사용하여 고양이를 학습시키기 위해 C++ 프로그래밍 언어를 기반으로 구현된 YOLO for Windows v2[17]와 라벨링 된 훈련 데이터셋을 이용한다. YOLO는 기본적으로 리눅스 환경에서 실행[18]할 수 있는 코드를 제공하고 있으나, YOLO for Windows v2 소스코드를 빌드하여 생성된 실행파일을 사용하면 윈도우에서도 YOLO를 이용한 학습이 가능하다.
총 500장의 영상에서 470장을 훈련 데이터셋으로 사용하고 검증 데이터셋 10장, 테스트 데이터셋 20장으로 사용하였다.
학습 환경은 Dell inspron 7577 (Intel(R) Core (TM) i7-7000HQ CPU, RAM 16.0GB, NVIDIA 1060Max-Q 6G) 노트북을 사용하여 1000회 훈련하였으며 총 훈련시간은 7시간 소요되었다. 훈련은 100회마다 갱신된 훈련 가중치 파일을 생성하며, 얻어진 가중치 파일을 검증데이터셋과 테스트 데이터셋에 적용하면 그림 3과 같이 훈련에 대한 학습 결과를 확인할 수 있다.

이론/모형

YOLO를 이용하여 생성된 훈련 가중치 파일을 이용하여 실시간으로 고양이를 검출, 추적하기 위해 라즈베리파이 3를 사용하였다. 실시간으로 영상을 받아오기 위해 파이카메라를 장착하였으며 인식률을 높이기 위해 YwRobot사의 적외선 인체감지센서(HC-SR501)를 부착하였다.
통해 고양이를 검출하게 된다. 알고리즘의 구현을 위해 프로그램 언어로 Python을 사용하였으며 영상의 처리를 위해 오픈소스 라이브러리인 OpenCV를 사용하였다. OpenCV에서 제공하는 face_cascade 함수에 훈련 가중치 파일을 적용하여 바운딩 박스를 그려주는 형태로 구현된다.

성능/효과

추적 모듈이 고양이를 발견하고 추적을 시도하는 최대 거리는 평균 2m로 추적 중에 대상에 가까워지는 것을 제한하기 위해 인체감지센서를 이용하여 최대 접근거리를 50cm로 제한하였다. 고양이를 검출하고 추적하는데 걸리는 반응속도는 평균적으로 1~2초 이내로 높은 성능을 보였으며 단, 주어진 이미지의 정보량이 많을 경우 최장 3초까지 소요되는 것을 확인할 수 있었다.
그러나, 고양이를 다중 부위로 나누어 검출하면 적은 훈련 데이터셋으로도 부분적인 검출이 가능하나 추적 모듈이 일정한 방향으로 고정되지 않고 계속 움직이는 문제가 발생한다. 따라서, 세 분류로 나누어진 클래스를 하나로 통일하고 검출하는 영상의 프레임을 부분적으로 받아와 연산 비용을 줄일 수 있을 것으로 생각된다. 본 연구에서는 한 마리의 고양이만을 대상으로 하였으나 추후 연구에서는 다중 분류 라벨링을 통해 선택에 따라 추적하고 싶은 반려동물을 고를 수 있도록 하고자 한다.
총 100회의 테스트 결과, 검출 및 추적에 성공한 횟수는 77회로 도출되었으며, 나머지 23회는 부위의 중복 검출로 인한 오검출, 미검출 된 경우 등이 포함되었다. 추적 모듈이 고양이를 발견하고 추적을 시도하는 최대 거리는 평균 2m로 추적 중에 대상에 가까워지는 것을 제한하기 위해 인체감지센서를 이용하여 최대 접근거리를 50cm로 제한하였다.
객체 검출 신경망모델의 하나인 YOLO를 이용하여 고양이의 머리, 몸, 꼬리를 라벨링한 데이터셋을 학습하고, 라즈베리파이에 적용하여 영상에서 검출된 객체를 추적하는 모듈을 설계하였다. 추적 한 모듈로부터 수집되는 영상은 무선랜을 이용하여 고양이의 실시간 감시가 가능하여 반려동물을 위한 이동식 모니터링 시스템의 가능성을 확인하였다. 그러나, 고양이를 다중 부위로 나누어 검출하면 적은 훈련 데이터셋으로도 부분적인 검출이 가능하나 추적 모듈이 일정한 방향으로 고정되지 않고 계속 움직이는 문제가 발생한다.

후속연구

모니터링 시스템을 스마트폰 앱으로 제작하면 추적 기능과 함께 일정이상 움직임이 없을 시 알림을 울려 확인할 수 있어 반려동물의 케어와 사고예방에 큰 도움이 될 수 있을 것으로 사료된다. 또한, 이러한 시스템은 실내뿐만 아니라 실외에서 가축이나 야생동물을 관찰하는 등의 전문 분야에서 사용될 수 있을 것으로 기대된다.
본 연구에서는 한 마리의 고양이만을 대상으로 하였으나 추후 연구에서는 다중 분류 라벨링을 통해 선택에 따라 추적하고 싶은 반려동물을 고를 수 있도록 하고자 한다. 모니터링 시스템을 스마트폰 앱으로 제작하면 추적 기능과 함께 일정이상 움직임이 없을 시 알림을 울려 확인할 수 있어 반려동물의 케어와 사고예방에 큰 도움이 될 수 있을 것으로 사료된다. 또한, 이러한 시스템은 실내뿐만 아니라 실외에서 가축이나 야생동물을 관찰하는 등의 전문 분야에서 사용될 수 있을 것으로 기대된다.
따라서, 세 분류로 나누어진 클래스를 하나로 통일하고 검출하는 영상의 프레임을 부분적으로 받아와 연산 비용을 줄일 수 있을 것으로 생각된다. 본 연구에서는 한 마리의 고양이만을 대상으로 하였으나 추후 연구에서는 다중 분류 라벨링을 통해 선택에 따라 추적하고 싶은 반려동물을 고를 수 있도록 하고자 한다. 모니터링 시스템을 스마트폰 앱으로 제작하면 추적 기능과 함께 일정이상 움직임이 없을 시 알림을 울려 확인할 수 있어 반려동물의 케어와 사고예방에 큰 도움이 될 수 있을 것으로 사료된다.

참고문헌 (18)

J. H. park, "Current Status and Implications of the Korea Domestic Pet + Economy Market," KIET Industrial economics, pp.47-55, Jul. 2017.
S. M. Song, S. Y. Park, and E. H. Jo, D. H. Lee, "Development of Smart Pet House with AI Function", Journal of society of Korea industrial and systems engineering, vol.42, no.2, pp. 86-93, 2019.

원문보기 상세보기
W. K. Hwang, "KB Knowledge Vitamin: Responding to pet healthcare trends and financial sectors using IoT," KB Financial Group Institute of Management, Jul. 2017.
Fire Department (2019, July). "Fire due to pets? Power off is essential for prevention," Fire Department Press release [Internet]. Available : http://www.nfa.go.kr/nfa/news/pressrelease/press/;jsessionidyKtYgs6ARsg7KMyRoeME0cxL.nfa11?boardIdbbs_0000000000000010&modeview&cntId565&category&pageIdx.
LG U+, U+IoTmamcar [Internet]. Available : https://www.uplus.co.kr/ ent/iot/IothomeSer.hpi.
Lovoom T20 Black [Internet]. Available : https://www.lovoom.net/.
appbot LINK [Internet]. Available : http://appbotshop.cafe24.com.
Y. J. Chung, "A Study on Pet-monitoring Robot Design," The Journal of the Korea Contents Association, vol.17, no.8, pp. 463-471, 2017.

원문보기 상세보기
J. H. Lee, J. U. Lee, and D. H. Park, Y. W. Chung, "Individual Pig Detection Using Kinect Depth Information and Convolutional Neural Network," The Journal of the Korea Contents Association, vol.18, no.2, pp. 1-10, 2018.

원문보기 상세보기
J. H. Park, K. B. Hwang, and H. M. Park, Y. K. Choi, "Application of CNN for Fish Species Classification," Journal of the Korea Institute of Information and Communication Engineering, vol.23, no.1, pp. 39-46, 2019.

원문보기 상세보기
N. Juha, and T. T. Juha, "Deep Learning Case Study for Automatic Bird Identification," Applied sciences, vol.8, no.11, pp. 2089, 2018.

상세보기
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You only look once: Unified, real-time object detection," in Proceeding of the IEEE conference on computer vision and pattern recognition, pp. 779-788, 2016.
AlexeyAB Yolo_mark GitHub [Internet]. Available : https://github.com/AlexeyAB/Yolo_mark/.
R. Girshick, J. Donahue, T. Darrell, and J. Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation," 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, pp. 580-587, 2014.
S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.39, no.6, pp. 1137-1149, Jun. 2017.

상세보기
H. Kaiming, G. Georgia, D. Piotr, and G. Ross, "Mask R-CNN," 2017 IEEE International Conference on Computer Vision (ICCV), Venice, Italy, 2017.
YOLO for Windows v2 GitHub [Internet]. Available : https://github.com/unsky/yolo-for-windows-v2/.
Darknet [Internet]. Available : http://pjreddie.com/darknet/.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증