[논문]Unauthorized person tracking system in video using CNN-LSTM based location positioning

Park, Chan; Kim, Hyungju; Moon, Nammee

doi:10.9708/jksci.2021.26.12.077

Unauthorized person tracking system in video using CNN-LSTM based location positioning 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.26 no.12, 2021년, pp.77 - 84

Park, Chan (Dept. of Computer Science and Engineering, Hoseo University) , Kim, Hyungju (Dept. of Computer Science and Engineering, Hoseo University) , Moon, Nammee (Dept. of Computer Science and Engineering, Hoseo University)

초록
AI-Helper

본 논문에서는 영상 데이터, 비콘 데이터의 결합을 통해 집단시설에서 출입이 허용된 승인자와 비승인자를 구분하는 시스템을 제안한다. IP 카메라를 통해 수집된 영상 데이터는 YOLOv4를 사용하여 사람 객체를 추출하고, 애플리케이션을 통해 비콘의 신호 데이터(UUID, RSSI)를 수집하여 핑거프린팅 기반의 라디오 맵을 구성한다. 비콘은 신호의 불안전성을 보완해 위치 파악의 정확도를 향상하기 위하여 CNN-LSTM 기반의 학습을 진행한 후 사용자 위치 데이터를 추출한다. 이후 도출된 위치 데이터와 사람 객체가 추출된 영상 데이터를 매핑해 실시간으로 비승인자를 추적한다. 본 논문의 결과로 93.47%의 정확도를 보였으며, 향후 코로나19로 사용이 증가한 QR코드 등의 출입 인증 절차와 융합해 인증 절차를 거치지 않은 사람을 추적하는 확장성까지 기대할 수 있다.

Abstract ▼ AI-Helper

In this paper, we propose a system that uses image data and beacon data to classify authorized and unauthorized perosn who are allowed to enter a group facility. The image data collected through the IP camera uses YOLOv4 to extract a person object, and collects beacon signal data (UUID, RSSI) through an application to compose a fingerprinting-based radio map. Beacon extracts user location data after CNN-LSTM-based learning in order to improve location accuracy by supplementing signal instability. As a result of this paper, it showed an accuracy of 93.47%. In the future, it can be expected to fusion with the access authentication process such as QR code that has been used due to the COVID-19, track people who haven't through the authentication process.

주제어

표/그림 (14)

그림 Fig. 1. Location positioning method using beacon
그림 Fig. 2. Unauthorized person tracking system overview
표 Table 1. Summary of studies on beacon location positioning
그림 Fig. 3. CNN-LSTM model architecture
그림 Fig. 4. Divided session image
그림 Fig. 5. Application UI for data collection
그림 Fig. 6. Person class extraction using YOLOv4
그림 Fig. 7. Validation graph for each models
표 Table 2. Hardware information
표 Table 3. Loss and accuracy comparison for test data of each model
그림 Fig. 8. Beacons coordinate values
그림 Fig. 9. Process of mapping user object and location
그림 Fig. 10. Unauthorized person tracking
표 Table 4. Prediction accuracy of studies on beacon location positioning

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 다양한 방해 요소로 인해 송출 신호가 불규칙하여 한계성이 명확했던 기존의 비콘 위치 측위를 딥러닝을 통해 RSSI 값을 학습시켜 위치 측위의 신뢰성을 높인다. 최종적으로 비승인자 추적 및 식별의 정확도를 향상하고자 한다.
본 논문에서는 영상 데이터, 비콘 데이터의 결합을 통해 집단시설에서 시설의 출입이 허용된 승인자와 비승인 자를 구분하는 시스템을 제안하였다. IP 카메라를 통해 데이터베이스에 저장된 영상 데이터에서 YOLOv4를 사용하여 사람 객체만을 식별하는 과정을 진행한다.

제안 방법

학습에 사용된 모델은 CNN-LSTM 모델을 사용하였다. CNN을 이용해각 세션의 특징을 추출하고 LSTM은 센서 데이터의 시계 열적 특성뿐만이 아닌 각 세션에 배치되어있는 비콘들의시계열적 특성을 반영하고자 하였다. 학습에 사용된 CNN-LSTM은 1-Dimension으로 진행하였으며, 구조는 아래 Fig.
본 논문에서는 영상 데이터, 비콘 데이터의 결합을 통해 집단시설에서 시설의 출입이 허용된 승인자와 비승인 자를 구분하는 시스템을 제안하였다. IP 카메라를 통해 데이터베이스에 저장된 영상 데이터에서 YOLOv4를 사용하여 사람 객체만을 식별하는 과정을 진행한다. 비콘 데이터의 경우, 애플리케이션을 통해 데이터를 수집한 후 핑거프린팅 기법을 적용하여 비콘의 UUID 값을 기준으로 세션을 구분한다.
딥러닝 학습에 적합한 모델을 선정하기 위해 동일한 데이터셋에 CNN, LSTM 그리고 CNN-LSTM 모델을 학습 시켜 어떤 모델이 성능이 우수한지 검증 과정을 진행하였으며, 이때 검증 기준은 손실률과 정확도를 기준으로 하였다. 학습 결과 검증 그래프는 아래 Fig.
따라서 본 논문에서는 CNN-LSTM 학습 모델을 기반으로 하여 비콘 데이터를 이용해 사용자 위치 측위를 진행하고자 한다.
시간에 따라 변동하는 RSSI의 특성상 순환 신경망 (RNN:Recurrent Neural Network, 이하 RNN) 기반의 방법을 사용하면 위치 측위의 신뢰성과 정확도를 증가시킬 수 있다. 따라서, 본 논문에서는 움직이는 승인자로부터 수집된 비콘 데이터를 합성곱 신경망 (CNN:Convolutional Neural Network, 이하 CNN)과 RNN 기반의 시계열적 특성을 반영할 수 있는 장단기 메모리 (LSTM:Long-Short Term Memory, 이하 LSTM) 의 하이브리드 모델을 사용하여 비콘의 RSSI값을 보정한다. 이후 향상된 위치 측위 결과를 통해 비승인자를 식별하고자 한다.
비콘은 저전력으로 이용할 수 있는 장점 때문에 반영구적으로 사용할 수 있는 기기이지만 외부 환경의 영향을 많이 받기 때문에 RSSI 신호의 값이 불안정하다는 단점이 있다. 이를 보완하기 위해 본 논문에서는 인공지능의 딥러닝 학습을 이용해 비콘의 불안정한 RSSI 신호의 값을 보정하고 오차를 줄이는 방법을 사용하였다. 학습에 사용된 모델은 CNN-LSTM 모델을 사용하였다.
이때 데이터셋은 일반적으로 COCO 데이터셋을 사용하며, 사람 객체만이 아닌 사물에 대한 객체들도 모두 인식을 하게 된다. 이를 해결하기 위해서 YOLOv4가 적용된 환경에 사람 객체에 대한 이미지를 2,000장을 학습시켜 사람 객체에 대한 가중치를 도출하는 작업을 진행한다. 이후 가중치에 따라 학습한 데이터를 기반으로 저장된 영상 데이터에서 사람 객체만을 인식하여 ROI(Region of Interest)를 그린다.

대상 데이터

본 연구에서 실험을 위해 사용된 하드웨어의 정보는 Table 2와 같다. 영상 데이터는 IP 카메라를 이용해 고정된 각도에서 수집되고, 비콘 데이터는 스마트폰 애플리케이션을 이용해 UUID와 RSSI 값이 수집된다. 수집된 데이터들은 구축된 서버의 데이터베이스에 저장되며, 비콘의수집 주기는 1초에 1번씩 진행하고 각 비콘 간의 간격은 3m로 고정되어 있다.

이론/모형

이후 수집된 영상 데이터를 바탕으로 사용자 객체 인지 과정을 진행한다. 사용자 위치 측위에서는 정확도 향상을 위해 CNN-LSTM 기반 딥러닝 학습을 진행하였으며, 사용자 객체 인지 과정에서는 YOLO(You Only Look Once)v4를 사용하였다. 이후 도출된 데이터의 결합과정을 진행한다.
수집된 영상 데이터에 YOLOv4를 사용하여 프레임에서의 영상 처리를 진행한다. 이때 데이터셋은 일반적으로 COCO 데이터셋을 사용하며, 사람 객체만이 아닌 사물에 대한 객체들도 모두 인식을 하게 된다.
이를 보완하기 위해 본 논문에서는 인공지능의 딥러닝 학습을 이용해 비콘의 불안정한 RSSI 신호의 값을 보정하고 오차를 줄이는 방법을 사용하였다. 학습에 사용된 모델은 CNN-LSTM 모델을 사용하였다. CNN을 이용해각 세션의 특징을 추출하고 LSTM은 센서 데이터의 시계 열적 특성뿐만이 아닌 각 세션에 배치되어있는 비콘들의시계열적 특성을 반영하고자 하였다.

성능/효과

검증 결과에서 보이듯, CNN-LSTM 모델이 검증 손실률과 정확도에서 성능이 우수한 모습을 나타내고 있다. 아래 Table 4는 최근 3년간 비콘을 이용해 위치 정확도를 나타낸 연구들의 정확도와 비콘 개수를 비교한 표이다.
기존 연구들은 대부분 실내환경에서 연구가 진행되었으며, 실외에서 연구를 진행하더라도 외부 환경의 영향 때문에 비교적 정확도가 낮은 결과를 보였다. 그러나, 본 연구에서 제안된 방법으로 진행하였을 때 정확도가 93.47%로, 기존 실내에서 진행된 연구들보다 향상됨을 확인하였다. 이는 CNN-LSTM 모델 기반의 위치 측위 방법이 비콘의불안정한 RSSI 값을 선행연구보다 높은 성능으로 보완할 수 있다는 점에서 의미가 있다.
저장된 값들은 CNN-LSTM 모델을 거쳐 해당 값에 따른 세션을 예측하게 된다. 실험 결과를 통해 제안된 CNN-LSTM 모델이 기존 실내에서 진행된 연구보다 높은 위치 측위 정확도를 보였으며, 실외에서 불안정한 비콘 RSSI값을 보완할 수 있음을 확인했다는 점에서 의미가 있다. 최종적으로 매핑 과정을 거쳐 해당 세션에 있는 승인자의 데이터를 기반으로 비승인자를 추적한다.

후속연구

본 연구에서 제안한 방법은 다양한 집단시설에서 비승인 자를 추적하는 데 사용될 수 있다. 또한, 최근 코로나19 로 인해 사용이 증가하고 있는 QR코드 인증 체계와 결합하여 인증자와 미인증자를 식별하는 시스템으로의 확장을 기대할 수 있다.
본 연구에서 제안한 방법은 다양한 집단시설에서 비승인 자를 추적하는 데 사용될 수 있다. 또한, 최근 코로나19 로 인해 사용이 증가하고 있는 QR코드 인증 체계와 결합하여 인증자와 미인증자를 식별하는 시스템으로의 확장을 기대할 수 있다.

참고문헌 (19)

The Ministry of Health and Welfare, Coverage and Target of Public and Multi-Purpose Facilities, http://ncov.mohw.go.kr/shBoardView.do?brdId2&brdGubun25&ncvContSeq8
J. Kim, and M. Jang, "Analysis on Application Status of Crime Prevention Through Environmental Design in Apartment Complex Built after Application of CPTED was Mandated - Focused on the six Apartment Complexes in Manseong New Town, Jeonju," Journal of the Korean Institute of Interior Design, Vol. 30, No. 2, pp. 39-48, April 2021. DOI: 10.14774/JKIID.2021.30.2.039

상세보기
S. Anwarul, and S. Dahiya, "A comprehensive review on face recognition methods and factors affecting facial recognition accuracy," Proceedings of ICRIC 2019, Vol. 597, pp. 495-514, November 2020. DOI: 10.1007/978-3-030-29407-6_36
A. Noertjahyana, A. I. Wijayanto, and J. Andjarwirawan, "Development of mobile indoor positioning system application using android and bluetooth low energy with trilateration method," 2017 international conference on soft computing, intelligent system and information technology, pp. 185-189, Denpasar, Indonesia, September 2017. DOI: 10.1109/ICSIIT.2017.64
J. Kim, and B. Gu, "Machine Learning Method based on Beacon Signal Strength Pattern for Deciding Indoor Presence of User," The Journal of Korean Institute of Information Technology, Vol. 18, No. 8, pp. 1-8, August 2020. DOI: 10.14801/jkiit.2020.18.8.1

상세보기
J. Xu, "A deep learning approach to building an intelligent video surveillance system," Multimedia Tools and Applications, Vol. 80, No. 4, pp. 5495-5515, October 2020. DOI: 10.1007/s11042-020-09964-6

상세보기
F. Perez-Hernandez, S. Tabik, A. Lamas, R. Olmos, H. Fujita, and F. Herrera, "Object detection binary classifiers methodology based on deep learning to identify small objects handled similarly: Application in video surveillance," Knowledge-Based Systems, Vol. 194, No. 105590, April 2020. DOI: 10.1016/j.knosys.2020.105590

상세보기
G. Guo, and N. Zhang, "A survey on deep learning based face recognition," Computer vision and image understanding, Vol. 189, No. 102805, December 2019. DOI: 10.1016/j.cviu.2019.102805.

상세보기
N. T. Son, B. N. Anh, T. Q. Ban, L. P. Chi, B. D. Chien, D. X. Hoa, L. V. Thanh, T. Q. Huy, L. D. Duy, and M. Hassan Raza Khan, "Implementing CCTV-based attendance taking support system using deep face recognition: A case study at FPT polytechnic college," Symmetry, Vol. 12, No. 2, pp. 307-326, February 2020. DOI: 10.3390/sym12020307

상세보기
Z. Wang, G. Wang, B. Huang, Z. Xiong, Q. Hong, H. Wu, P. Yi, K. Jiang, N. Wang, Y. Pei, H. Chen, Y. Miao, Z. Huang, J. Liang, "Masked face recognition dataset and application," arXiv preprint arXiv:2003.09093, March 2020.
P. Voigtlaender, M. Krause, A. Osep, J. Luiten, B. B. G. Sekar, A. Geiger, and B. Leibe, "Mots: Multi-object tracking and segmentation," In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7942-7951, California, U.S, February 2019. DOI: 10.1109/cvpr.2019.00813
S. Baek, and S. Cha, "The trilateration-based BLE Beacon system for analyzing user-identified space usage of New Ways of Working offices," Building and Environment, Vol. 149, pp. 264-274, February 2019. DOI: 10.1016/j.buildenv.2018.12.030

상세보기
S. Lee, J. Kim, and N. Moon, "Random forest and WiFi fingerprint-based indoor location recognition system using smart watch," Human-centric Computing and Information Sciences, Vol. 9, No. 1, pp. 1-14, February 2019. DOI: 10.1186/s13673-019-0168-7

상세보기
R. C. Luo, and T. J. Hsiao, "Indoor localization system based on hybrid Wi-Fi/BLE and hierarchical topological fingerprinting approach," IEEE Transactions on Vehicular Technology, Vol. 68, No. 11, pp. 10791-10806, September 2019. DOI: 10.1109/TVT.2019.2938893

상세보기
H. An, and N. Moon, "Image-based positioning system using LED Beacon based on IoT central management," Multimedia Tools and Applications, pp. 1-13, November 2020. DOI: 10.1007/s11042-020-10166-3

상세보기
K. Konstantinos, and T. Orphanoudakis, "Bluetooth beacon based accurate indoor positioning using machine learning," In 2019 4th South-East Europe Design Automation, Computer Engineering, Computer Networks and Social Media Conference, pp. 1-6, Piraeus, Greece, September 2019. DOI: 10.1109/SEEDA-CECNSM.2019.8908304.
A. Sashida, D. P. Moussa, M. Nakamura, and H. Kinjo, "A Machine Learning Approach to Indoor Positioning for Mobile Targets using BLE Signals," In 2019 34th International Technical Conference on Circuits/Systems, Computers and Communications, pp. 1-4, JeJu, Korea, June 2019. DOI: 10.1109/ITC-CSCC.2019.8793423.
Z. HajiAkhondi-Meybodi, M. Salimibeni, A. Mohammadi, and K. N. Plataniotis, "Bluetooth Low Energy and CNN-Based Angle of Arrival Localization in Presence of Rayleigh Fading," In ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 7913-7917, Toronto, Canada, June 2021. DOI: 10.1109/ICASSP39728.2021.9413455.
M. Shin, and N. Moon, "Indoor Distance Measurement System COPS (COVID-19 Prevention System)," Sustainability, Vol. 13, No. 9, pp. 4738-4750, April 2021. DOI: 10.3390/su13094738

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증