[논문]AWS 기반 행위와 객체 인식을 통한 위협 상황 판단 시스템

김예영; 정수현; 박소현; 박영호

doi:10.3745/ktsde.2023.12.4.189

AWS 기반 행위와 객체 인식을 통한 위협 상황 판단 시스템
Threat Situation Determination System Through AWS-Based Behavior and Object Recognition 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.12 no.4, 2023년, pp.189 - 198

김예영 (숙명여자대학교 IT공학전공) , 정수현 (숙명여자대학교 IT공학전공) , 박소현 (동국대학교 WISE캠퍼스 컴퓨터공학과) , 박영호 (숙명여자대학교 인공지능공학부)

초록
AI-Helper

길거리에서 묻지마 범죄가 자주 발생함에 따라 CCTV의 보급이 증가하고 있다. 그러나 수동적으로 작동되는 CCTV의 단점 때문에 지능형 CCTV의 필요성이 주목 받고 있다. 이러한 지능형 CCTV의 무거운 시스템 때문에, 높은 성능의 기기들이 필요해 일반 CCTV를 대체하는데 비용적 측면에서 부담이 발생한다. 이 문제를 해결하기 위해 낮은 품질의 영상도 인식하며 높지 않은 성능의 기기에서도 시스템이 구동되는 지능형 CCTV 시스템이 필요하다. 따라서 본 논문은 AWS 기반 플랫폼을 활용하여 시스템을 경량화하고 영상을 텍스트화하여 실시간으로 위협을 감지할 수 있는 Saying CCTV 시스템을 제안한다. 이는 YOLO v4와 OpenPose를 사용해 추출한 데이터를 바탕으로 위험 객체와 위협 행동 그리고 위협 상황을 판단하며, 위험도를 머신러닝으로 계산하도록 구현하였다. 이를 통해, 언제 어디서나 네트워크만 연결되면 시스템을 동작시킬 수 있으며, 영상 촬영과 이미지 업로드가 최소한의 성능의 기기에서도 시스템 사용이 가능하다. 나아가 영상을 분석하여 텍스트로 저장되는 데이터들로 하여금 범죄의 유의미한 통계를 자동화하여 신속한 범죄 예방이 가능하다.

Abstract ▼ AI-Helper

As crimes frequently occur on the street, the spread of CCTV is increasing. However, due to the shortcomings of passively operated CCTV, the need for intelligent CCTV is attracting attention. Due to the heavy system of such intelligent CCTV, high-performance devices are required, which has a problem in that it is expensive to replace the general CCTV. To solve this problem, an intelligent CCTV system that recognizes low-quality images and operates even on devices with low performance is required. Therefore, this paper proposes a Saying CCTV system that can detect threats in real time by using the AWS cloud platform to lighten the system and convert images into text. Based on the data extracted using YOLO v4 and OpenPose, it is implemented to determine the risk object, threat behavior, and threat situation, and calculate the risk using machine learning. Through this, the system can be operated anytime and anywhere as long as the network is connected, and the system can be used even with devices with minimal performance for video shooting and image upload. Furthermore, it is possible to quickly prevent crime by automating meaningful statistics on crime by analyzing the video and using the data stored as text.

주제어

표/그림 (17)

그림 Fig. 1. Composition Diagram of Saying CCTV
그림 Fig. 2. Keypoint position in hitting behavior
그림 Fig. 3. Keypoint location of the kick action
그림 Fig. 4. Determination Accessibility by Comparing Image and Central Coordinates of Body (left: approach, right: do not approach)
그림 Fig. 5. Relationship Between a Person and a Dangerous Object
그림 Fig. 6. Relationship Between Two People and One Dangerous Object
표 Table 1. Risk assessment criteria
그림 Fig. 7. Image Taken on Raspberry Pi
그림 Fig. 8. Image in Which Actions and Objects are Recognized
그림 Fig. 9. Data stored in AWS DynamoDB
그림 Fig. 10. AWS Lambda log information
그림 Fig. 11. Run log screen in Raspberry Pi
그림 Fig. 12. 240px Image
그림 Fig. 13. 360px Image
그림 Fig. 14. 480px Image
그림 Fig. 15. 1080px Image
표 Table 2. Comparison of Measured Results by Image Quality

참고문헌 (24)

Prosecutors, "Crime Analysis 2020," Supreme prosecutors'？Office, 2021.
J. S. Yoon, J. S. Park, S. H. Ahn, and M. J. Kim, "Violent？offending with unspecified motivation toward strangers,"？Korean Criminological Review, pp.1-179, 2014.
J. B. Park, S. J. Park, J. J. Jeong, and K. W. Kim, "Development of lntelligent video surveillance technology to？solve problem of deteriorating arrest rate by improving？CCTV constraint," Journal of The Korean Institute of？Communication Sciences, Vol.37, No.1, pp.17-24, 2019.
J. K. Han, "A study on establishment and management of？the crime prevention CCTV," Journal of Public Society,？Vol.8, No.4, pp.109-137, 2018.
Y. W. Joo and S. J. Lee, "Intelligent CCTV trends and？performance improvement measures," KISA(Korea Internet & Security Agency) Technological Trend Data, 2014.
J. B. Park, S. J. Park, J. J. Jeong, and K. W. Kim, "Core？principles and problem solving methods of intelligent？video security technology to support the improvement of？CCTV restrictions," Journal of The Korean Institute of？Communication Sciences, Vol.37, No.1, pp.17-24, 2019.
C. H. Lee and J. W. Kim, "Leveraging cloud-native edge？cluster for intelligent edge CCTV service," in Proceedings？of the Korean Institute of Communication Sciences？Conference, Jeju, pp.1507-1508, 2021.
W. C. Choi and J. Y. Na, "Development of CCTV cooperation tracking system for real-time crime monitoring,"？Journal of Korea Academia-Industrial cooperation Society, Vol.20, No.12, pp.546-554, 2019.
S. I. Jang, L. Battulg, and A. Nasridinov, "Detection of？dangerous situations using deep learning model with？relational inference," Journal of Multimedia Information？System, Vol.7, No.3, pp.205-214, 2020.

원문보기 상세보기
M. Nakib, R. T. Khan, M. S. Hasan, and J. Uddin, "Crime？scene prediction by detecting threatening objects using？convolutional neural network," in Proceedings of 2018？International Conference on Computer, Communication,？Chemical, Material and Electronic Engineering (IC4ME2),？Rajshahi, pp.1-4, 2018.
AWS, "What is AWS Lambda?" [Internet], https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/welcome.html
A. K. Shetty, I. Saha, R. M. Sanghvi, S. A. Save, and J. Patal,？"A review: Object detection models," In Proceedings of 6th？International Conference for Convergence in Technology？(12CT 2021), Maharashtra, pp.1-8, 2021.
C. K. Park, "A study on the revision of armed with a deadly？weapon or other dangerous thing," Chosun Law Journal,？Vol.17, No.3, pp.283-303, 2010.
COCO, Common Objects in Contest [Internet], https://cocodataset.org/#download
EscVM, OIDv4_ToolKit [Internet], https://github.com/EscVM/OIDv4_ToolKit
CMU-Perceptual-Computing-Lab, OpenPose [Internet],？https://github.com/CMU-Perceptual-Computing-Lab/openpose
Z. Cao, T. Simon, S. E. Wei, and Y. Sheikh, "OpenPose:？Realtime multi-person 2D pose estimation using part？affinity fields," in Proceedings of the IEEE Conference on？Computer Vision and Pattern Recognition, Honolulu, pp.？7291-7299, 2017.
Q. Dang, J. Yin, B. Wang, and W. Zheng, "Deep learing？based 2D human pose estimation: A survey," Tsinghua？Science and Technology, Vol.24, No.6, pp.663-676, 2021.
T. Yoshimi, M. Nishiyama, T. Sonoura, H. Nakamoto, S.？Tokura, H. Sato, F. Ozaki, N. Matsuhira, and H. Mizoguchi,？"Development of a person following robot with vision？based target detection," In Proceedings of 2006 IEEE/RSJ？International Conference on Intelligent Robots and Systems,？Beijing, pp.5286-5291, 2006.
R. Debnath, A. Singha, B. Saha, and M. K. Bhowmilk, "A？comparative study of background segmentation approaches in detection of person with gun under adverse？weather conditions," in Proceedings of 2020 11th International Conference on Computing, Communication and？Networking Technologies (ICCCNT), Kharagpur, pp.1-7,？2020.
M. Pham, M. Tanjil, and M. Ruppert-Stroescu, "Application？of gradient boosting through SAS Enterprise Miner 12.3？to classify human activities," in SAS Global Forum, Lasvegas,？2016.
P. O. Gislason, J. A. Benediktsson, and J. R. Sveinsson,？"Random forests for land cover classification," Pattern？Recognition Letters, Vol.27, No.4, pp.294-300, 2006.
J. H. Lee, J. C. Kim, and D. H. Seo, "A study on image？caption algorithm based on object detection," Journal of？Advanced Marine Engineering and Technology, Vol.41,？No.7, pp.683-689, 2017.
AWS, "What is Amazon Polly?" [Internet], https://docs.aws.amazon.com/ko_kr/polly/latest/dg/what-is.html

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증