[논문]관절점 딥러닝을 이용한 쓰레기 무단 투기 적발 시스템

민혜원; 이형구

doi:10.9717/kmms.2021.24.11.1508

관절점 딥러닝을 이용한 쓰레기 무단 투기 적발 시스템
Garbage Dumping Detection System using Articular Point Deep Learning 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.11, 2021년, pp.1508 - 1517

민혜원 (School of Game Engineering, Korea Polytechnic University) , 이형구 (School of Game Engineering, Korea Polytechnic University)

Abstract ▼ AI-Helper

In CCTV environments, a lot of learning image data is required to monitor illegal dumping of garbage with a typical image-based object detection using deep learning method. In this paper, we propose a system to monitor unauthorized dumping of garbage by learning the articular points of the person using only a small number of images without immediate use of the image for deep learning. In experiment, the proposed system showed 74.97% of garbage dumping detection performance with only a relatively small amount of image data in CCTV environments.

주제어

표/그림 (13)

그림 Fig. 1. Articular Point Extraction Process.
그림 Fig. 2. System Process: Data Preprocessing, Running modules and Training Modules.
그림 Fig. 3. DNN (Deep Neural Network) model.
그림 Fig. 4. Example of Experimental Data: (a) AI Hub Data and (b) Directly Taken Data.
그림 Fig. 5. Test Process.
표 Table 1. Composition of Image Data.
그림 Fig. 6. Test Result Image.
표 Table 2. Composition of Training and Validation Data.
표 Table 3. Test Image Data.
그림 Fig. 7. Data Augmentation Example : (a) AI Hub Data and (b) Directly Taken Data.
그림 Fig. 8. ROC Curve.
표 Table 4. Accuracy Result.
표 Table 5. Experimental Result.

AI 본문요약
AI-Helper

문제 정의

이러한 선행 연구는 대부분 쓰레기를 투기하는 사람의 이미지나 쓰레기 이미지 자체를 학습시키는 방법을 사용하므로 실제 상황에 적용하기 위해서는 다양하고 많은 상황의 학습용 이미지 데이터가 요구된다. 본 연구에서는 이러한 제약을 극복하기 위하여 이미지에서 추출한 사람의 관절 데이터를 이용하여 쓰레기 무단 투기를 적발하는 방법을 제안한다.

제안 방법

딥러닝 신경망을 사용하여 쓰레기 무단 투기를 적발하고자 할 때, 이미지만으로 학습시키는 경우에는 많은 양의 학습용 이미지 데이터가 필요하다. 이 문제를 해결하기 위해 본 논문에서는 이미지에서 관절 키포인트 좌표를 얻어 쓰레기 투기 자세를 감지하는 방법을 사용했다. CCTV 이미지에서 관절 키포인트좌표로 자세를 인식하므로 비교적 적은 양의 이미지 데이터만으로도 74.
허리와 무릎을 굽힌 채 팔을 뻗는 자세를 쓰레기 투기 자세로 특정하고 인식하였으며, 이를 위해 학습용 이미지 데이터에 좌우반전, 회전 효과를 적용시켰다. 특히, 쓰레기 무단 투기 적발 시스템이 CCTV 환경에서 작동한다는 점을 고려하여, 정면에서 촬영된 이미지에 대해서는 CCTV 촬영 각도를 반영하여 X축으로 회전시킨 이미지 데이터를 추가했다. 그 결과, X축으로 회전시킨 데이터를 추가하였을 때 정확도가 73.
허리와 무릎을 굽힌 채 팔을 뻗는 자세를 쓰레기 투기 자세로 특정하고 인식하였으며, 이를 위해 학습용 이미지 데이터에 좌우반전, 회전 효과를 적용시켰다. 특히, 쓰레기 무단 투기 적발 시스템이 CCTV 환경에서 작동한다는 점을 고려하여, 정면에서 촬영된 이미지에 대해서는 CCTV 촬영 각도를 반영하여 X축으로 회전시킨 이미지 데이터를 추가했다.

대상 데이터

여기에 사용된 이미지는 두 그룹으로서 첫번째 그룹은 원본과 좌우반전, 회전을 적용시켜 얻은 이미지 그룹이고 두번째 그룹은 원본, 좌우반전, 회전에 추가로 x축 회전을 적용시켜 얻은 이미지 그룹이다. 이러한 두 그룹으로 나누어 학습용 데이터 세트를 구성하고 이중 10%를 검증용 데이터(validation data)로 사용하였다. 쓰레기를 투기하는 자세인 Dump 클래스와 그 외 일반 자세인 None 클래스에 해당하는 학습용 데이터 개수는 Table 2와 같다.
쓰레기를 투기하는 자세는 여러 상황이 있을 수 있지만 본 논문에서는 허리와 무릎을 굽힌 채 한쪽 팔을 뻗어 쓰레기를 땅에 내려놓는 자세를 취하는 것으로 특정 한다. 일반 자세로는 거리의 CCTV 영상에서 잡히는 쓰레기 투기 자세 이외의 이미지(걷기 자세, 통화 자세, 팔짱을 낀 자세, 등) 데이터를 수집했다. 모든 이미지는 회색조(gray scale)이며 Fig.
길에 쓰레기를 버리는 대표적인 자세와 그 외 거리에서 취하는 일반적인 자세를 구분하는 것을 본 쓰레기 무단 투기 적발 시스템은 목표로 한다. 일반자세 중 팔짱 끼는 자세, 걷는 자세, 전화 받는 자세, 서 있는 자세 등 여러 자세를 포함하여 데이터를 구성하였으며 쓰레기 투기 자세는 팔을 뻗고 무릎을 굽히는 자세를 기본으로 허리의 각도나 무릎을 굽힌 정도를 다르게 한 자세를 포함시켜 학습데이터를 구성했다. 즉, 본 논문에서 특정 하는 쓰레기 무단 투기 자세는 허리와 무릎을 굽힌 채 팔을 뻗는 자세를 기본으로 하며, 입력 이미지에서 얻은 관절의 2차원 좌표 값 (x, y)으로 쓰레기 무단 투기 자세를 판단한다.
쓰레기를 투기하는 자세인 Dump 클래스와 그 외 일반 자세인 None 클래스에 해당하는 학습용 데이터 개수는 Table 2와 같다. 테스트 데이터 세트는 AI Hub의 쓰레기 투기 영상 중 학습에 사용하지 않은 6개의 비디오에서 1초당 5개의 이미지를 추출해서 사용한다. 테스트에 사용된 이미지 개수는 Table 3과 같다.
학습을 위해 쓰레기 투기 자세 23, 882개와 그 외의 일반 자세 25, 858개의 이미지 데이터를 포함하여 총 49, 740개를 사용하였다. 쓰레기를 투기하는 자세는 여러 상황이 있을 수 있지만 본 논문에서는 허리와 무릎을 굽힌 채 한쪽 팔을 뻗어 쓰레기를 땅에 내려놓는 자세를 취하는 것으로 특정 한다.

성능/효과

이 문제를 해결하기 위해 본 논문에서는 이미지에서 관절 키포인트 좌표를 얻어 쓰레기 투기 자세를 감지하는 방법을 사용했다. CCTV 이미지에서 관절 키포인트좌표로 자세를 인식하므로 비교적 적은 양의 이미지 데이터만으로도 74.97%의 쓰레기 무단 투기 감지 성능을 보여줌을 확인하였다.
특히, 쓰레기 무단 투기 적발 시스템이 CCTV 환경에서 작동한다는 점을 고려하여, 정면에서 촬영된 이미지에 대해서는 CCTV 촬영 각도를 반영하여 X축으로 회전시킨 이미지 데이터를 추가했다. 그 결과, X축으로 회전시킨 데이터를 추가하였을 때 정확도가 73.73%에서 74.97%로 향상되었다. X축 회전각의 양을 달리 했을 때 정확도 변화가 의미 있는 수준이 아니었고 향후 연구에서는 X축 회전각의 변화를 포함하여 다양한 영상 증강 방법을 적용할 예정이다.
97%이다. 이는 CCTV 설치 환경에 따른 학습 데이터의 특징으로 수평으로 촬영된 영상에 대해서는 X축 회전을 하여 CCTV 환경을 갖추게 하는 것이 효과가 있음을 의미한다.

후속연구

97%로 향상되었다. X축 회전각의 양을 달리 했을 때 정확도 변화가 의미 있는 수준이 아니었고 향후 연구에서는 X축 회전각의 변화를 포함하여 다양한 영상 증강 방법을 적용할 예정이다.
딥러닝 신경망을 사용하여 쓰레기 무단 투기를 적발하고자 할 때, 이미지만으로 학습시키는 경우에는 많은 양의 학습용 이미지 데이터가 필요하다. 이 문제를 해결하기 위해 본 논문에서는 이미지에서 관절 키포인트 좌표를 얻어 쓰레기 투기 자세를 감지하는 방법을 사용했다.
제안된 시스템은 적은 양의 이미지 데이터로도 특정 움직임을 감지할 수 있으므로 범죄 예방이나 각종 안전사고 예방에 적용할 수 있을 것이다.

참고문헌 (11)

A. Krizhevsky, I. Sutckever, and G.E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," Communications of the ACM, Vol. 60, Issue 6, pp. 84-90, 2017.

상세보기
J.H. Chae, J.H. Lim, H.S. Kim, and J.J. Lee, "Study on Real-time Gesture Recognition based on Convolutional Neural Network for Game Applications," Journal of Korea Multimedia Society, Vol. 20, No. 5, pp. 835-843, 2017.

원문보기 상세보기
J. Jeong, S. Kwon, Y. Kim, S. Hong, and Y. Kim, "Development of Monitoring System for Detecting Illegal Dumping Using Image Processing," Proceedings of the Korean Information Science Society, pp. 1613-1613, 2017.
T. Kim, H. Kim, P. Kim, and Y. Lee, "The Design of Intelligent System for Statistically Determining Illegal Garbage Dumping through Trajectory Analysis," Proceedings of the Information Science Society, pp. 805-807, 2017.
A. Bochkovskiy, C. Wang, and H.M. Liao, "Scaled-YOLOv4: Scaling Cross Stage Partial Network," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 13029-13038, 2021.
C. Bae, H. Kim, J. Yeo, J. Jeong, and T. Yun, "Development of Monitoring System for Detecting Illegal Dumping Using Deep Learning," Proceedings of the Korean Society of Computer Information Conference, Vol. 28, No. 2, pp. 287-288, 2020.
Z. Cao, G. Hidalgo, T. Simon, S. E. Wei, and Y. Sheikh, "OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 43, No. 1, pp. 172- 186, 2021.

상세보기
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You Only Look Once: Unified, Real- Time Object Detection," 2016 IEEE Conference on Computer Vision and Pattern Recognition, pp. 779-788, 2016.
K. He, X. Zhang, S. Ren, and J. Sun, "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification," 2015 IEEE International Conference on Computer Vision, pp. 1026-1034, 2015.
S. Ioffe and C. Szegedy, "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift," arXiv Preprint, arXiv:1502.03167, 2015.
AI Hub, https://aihub.or.kr/ (accessed November 1, 2021).

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증