[논문]AlphaPose를 활용한 LSTM(Long Short-Term Memory) 기반 이상행동인식

배현재; 장규진; 김영훈; 김진평

doi:10.3745/ktsde.2021.10.5.187

AlphaPose를 활용한 LSTM(Long Short-Term Memory) 기반 이상행동인식
LSTM(Long Short-Term Memory)-Based Abnormal Behavior Recognition Using AlphaPose 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.10 no.5, 2021년, pp.187 - 194

배현재 (차세대융합기술연구원) , 장규진 (차세대융합기술연구원) , 김영훈 (차세대융합기술연구원) , 김진평 (차세대융합기술연구원)

초록
AI-Helper

사람의 행동인식(Action Recognition)은 사람의 관절 움직임에 따라 어떤 행동을 하는지 인식하는 것이다. 이를 위해서 영상처리에 활용되는 컴퓨터 비전 태스크를 활용하였다. 사람의 행동인식은 딥러닝과 CCTV를 결합한 안전사고 대응서비스로서 안전관리 현장 내에서도 적용될 수 있다. 기존연구는 딥러닝을 활용하여 사람의 관절 키포인트 추출을 통한 행동인식 연구가 상대적으로 부족한 상태이다. 또한 안전관리 현장에서 작업자를 지속적이고 체계적으로 관리하기 어려운 문제점도 있었다. 본 논문에서는 이러한 문제점들을 해결하기 위해 관절 키포인트와 관절 움직임 정보만을 이용하여 위험 행동을 인식하는 방법을 제안하고자 한다. 자세추정방법(Pose Estimation)의 하나인 AlphaPose를 활용하여 신체 부위의 관절 키포인트를 추출하였다. 추출된 관절 키포인트를 LSTM(Long Short-Term Memory) 모델에 순차적으로 입력하여 연속적인 데이터로 학습을 하였다. 행동인식 정확률을 확인한 결과 "누워있기(Lying Down)" 행동인식 결과의 정확도가 높음을 확인할 수 있었다.

Abstract ▼ AI-Helper

A person's behavioral recognition is the recognition of what a person does according to joint movements. To this end, we utilize computer vision tasks that are utilized in image processing. Human behavior recognition is a safety accident response service that combines deep learning and CCTV, and can be applied within the safety management site. Existing studies are relatively lacking in behavioral recognition studies through human joint keypoint extraction by utilizing deep learning. There were also problems that were difficult to manage workers continuously and systematically at safety management sites. In this paper, to address these problems, we propose a method to recognize risk behavior using only joint keypoints and joint motion information. AlphaPose, one of the pose estimation methods, was used to extract joint keypoints in the body part. The extracted joint keypoints were sequentially entered into the Long Short-Term Memory (LSTM) model to be learned with continuous data. After checking the behavioral recognition accuracy, it was confirmed that the accuracy of the "Lying Down" behavioral recognition results was high.

주제어

표/그림 (15)

그림 Fig. 1. The Human Skeleton Model with 18 Joints
표 Table 1. Results on COCO Test-dev 2015[1]
그림 Fig. 2. Relationship between Crowd Index and Landmark Average Precision on COCO Dataset[7]
그림 Fig. 3. The Proposed HRNet-LSTM Model
그림 Fig. 4. Example of Joint Keypoint Extraction
표 Table 2. Parameter Values of the Proposed LSTM Model
표 Table 3. Number of Keypoints for 6 Action Classes
그림 Fig. 5. (a) Tf-Pose-Estimation, (b) OpenPose, (c) AlphaPose. Comparison of Pose Estimation Performance
그림 Fig. 6. Pose Estimation Experiments on Various Postures (a) Carrying, (b) Falling Down, (c) Walking, (d)Lifting, (e) Standing
그림 Fig. 7A. Accuracy of Training and Testing using RMSProp
그림 Fig. 7B. Accuracy of Training and Testing using Adam
그림 Fig. 8. Loss of Training and Testing using Adam
그림 Fig. 9. Behavior Recognition over 9 Frames
그림 Fig. 10. Result of Fall Down Behavior
그림 Fig. 11. Result of Fall Down Behavior

참고문헌 (15)

Hao-Shu Fang, Shuqin Xie, Yu-Wing Tai, and Cewu Lu, "Rmpe: Regional multi-person pose estimation," Proceedings of the IEEE International Conference on Computer Vision, 2017.
Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang, "Deep high-resolution representation learning for human pose estimation," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019.
Felix A. Gers, Jurgen Schmidhuber, and Fred Cummins, "Learning to forget: Continual prediction with LSTM," (1999): 850-855.
Tsung-Yi Lin, et al., "Microsoft coco: Common objects in context," European Conference on Computer Vision, Springer, Cham, 2014.
Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh, "OpenPose: realtime multi-person 2D pose estimation using Part Affinity Fields," arXiv preprint arXiv:1812.08008, 2018.
Kaiming He, Georgia Gkioxari, Piotr Dollar, and Ross Girshick, "Mask r-cnn," Proceedings of the IEEE International Conference on Computer Vision, 2017.
Jiefeng Li, Can Wang, Hao Zhu, Yihuan Mao, Hao-Shu Fang, and Cewu Lu, "Crowdpose: Efficient crowded scenes pose estimation and a new benchmark," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019.
Zaremba, Wojciech, Ilya Sutskever, and Oriol Vinyals, "Recurrent neural network regularization," arXiv preprint arXiv:1409.2329 (2014).
Statistic, US Bureau of Labor, "Nonfatal Occupational Injuries and Illnesses Requiring Days Away from Work, 2011," UDo Labor, Editor (2012).
Lieyun Ding, Weili Fang, Hanbin Luo, Peter E. D. Love, Botao Zhong, and Xi Ouyang, "A deep hybrid learning model to detect unsafe behavior: Integrating convolution neural networks and long short-term memory," Automation in Construction, Vol.86, pp.118-124, 2018.

상세보기
D. P. Kingma, and B. Jimmy, "Adam: A method for stochastic optimization," arXiv preprint arXiv:1412.6980, 2014.
Human Pose Estimation Image AI Data [Internet], https://aihub.or.kr/aidata/138
Toshev, Alexander, and Christian Szegedy, "Deeppose: Human pose estimation via deep neural networks," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014.
Xiao, Bin, Haiping Wu, and Yichen Wei, "Simple baselines for human pose estimation and tracking," Proceedings of the European Conference on Computer Vision (ECCV), 2018.
Yan, Sijie, Yuanjun Xiong, and Dahua Lin, "Spatial temporal graph convolutional networks for skeleton-based action recognition," Proceedings of the AAAI Conference on Artificial Intelligence, Vol.32. No.1. 2018.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증