[논문]Skeleton 정보와 LSTM을 이용한 작업자 동작인식

전왕수; 이상용

doi:10.9717/kmms.2022.25.4.575

Skeleton 정보와 LSTM을 이용한 작업자 동작인식
Motion Recognition of Workers using Skeleton and LSTM 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.25 no.4, 2022년, pp.575 - 582

전왕수 (Dept. of Computer Engineering., Kyungnam University) , 이상용 (Dept. of Computer Engineering., Kyungnam University)

Abstract ▼ AI-Helper

In the manufacturing environment, research to minimize robot collisions with human beings have been widespread, but in order to interact with robots, it is important to precisely recognize and predict human actions. In this research, after enhancing performance by applying group normalization to the Hourglass model to detect the operator motion, the skeleton was estimated and data were created using this model. And then, three types of operator's movements were recognized using LSTM. As results of the experiment, the accuracy was enhanced by 1% using group normalization, and the recognition accuracy was 99.6%.

주제어

표/그림 (10)

그림 Fig. 1. Examples of body keypoints.
그림 Fig. 2. System overview.
그림 Fig. 3. Transformation result of conv module (a) with out group norm and (b) with group norm.
그림 Fig. 4. Comparison of normalization.
그림 Fig. 5. LSTM model overview.
그림 Fig. 6. Comparison of train and valid performance for MPII dataset (a) without Group normal model stack 1, (b) without Group normal model stack 8, (c) with Group normal model stack 1, and (d) with Group normal model stack 8.
그림 Fig. 7. Comparison of train and valid performance for LSP dataset (a) without Group normal model stack 1, (b) without Group normal model stack 8, (c) with Group normal model stack 1, and (d) with Group normal model stack 8.
표 Table 1. The performance for proposed algorithm by dataset.
표 Table 2. The performance for proposed algorithm by body parts.
표 Table 3. The performance for proposed algorithm.

AI 본문요약
AI-Helper

제안 방법

이 방법은 특징의 정보가 조정되는 이점이 있었으나, 모델의 깊이가 깊어짐에 따라 학습이 불안정하여 정확도 편차가 큰 문제점 있었다. 본 논문에서는 현장에 반복적인 동작을 수행하는 작업자의 자세를 검출하기 위해 일반화가 잘될 수 있도록 그룹 정규화(GroupNormalization) 를 사용하여 모델을 개선한다.이 모델을 이용하여 걸음(Walking), 이동(Moving), 집다(Grapping) 3가지 동작의 데이터를 생성하고 LSTM(Long Short TermMemory)을 이용하여 분류하는 방법을 제안한다.

대상 데이터

본 실험에서는 모델의 안정적인 학습을 위해 기존의 모델에 그룹 정규화를 적용한 후 비교분석을 수행한다. 그 후에 개선된 모델을 이용하여 3개의 클래스인 걸음, 이동, 집다 데이터를 총 2, 000장 생성한다. 이때, 이동은 작업자가 물건을 집은 후 이동하는 것을 말하고, 걸음은 그냥 걷는 것을 의미한다.
이때, 이동은 작업자가 물건을 집은 후 이동하는 것을 말하고, 걸음은 그냥 걷는 것을 의미한다. 생성된데이터를 이용하여 학습에는 1, 700장을 사용하고 테스트에는 300장으로 LSTM에 사용하여 성능을 비교한다.

데이터처리

본 실험에서는 모델의 안정적인 학습을 위해 기존의 모델에 그룹 정규화를 적용한 후 비교분석을 수행한다. 그 후에 개선된 모델을 이용하여 3개의 클래스인 걸음, 이동, 집다 데이터를 총 2, 000장 생성한다.

이론/모형

본 연구에서는 자세 검출을 위해서 stackedhour- glass모델을 이용하여 추출한 스켈레톤을 사용한다. Fig.

성능/효과

Fig. 6과 같이 MPII데이터를 이용하여 실험한 결과는 제안하는 방법이 안정적인 학습과 정확도를 보였고, stack의 크기를 조절해도 안정적인 그래프를 보였다. Fig.
그리고 ‘집다’동작은 단순하여서 정확도가 높았다. 그리고 Mobilenet과 LSTM의 정확도를 비교한 결과 Mobilenet이 0.2% 높은 정확도를 보였고 LSTM모델도 일반적인 시계열 모델들과 비교한다면 좋은 결과를 보인다는 것을 알 수 있다.
7%성능개선이 있었고, 학습과 테스트 과정에서 1%성능이 개선됨을 볼 수 있었다. 그리고 이 모델을 이용하여 데이터를 생성하여 LSTM으로 3가지 동작을 분류하였다.동작을 분류한 결과 99.6%의 정확도를 보였다.
본 논문에서는 작업자의 동작인식을 위해 Stacked hourglass모델에 그룹 정규화를 사용하여 개선하였고, 학습 안정성을 높였다.그룹 정규화를 적용한 결과 기존의 모델보다 0.7%성능개선이 있었고, 학습과 테스트 과정에서 1%성능이 개선됨을 볼 수 있었다. 그리고 이 모델을 이용하여 데이터를 생성하여 LSTM으로 3가지 동작을 분류하였다.

후속연구

차후 연구에서는 로봇과 사람이 협업할 수 있도록 몸의 각 부분의 이동할 위치를 추정할 수 있도록 연구를 진행할 예정이다.

참고문헌 (27)

N, Alejandro, K. Yang, and J. Deng, "Stacked Hourglass Networks for Human Pose Estimation," European Conference on Computer Vision, pp. 483-499, 2016.
3D Human Pose Estimation Experiments and Analysis(2020), https://www.kdnuggets.com/2020/08/3d-human-pose-estimation-experiments-analysis.html (accessed March 14, 2022).
B. Tekin, S.N. Sudipta, and P. Fua, "Real-Time Seamless Single Shot 6D Object Pose Prediction," IEEE Conference on Computer Vision and Pattern Recognition, pp. 292-301, 2018.
S. Peng, Y. Liu, Q. Huang, X. Zhou, and H. Bao, "PVNet: Pixel-Wise Voting Network for 6-DOF Pose Estimation," IEEE Conference on Computer Vision and Pattern Recognition, pp. 4561-4570, 2019.
C. Jiayu, Q. Jun, and A. Changbum, "Construction Worker's Awkward Posture Recognition through Supervised Motion Tensor Decomposition," Automation in Construction, Vol. 77, pp. 67-81, 2017.

상세보기
K. Osmo, K. Pekka, and K. likka, "Correcting Working Postures in Industry a Practical Method for Analysis," Applied Ergonomics, Vol. 8, No. 4, pp. 199-201, 1977.

상세보기
W. Umer, H. Li, G.P.Y. Szeto, and A.Y.L. Wong, "Identification of Biomechanical Risk Factors for The Development of Lower-Back Disorders During Manual Rebar Tying," Journal of Construction Engineering and Management, Vol. 143, No. 1, 2017.

상세보기
P.F. Felzenszwalb and D.P. Huttenlocher, "Pictorial Structures for Object Recognition," International Journal of Computer Vision, Vol. 61, pp. 55-79, 2005.

상세보기
K. Adhikari, H. Bouchachia, and H.N. Charif, "Deep Learning Based Fall Detection Using Silplified Human Posture," International Journal of Computer and Systems Engineering, Vol. 13, No. 5, 2019.
D. Ramanan, D.A. Forsyth, and A. Zisserman, "Strike a Pose: Tracking People by Finding Stylized Poses," IEEE Conference on Computer Vision and Pattern Recognition, pp. 271-278, 2005.
M. Andriluka, S. Roth, and B. Schiele, "Monocular 3D Pose Estimation and Tracking by Detection," IEEE Conference on Computer Vision and Pattern Recognition, pp. 623-630, 2010.
Y. Wang and G. Mori, "Multiple Tree Models for Occlusion and Spatial Constraints in Human Pose Estimation," European Conference on Computer Vision, pp. 710-724, 2008.
L. Sigal and M.J. Black, "Measure Locally, Reason Globally: Occlusion-Sensitive Articulated Pose Estimation," IEEE Conference on Computer Vision and Pattern Recognition, pp. 2041-2048, 2006.
X. Lan and D. P. Huttenlocher, "Beyond Trees : Common-Factor Models for 2D Human Pose Recovery," International Conference on Computer Vision, pp. 470-477, 2005.
L. Karlinsky and S. Ullman, "Using Linking Features in Learning Non-Parametric Part Models," European Conference on Computer Vision, pp. 326-339, 2012.
J.J. Tompson, A. Jain, Y. LeCun, and C. Bregler, "Joint Training of a Convolutional Network and a Graphical Model for Human Pose Estimation," Advance in Neural Information Processing Systems, pp. 1799-1807, 2014.
T. Pfister, J. Charles, and A. Zisserman, "Flowing Convnets for Human Pose Estimation in Videos," International Conference on Computer Vision, pp. 1913-1921, 2015.
S.E. Wei, V. Ramakrishna, T. Kanade, and Y. Sheikh, "Convolutional Pose Machines," IEEE Conference on Computer Vision and Pattern Recognition, pp. 4724-4732, 2016.
K. He, G. Gkioxari, P. Dollar, and R. Girshick, "Mask R-CNN," International Conference on Computer Vision, pp. 2961-2669, 2017.
Z. Cao, T. Simon, S.E. Wei, and Y. Sheikh, "Real Time Multi-Person 2D Pose Estimation using Part Affinity Fields," IEEE Conference on Computer Vision and Pattern Recognition, pp. 7291-7299, 2017.
J.Y. Kim and J.I. Park, "HOG-HOD Algorithm for Recognition of Multi-cultural Hand Gestures," Journal of Korea Multimedia Society, Vol. 20. No. 8, pp. 1187-1199, 2017.
K.J. Cheoi and J.H. Han, "A Novel Door Security System using Hand Gesture Recognition," Journal of Korea Multimedia Society, Vol. 19, No. 8, pp. 1320-1328, 2016.
M. Sandler, A. Howard, M. Zhu, W. Yuxin, and K. He. "Group Normalization," European Conference on Computer Vision, pp. 3-19, 2018.
S. Johnson and M. Everingham, "Clustered Pose and Nonlinear Appearance Models for Human Pose Estimation," British Machine Vision Conference, Vol. 2, No. 4, pp. 1-11, 2010.
M. Andriluka, L. Pishchulin, P. Gehler, and B. Schiele, "2D Human Pose Estimation: New Benchmark and State of the art Analysis," IEEE Conference on computer Vision and Pattern Recognition, pp. 3686-36893, 2014.
M. Sandler, A. Howard, M. Zhu, A. Zhmoginov, and L.C. Chen. "Mobilenet v2: Inverted Residuals and Linear Bottlenecks," IEEE Conference on Computer Vision and P attern Recognition, pp. 4510-4520, 2018.
S. Hochreiter and J. Schmidhuber, "Long Short-Term Memory," Neural Computation, No. 9. Vol. 8, pp. 1735-1780, 1997.

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증