[논문]모션 인식을 위한 2D 자세 추정 알고리듬의 이미지 전처리 및 얼굴 가림에 대한 영향도 분석

노은솔; 이사랑; 홍석무

doi:10.5762/kais.2020.21.7.285

초록
AI-Helper

제조 산업에서 인력은 로봇으로 대체되지만 전문 기술은 데이터 변환이 어려워 산업용 로봇에 적용이 불가능하다. 이는 비전 기반의 모션 인식 방법으로 데이터 확보가 가능하나 이미지 데이터에 따라 판단 값이 달라질 수 있다. 따라서 본 연구는 비전 방법을 사용해 사람의 자세를 추정 시 영향을 미치는 인자를 고려해 정확성 향상 방법을 찾고자 한다. 비전 방법 중 OpenPose의 3가지 모델 MPII, COCO 및 COCO + foot을 사용했으며, CNN(Convolutional Neural Networks)을 사용한 OpenPose 구조에서 얼굴 가림 및 이미지 전처리에 미치는 영향을 확인하고자 액세서리의 유무, 이미지 크기 및 필터링을 매개 변수로 설정했다. 각 매개 변수 별 이미지 데이터를 3 가지 모델에 적용해 실제 값과 예측 값 사이 거리 오차와 PCK (Percentage of correct Keypoint)로 영향도를 판단했다. 그 결과 COCO + foot 모델은 3 가지 매개 변수에 대한 민감도가 가장 낮았다. 또한 이미지 크기는 50% (원본 3024 × 4032에서 1512 × 2016로 축소) 이상 비율이 가장 적절하며, MPII 모델만 emboss 필터링을 적용할 때 거리 오차 평균이 최대 60pixel 감소되어 향상된 결과를 얻었다.

Abstract ▼ AI-Helper

In manufacturing, humans are being replaced with robots, but expert skills remain difficult to convert to data, making them difficult to apply to industrial robots. One method is by visual motion recognition, but physical features may be judged differently depending on the image data. This study aim...

In manufacturing, humans are being replaced with robots, but expert skills remain difficult to convert to data, making them difficult to apply to industrial robots. One method is by visual motion recognition, but physical features may be judged differently depending on the image data. This study aimed to improve the accuracy of vision methods for estimating the posture of humans. Three OpenPose vision models were applied: MPII, COCO, and COCO+foot. To identify the effects of face-covering accessories and image preprocessing on the Convolutional Neural Network (CNN) structure, the presence/non-presence of accessories, image size, and filtering were set as the parameters affecting the identification of a human's posture. For each parameter, image data were applied to the three models, and the errors between the actual and predicted values, as well as the percentage correct keypoints (PCK), were calculated. The COCO+foot model showed the lowest sensitivity to all three parameters. A <50% (from 3024×4032 to 1512×2016 pixels) reduction in image size was considered acceptable. Emboss filtering, in combination with MPII, provided the best results (reduced error of <60 pixels).

주제어

표/그림 (10)

그림 Fig. 1. Motion capture based on depth sensors
그림 Fig. 2. Network structure of OpenPose
그림 Fig. 3. "Keypoints" for MPII, COCO and COCO + foot
그림 Fig. 4. Determination of parameters (accessories, image size and filtering) from captured images
그림 Fig. 5. The 4 people and 9 postures used for image data analysis
그림 Fig. 6. (a) 13 keypoints used for comparing MPII, COCO and COCO+foot; (b) PCK based on predicted and real coordinates
표 Table 1. Camera specification
그림 Fig. 7. Comparison of distance error for accessories
그림 Fig. 8. Comparison of distance error and PCK for 4 different image sizes
그림 Fig. 9. Comparison of distance error and PCK according to different preprocessing of image

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 연구는 기존 모션 인식 알고리즘 사용 시 관절 추출에 영향을 미치는 인자에 대하여 영향도만을 확인하고자 한다. 모션 인식 알고리즘은 오픈소스가 제공 되어 쉽게 사용 가능할 수 있는 OpenPose를 사용하며 영향도만을 확인하기 위해 MPII, COCO, COCO+foot 데이터 세트로 미리 학습된 모델을 사용한다.

대상 데이터

(2) 매개변수는 액세서리(모자, 마스크, 안경) 착용 유무, 이미지 크기 및 필터링(emboss, sharpen, blur)로 정하고 OpenPose의 모델(COCO, MPII, COCO+foot 데이터로 학습)을 사용했다.
4(c)]. 이미지 촬영은 스마트폰 iPhone 11 Pro Max 카메라를 사용했으며, 카메라 사양을 Table 1에 나타냈다. 각 신체 조건이 다른 4명의 인물에 대해 차렷, 뒷모습, 양팔 들기, 양팔 벌리기, 한 팔 들기(왼팔, 오른팔), 앞으로 나란히, 쪼그려 앉기 및 달리는 자세인 총 9가지 포즈로 36장의 이미지를 촬영했다(Fig.

데이터처리

(3) 영향도 판단은 PCK와 기준 및 예측 값 사이 거리 오차 평균으로 확인했다. 모든 매개변수에 대하여 MPII가 가장 큰 차이를 보이고, COCO+foot의 경우 차이가 가장 작다.
3가지 매개변수에 따른 영향도 분석을 Fig. 6에서 제시한 keypoint에 대해 그래프로 나타냈으며 앞서 제시한 PCK와 거리 오차 평균 방법으로 영향도를 분석했다. 이 때 이미지에서 관절 위치를 감지하지 못했을 경우 해당 keypoint는 제외했다.

이론/모형

따라서 본 연구는 기존 모션 인식 알고리즘 사용 시 관절 추출에 영향을 미치는 인자에 대하여 영향도만을 확인하고자 한다. 모션 인식 알고리즘은 오픈소스가 제공 되어 쉽게 사용 가능할 수 있는 OpenPose를 사용하며 영향도만을 확인하기 위해 MPII, COCO, COCO+foot 데이터 세트로 미리 학습된 모델을 사용한다. CNN기반 OpenPose 구조를 고려하여 매개변수는 액세서리 유무, 입력 이미지 크기 및 이미지 필터링으로 정한다.

후속연구

이와 같은 연구를 확장시켜 kinect 및 다른 센서와 함께 적용할 때 더 정확한 데이터 확보가 가능할 것으로 기대된다.

참고문헌 (8)

P. K. Kim, H. Park, J. H. Bae, J. H. Park, D. H. Lee, "Intuitive Programming of Dual-Arm Robot Tasks using Kinesthetic Teaching Method", The Journal of Institute of Control, Robotics and Systems, Vol.22, No.8 pp.656-664, 2016. DOI: https://dx.doi.org/10.5302/J.ICROS.2016.16.0102

원문보기 상세보기
H. H. Jung, M. K. Kim, J. Lyou, "Implementation of Hybrid Motion Capture System for Behaviour Pattern Analysis of Disaster Recovery Workers", The Journal of Institute of Control, Robotics and Systems, Vol.23, No.5 pp.323-331, 2017. DOI: http://dx.doi.org/10.5302/J.ICROS.2017.17.0053

상세보기
J. S. Kim, H. Park, "Working Posture Analysis for Preventing Musculoskeletal Disorders using Kinect and AR Markers", Korean Journal of Computational Design and Engineering, Vol.23, No.1, pp.19-28, 2018. DOI: http://dx.doi.org/10.7315/CDE.2018.019

상세보기
J. J. Park, C. K. Kwon, "Study on Forearm Muscles and Electrode Placements for CNN based Korean Finger Number Gesture Recognition using sEMG Signals", Journal of the Korea Academia-Industrial cooperation Society, Vol.19, No.8, pp.260-267, 2018. DOI: http://dx.doi.org/10.5762/KAIS.2018.19.8.260

원문보기 상세보기
M. J. Kang, "Comparison of Gradient Descent for Deep Learning", Journal of the Korea Academia-Industrial cooperation Society, Vol.21, No.2, pp.189-194, 2020. DOI: http://dx.doi.org/10.5762/KAIS.2020.21.2.189
Z. Cao, T. Simon, S. E. Wei, Y. Sheikh, "Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields", Proceeding of 2017 IEEE Conference on Computer Vision and Pattern Recognition, IEEE, HI, USA, pp.7291-7299, July 2017. DOI: http://dx.doi.org/10.1109/CVPR.2017.143
M. Andriluka, L. Pishchulin, P. Gehler, B. Schiele, "2D Human Pose Estimation: New Benchmark and State of the Art Analysis", Proceeding of 2014 IEEE Conference on Computer Vision and Pattern Recognition, IEEE, OH, USA, pp.3686-3693, June 2014 DOI: http://dx.doi.org/10.1109/CVPR.2014.471
Y. Yang, D. Ramanan, "Articulated human detection with flexible mixtures of parts", Journal of IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.35, No.12, pp.2878-2890, Dec. 2013. DOI: http://dx.doi.org/10.1109/TPAMI.2012.261

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

모션 인식을 위한 2D 자세 추정 알고리듬의 이미지 전처리 및 얼굴 가림에 대한 영향도 분석
Investigation of image preprocessing and face covering influences on motion recognition by a 2D human pose estimation algorithm 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (10)

표/그림 (10)

AI 본문요약
AI-Helper

문제 정의

대상 데이터

데이터처리

이론/모형

후속연구

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

모션 인식을 위한 2D 자세 추정 알고리듬의 이미지 전처리 및 얼굴 가림에 대한 영향도 분석 Investigation of image preprocessing and face covering influences on motion recognition by a 2D human pose estimation algorithm 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (10) 모든 표/그림 보기

표/그림 (10) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

대상 데이터

데이터처리

이론/모형

후속연구

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

이사랑 (5)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

모션 인식을 위한 2D 자세 추정 알고리듬의 이미지 전처리 및 얼굴 가림에 대한 영향도 분석
Investigation of image preprocessing and face covering influences on motion recognition by a 2D human pose estimation algorithm 원문보기

초록
AI-Helper

표/그림 (10)

표/그림 (10)

AI 본문요약
AI-Helper