[논문]CNN 기법의 이미지 학습을 통한 팔굽혀펴기 자세 정확도 측정

이준석; 오동한; 안경일

doi:10.9717/kmms.2021.24.6.805

CNN 기법의 이미지 학습을 통한 팔굽혀펴기 자세 정확도 측정
Measurement of Push-up Accuracy Using Image Learning by CNN 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.6, 2021년, pp.805 - 814

이준석 (Dept. of Computer Science, Korea army academy at Yeoncheon) , 오동한 (Dept. of Computer Science, Korea army academy at Yeoncheon) , 안경일 (Dept. of Physical Education, Korea army academy at Yeoncheon)

Abstract ▼ AI-Helper

Push-ups are one of the body exercises that can be easily measured anytime, anywhere. As one of the most widely used techniques as a test tool for evaluating physical strength, they are broadly used in various fields, especially in fields that require physical ability to estimate, such as military, police, and firefighters. However, social distancing is currently being implemented, and the issue of fairness has been steadily raised due to subtle differences between measurement. Accordingly, in this paper, the correct posture for each individual was photographed and learned by a high-performance computer, and the result was derived by comparing it with the case of performing the incorrect posture of the individual. If method is introduced into the physical fitness evaluation through the proposed method, the individual takes the correct posture and learns the photographed photo, and measures the posture with several images taken during a given time. Through this, it is possible to measure more objectively because it measures with the merit that can be measured even in the present situation and with one's correct posture.

주제어

표/그림 (9)

그림 Fig. 1. Concept of Convolution.
그림 Fig. 2. Concept of Inception-V3.
그림 Fig. 3. Push-ups Images for Learning.
그림 Fig. 4. Data Augmentation.
그림 Fig. 5. Push-ups Images for Test.
그림 Fig. 6. Phase of Learning Process.
표 Table 1. Accuracy measurement between trained image and the test image (left side).
표 Table 2. Accuracy measurement between trained image and the test image (front side).
표 Table 3. Accuracy measurement between trained image and the test image (right side).

AI 본문요약
AI-Helper

제안 방법

팔을 쭉 편 상태의 데이터 셋과 팔을 굽힌 상태의 데이터 셋을 설정하였고, 머신러닝 오픈소스 플랫폼에서 Inception-V3모델을 적용하였다. 결과적으로 정확한 팔굽혀펴기 동작이 이루어진 이미지로 학습시킨 데이터 셋과 정확한 동작이 이루어지지 않은(팔꿈치가 굽혀졌거나, 엉덩이가 내려가지 않는 등의 자세)상태의 이미지를 비교하여 두 이미지 간 유사도에 관한 결과를 측정하였다.
본 논문에서는 정확한 팔굽혀펴기 동작의 이미지를 활용하여 일부 동작 이미지를 학습시키고, 학습된 이미지와 부정확한 테스트용 팔굽혀펴기 이미지와의 정확도를 측정하여 결과를 분석하는 기법을 제시하였다. 향후 연구에서는 성별, 나이, 신체 크기가 서로 다른 다수의 인원에 대한 팔굽혀펴기 이미지를 학습시킬 수 있는 데이터를 활용할 예정이며, 나아가 팔굽혀펴기뿐 아니라 윗몸일으키기나 태권도의 발차기, 품세 등과 같이 인간의 주관적인 판단을 객관화시켜서 정확한 판단을 보조할 수 있는 기계학습 기법을 지속해서 적용할 예정이다.
본 논문에서는 측정 대상자의 팔굽혀펴기 동작 중 팔이 완전히 펴졌을 때와 팔이 완전히 굽혀졌을 때의 자세를 기준으로 삼고, 대상자의 팔굽혀펴기 동작을 실시간 촬영하여 이미지를 활용한다. 올바른 자세로 기준이 되는 이미지와의 유사도를 측정하는 방법을 제시하고 있다.
CNN기법을 활용한 이미지 처리기술은 무궁무진하며 발전되어온 모델은 연산량은 낮추었지만 아이러니하게도 효율성 측면에서 매우 뛰어나다. 본 논문에서는 팔굽혀펴기 동작 간 측정에 가장 중요한 요소가 되는 팔이 완전히 펴졌을 때와 팔이 완전히 굽혀졌을 때의 자세를 측정을 위한 기준으로 정하여 측정대상자의 동작 이미지를 이용하여 학습시켰다. 이후측정 대상자가 팔굽혀펴기를 실행하는 동안의 이미지를 활용하여 팔이 완전히 펴졌을 때와 팔이 완전히 굽혀졌을 때의 이미지를 이전에 학습된 이미지와 비교하여 정확도를 측정하였다.
본 논문에서는 현재 코로나 상황으로 인한 사회 모든 분야에 걸쳐 비대면으로 시행하는 측면과 공정에 대한 객관성을 위하여 군에서 실시 중인 체력검정의 한 종목인 팔굽혀펴기 측정을 위해 측정 대상자와 측정관이 접촉하지 않은 상황에서도 CNN기법을 사용하여 이미지 학습을 통한 활용방안을 제시하였다. 제시하는 방안은 측정 대상자가 팔굽혀펴기를 시행하여 정확한 자세를 선별하는 것에 주안점을 두었다.
학습을 위한 CNN모델은 Inception-V3 를 사용하였으며, 평가자가 측정 대상자 다수를 측정하는 환경과 V3의 낮은 연산량에도 학습 효과가 뛰어나 채택하여 학습시켰다. 이를 통해 학습한 데이터를 기준으로 팔꿈치가 완전히 펴지거나 굽혀지지 않은 자세의 테스트 이미지를 활용하여 학습된 데이터와 비교하였다. 비교 결과 팔굽혀펴기 동작을 수행하는 동안 촬영된 테스트용 이미지의 정확도를 측정한 결과는 40∼80%정도의 수치를 확인하였다.
본 논문에서는 팔굽혀펴기 동작 간 측정에 가장 중요한 요소가 되는 팔이 완전히 펴졌을 때와 팔이 완전히 굽혀졌을 때의 자세를 측정을 위한 기준으로 정하여 측정대상자의 동작 이미지를 이용하여 학습시켰다. 이후측정 대상자가 팔굽혀펴기를 실행하는 동안의 이미지를 활용하여 팔이 완전히 펴졌을 때와 팔이 완전히 굽혀졌을 때의 이미지를 이전에 학습된 이미지와 비교하여 정확도를 측정하였다. 결과적으로 팔이 완전히 펴지지 않거나 완전히 굽혀지지 않는 동작을 식별하여 측정을 객관화시키고 수치화하여 결과를 분석할 수 있게 된다.
제안된 기법의 성능 평가를 위해 연속된 팔굽혀펴기 동작을 디지털카메라를 활용하여 연사하여 촬영하고 팔꿈치가 완전히 펴졌을 때와 팔꿈치가 굽혀졌을 때의 두 가지 동작 이미지를 추출하여 구분하였다. 구분된 두 가지의 이미지를 활용하여 학습용 데이터 셋을 설정하였다.

대상 데이터

본 논문에서 제안하는 CNN기법을 적용하기 위한 실험용 컴퓨터의 하드웨어 사양으로 CPU는 AMD FX(tm)-8320 (Eight-Core, 3.5GHz), GPU는 Ge Force GTX TITAN X (12 GB)를 사용하였으며, Inception-V3모델은 Ubuntu16.04운영체제에서 머신러닝 오픈소스 플랫폼인 tensorflow환경으로 실험하였다.
우선 원본 이미지에서 측정하기 위한 이미지는 대상자의 어깨와 팔이 중점적으로 보일 수 있도록 3525× 3525픽셀 크기를 crop하여 이미지 데이터로 활용하였다
학습용 데이터 셋과 정확도를 비교할 테스트 이미지는 측정 대상자 한 명(동일인)의 팔굽혀펴기 실행 간 동작을 연속 촬영하여 팔이 완전히 굽혀졌다가 펴지기까지의 4단계를 Fig.5와 같이 전면, 좌측, 우측으로 나누어 12개의 이미지를 선정하여 테스트용 데이터 셋을 구성하였다.

이론/모형

이렇게 변형된 이미지는 InceptionV3를 통해 299×299의 픽셀 크기로 재조정되어 입력된다. 이미지 데이터 셋의 학습을 위해 사용된 기법은 구글에서 공개한 Inception-V3모델이다. Inception-V3 의 컨볼루션 레이어 중 최대 풀링 레이어는 이미지의 특징 맵에서 축의 크기를 반으로 줄였으며 각 블록 계층에서 특징 맵의 개수는 2배로 증가한다.
구분된 두 가지의 이미지를 활용하여 학습용 데이터 셋을 설정하였다. 팔을 쭉 편 상태의 데이터 셋과 팔을 굽힌 상태의 데이터 셋을 설정하였고, 머신러닝 오픈소스 플랫폼에서 Inception-V3모델을 적용하였다. 결과적으로 정확한 팔굽혀펴기 동작이 이루어진 이미지로 학습시킨 데이터 셋과 정확한 동작이 이루어지지 않은(팔꿈치가 굽혀졌거나, 엉덩이가 내려가지 않는 등의 자세)상태의 이미지를 비교하여 두 이미지 간 유사도에 관한 결과를 측정하였다.

성능/효과

동작을 시행하면서 촬영된 이미지는 51∼78%정도의 수치로 학습용 이미지와는 정확도가 다른 자세와 비교하였을 때 큰 폭으로 감소한 결과를 확인할 수 있다.
본 연구를 통해 사회적 거리 두기를 시행하는 현재 상황에서 측정 대상자와 평가자가 직접 대면하지 않은 상태에서 평가할 수 있으며, 개인의 올바른 자세를 통해 이미 학습된 데이터 셋을 활용하여 측정의 기준으로 활용되기 때문에 동작에 대한 객관적인 판단과 피드백 제공이 가능하다. 무엇보다 기존에는 측정을 위해 동일 기간에 특정한 장소에 모여 모든 것이 사람에 의해 측정 및 평가가 진행되어야 하는 불편함과 과다한 행정적인 요소를 본 연구를 통해 기간 및 장소의 한계를 극복함은 물론 사람의 노력을 줄이고 수치에 의한 객관적인 결과를 제공할 수 있다는 것에 본 연구의 의미가 있다.
비교 결과 팔굽혀펴기 동작을 수행하는 동안 촬영된 테스트용 이미지의 정확도를 측정한 결과는 40∼80%정도의 수치를 확인하였다.이에 반해 학습시킨 올바른 자세에는 94.4∼97.4% 이상의 정확성을 보일 만큼 우수한 성능을 나타내었다.

후속연구

향후 연구에서는 성별, 나이, 신체 크기가 서로 다른 다수의 인원에 대한 팔굽혀펴기 이미지를 학습시킬 수 있는 데이터를 활용할 예정이며, 나아가 팔굽혀펴기뿐 아니라 윗몸일으키기나 태권도의 발차기, 품세 등과 같이 인간의 주관적인 판단을 객관화시켜서 정확한 판단을 보조할 수 있는 기계학습 기법을 지속해서 적용할 예정이다. 또한, 촬영된 사진 이미지는 실용적으로 평가하기 위해서 동영상 데이터를 활용하는 것이 효과적이기에 다음에 동영상을 촬영하여 팔굽혀펴기 동작에서 최대로 펴진 상태와 최대로 굽혀진 상태를 구분하는 알고리즘을 통하여 자동으로 이미지를 추출하는 기법을 연구해나갈 것이다.
본 연구를 통해 사회적 거리 두기를 시행하는 현재 상황에서 측정 대상자와 평가자가 직접 대면하지 않은 상태에서 평가할 수 있으며, 개인의 올바른 자세를 통해 이미 학습된 데이터 셋을 활용하여 측정의 기준으로 활용되기 때문에 동작에 대한 객관적인 판단과 피드백 제공이 가능하다. 무엇보다 기존에는 측정을 위해 동일 기간에 특정한 장소에 모여 모든 것이 사람에 의해 측정 및 평가가 진행되어야 하는 불편함과 과다한 행정적인 요소를 본 연구를 통해 기간 및 장소의 한계를 극복함은 물론 사람의 노력을 줄이고 수치에 의한 객관적인 결과를 제공할 수 있다는 것에 본 연구의 의미가 있다.
본 논문에서는 정확한 팔굽혀펴기 동작의 이미지를 활용하여 일부 동작 이미지를 학습시키고, 학습된 이미지와 부정확한 테스트용 팔굽혀펴기 이미지와의 정확도를 측정하여 결과를 분석하는 기법을 제시하였다. 향후 연구에서는 성별, 나이, 신체 크기가 서로 다른 다수의 인원에 대한 팔굽혀펴기 이미지를 학습시킬 수 있는 데이터를 활용할 예정이며, 나아가 팔굽혀펴기뿐 아니라 윗몸일으키기나 태권도의 발차기, 품세 등과 같이 인간의 주관적인 판단을 객관화시켜서 정확한 판단을 보조할 수 있는 기계학습 기법을 지속해서 적용할 예정이다. 또한, 촬영된 사진 이미지는 실용적으로 평가하기 위해서 동영상 데이터를 활용하는 것이 효과적이기에 다음에 동영상을 촬영하여 팔굽혀펴기 동작에서 최대로 펴진 상태와 최대로 굽혀진 상태를 구분하는 알고리즘을 통하여 자동으로 이미지를 추출하는 기법을 연구해나갈 것이다.

참고문헌 (11)

K.-O. Kim, "Changes of Aspect and Meaning of Physical Education After COVID19 : The Implications for Post-COVID era," Journal of the Korean society for Wellness, Vol. 15, No. 4, pp. 401-412, 2020
H. Sung, J. Kim, and S. Suh, "E.M.G. Analysis of Korea and U.S. Army Push-up and Sit-up," Korean Journal of Military Art and Science, Vol. 74 No.1, pp. 281-295, 2018.

상세보기
A. Krizhevsky, I. Sutckever, and G. E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," Communications of the ACM, Vol. 60, Issue 6, pp. 84-90, 2017.

상세보기
S. Albawi, T.A. Mohammed, and S. Al-Zawi, "Understanding of a Convolutional Neural Network," 2017 International Conference on Engineering and Technology (ICET), 2017.
S.S. Yadav and S.M. Jadhav, "Deep Convolutional Neural Network based Medical Image Classification for Disease Diagnosis," Journal of Big Data, Vol. 6, No. 1, pp. 1-18, 2019.

상세보기
S. Wallelign, M. Polceanu, and C. Buche, "Soyean Plant Disease Identification Using Convolutional Neural Network," FLAIRS-31, pp. 146-151, 2018.
B.-S. Park, S. Lee, and Y.-H. Seo, "Training Method for Enhancing Classification Accuracy of Kuzushiji-MNIST/49 using Deep Learning based on CNN," Journal of the Korea Institute of Information and Communication Engineering, Vol. 24, No. 3, pp. 355-363, 2020.
H.-S. Kang, Y.-J. Ock, and J.-M. Lee, "Estimation Algorithm of CNN-based Relative Velocity Between Driving Vehicles," Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol. 27, No. 1, pp. 37-43, 2021.
L. Taylor and G. Nitschke, "Improving Deep Learning using Generic Data Augmentation," arXiv preprint, arXiv:1708.06020, 2017.
A. Shustanov and P. Yakimov, "CNN Design for Real-time Traffic Sign Recognition," Procedia Engineering 201, pp. 718-725, 2017
J. Ahn, U.G. Kang, Y.H. Lee, and B.M. Lee. "Improvement of Activity Recognition based on Learning Model of AI and Wearable Motion Sensors," Journal of Korea Multimedia Society, Vol. 21, No. 8, pp. 982-990, 2018.

원문보기 상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증