[논문]The Methodology of the Golf Swing Similarity Measurement Using Deep Learning-Based 2D Pose Estimation

Jonghyuk, Park

doi:10.9708/jksci.2023.28.01.039

[국내논문] The Methodology of the Golf Swing Similarity Measurement Using Deep Learning-Based 2D Pose Estimation 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.28 no.1, 2023년, pp.39 - 47

Jonghyuk, Park (Dept. of AI, Big Data & Management, Kookmin University)

초록
AI-Helper

본 논문에서는 골프 동영상 속 스윙 자세 사이의 유사도를 측정할 수 있는 방법을 제안한다. 딥러닝 기반 인공지능 기술이 컴퓨터 비전 분야에 효과적인 것이 알려지면서 동영상을 기반으로 한 스포츠 데이터 분석에 인공지능을 활용하기 위한 시도가 증가하고 있다. 본 연구에서는 딥러닝 기반의 자세 추정 모델을 사용하여 골프 스윙 동영상 속 사람의 관절 좌표를 획득하였고, 이를 바탕으로 각 스윙 구간별 유사도를 측정하였다. 제안한 방법의 평가를 위해 GolfDB 데이터셋의 Driver 스윙 동영상을 활용하였다. 총 36명의 선수에 대해 스윙 동영상들을 두 개씩 짝지어 스윙 유사도를 측정한 결과, 본인의 또 다른 스윙이 가장 유사하다고 평가한 경우가 26명이었으며, 이때의 유사도 평균 순위는 약 5위로 확인되었다. 이로부터 비슷한 동작을 수행하고 있는 경우에도 면밀히 유사도를 측정하는 것이 가능함을 확인할 수 있었다.

Abstract ▼ AI-Helper

In this paper, we propose a method to measure the similarity between golf swings in videos. As it is known that deep learning-based artificial intelligence technology is effective in the field of computer vision, attempts to utilize artificial intelligence in video-based sports data analysis are increasing. In this study, the joint coordinates of a person in a golf swing video were obtained using a deep learning-based pose estimation model, and based on this, the similarity of each swing segment was measured. For the evaluation of the proposed method, driver swing videos from the GolfDB dataset were used. As a result of measuring swing similarity by pairing swing videos of a total of 36 players, 26 players evaluated that their other swing sequence was the most similar, and the average ranking of similarity was confirmed to be about 5th. This ensured that the similarity could be measured in detail even when the motion was performed similarly.

Keyword

표/그림 (11)

그림 Fig. 1. Example Image of Pose Estimation Result
그림 Fig. 2. Comparison of Euclidean Matching and DTW Matching
그림 Fig. 3. Proposed Method for the Measuring Similarity between Two Golf Swing Motions
표 Table 1. Human Joints Used in the Proposed Method
그림 Fig. 4. Example Images of Three Views of the GolfDB Dataset
표 Table 2. Swing Events Defined by GolfDB Dataset
표 Table 3. Career Stats of the Selected Players on the PGA/LPGA
표 Table 4. Swing Segment Configuration
그림 Fig. 5. Pose Comparison between Down-the-line and Face-on
표 Table 5. Average ranking for pairs of the same player
그림 Fig. 6. The Number of Golfers Whose Swing Similarity Is in the Each Rank

AI 본문요약
AI-Helper

문제 정의

제안 방법을 평가하기 위해서, 같은 선수의 스윙 동작쌍을 다른 선수와의 스윙 동작 쌍 대비 높은 유사도로 측정할 수 있는지 확인하고자 하였다. 이를 위해, GolfDB 데이터셋에서 같은 카메라 시점에 대해 두 개 이상의 골프 스윙이 있는 선수만 추출하여 유사도를 측정하였다.
본 연구에서는 동일한 선수의 서로 다른 스윙이 다른 선수와의 스윙과 비교하였을 때 낮은 최종 평균 거리를 산출할 수 있는지, 즉 높은 유사도를 기록할 수 있는지 확인하고자 하였다. 따라서 두 카메라 시점, Face-on과 Down-the-line 각각에 대해 스윙 동영상이 2개 이상 존재하는 36명의 선수를 선별하였고, 스윙 종류는 Driver 스윙으로 한정하였다.
본 연구에서는 GolfDB 데이터셋에서 제공하는 Event 정보를 활용하여, 전체 스윙을 세부 구간으로 나누어 각 구간별 유사도를 측정하고자 시도하였다. 이에, 전체 Event를 하나의 스윙 구간으로 간주하는 방식 이외에 추가로 두 가지 방식의 스윙 구간을 정의하였다.
딥러닝 기반 인공지능의 활용도가 점차 커짐에 따라 스포츠 분석에도 인공지능을 활용하려는 시도가 늘고 있다. 본 연구에서는 특히 최근 들어 높은 시장 성장을 기록하고 있는 골프 종목에 인공지능을 접목하여, 스윙 동작을 비교하고 유사도를 측정할 수 있는 방법론을 제시하였다. 이를 위해 자세 추정 모델을 사용하여 스윙 동작의 각 프레임별 사람 관절 좌표를 추정하였고, 이를 DTW를 활용하여 정렬시킨 다음 각 관절별 거리를 측정하여 최종 유사도를 산출하였다.

가설 설정

제안 방법의 유사도 측정 방식을 평가하기 위하여, 먼저 골프 선수마다 고유의 스윙 자세가 있어 동일한 선수의 스윙을 비교했을 때, 다른 선수의 스윙과 비교했을 때보다 더 높은 유사도를 기록할 것이라는 가정을 설정했다. 이 가정 하에 동일한 선수의 스윙 쌍으로부터 측정된 유사도가 모든 선수와의 유사도 중 몇 위를 기록하는지 확인하였고 이러한 순위를 36명의 모든 선수에 대해 평균내어 제안방법의 효과를 입증하고자 하였다.

제안 방법

제안 방법을 평가하기 위해서, 같은 선수의 스윙 동작쌍을 다른 선수와의 스윙 동작 쌍 대비 높은 유사도로 측정할 수 있는지 확인하고자 하였다. 이를 위해, GolfDB 데이터셋에서 같은 카메라 시점에 대해 두 개 이상의 골프 스윙이 있는 선수만 추출하여 유사도를 측정하였다. 유사도 측정 결과, 본인의 스윙 쌍에 대해 가장 유사하다고 측정된 경우가 36명 중 26명, 72%에 해당되었다.
본 연구에서는 DEKR을 사용하여 골프 스윙 동작의 관절 좌표를 추론하였다. DEKR은 Bottom-up 방식으로 관절 좌표를 추론하기 때문에 높은 추론 성능과 함께 빠른 속도로 관절 위치를 추정할 수 있다는 장점이 있다.
본 연구에서는 DTW를 통해 두 자세의 시계열, 즉 동작을 정렬하였고 정렬된 자세끼리 유사도를 측정한 뒤 이를 모든 지점에 평균내어 두 동작의 최종 유사도를 산출하였다.
이 가정 하에 동일한 선수의 스윙 쌍으로부터 측정된 유사도가 모든 선수와의 유사도 중 몇 위를 기록하는지 확인하였고 이러한 순위를 36명의 모든 선수에 대해 평균내어 제안방법의 효과를 입증하고자 하였다. 또한, 가장 효과적인 유사도 측정 방식의 탐색을 위해 4.2절에서 설명한 추가적인 두 가지 방식의 스윙 구간 정의를 사용하여, 각각의 스윙 구간에서 유사도를 측정한 뒤 이를 평균내어 최종 유사도를 측정하였다. 또한 식 (1)의 거리 측정을 Euclidean 거리 이외에 Cosine 거리로도 측정하여 최적의 방법을 탐색하고자 하였다.
본 연구에서는 특히 최근 들어 높은 시장 성장을 기록하고 있는 골프 종목에 인공지능을 접목하여, 스윙 동작을 비교하고 유사도를 측정할 수 있는 방법론을 제시하였다. 이를 위해 자세 추정 모델을 사용하여 스윙 동작의 각 프레임별 사람 관절 좌표를 추정하였고, 이를 DTW를 활용하여 정렬시킨 다음 각 관절별 거리를 측정하여 최종 유사도를 산출하였다. 골프 스윙 동영상을 포함하고 있는 GolfDB 데이터셋으로 실험한 결과, 선수의 동일한 선수의 스윙을 가장 유사하다고 평가한 경우가 약 전체 36명 중 26명을 기록하였다.

대상 데이터

본 연구에서는 동일한 선수의 서로 다른 스윙이 다른 선수와의 스윙과 비교하였을 때 낮은 최종 평균 거리를 산출할 수 있는지, 즉 높은 유사도를 기록할 수 있는지 확인하고자 하였다. 따라서 두 카메라 시점, Face-on과 Down-the-line 각각에 대해 스윙 동영상이 2개 이상 존재하는 36명의 선수를 선별하였고, 스윙 종류는 Driver 스윙으로 한정하였다. Table 3은 각 시점별 선별된 선수의 선수 경력을 요약한 표로, 프로 선수들 중에서도 우수한 경력은 지닌 선수들이 선별되었음을 알 수 있다.

이론/모형

본 논문의 제안 방법에서는 거리 측정 함수로 Euclidean 거리를 사용하였다. 이와 같은 과정을 통해 구해진 최종 평균 거리로부터 두 시계열 X와 Y사이의 최종 유사도를 산출하기 위해 다음 수식을 활용하여 유사도로 전환한다.

성능/효과

유사도 측정 결과, 본인의 스윙 쌍에 대해 가장 유사하다고 측정된 경우가 36명 중 26명, 72%에 해당되었다. 이러한 결과로부터, 동작 수행 과정이 서로 유사한 골프 스윙에 대해서도 면밀하게 유사도를 측정하는 것이 가능한 것을 확인할 수 있었다.
이를 위해 자세 추정 모델을 사용하여 스윙 동작의 각 프레임별 사람 관절 좌표를 추정하였고, 이를 DTW를 활용하여 정렬시킨 다음 각 관절별 거리를 측정하여 최종 유사도를 산출하였다. 골프 스윙 동영상을 포함하고 있는 GolfDB 데이터셋으로 실험한 결과, 선수의 동일한 선수의 스윙을 가장 유사하다고 평가한 경우가 약 전체 36명 중 26명을 기록하였다. 또한, 동일한 선수의 스윙 유사도가 5위 이내인 경우는 전체 36명 중 29명이었다.
또한, 동일한 선수의 스윙 유사도가 5위 이내인 경우는 전체 36명 중 29명이었다. 이러한 결과로부터 제안 방법은 골프 스윙이라는 서로 유사한 동작에 대해서 도 면밀히 유사도를 측정하는 것이 가능한 것을 확인할 수 있었다. 더불어, Down-the-line 카메라 시점에서 촬영한 골프 스윙 동영상을 사용해 유사도를 측정하는 것이 Face-on 시점보다 더 정확한 유사도를 측정 가능하게 한다는 것 또한 알 수 있었다.
이러한 결과로부터 제안 방법은 골프 스윙이라는 서로 유사한 동작에 대해서 도 면밀히 유사도를 측정하는 것이 가능한 것을 확인할 수 있었다. 더불어, Down-the-line 카메라 시점에서 촬영한 골프 스윙 동영상을 사용해 유사도를 측정하는 것이 Face-on 시점보다 더 정확한 유사도를 측정 가능하게 한다는 것 또한 알 수 있었다.

후속연구

이와 같은 유사도 측정 방식은 자세 추정 결과가 정확하지 않으면 면밀한 유사도 측정이 불가능하게 된다. 따라서 동작이 크고, 빠른 스포츠 동작에서도 높은 정확도를 보이는 자세 추정 모델을 개발하는 것은 본 연구의 추후 연구라고 할 수 있다. 또한, 골프 스윙 이외에 동작의 수행 자세가 중요한 야구나 농구 같은 종목에도 제안한 방법을 적용해볼 수 있을 것이다.
따라서 동작이 크고, 빠른 스포츠 동작에서도 높은 정확도를 보이는 자세 추정 모델을 개발하는 것은 본 연구의 추후 연구라고 할 수 있다. 또한, 골프 스윙 이외에 동작의 수행 자세가 중요한 야구나 농구 같은 종목에도 제안한 방법을 적용해볼 수 있을 것이다. 마지막으로, 자세 교정 피드백을 제공할 수 있는 시각화 모듈을 개발하는 것 또한 의미가 있을 것이다.

참고문헌 (23)

J. Lee, M. Shin, J. Park, and N. Moon, "Deep Learning-Based？Companion Animal Abnormal Behavior Detection Service Using？Image and Sensor Data," Journal of The Korea Society of？Computer and Information, Vol. 27, No. 10, pp. 1-9, Oct. 2022.？DOI: 10.9708/jksci.2022.27.10.001

원문보기 상세보기
H. Kim, and J. Cho, "A Study on Intelligent Skin Image？Identification From Social Media Big Data," Journal of The Korea？Society of Computer and Information, Vol. 27, No. 9, pp. 191-203,？Sep. 2022. DOI: 10.9708/jksci.2022.27.09.191.

원문보기 상세보기
J. Im, and D. Kim, "Corneal Ulcer Region Detection With Semantic？Segmentation Using Deep Learning," Journal of The Korea Society？of Computer and Information, Vol. 27, No. 9, pp. 1-12, Sep. 2022.？DOI: 10.9708/jksci.2022.27.09.001.

원문보기 상세보기
Z. Cao, G. H. Martinez, T. Simon, S. Wei, and Y. A. Sheikh,？"OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part？Affinity Fields," IEEE Trans. on Pattern Analysis and Machine？Intelligence, Vol. 43, No. 1, pp. 172-186, Jan. 2021. DOI: 10.1109/TPAMI.2019.2929257.

상세보기
J. Wang, K. Sun, T. Cheng, B. Jiang, C. Deng, Y. Zhao, D. Liu,？Y. Mu, M. Tan, X. Wang, W. Liu, and B. Xiao, "Deep？High-Resolution Representation Learning for Visual Recognition,"？IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol.？43, No. 10, pp. 3349-3364, Oct. 2021. DOI: 10.1109/TPAMI.2020.2983686.

상세보기
B. Cheng, B. Xiao, J. Wang, H. Shi, T. S. Huang, and L. Zhang,？"HigherHRNet: Scale-Aware Representation Learning for？Bottom-Up Human Pose Estimation," Proceedings of the？IEEE/CVF Conference on Computer Vision and Pattern？Recognition, pp. 5385-5394, 2020. DOI: 10.1109/CVPR42600.2020.00543.
Z. Geng, K. Sun, B. Xiao, Z. Zhang, and J. Wang, "Bottom-Up？Human Pose Estimation Via Disentangled Keypoint Regression,"？Proceedings of the IEEE/CVF Conference on Computer Vision？and Pattern Recognition, pp. 14676-14686, 2021. DOI:？10.1109/CVPR46437.2021.01444.
L. Shi, Y. Zhang, J. Cheng, and H. Lu, "AdaSGN: Adapting Joint？Number and Model Size for Efficient Skeleton-Based Action？Recognition," Proceedings of the IEEE/CVF International？Conference on Computer Vision, pp. 13393-13402, 2021. DOI:？10.1109/ICCV48922.2021.01316.
X. Zhang, C. Xu, and D. Tao, "Context Aware Graph Convolution？for Skeleton-Based Action Recognition," Proceedings of the？IEEE/CVF Conference on Computer Vision and Pattern？Recognition, pp. 14321-14330, 2020. DOI: 10.1109/CVPR42600.2020.01434.
Y. Yang, F. Angelini, and S. M. Naqvi, "Pose-Driven Human？Activity Anomaly Detection in a CCTV-like Environment," IET？Image Process, pp. 1-13, 2022. DOI: 10.1049/ipr2.12664.

상세보기
P. Parmar, A. Gharat, and H. Rhodin. "Domain Knowledge-Informed？Self-supervised Representations for Workout Form Assessment,"？Proceedings of the 17th European Conference on Computer Vision,？pp. 105-123, 2022. DOI: 10.1007/978-3-031-19839-7_7.
H. Li, Q. Lei, H. Zhang, J. Du, and S. Gao, "Skeleton-Based？Deep Pose Feature Learning for Action Quality Assessment on？Figure Skating Videos," Journal of Visual Communication and？Image Representation, Vol. 89, 2022. DOI: 10.1016/j.jvcir.2022.103625.

상세보기
J. Shin, G. Kim, and S. Kim, "A Study on the Current Status？and Prospect of the Korean Golf Industry," Journal of Golf？Studies, Vol. 16 No. 1, pp. 215-228, Mar. 2022. DOI: 10.34283/ksgs.2022.16.1.18.

상세보기
S. Lee, S. Kim, and I. Park, "Analysis of the Empirical？Relationship between Golf Wear Selection Attributes and？Customer Behaviors of MZ Generation," The Society of？Convergence Knowledge Transactions, Vol. 10 No. 3, pp. 59-71,？Sep. 2022. DOI: 10.22716/sckt.2022.10.3.025.
R. Bellman, and R. Kalaba, "On Adaptive Control Processes,"？IRE Trans. on Automatic Control, Vol. 4, No. 2, pp. 1-9, Nov.？1959. DOI: 10.1109/TAC.1959.1104847.

상세보기
W. McNally, K. Vats, T. Pinto, C. Dulhanty, J. McPhee, and？A. Wong, "GolfDB: A Video Database for Golf Swing？Sequencing," Proceedings of the IEEE/CVF Conference on？Computer Vision and Pattern Recognition Workshops, pp.？2553-2562, 2019. DOI: 10.1109/CVPRW.2019.00311.
D. Lee, and J. Nang, "A Dataset and Keypoint Detection for？Club Head Trajectory Estimation in 2D Golf Swing Video,"？Proceedings of the Korean Information Science Society？Conference, pp. 523-525, 2020.
J. Park, G. Baek, J. Lee, J. Kang, and J. Kim, "Design of Human？Pose Estimation Model using HRNet for Golf Swing Motion？Correction," Proceedings of Symposium of the Korean Institute？of communications and Information Sciences, pp. 991-992, 2021.
Y. LeCun, B. E. Boser, J. S. Denker, D. Henderson, R. E. Howard,？W. E. Hubbard, and L. D. Jackel, "Handwritten digit recognition？with a back-propagation network," Proceedings of the Advances？in neural information processing systems, pp. 396-404, 1990.？DOI:
M. Schuster, and K. K. Paliwal, "Bidirectional recurrent neural？networks," IEEE Trans. on Signal Processing, Vol. 45, No. 11,？pp. 2673-2681, Nov. 1997. DOI: 10.1109/78.650093.

상세보기
K. Ko, and S. Pan, "Swing Sequence Images based 3D Golf Swing？Analysis using Deep Learning," Journal of the Institute of？Electronics and Information Engineers, Vol. 56 No. 10, pp. 49-55,？Oct. 2019. DOI: 10.5573/ieie.2019.56.10.49

상세보기
W. Byeon, Y. Shim, H. You, and S. Kang, "Implementation of？Computer Vision and Deep Learning-Based Golfer？Pose-Estimation System And Coaching System," Proceedings of？the Korea Information Processing Society Conference, pp.？1040-1043, 2020.
T. Lin, M. Maire, S. Belongie, L. Bourdev, R. Girshick, J. Hays,？P. Perona, D. Ramanan, C. L. Zitnick, and P. Dollar "Microsoft？COCO: Common Objects in Context," arXiv preprint？arXiv:1405.0312, May. 2015. DOI:10.48550/arXiv.1405.0312.

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증