[논문]A motion classification and retrieval system in baseball sports video using Convolutional Neural Network model

Park, Jun-Young; Kim, Jae-Seung; Woo, Yong-Tae

doi:10.9708/jksci.2021.26.08.031

A motion classification and retrieval system in baseball sports video using Convolutional Neural Network model 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.26 no.8, 2021년, pp.31 - 37

Park, Jun-Young (Dept. of Computer Engineering, Changwon National University) , Kim, Jae-Seung (Dept. of Computer Engineering, Changwon National University) , Woo, Yong-Tae (Dept. of Computer Engineering, Changwon National University)

초록
AI-Helper

본 연구에서는 CNN(Convolution Neural Network) 모델을 이용하여 야구 경기 영상에서 투구나 스윙과 같은 특정 영상이 출현하는 장면을 자동으로 분류하여 효과적으로 검색하는 방법을 제안한다. 또한, 특정 동작의 분류 결과와 경기 기록을 연계한 영상 장면 검색시스템을 제안한다. 제안 시스템의 효율성을 검정하기 위하여 2018년부터 2019년까지 진행된 한국프로야구 경기 영상을 대상으로 특정 장면별로 분류하는 실험을 진행하였다. 야구 경기 영상에서 투구 장면을 분류하는 실험에서는 경기별로 약 90%의 정확도를 보였다. 그리고 경기 영상 내에 포함된 스코어보드를 추출하여 경기 기록과 연계하는 영상 장면 검색 실험에서는 경기별로 약 80% 정도의 정확도를 보였다. 본 연구 결과는 한국프로야구 경기에서 과거 경기 영상을 체계적으로 분석하여 경기력 향상을 위한 전략 수립을 위하여 효과적으로 사용할 수 있으리라 기대한다.

Abstract ▼ AI-Helper

In this paper, we propose a method to effectively search by automatically classifying scenes in which specific images such as pitching or swing appear in baseball game images using a CNN(Convolution Neural Network) model. In addition, we propose a video scene search system that links the classification results of specific motions and game records. In order to test the efficiency of the proposed system, an experiment was conducted to classify the Korean professional baseball game videos from 2018 to 2019 by specific scenes. In an experiment to classify pitching scenes in baseball game images, the accuracy was about 90% for each game. And in the video scene search experiment linking the game record by extracting the scoreboard included in the game video, the accuracy was about 80% for each game. It is expected that the results of this study can be used effectively to establish strategies for improving performance by systematically analyzing past game images in Korean professional baseball games.

주제어

표/그림 (10)

그림 Fig. 1. Inception-V3 model
그림 Fig. 2. Sports video scene classification and video retrieval system based on CNN model
표 Table 1. Results of extracted game information in a scoreboard composed by various shapes
그림 Fig. 3. Example of images classified as pitching motion
그림 Fig. 4. Example of images not classified as pitching motion
그림 Fig. 5. Examples of scoreboard
그림 Fig. 6. Examples of extracted game information correctly
그림 Fig. 7. Examples of incorrectly extracted game information
표 Table 2. Comparison of accuracy of classification of pitching motions in various broadcasters
표 Table 3. Comparison of accuracy of game information extracted in various broadcasters

AI 본문요약
AI-Helper

문제 정의

본 연구에서는 CNN 모델을 이용하여 야구 경기 영상에서 투구나 스윙과 같은 특정 동작을 학습하여 효과적으로 분류하는 방법을 제안하였다. 그리고 경기 영상 내에 포함된 스코어보드에서 추출한 경기 정보와 경기 기록을 연계하여 특정 장면을 효과적으로 검색하는 시스템을 제안하였다.

제안 방법

본 연구에서는 CNN 모델을 이용하여 야구 경기 영상에서 투구나 스윙과 같은 특정 동작을 학습하여 효과적으로 분류하는 방법을 제안하였다. 그리고 경기 영상 내에 포함된 스코어보드에서 추출한 경기 정보와 경기 기록을 연계하여 특정 장면을 효과적으로 검색하는 시스템을 제안하였다. 제안 시스템의 효율성을 검증하기 위하여 한국프로야구 경기 영상을 대상으로 영상을 학습하여 분류하는 실험을 진행하였다.
본 연구에서는 CNN 모델을 이용하여 야구 경기 영상으로부터 특정 동작을 추출하여 자동으로 분류하는 방법을 개발하였다. 그리고 영상에서 추출한 경기 정보와 경기 기록을 연계하여 특정 장면을 효과적으로 검색하는 시스템을 개발하였다. 제안 시스템의 효율성을 검증하기 위하여 2018년부터 2019년까지 진행된 한국프로야구의 약 1,000 건의 경기 영상에서 40,000장의 투구 동작 이미지를 학습하여 분류하는 실험을 진행하였다.
본 연구에서 제안한 CNN 모델을 이용한 스포츠 영상분류 및 검색시스템은 크게 영상 분할, 동작 분류, 경기 정보추출, 경기 기록 맵핑 및 저장 단계로 구성된다. 그림 2는 본 연구에서 제안한 스포츠 영상 분류 및 검색시스템의 전체적인 개념도이다.
방송사에서는 볼, 아웃, 이닝, 주자 등과 같은 현재 경기 상황에 대한 정보를 숫자나 도형 이미지로 스코어보드에 출력한다. 본 연구에서 제안한 경기 정보 추출 기법은 스코어보드에 표시된 숫자나 도형 이미지를 추출하여 분석하였다. 그림 5는 숫자와 도형으로 이루어진 스코어보드의 예이다.
본 연구에서는 CNN 모델을 이용하여 야구 경기 영상으로부터 특정 동작을 추출하여 자동으로 분류하는 방법을 개발하였다. 그리고 영상에서 추출한 경기 정보와 경기 기록을 연계하여 특정 장면을 효과적으로 검색하는 시스템을 개발하였다.
본 연구에서는 방송사에서 제공되는 다양한 형태의 스코어보드로부터 이미지를 추출하여 경기 정보를 자동으로 분석하는 방법을 제시하였다. 먼저, 스코어보드에 표시된 도형 이미지에 대한 영역 경계를 추출한다.
그리고 영상에서 추출한 경기 정보와 경기 기록을 연계하여 특정 장면을 효과적으로 검색하는 시스템을 개발하였다. 제안 시스템의 효율성을 검증하기 위하여 2018년부터 2019년까지 진행된 한국프로야구의 약 1,000 건의 경기 영상에서 40,000장의 투구 동작 이미지를 학습하여 분류하는 실험을 진행하였다.

대상 데이터

본 연구에서 스포츠 영상에서 특정 동작을 분류하기 위해 사용한 데이터는 2018년부터 2019년까지 진행된 한국프로야구의 경기 영상이다. 야구는 대부분의 경기 데이터가 투수의 투구를 중심으로 발생하는 종목이다.
투수의 투구 동작은 평균 2초 정도로 이루어지지만, 주자가 있으면 평균 1초 내외로 진행된다. 본 연구에서는 한국프로야구의 경기 영상에서 투구 동작을 0.7초 단위로 나누어 특정 동작을 학습하기 위한 이미지 데이터로 구성하였다. 하나의 야구 경기 영상을 이미지로 분할할 경우에 경기마다 평균 14, 000~16, 000장의 이미지가 생성된다.
초기 학습 과정에서 약 5, 000건의 투구 동작 이미지를 초기 동작으로 학습하여 테스트한 결과 약 50% 정도가 정확하게 분류되었다. 분류의 정확성을 개선하기 위하여 새로운 투구 동작 이미지 35, 000장을 추가로 학습하였다.
실험 데이터는 2018년도 한국프로야구의 방송영상을 FFMPEG을 이용하여 이미지로 분할하여 생성하였다. 분할된 이미지에서 추출한 투구 동작 약 4, 000장을 기초 데이터로 사용하였고, 정확성 향상을 위해 약 40, 000장의 투구 이미지를 재학습하였다. 투구 이미지에서 경기 정보를 추출하기 위해 Python Open CV를 이용하였다.
본 연구의 하드웨어 및 소프트웨어 실험 환경은 CPU Intel i5, GPU geforce 1080Ti 환경에서 google Inception-V3 모델을 사용하였다. 실험 데이터는 2018년도 한국프로야구의 방송영상을 FFMPEG을 이용하여 이미지로 분할하여 생성하였다. 분할된 이미지에서 추출한 투구 동작 약 4, 000장을 기초 데이터로 사용하였고, 정확성 향상을 위해 약 40, 000장의 투구 이미지를 재학습하였다.
이 중에서 투구동작을 학습하기 위하여 경기별로 400~600장의 투구 동작 이미지를 분류하여 사용하였다. 실험에서는 약 1, 000경기에서 400,000여 장의 투구 동작 이미지를 분류하여 학습 과정에 사용하였다.
하나의 야구 경기 영상을 이미지로 분할할 경우에 경기마다 평균 14, 000~16, 000장의 이미지가 생성된다. 이 중에서 투구동작을 학습하기 위하여 경기별로 400~600장의 투구 동작 이미지를 분류하여 사용하였다. 실험에서는 약 1, 000경기에서 400,000여 장의 투구 동작 이미지를 분류하여 학습 과정에 사용하였다.
그리고 경기 영상 내에 포함된 스코어보드에서 추출한 경기 정보와 경기 기록을 연계하여 특정 장면을 효과적으로 검색하는 시스템을 제안하였다. 제안 시스템의 효율성을 검증하기 위하여 한국프로야구 경기 영상을 대상으로 영상을 학습하여 분류하는 실험을 진행하였다. 경기 영상에서 투구 장면을 검색하여 분류하는 실험에서는 경기 당 약 90%의 정확도를 보였다.

데이터처리

분할된 이미지에서 추출한 투구 동작 약 4, 000장을 기초 데이터로 사용하였고, 정확성 향상을 위해 약 40, 000장의 투구 이미지를 재학습하였다. 투구 이미지에서 경기 정보를 추출하기 위해 Python Open CV를 이용하였다. 추출된 경기 정보와 경기 정보를 맵핑하는 기능은 JAVA를 이용하여 개발하였다.

이론/모형

먼저, 볼과 스트라이크가 숫자로 표시되는 스코어보드에서는 숫자 이미지를 먼저 추출하고 Google Inception-V3 모델을 이용하여 초기 학습 모델을 생성하였다. 그리고 숫자를 분류하기 위한 학습 모델과 신규 이미지를 비교하여 1부터 12까지 포함되어 있을 확률에 따라 이미지를 분류하였다.
방송사에서 제공하는 스코어보드는 스트라이크, 볼, 아웃, 이닝, 주자 정보 등과 같은 다양한 경기 정보가 숫자 또는 도형으로 표시된다. 본 단계에서는 OpenCV의 이미지 컨투어(Image Contours)와 파인딩컨투어(Finding Contours)를 이용하여 스코어보드 영역에 표시되는 경기 정보와 관련된 다양한 도형을 추출하였다.
본 연구의 하드웨어 및 소프트웨어 실험 환경은 CPU Intel i5, GPU geforce 1080Ti 환경에서 google Inception-V3 모델을 사용하였다. 실험 데이터는 2018년도 한국프로야구의 방송영상을 FFMPEG을 이용하여 이미지로 분할하여 생성하였다.
동작 분류 단계는 스포츠 경기 영상 내에서 다양한 동작을 검색하여 특정 동작 별로 분류하기 위한 과정이다. 본연구에서는 Google Inception-V3 모델을 이용하여 특정 동작을 분류하기 위한 초기 학습 모델을 구성하였다. 스포츠 영상에서 특정 동작은 학습 모델에 저장된 동작 이미지와 신규 이미지를 비교하여 특정 동작이 포함되어 있을 확률에 따라 분류하였다.
투구 이미지에서 경기 정보를 추출하기 위해 Python Open CV를 이용하였다. 추출된 경기 정보와 경기 정보를 맵핑하는 기능은 JAVA를 이용하여 개발하였다.

성능/효과

경기 정보를 추출하는 실험에서는 약 88.2%의 정확도를 보였다. 부정확한 결과는 스코어보드에서 영역의 경계가 불분명한 경우로 인해 대부분 발생하였다.
부정확한 결과는 스코어보드에서 영역의 경계가 불분명한 경우로 인해 대부분 발생하였다. 경기 정보추출의 정확도는 방송사별로 제공된 영상의 품질이 차이로 인해 81.4%에서 92.6% 정도의 편차를 보였다.
본 연구에서 개발한 영상 분류 기법과 영상 검색시스템은 대량의 경기 영상에서 발생한 특정 동작을 선수 명이나 이벤트와 같은 키워드에 의해 효과적으로 검색할 수 있다. 특히 야구 경기는 다른 스포츠에 비해 다양한 종류의 기록과 영상이 발생하는 종목이다.
본 연구에서 제안한 경기 정보 추출 기법에 따라 경기 정보를 추출한 결과 약 88.2%의 정확도를 보였다. 방송사에서는 볼, 아웃, 이닝, 주자 등과 같은 현재 경기 상황에 대한 정보를 숫자나 도형 이미지로 스코어보드에 출력한다.
본 연구에서 제안한 동작 분류 기법의 정확도는 방송사별로 86.3%에서 93.1%로 차이를 보였다. 그 이유는 방송사별로 투구 동작에 대한 촬영 각도가 다르고 광고나 하이라이트 등으로 인해 투구 동작을 놓치는 경우가 발생했기 때문이다.
2%의 정확도를 보였다. 부정확한 결과는 스코어보드에서 영역의 경계가 불분명한 경우로 인해 대부분 발생하였다. 경기 정보추출의 정확도는 방송사별로 제공된 영상의 품질이 차이로 인해 81.
그 이유는 숫자가 도형에 비해 영역 경계가 명확하게 표현되어 이미지 처리 과정에서 영역 경계를 보다 정확하게 추출할 수 있었기 때문이다. 실험 결과, 스코어보드가 숫자로 구성된 방송사의 정확도가 91.5%로 도형으로 구성된 방송사의 86%보다 상대적으로 경기 정보를 정확하게 추출할 수 있었다. 그리고 비슷한 숫자나 도형 이미지를 사용하는 스코어보드에서도 방송사별로 차이가 나는 이유는 숫자나 도형을 구성하는 밀집도와 배경색의 차이 그리고 방송사별 해상도의 차이로 인해 발생한다고 생각한다.
야구 경기 영상에서 투구 동작을 검색하여 분류하는 실험에서는 경기 당 약 90.5%의 정확도를 보였다. 정확하게 분류되지 않은 경우는 대부분 투수 보크나 타임 요청과 같이 비정상적인 투구 동작으로 인해 발생하였다.
정확하게 분류되지 않은 경우는 대부분 투수 보크나 타임 요청과 같이 비정상적인 투구 동작으로 인해 발생하였다. 특정 동작을 분류하는 실험에서는 방송사별로 86.3%에서 93.1%로 정확도의 차이를 보였다. 이렇게 방송사별로 정확도가 차이가 나는 이유는 방송사별로 투구 동작에 대한 촬영 각도, 광고, 하이라이트 방영 등으로 인해 투구 동작이 누락되었기 때문이다.

후속연구

그리고 스코어보드에서 추출한 경기 정보와 경기 기록을 연계하는 검색 실험은 경기 당 약 80%의 정확도를 보였다. 본 기법은 야구 경기에서 경기력 향상을 위한 전략 수립을 위하여 효과적으로 사용할 수 있으리라 기대한다.
본 시스템은 대량의 경기 영상으로부터 선수, 기록, 이벤트 등과 같은 특정 기준에 따라 과거 영상을 신속하게 검색할 수 있다. 앞으로 본 시스템은 야구와 같이 다양한 경기 기록과 경기 영상을 활용하여 경기력 향상을 위한 전략 수립에 활용하는 스포츠 종목에 유용하게 활용할 수 있으리라 기대한다.

참고문헌 (16)

Jong-cheol Park, Ju-ho Song, Young-sook Kim, Eon-ho Kim, Hyung-jun Choi, "Development of sports video analysis center operation manual and research on activation plan," Korea Institute of Sports Science, 2016. 5.
Tae-woo Kim, "[Pro Sports and Big Data] How did big data change baseball from moneyball to statcasts," OSEN, 2018.
Myung Kyu Kwon, Hyeong Sik Yang, "A scene search method based on principal character identification using convolutional neural network," Journal of Convergence for Information Technology, Vol. 7, No. 2, 2017. 4. DOI: 10.22156/CS4SMB.2017.7.2.031

원문보기 상세보기
Jenny Feng, "Real-Time event summarization of sports event through twitter streams," A Master's paper for the M.S. in I.S. degree, 2018. 4. DOI: 10.17615/5vtz-z323
Yunu Kim, Jundoo Choi, Nayoung Jin, Kyue Teak Oh, Jinyoung Han, Eunil Park, Minsam Ko, "SeeStar: Extracting Highlight Videos of Sports Players by Analyzing Chatting Data," The HCI Society of Korea, pp. 99-103, 2019. 2.
Hyun Gon Kang, Jang Sik Park, Jong Kwan Song, Byung Woo Yoon, "CCTV Based Gender Classification Using a Convolutional Neural Networks," Journal of Korea Multimedia Society, Vol. 19, No. 12, 2016. 12. DOI: 10.9717/kmms.2016.19.12.1943

원문보기 상세보기
Abderrahmane ADOUI EL OUADRHIRI, El Mehdi SAOUDI, Said JAI ANDALOUSSI, Ouail OUCHETTO, Abderrahim SEKKAKI, "Content Based Video Retrieval Based on Bounded Coordinate of Motion Histogram," 2017 4th International Conference on Control, Decision and Information Technologies (CoDIT), pp. 573-578, 2017. 4. DOI: 10.1109/CoDIT.2017.8102655
Probst, L., Kabary, I.A., Lobo, R., Rauschenbach, F., Schuldt, H., Seidenschwarz, P., Rumo, M. "SportSense: User Interface for Sketch-Based Spatio-Temporal Team Sports Video Scene Retrieval," IUI Workshops, 2018. 3.
Zhihan Lv, "Real-Time Analysis of Basketball Sports Data Based onDeep Learning", 2021. 5
Chakradhar Guntuboina, Aditya Porwal, Preet Jain, Hansa Shingrakhia, "Deep Learning Based Automated Sports Video Summarizationusing YOLO", 2021. 5
C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich, "Going deeper with convolutions," in Proceeding of the Computer Vision and Pattern Recognition (CVPR), pp. 1-9, 2015. 6. DOI: 10.1109/CVPR.2015.7298594
K. Simonyan, A. Zisserman, "Very Deep Convolutional Networks for large-scale image recognition," International Conference on Learning Representations (ICLR) 2015, Sep 2014. CoRR, abs / 1409.1556
Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel, "Backpropagation Applied to Handwritten Zip Code Recognition," Neural Computation, Vol 1, NO. 4, pp. 541 - 551, 1989. 12. DOI: 10.1162/neco.1989.1.4.541

상세보기
Mathworks Korea, "What is Convolutional Neural Network," http://blog.naver.com/PostView.nhn?blogIdmatlablove&logNo221611175120&parentCategoryNo29&categoryNo&viewDate&isShowPopuilarPostsfalse&frompostView, 2019. 8.
Dong ju Lee, Gun woo Kim, Keun ho Choi, "CNN-based Recommendation Model for Classifying HS Code", 2020. 9
Google Cloud, "Advanced Guide to Inception v3 on Cloud TPU," https://cloud.google.com/tpu/docs/inception-v3-advanced

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증