[논문]중계 영상을 활용한 야구 경기 분석 방법

손종웅; 이명진

doi:10.5909/jbe.2020.25.4.576

중계 영상을 활용한 야구 경기 분석 방법
Baseball Game Analysis Method Using Broadcast Video 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.25 no.4, 2020년, pp.576 - 586

손종웅 (한국항공대학교 항공전자정보공학과) , 이명진 (한국항공대학교 항공전자정보공학과)

초록
AI-Helper

레이더나 라이더 센서를 활용한 야구 경기 분석은 많은 비용이 요구된다. 본 논문에서는 중계 비디오에서 피치 샷과 타구 샷을 검출하고, 카메라의 움직임 기반 타구 궤적 생성 알고리즘을 제안한다. 제안하는 알고리즘은 객체 검출과 옵티컬 플로우 기반 피치 샷과 타구 샷 검출 이후, 프레임 간 변환 관계를 통해 프레임 내 타구 위치와 타구 궤적을 계산한다. 제안 방법은 KBO 중계 영상 시퀀스 3개에 대해 성능을 평가하였고 피치 샷과 타구 샷 검출 정확도와 검출률은 89-95[%] 이내의 성능을 보였으며, 평균 타구 위치 거리차이는 13.6[m], 방향 차이 7.5°, 파울 분류 정확도 98.6%의 성능을 보였다.

Abstract ▼ AI-Helper

Analyzing baseball games using sensors such as radars or riders is expensive. In this paper, we propose an algorithm to detect pitch shots and hit shots using baseball video and to generate ball trajectories within hit shots using camera movement. After the pitch shot and the hit shot detection using object detection and optical flow, we generate the transformation relationship between frames and ball locations in the frame, and calculates the ball trajectory. The performance of the proposed method is evaluated for three KBO baseball video sequences, and the detection accuracy and detection rate of pitch shot and hit shot were within 89-95 [%], and the average error for shot range was 13.6[m], The direction error was 7.5° and foul classification accuracy was 98.6%.

주제어

표/그림 (15)

그림 그림 1. 스탯캐스트 시스템 Fig. 1. Statcast system
그림 그림 2. 계층적 콘텐츠 분석 모델에 따른 비디오 분석 방법[2] Fig. 2. Video analysis method according to hierarchical content analysis model^[2]
그림 그림 3. PSB를 활용한 야구 이벤트 분류 방법^[3] Fig. 3. Baseball events classification method using PSB^[3]
그림 그림 4. 제안하는 중계 비디오 타구 궤적 생성 알고리즘 Fig. 4. Proposed trajectory generation algorithm
그림 그림 5. 피치 샷 사람 객체 검출 Fig. 5. Object detection for person class in pitch shot
그림 그림 6. 샷 옵티컬 폴로우 (a) 격자 옵티컬 플로우, (b) 옵티컬 플로우 크기 상위 세 점(빨간색) Fig. 6. Shot optical flow (a) Grid optical flow, (b) Optical flow magnitude top three points(red)
그림 그림 7. 시간에 따른 중심 영역(빨간색)과 타구 위치 차이, (a) 프레임 밖의 공, (b) 마지막 프레임 Fig. 7. Difference between center region(red) and ball location over time, (a) Out of frame, (b) last frame
그림 그림 8. 상공 이미지 타구 위치 생성 과정 Fig. 8. Process for ball location of top view image
그림 그림 9. 사각형 변환 관계를 활용한 상공 이미지 생성 Fig. 9. Top view Image generation using rctangle form relationship
표 표 1. KBO 중계 영상 시퀀스 정보 Table 1. KBO video sequences information
그림 그림 10. 네이버 스포츠 타구 위치 Fig. 10. Hit ball location on Naver Sports
표 표 2. 제안 방식의 피치 샷과 타구 샷 검출 성능 Table 2. PS and HS detection performance of proposed method
표 표 3. 타구 유형 분포 Table 3. Ball type distribution
그림 그림 11. NTG 타구 유형 위치 정확도(Seq1), GT(하얀색), 제안 방법(빨간색) Fig. 11. NTG ball type location accuracy(Seq1), GT(white), proposed method(red)
표 표 4. 제안 방법 단계별 성능 Table 4. Proposed method step by step performance

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

위치까지 연결한 직선을 타 구 궤적으로 설정한다. 본 논문에서는 궤적의 픽셀 단위 거리와 방향을 경기장 규격과 상공 이미지의 비례 관계를 통해 실측 거리를 계산 한다. 이미지 상의 정사각형 한 변의 길이가 B픽셀, 타구 궤적의 직선 길이가 l일 때, 실측 거리는 다음과 같다,
본 논문에서는 야구 중계 비디오에서 피치, 타구 샷을 검 출하고, 타구 궤적을 생성하는 알고리즘을 제안하였다. 제안 방법은 샷 단위 객체 검출과 옵티컬 플로우를 활용하여 피치 샷과 타구 샷을 검출하였다.
타구 위치 정확도는 송구가 없는 NTG(Not Throw at GT) 에 대해서만 고려하며, NTG는 표 3의 NT와 FNTC를 모두 포함한다. 본 논문에서는 타구 기록과 제안 방식의 타구 위 치를 비교하기 위해 두 위치의 오차를 측정한다. 오차는 상공 이미지상에서 타구 궤적 직선의 거리 차이와 두 직선 사이의 각도를 계산한다.
본 논문에서는 특정 선수나 포지션 중심의 분석 또는 요약 서비스 등에 활용할 수 있는 야구 중계 비디오를 활용한 타구 궤적 생성 알고리즘을 제안한다. 제안 방법은 피치 샷 검출, 타구 샷 검출, 타구 궤적 생성 과정으로 생성되며, 타구 샷 내 프레임들의 타구 위치를 연결하여 타구의 궤적을 생성한다.

가설 설정

넷째, 샷 내 카메라 이동이 없어야 한다. 피치 샷을 다시 보여주는 리플레이 샷은 검출 대상에서 제외한다.
둘째, 구간 T에서 샷 옵티컬 플로우 크기가 일정 크기 이상이어야 한다. 샷 옵티컬 플로우는 프레임 옵티컬 플로 우와 격자 옵티컬 플로우로 계산한다.
첫째, 투수, 타자, 포수, 심판이 특정 위치에 화면에 함께 나타난다. 둘째, 리플레이를 제외한 피치샷 내 카메라 이동은 없다. 셋째, 투수가 공을 한 번 던질 때 피치 샷의 길이는 15초 이내이다.
타구 샷 프레임에서 공은 크기가 작고 프레임 밖에 존재 할 수 있기 때문에 공의 정확한 위치를 찾기 어렵다. 따라 서, 본 논문에서는 공이 타구 샷 각 프레임의 중심점에 위치 한다고 가정한다. 타구가 뜬 공일 경우 그림 7(a)와 같이 프레임의 중심과 공의 위치는 다르지만, 그림 7(b)와 같이 샷 끝에는 공이 프레임의 중심과 가까워진다.
피치샷 검출 조건은 다음과 같다. 첫째, 하나의 프레임에 서 일정 크기의 객체가 동시에 최소 3개 이상 출현해야 한 다. 객체 크기는 그림 5와 같이 검출된 사람 객체 바운딩박 스의 크기이다.
제안 방법은 샷 단위 객체 검출과 옵티컬 플로우를 활용하여 피치 샷과 타구 샷을 검출하였다. 타구 샷 프레임의 중심점 에 공이 위치한다고 가정하고, 각 프레임의 중심점을 상공 이미지에 표시하여 타구 궤적을 생성하였다. 제안 방법은 피치 샷과 타구 샷 검출, 타구 위치 정확도, 파울 분류에 대해서 평가를 수행하였다.

제안 방법

. 그림 2와 같이 콘텐츠 분석 모델을 제시하고 기존 스포츠 비디오 분석 연구들을 제안된 모델 구조에 계층화하여 단계별로 분류하였다. 콘텐츠 분석 계층 모델은 객체, 이벤트, 상황 및 결과 단계로 구성되며 객체 단계에서 객체 검출, 추적 등을 정의한다.
샷경계는 영상의 신호 변화에 따라 점진적인 경계와 갑작스러운 경계로 분류된다. 본 논문에서 샷 분할은 컬러 히스토그램 차이와 SSIM(Structural similarity)을 활용하여 검출하였고, 점진 적인 변화는 고려하지 않았다. 점진적인 변화를 포함한 샷의 길이가 길어지는 경우를 제외하기 위해 샷 최대 길이는 500프레임으로 설정하였다.
본 논문에서는 본루와 C_T^Lk-1위치까지 연결한 직선을 타 구 궤적으로 설정한다. 본 논문에서는 궤적의 픽셀 단위 거리와 방향을 경기장 규격과 상공 이미지의 비례 관계를 통해 실측 거리를 계산 한다.
이벤트 단계에서는 이벤트, 하이라이트 검출 단계로 장면 변화 검출, 대표 프레임 설정 등 객체 단위 발생한 이벤트를 정의한다. 상황 및 결과 단계는 상황적 추론 및 의미를 분석하는 단계로 이전 획득 정보를 응용하여 비디오 요약, 분류 등을 수행한다.
중계 카메라의 움직임 정보를 얻기 위해 샷 내에서 영상의 가장자리 영역 의 움직임 벡터를 활용하여 카메라의 펜(Pan), 틸트(Tilt), 줌(Zoom)을 분류하였다. 야구 경기장의 잔디와 흙 영역의 색상 정보와 카메라 이동 정보를 통해 샷들을 피칭, 내야, 외야, 선수 클로즈업 등 8개의 유형으로 분류하였다. 타구 이벤트가 발생한 경우 샷에 대해 내야와 외야에 대한 위치 를 분류하지만, 타구 위치에 대한 상세한 정보는 제공하지 않았다.
위 다섯 조건들을 모두 만족하는 샷을 피치 샷으로 설정 하며, 영상 시퀀스 3개에 대한 파라미터 th₁, th₂, N, th₃는각각 0.03, 0.15, 30, 15로 설정하였다. 제안 방법은 경기장 과 팀이 중복되지 않는 KBO 영상 시퀀스에 대하여 모든 피치 샷과 타구 샷이 포함될 수 있도록 파라미터들을 설정 하였다.
위 두 조건을 모두 만족하는 피치 샷 직후 샷을 타구 샷으로 설정하며, 영상 시퀀스 3개에 대한 파라미터 thA, A, th5 는 각각 0.1, 3, 0.5로 설정하였다.
본 논문에서 샷 분할은 컬러 히스토그램 차이와 SSIM(Structural similarity)을 활용하여 검출하였고, 점진 적인 변화는 고려하지 않았다. 점진적인 변화를 포함한 샷의 길이가 길어지는 경우를 제외하기 위해 샷 최대 길이는 500프레임으로 설정하였다.
그러나, 제안 방법 은 파울을 포함하고 있다. 제안 방법과 타구 기록의 위치를 비교하기 위해 먼저 타구의 유형을 정의하고, 유형에 따라 타구 위치 정확도와 파울 분류 성능을 평가한다.
15, 30, 15로 설정하였다. 제안 방법은 경기장 과 팀이 중복되지 않는 KBO 영상 시퀀스에 대하여 모든 피치 샷과 타구 샷이 포함될 수 있도록 파라미터들을 설정 하였다.
본 논문에서는 야구 중계 비디오에서 피치, 타구 샷을 검 출하고, 타구 궤적을 생성하는 알고리즘을 제안하였다. 제안 방법은 샷 단위 객체 검출과 옵티컬 플로우를 활용하여 피치 샷과 타구 샷을 검출하였다. 타구 샷 프레임의 중심점 에 공이 위치한다고 가정하고, 각 프레임의 중심점을 상공 이미지에 표시하여 타구 궤적을 생성하였다.
본 논문에서는 특정 선수나 포지션 중심의 분석 또는 요약 서비스 등에 활용할 수 있는 야구 중계 비디오를 활용한 타구 궤적 생성 알고리즘을 제안한다. 제안 방법은 피치 샷 검출, 타구 샷 검출, 타구 궤적 생성 과정으로 생성되며, 타구 샷 내 프레임들의 타구 위치를 연결하여 타구의 궤적을 생성한다.
타구 샷 프레임의 중심점 에 공이 위치한다고 가정하고, 각 프레임의 중심점을 상공 이미지에 표시하여 타구 궤적을 생성하였다. 제안 방법은 피치 샷과 타구 샷 검출, 타구 위치 정확도, 파울 분류에 대해서 평가를 수행하였다. 평균 거리 오차는 10-15%의 오 차율로 상용 시스템에 비해 높지만, 각도 오차가 작고 파울 방향 분류 정확도가 높은 것으로 미루어 보아 타구의 방향 은 비교적 정확하게 계산할 수 있다.
제안 방법은 호모그래피 생성시 발생 오차가 누적되어 타구 궤적 정확도에 영향을 끼친다. 이를 해결하기 위해 비 디오 프레임 내 카메라 움직임을 반영할 수 있는 특징점을 선택적으로 사용하는 호모그래피 생성 방법에 대한 추가 연구가 필요하다.
3. 제안 방식의 파울 분류 성능과 단계별 성능 파울 방향 분류는 FNTC 타구 유형만을 고려한다. 파울 은 타구 위치 정확도가 중요하지 않기 때문에 좌우 방향성 만을 고려한다.
제안하는 타구 궤적 생성 알고리즘은 그림 4와 같이 샷 단위로 분할된 중계 비디오로부터 피치 샷 검출, 타구 샷 검출, 타구 궤적 생성 단계로 구성된다.
. 제안한 시스템은 그림 3과 같이 PSB(Pitch Scene Block)을 생성하며 이벤트를 탐색한다. 피치샷 이후에 타구가 발생한다는 점은 대부분 의 야구 중계 비디오에서 동일하지만, 캡션이나 스코어보드는 영상 제작자마다 달라질 수 있어서 일반화된 분석 방법이 될 수 없다.
Huang은 컬러와 카메라 움직임을 활용하여 야구 경기의 이벤트를 분류하는 시스템을 제안하였다^[4]. 중계 카메라의 움직임 정보를 얻기 위해 샷 내에서 영상의 가장자리 영역 의 움직임 벡터를 활용하여 카메라의 펜(Pan), 틸트(Tilt), 줌(Zoom)을 분류하였다. 야구 경기장의 잔디와 흙 영역의 색상 정보와 카메라 이동 정보를 통해 샷들을 피칭, 내야, 외야, 선수 클로즈업 등 8개의 유형으로 분류하였다.

대상 데이터

본 논문에서는 제안 방법 성능 평가를 위해 1280x720 해 상도의 KBO 중계 영상 시퀀스 3개에 대한 실험을 진행하 였다. 일반적인 성능 평가를 위해 영상 시퀀스의 경기장 및 팀이 중복되지 않도록 선별하였으며, 각 영상 시퀀스 정보 는 표 1과 같다.
피치 샷 검출을 위해 YOLOv3^[12]검출기를 사용하며, 사람, 배트, 글러브, 야구공 클래스의 객체는 사용하고, 나머지 검출된 클래스의 객체는 무시한다. 피치샷 검출 조건은 다음과 같다.

데이터처리

샷의 경계 변화가 점진적인 샷은 G(Gradual), 갑작스런샷은 C(Cut)으로 표기한다. 제안 방식의 검출 성능 평가는 GT(Ground truth)와 검출 결과를 비교하여 TP(True Positive), FP(False Positive), FN(False Negative)에 따른 정확 도와 검출률을 계산하였으며 표 2와 같다.

성능/효과

첫째, 타구 샷은 피치 샷 직후 나타난다. 둘째, 타구 샷 초기에는 카메라는 줌이 작고 빠르게 회전이동하며, 이후에는 줌이 크고 느리게 회전이동한다.
셋째, 샷내에서 배트, 글러브 또는 야구공 객체 클래스가 하나 이상 존재해야 한다. 관중석과 같이 여러 사람이 출현 하는 샷은 식 (1), (2)를 모두 만족할 수 있다.
둘째, 리플레이를 제외한 피치샷 내 카메라 이동은 없다. 셋째, 투수가 공을 한 번 던질 때 피치 샷의 길이는 15초 이내이다.
제안 방법은 호모그래피를 연속하여 적용하기 때문에 호 모그래피 계산 과정에서 발생한 오차 또한 누적된다. 따라 서, 매칭된 특징점 중 카메라 움직임을 반영할 수 있는 특징 점을 선택적으로 사용한다면 오차를 줄일 수 있다.
타구 샷 검출 조건은 다음과 같다. 첫째, 타구 샷 구간 T에서 크기가 가장 큰 객체 크기는 일정 값보다 작아야 한 다. T는 샷의 시작 프레임에서 50번째 프레임까지 설정하 였으며, 구간 내 크기가 가장 큰 사람 객체는 다음 조건을 만족해야 한다.
제안 방법은 피치 샷과 타구 샷 검출, 타구 위치 정확도, 파울 분류에 대해서 평가를 수행하였다. 평균 거리 오차는 10-15%의 오 차율로 상용 시스템에 비해 높지만, 각도 오차가 작고 파울 방향 분류 정확도가 높은 것으로 미루어 보아 타구의 방향 은 비교적 정확하게 계산할 수 있다.

후속연구

6[m]의 거리 오차를 가지기 때문에 정확한 타구 위치를 생성하는 것은 아니다. 그러나, 제안 방법은 중계 비디오만을 활용하기 때문에 비용이 적 고 자동화된 방법으로 경기 분석에 활용할 수 있다.
제안 방법은 호모그래피 생성시 발생 오차가 누적되어 타구 궤적 정확도에 영향을 끼친다. 이를 해결하기 위해 비 디오 프레임 내 카메라 움직임을 반영할 수 있는 특징점을 선택적으로 사용하는 호모그래피 생성 방법에 대한 추가 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	타구 궤적을 생성하는 방법은 무엇인가?	제안 방법은 샷 단위 객체 검출과 옵티컬 플로우를 활용하여 피치 샷과 타구 샷을 검출하였다. 타구 샷 프레임의 중심점 에 공이 위치한다고 가정하고, 각 프레임의 중심점을 상공 이미지에 표시하여 타구 궤적을 생성하였다. 제안 방법은 피치 샷과 타구 샷 검출, 타구 위치 정확도, 파울 분류에 대해서 평가를 수행하였다.
	자동화된 경기 분석을 위해 사용하는 시스템들의 단점은 무엇인가?	자동화된 경기 분석을 위해 그림 1과 같이 여러 센서를 활용한 Pitch f/x, 스탯캐스트 (Statcast)[1]와 같은 시스템이 상용화되어 있다. 이들은 광학 카메라, 레이더와 같은 고가의 장비를 필요로 하며 스탯캐스트의 경우 한 경기당 약 7TB 이상의 데이터를 이용하여 경기를 분석하기 때문에 경기장별 분석 시스템을 도입하기 위한 비용 부담이 매우 크다.
	샷이란 무엇인가?	샷이란 하나의 카메라가 촬영을 시작해서 정지할 때까지 혹은 다른 카메라의 시점으로 이동할 때까지 얻어진 일련 의 프레임들을 의미한다. 비디오 콘텐츠 분석을 위해 샷 (Shot) 단위로 비디오를 분할하여 해석하고자 하는 연구들 이 진행되어 왔다[5][8][9].

참고문헌 (13)

Major league baseball statcast leaderboard, http://m.mlb.com/statcast/leaderboard#exit-velo,r,2019 (accessed Feb. 11, 2020).
H.-C. Shih, "A survey of content-aware video analysis for sports," IEEE Transactions on Circuits and Systems for Video Technology, Vol.28, No.5, pp. 1212-1231, 2017.
C.-H. Liang, et al., "Baseball event detection using game-specific feature sets and rules," IEEE International Symposium on Circuits and Systems, pp. 3829-3832, 2005.
Y.-F. Huang and L.-H. Tung, "Semantic scene detection system for baseball videos," International Journal of Digital Content Technology and Its Applications (JDCTA), Vol.5, No.9, 2011.
S. Tippaya, et al., "Multi-modal visual features-based video shot boundary detection," IEEE Access, Vol.5, pp 12563-12575, 2017.

상세보기
Z. Rasheed, and M. Shah, "Scene detection in Hollywood movies and TV shows," IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol.2, pp. 11-343, 2003.
I. U. Haq, et al., "Movie scene segmentation using object detection and set theory," International Journal of Distributed Sensor Networks, Vol.15, No.6, 2019.
Z.-M. Lu and Y. Shi, "Fast video shot boundary detection based on SVD pattern mathcing," IEEE Transactions on Image processing, Vol.22, No.12, pp 5136-5145, 2013.

상세보기
J. Sun and Y. Wan, "A novel metric for efficient video shot boundary detection," IEEE Visual Communications and Image Processing Conference, pp. 45-48, 2014.
M.-H. Hung and C.-H. Hsieh, "Event detection of broadcast baseball videos," IEEE Transactions on Circuits and Systems for Video Technology, Vol.18, No.12, pp. 1713-1726, 2008.

상세보기
P. Chang, M. Han and Y. Gong, "Extract highlights from baseball game video with hidden Markov models," Proceedings. International Conference on Image Processing, Rochester, NY, USA, 2002.
J. Redmon and A. Farhadi, "Yolov3: An incremental improvement," arXiv preprint arXiv:1804.02767, 2018.
G. Farneback, "Two-frame motion estimation based on polynomial expansion," Scandinavian conference on Image anaysis, pp. 363-370, 2003.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증