[논문]빅데이터 기반 프로야구 데이터 분석

신동진; 황승연; 이돈희; 문진용; 김정준

doi:10.7236/jiibc.2020.20.4.177

빅데이터 기반 프로야구 데이터 분석
Analysis of Professional Baseball Data based on Big Data 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.20 no.4, 2020년, pp.177 - 185

신동진 (안양대학교 컴퓨터공학과) , 황승연 (안양대학교 컴퓨터공학과) , 이돈희 (SK 주식회사) , 문진용 (강동대학교 방송영상미디어과) , 김정준 (안양대학교 ICT융합학부 소프트웨어전공)

초록
AI-Helper

최근 프로야구의 스포츠 인기는 나날이 증가하고 있으며, 다양한 포털 사이트에서 프로야구와 관련된 데이터를 소유하고 있다. 프로야구의 인기를 증가시키고, 관련된 데이터를 활용한 분석을 통해 결과를 만들어 낸다면 프로야구를 접하는데 이점이 있다. 본 논문에서는 프로야구와 관련된 데이터를 활용하여 3가지 분석을 시행하였다. 따라서 본 논문에서는 특정 사이트에서 조회된 특정 프로야구단과 관련된 기사 개수와 트렌드를 알아보고, 프로야구 성적과 관중 수의 상관관계에 대해서 분석하였다. 마지막으로 2016, 2017년도의 프로야구 타자 타율 성적과 출루율 성적에 대한 현황 분석을 실시하였다.

Abstract ▼ AI-Helper

Recently, the popularity of professional baseball is increasing day by day, and it has data related to professional baseball on various portal sites. If you want to increase the popularity of professional baseball and produce results through analysis using relevant data, you have the advantage of accessing professional baseball. In this paper, three analyzes were conducted using data related to professional baseball. Therefore, in this paper, the trend related to the number of articles retrieved from a specific site of a professional baseball team was examined, and the correlation between professional baseball scores and the number of spectators was analyzed. Finally, we analyzed the current status of professional baseball batting average and on base percentage in 2016 and 2017.

주제어

표/그림 (26)

그림 그림 1. 데이터 수집을 위한 크롤링 코드 Fig. 1. Crawling code for data collection
그림 그림 2. 데이터 수집을 위한 셀레늄 코드 Fig. 2. Selenium code for data collection
그림 그림 3. 크롤링 실행 결과 Fig. 3. Crawling execution reseult
그림 그림 4. 크롤링을 통해 수집된 특정 프로야구단 기사 Fig. 4. Certain professional baseball articles through crawling
그림 그림 5. 데이터 처리를 위한 하이브 코드 Fig. 5. Hive code for data processing
그림 그림 6. KBO 사이트 데이터 현황 Fig. 6. KBO site data status
그림 그림 7. 데이터 처리를 완료한 모습 Fig. 7. Data processing completed
그림 그림 8. Batman 사이트 데이터 현황 Fig. 8. Batman site data status
그림 그림 9 CSV형태로 데이터를 변환한 모습 Fig. 9. Data converted into CSV format
그림 그림 10. 특정 프로야구단 기사 빈도 코드 Fig. 10. Specific professional baseball article frequency code
그림 그림 11. 특정 프로야구단 기사 빈도 그래프 결과 Fig. 11. Specific professional baseball article frequency graph results
그림 그림 12. 특정 프로야구단 워드클라우드 코드 Fig. 12. Specific professional baseball wordcloud code
그림 그림 13. 특정 프로야구단 워드클라우드 그래프 결과 Fig. 13. Specific professional baseball wordcloud graph results
그림 그림 14. 년도별 및 월별 관중 증감률 계산 코드 Fig. 14. Year and Monthly Audience Change Calculation Code
그림 그림 15. 특정 프로야구단 년도 별 순위 코드 Fig. 15. Specific professional baseball annual ranking code
그림 그림 16. 특정 프로야구단 년도 별 순위 그래프 Fig. 16. Specific professional baseball annual ranking graph
그림 그림 17. 특정 프로야구단 년도 별 관중 증감률 코드 Fig. 17. Specific professional baseball annual crowd code
그림 그림 18. 특정 프로야구단 년도 별 관중 증감률 그래프 Fig. 18. Specific professional baseball annual crowd growth graph
그림 그림 19. 특정 프로야구단 월별 순위 그래프 Fig. 19. Specific professional baseball monthly ranking graph
그림 그림 20. 특정 프로야구단 월별 관중 증감룰 그래프 Fig. 20. Specific professional baseball monthly crowd growth graph
그림 그림 21. 2016, 2017년도 KBO 타자 타율 성적 코드 Fig. 21. KBO hitter’s batting average code for 2016, 2017 years
그림 그림 22. 2016년도 KBO 타자 타율 성적 그래프 Fig. 22. KBO hitter's batting average graph for 2016 years
그림 그림 23. 2017년도 KBO 타자 타율 성적 그래프 Fig. 23. KBO hitter's batting average graph for 2017 years
그림 그림 24. 2016, 2017년도 KBO 타자 출루율(OBP) 성적 코드 Fig. 24. KBO hitter's OBP code for 2016, 2017 years
그림 그림 25. 2016년도 KBO 타자 출루율(OBP) 성적 그래프 Fig. 25. KBO hitter's OBP graph for 2016 years
그림 그림 26. 2017년도 KBO 타자 출루율(OBP) 성적 그래프 Fig. 26. KBO hitter's OBP graph for 2017 years

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 프로야구에서 생성되는 데이터를 이용 하여 특정 프로야구단과 관련된 기사 분석, 순위와 관중률 분석, 타자의 타율 및 출루율 분석 연구를 수행하였다.
프로야구 성적과 관중 수 데이터를 수집하기 위해서 KBO 사이트에서 데이터를 추출하였으며, 데이터를 수집한 방법과 처리한 방법을 소개한다.
하이브는 Apache에서 개발한 SQL 형식의 병렬 처리 데이터베이스를 의미한다. 하둡에 저장되어있는 데이터를 Map-Reduce를 직접 구현하여 데이터를 분석하기엔 개발 능력과 경험이 필요하기 때문에 이를 이해하고 구현하는 시간과 노력을 줄이고자 개발되었다.

제안 방법

데이터 처리에는 Hive-QL을 지원하는 하이브를 사용 하여 정제 하였으며, 직접 코딩이 어려운 부분은 액셀 프로그램을 이용하여 데이터를 정형화 하였다. 분석 결과로는 특정 프로야구단의 기사 빈도 횟수와 어떤 단어가 가장 많이 이슈되고 있는지 알아보았으며, 야구단의 순위는 관중률의 증가 및 감소에는 영향이 없는 것으로 확인되 었다.
마지막으로 수집된 데이터를 로컬 데스크탑에 저장하기 위해 코드를 추가하여 크롤링을 실행하였다.
KoNLP 형태소 분석과 표현하기 위한 wordcloud 패키지를 설치하고, f 변수에 수집된 기사를 삽입한 후 한줄씩 텍스트라인으로 파일을 읽어 들인다. 원본 파일을 복제본으로 두고, RColorBrewer 패키지를 설치하여 적용한 후 wordcloud함수를 이용하여 그래프로 출력한다.
프로야구 타자 타율과 출루율 성적 데이터를 수집하기 위해서 Batman 사s이트에서 데이터를 추출하였으며, 데이터를 수집한 방법과 처리한 방법을 소개한다.
프로야구 특정 구단의 트렌드를 분석하기 위해서 필요한 데이터의 수집은 크롤링과 셀레늄을 이용하여 기사의본문과 기사 개수를 측정하며, 하이브를 이용하여 불필요한 단어를 필터링 하고, R 프로그래밍을 통해 그래프로 표현한다^[1].

대상 데이터

BeautifulSoup 라이브러리를 이용하여 데이터를 수집하였으며, BeatifulSoup 라이브러리는 HTML에서 데이터를 추출하고, 구문 분석된 페이지에 대한 구문 분석 트리를 작성하기 때문에 웹 스크래핑에 유용하다.
그림 2는 구글 사이트에서 제공하는 특정 프로야구단의 트렌드 관련 CSV 파일을 다운로드 받기 위한 핵심 코드를 의미한다. Chrome에 WebDriver를 설치하여 구글 트렌드와 관련된 데이터를 수집하였다.
크롤링 과정을 통해 수집된 데이터의 모습을 보여준다. 그림3의 결과이며, 특정 프로야구단을 선택해서 크롤링과 셀레늄을 하였으며, 수집된 기사의 년도는 2012년도부터 2017년도까지 데이터를 수집되었다.
다양한 데이터가 존재하지만, 직접 데이터를 수집하는 방법을 사용하기 위해 크롤링 및 셀레늄 기법을 사용하였고, 다른 데이터는 외부 포탈사이트에 존재하는 데이터를 사용하였다.
프로야구 성적과 관중 수의 관계를 분석하기 위해서 필요한 데이터의 수집은 KBO 사이트를 참고한다. 관중및 성적 데이터란 연도별 각 프로야구 구단들의 관중 수및 성적, 또는 월별 각 프로야구 구단들의 관중 수 및 성적을 나타낸다^[2].
관중및 성적 데이터란 연도별 각 프로야구 구단들의 관중 수및 성적, 또는 월별 각 프로야구 구단들의 관중 수 및 성적을 나타낸다^[2]. 프로야구 타율 성적과 출루율 성적을 분석하기 위해서 필요한 데이터는 Betman 공식 사이트를 이용하여 수집하며, R프로그래밍을 통해 그래프로 표현하였다^[3].

성능/효과

2010년도, 2013년도에 관중이 급격히 감소한 것을 볼 수 있으며, 2014 ∼ 2016년도의 순위가 낮지만, 관중의 증감률은 변화가 없는걸로 보아 즉, 년도 별 순위와 관중 수의 결과와는 상관없는 것을 확인할 수 있다.
그림 11을 보면 2012년 중반부터 2017년도 초반까지의 특정 프로야구단에 관련된 기사 빈도수를 보여주며, 2013년 후반부에 높은 빈도의 기사가 검출된 것을 볼 수 있다. 2013년도에 관련된 특정 프로야구단의 이슈를 확인해보니 논문에 언급하기 어렵지만, 관련된 이슈가 많이 올라온 것을 확인할 수 있었다.
데이터 처리에는 Hive-QL을 지원하는 하이브를 사용 하여 정제 하였으며, 직접 코딩이 어려운 부분은 액셀 프로그램을 이용하여 데이터를 정형화 하였다. 분석 결과로는 특정 프로야구단의 기사 빈도 횟수와 어떤 단어가 가장 많이 이슈되고 있는지 알아보았으며, 야구단의 순위는 관중률의 증가 및 감소에는 영향이 없는 것으로 확인되 었다.
특정 프로야구단의 월별 순위와 월별 관중의 증감률을 확인하면, 5월, 8월, 9월, 10월에 낮은 등수를 기록한 것을 볼 수 있고, 관중 수 증감률은 6월, 7월, 9월, 10월에 많이 감소 한 것을 확인할 수 있다.

후속연구

향후 연구과제로는 트렌드를 정확하게 분석하기 위해서 SNS에서 사람들이 작성하는 글과 댓글을 같이 크롤링하여 감정 분석을 할 예정이며, 타율과 출루율의 상관관계를 추가로 분석할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	하이브란?	하이브는 Apache에서 개발한 SQL 형식의 병렬 처리 데이터베이스를 의미한다. 하둡에 저장되어있는 데이터를 Map-Reduce를 직접 구현하여 데이터를 분석하기엔 개발 능력과 경험이 필요하기 때문에 이를 이해하고 구현하는 시간과 노력을 줄이고자 개발되었다.
	셀레늄이란?	셀레늄(Selenium)은 웹 애플리케이션 테스트를 위한 포터블 프레임워크다. 셀레늄은 테스트 스크립트 언어를 학습할 필요 없이 기능 테스트를 만들기 위한 플레이백 도구를 제공한다.
	크롤링이란 무엇인가?	무수히 많은 웹사이트에 저장 및 개시되어있는 뉴스 기사나 문서를 수집하여 검색 대상의 Text 문서를 수집 하는 기술이다. 대표적으로 BeautifulSoup 라이브러리를 사용하며, 웹사이트의 태그를 조작하여 수집된다.

참고문헌 (7)

Crawling & Selenium Tutorial Reference Site, http://www.marinamele.com/selenium-tutorial-web-scraping-with-selenium-and-python
KBO Ranking & Crowd Growth Reference Site, https://www.koreabaseball.com/Record/Player/HitterBasic
Betman Batting Average & OBP Reference Site, http://www.betman.co.kr/sportsMain.so?methodinquireMain&itemBS&fromCodetop
Jeong-Joon Kim, Kwang-Jin Kwak, Don-Hee Lee, Yong-Soo Lee, “Study of Trust Bigdata Platform,” Journal of The Institute of Internet, Broadcasting and Communication, Vol. 16, No. 6, pp. 225-230, Dec, 2016. DOI: https://doi.org/10.7236/JIIBC.2016.16.6.225

원문보기 상세보기
Dong-Jin Shin, Jong-Min Eun, Ho-Geun Lee, Myoung Gyun Lee, Jeong-Min Park, Jeong-Joon Kim, "Big Data-based Log Collection and Analysis in IoT Environments," Journal of Engineering and Applied Sciences, Vol. 13, No. 5, pp. 1064-1072, May 2018. DOI: http://dx.doi.org/10.3923/jeasci.2018.1064.1072
Dong-Jin Shin, Ji-Hun Park, Ju-Ho Kim, Kwang-Jin Kwak, Jeong-Min Park, Jeong-Joon Kim, "Big Data-based Sensor Data Processing and Analysis for IoT Environment," Journal of The Institute of Internet, Broadcasting and Communication, Vol. 19, No. 1, pp. 117-126, Feb, 2019. DOI: https://doi.org/10.7236/JIIBC.2019.19.1.117
Ashish Thusoo, Joydeep Sen Sarma, Namit Jain, Zheng Shao, Prasad Chakka, Suresh Anthony, Hao Liu, Pete Wyckoff, Raghotham Murthy, "Hive - A Warehousing Solution Over a Map-Reduce Framework", Proceedings of the VLDB Endowment, Vol. 2, No. 2, pp. 1626-1629, 2009.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증