[논문]청각장애인의 이스포츠 중계방송 및 게임 스트리머 콘텐츠 시청 편의성 증대를 위한 자막 동기화 보정 연구

신동환; 김정수; 김창원

doi:10.7583/jkgs.2019.19.1.73

청각장애인의 이스포츠 중계방송 및 게임 스트리머 콘텐츠 시청 편의성 증대를 위한 자막 동기화 보정 연구
A Study on subtitle synchronization calibration to enhance hearing-impaired persons' viewing convenience of e-sports contents or game streamer contents 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.19 no.1, 2019년, pp.73 - 84

신동환 ((주)마크애니) , 김정수 (명지대학교 산업경영공학과) , 김창원 ((주)SK인포섹)

초록
AI-Helper

본 연구는 e-sports 중계 콘텐츠 및 게임 스트리머 콘텐츠에 대한 청각장애인들의 시청 편의성을 위해 제공되는 자막의 서비스의 품질을 높이는 방안을 제시하기 위한 연구이다. 일반적으로 방송 콘텐츠의 자막 파일은 속기사에 의해 방송 중에 수동 작성되므로 원본 콘텐츠 대비 3~5초의 자막표시 지연이 필연적이다. 이에, 본 연구에서는, 음성인식 기술을 활용한 동기화 자동 보정 시스템의 구성을 제안하였다. 또한 이 시스템을 활용한 콘텐츠 적용실험을 진행하였으며 최종 결과로 자막 데이터의 동기화 오차 시간을 1초 이내로 줄일 수 있음을 확인 하였다.

Abstract ▼ AI-Helper

This study is intended to suggest ways to improve the quality of the service of subtitles provided for the convenience of viewing for deaf people on e-sports broadcast content and game streamer content. Generally, subtitling files of broadcast content are manually written on air by stenographers, so a delay of 3 to 5 seconds is inevitable compared to the original content. Therefore, the present study proposed the formation of an automatic synchronization calibration system using speech recognition technology. In addition, a content application experiment using this system was conducted, and the final result confirmed that the time of synchronization error of subtitling data could be reduced to less than 1 second.

주제어

표/그림 (14)

그림 [Fig. 1] Voice recognition process[7]
표 [Table 1] Summary of Related Study
그림 [Fig. 2] Production work-flow of closed- caption broadcasting
그림 [Fig. 3] Calibration System for closed caption Synchronization
그림 [Fig. 4] Character-based location search
그림 [Fig. 5] Word-based location search
그림 [Fig. 6] Synchronization calibration process
그림 [Fig. 7] Original stenograph subtitle
그림 [Fig. 8] Google API voice recognition result
그림 [Fig. 9] Experiment result : Subtitle synchronization calibration system
표 [Table 2] Audio Recognition Rate
그림 [Fig. 10] Matched and unmatched area description
그림 [Fig. 11] Matching timeline prediction based on linear estimation method
표 [Table 3] Summary of Overalll experiments

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 연구에서는, 이러한 자막의 정확성은 유지하면서 지연시간은 최소화하기 위해 ‘자막 동기화 자동 보정 시스템’을 제안하고자 하며, 이를 통해 구현된 시스템을 사용한 품질개선 실험을 진행함으로써, 제안 시스템을 통한 자막 품질의 개선 정도를 파악하고자 하였다.
본 논문은 청각 장애인의 게임방송 시청이나 이 스포츠 중계 시청 등에서의 편의성 증대를 위해, 제공되고 있는 자막 정보의 동기화를 최적화하는 방안을 제시하였다. 이를 위하여 방송시스템에서 실시간으로 생성되는 자막 데이터의 평균적인 자막싱크 오차를 음성인식 솔루션을 이용하여 보정하는 시스템 구성을 제시했다.
싱크 개선율은 구글 음성인식 API에 의해서 인식된 음성신호를 자막 데이터로 생성했을 때 실제 음성신호와 어느 정도 시간 오차를 갖게 되는지를 의미한다. 본 연구에서는 실제 검출되는 정도를 알기 위한 실험을 진행하였으며, 아래와 같은 결과를 얻었다.

제안 방법

④ Subtitle Adjust Manager – Text로 변환된 인식자막과 SMI파일로 제공되는 원본자막을 비교하여 보정한다.
구글 STT 엔진의 음성 인식률 성능 정도를 파악하기 위하여 총 5개의 오디오 샘플에 대해서 각각 5분간의 오디오 음성데이터에 대해서 전체 글자 수 대비 인식된 검출률을 측정하였다.
또한 음성인식 정확도가 낮은 상황에서 원자막을 음성신호와 동기를 맞추기 위한 방법으로 선형추정방법을 제시하여, 인식이 이루어진 기준 단어들을 중심으로 인식이 안 된 부분에 대해서도 합리적인 방법으로 추정하는 방법을 제시하였고, 이를 통해서 보정된 자막 데이터를 얻을 수 있었다.
제안된 자막보정 시스템에 의한 음성 인식률을 측정하였다. 방송국에서 제공되는 속기사 작성의 원본자막은 98% 정도의 정확도를 갖고 있기 때문에 원본자막 대비해서 음성인식 결과를 비교하여 검출률을 측정하였다.
본 논문에서는 음성인식 부분과 자막파일을 매칭시키는 방법으로는 글자단위로 검색하는 방법과 단어 단위로 검색하는 방법 2가지를 비교 실험했다.
본 연구에서는 선형추정 기법을 사용하여 인식되지 않는 부분의 추정 값을 계산하였다.
① 먼저 비디오파일에서 오디오 신호를 wav파일로 추출한다. 오디오파일의 규격은 16비트, 모노, 샘플링속도는 16kHz를 사용하도록 정했다.
이를 위하여 방송시스템에서 실시간으로 생성되는 자막 데이터의 평균적인 자막싱크 오차를 음성인식 솔루션을 이용하여 보정하는 시스템 구성을 제시했다. 이것은 기존에 제공되는 속기사 자막정보가 내용 재현의 정확도는 높으나 시간적 동기화 정확도는 떨어지고, 오픈 API를 통해 제공되는 음성 인식엔진의 Speech-to-Text 결과물은 인식정확도는 불완전하나 시간적 동기화 성능은 뛰어나다는 점을 활용하여 각각의 정확도가 높은 조합을 통해 최적의 인식율과 동기화를 구현하는 방법을 제안하였다.
본 논문은 청각 장애인의 게임방송 시청이나 이 스포츠 중계 시청 등에서의 편의성 증대를 위해, 제공되고 있는 자막 정보의 동기화를 최적화하는 방안을 제시하였다. 이를 위하여 방송시스템에서 실시간으로 생성되는 자막 데이터의 평균적인 자막싱크 오차를 음성인식 솔루션을 이용하여 보정하는 시스템 구성을 제시했다. 이것은 기존에 제공되는 속기사 자막정보가 내용 재현의 정확도는 높으나 시간적 동기화 정확도는 떨어지고, 오픈 API를 통해 제공되는 음성 인식엔진의 Speech-to-Text 결과물은 인식정확도는 불완전하나 시간적 동기화 성능은 뛰어나다는 점을 활용하여 각각의 정확도가 높은 조합을 통해 최적의 인식율과 동기화를 구현하는 방법을 제안하였다.
공유스토리지에는 원본동영상(video), 원본자막(subtitle)이 있으며 이 자료들은 적절한 포맷으로 변환되어, Google Cloud 로 업로드 된다. 이후 Google Speech API를 이용하여 Speech-To-Text 추출 후 자막보정시스템으로 보내어 보정하는 알고리즘을 수행한다. 1시간 콘텐츠의 경우 약 15 분 정도 소요되기에 작업의 성공 여부는 CMS에 따로 알림 인터페이스를 이용한다.
자막 위치 검색은 음성인식결과 데이터를 기준으로 자막파일 데이터를 슬라이딩 방식으로 코릴레이션 값을 비교하여 최대 값이 나오는 위치를 매칭되는 위치로 판단했다.
제안된 시스템의 성능을 실험해 보기 위해서 음성 인식률과 자막 싱크 개선율을 측정 하였다.
제안된 자막보정 시스템에 의한 음성 인식률을 측정하였다. 방송국에서 제공되는 속기사 작성의 원본자막은 98% 정도의 정확도를 갖고 있기 때문에 원본자막 대비해서 음성인식 결과를 비교하여 검출률을 측정하였다.
즉 비동기적인 인터페이스를 제공하여 시스템을 효율적으로 사용할 수 있도록 시스템을 구축하였다.

대상 데이터

보통 요즘 사용하는 DVD나 Blueray 등 미디어를 통해 제공되거나 인터넷 스트리밍 서비스에 제공되는 멀티미디어콘텐츠에 SAMI²⁾, SRT³⁾, TTML⁴⁾ 등의 데이터 포맷으로 제공되는 것이 폐쇄자막이다. 본 연구의 대상은 폐쇄자막(Closed Caption)이며, 이 폐쇄자막은 자막이 만들어지는 방식에 따라서 미리 준비된 자막(Pre-recorded Closed Caption)과 실시간으로 작성되어 이용되는 실시간 자막(Real-time Closed Caption)이 있다. 미리 준비된 자막은 화자와 자막 데이터의 시간적인 싱크가 정확하게 맞도록 보정작업을 할 수 있기 때문에 정확한 싱크정보를 갖고 있다.
본 연구의 대상이 되는 방송자막은 크게 오픈자막과 폐쇄자막 두가지 범주로 구분된다.

이론/모형

동기화 보정을 위한 원 데이터는 자막 속기사에 의해 작성된 SMI¹⁾ 파일을 사용하며, 지연시간을 자동으로 보정하기 위하여 오픈API로 제공되는 구글의 음성인식용 STT(Speech To Text) 엔진 기술을 사용하였다.

성능/효과

결과적으로 보면, 평균적으로 약 4초정도의 자막싱크 개선효과를 얻을 수 있었다.
두가지 방식에 대한 실험결과 글자 단위로 검색하는 것보다 단어 단위로 위치 검색하는 것이 보다 나은 정확도를 보였다.
실험 결과에 의해서 추정된 시간이 실제 실험에 의한 오차 값 범위인 1초 이내에 있음을 확인할 수 있었다.
음성신호는 대략적으로 5kHz이하에 분포하기에 최대 신호는 8kHz이하의 정보를 이용하는 것이 충분할 것으로 판단했다. 이에 따라 샘플링속도는 16kHz로 설정했다.
이러한 결과는 음성인식기의 성능이 좋지 않기 때문에 단어 단위로 비교하는 것이 비교적 안정적인 성능을 나타내고 있음을 알 수 있다.
전체적인 평균 61.04% 이었다. 즉, 구글 음성인식기를 통한 음성 인식은 인식율이 너무 낮아서실 서비스에서 사용할 수가 없다.
제안된 방법에 의해서 실험한 결과, 원 자막 데이터가 비디오의 실제 음성과 평균적으로 5초 정도 지연되어 표출되고 있고 이것을 제안된 동기화 보정 시스템을 이용하여 처리했을 때 평균 1초 지연시간을 보임으로써, 최대 약 4초 정도의 지연시간 단축이 가능함을 확인 할 수 있었다.

후속연구

더 나아가, 향후, 제안된 기술부분이 활용 된다면, 높은 품질의 자막데이터를 활용하여 광고, 상품판매, 방송콘텐츠 메타데이터 판매 등 다양한 신수익 모델 도출이 가능할 것으로 기대된다. 특히 한류 게임방송 콘텐츠 및 K-드라마 콘텐츠의 해외 진출시, 언어별 자막의 효율적인 편집 등에도 효과적으로 활용될 수 있다.
본 연구결과를 통해 일차적으로 입증된 자막 동기화 시스템은 VOD 콘텐츠의 자막 동기화율 향상을 위한 자동화 처리에 최적화될 수 있다.
향후 Speech API의 성능 개선을 기반으로. 좀 더 정확하게 보정된 자막 데이터를 얻어 다양한 분야에서 활용하기 위한 계속적인 연구가 필요하다.
향후 Speech API의 성능 개선을 기반으로. 좀 더 정확하게 보정된 자막 데이터를 얻어 다양한 분야에서 활용하기 위한 계속적인 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	국내의 속기사에 의해 작성되는 자막 정확도의 품질 기준치는?	속기사에 의해 작성되는 자막의 정확도는 미국의 경우 95~96%수준, 국내에서는 대체로 98% 이상의 정확도를 품질의 기준으로 설정하고 있다. 정확도 98% 이상을 맞추기 위해서는 속기사 1인으로는 쉽지 않은 일이며, 2~4인 입력 시스템이 적용되는 경우가 많다.
	방송법 제 69조 8항에 방송사업자의 자막 제공에 대한 의무는 어떻게 기재되어 있는가?	방송에서의 자막 데이터 제공에 관한 요건은 2011년 7월 개정된 방송법 제 69조 8항에 포함되어 있으며, 이에 의하면 ‘방송사업자는 장애인의 시청을 도울 수 있도록 수화·폐쇄자막·화면 해설 등을 이용한 방송(이하 “장애인방송”이라 한다)을 하여야 하며, 필요한 경우 방송통신위원회는 그 경비의 전부 또는 일부를 방송통신 발전기본법 제24조에 따른 방송통신 발전기금에서 지원할 수 있다’라고 명시되었다.
	자막 지연시간이 청각장애인에게 어떤 어려움을 주는가?	이러한 지연시간이 일반인에게는 별 문제가 되지 않을 수 있으나 오디오를 듣지 못하는 청각 장애인들에게는 오디오가 나오는 시간과 자막이 나오는 시간이 차이가 생김에 따라서 누가 말했는지를 정확히 이해하기가 어렵고, 이로 인해 콘텐츠 상의 상황을 엉뚱하게 이해 할 수 있는 가능성을 유발한다.

참고문헌 (14)

Dong hwan Shin, Jeong Soo Kim, Chang won Kim, "A Study for Utilization of Smart Device and Audio Fingerprinting Technologies to Help the Vision and Hearing Impaired People Consuming Broadcasting Contents Conveniently", Journal of Information Technology and Architecture, Vol. 13, No.3, pp 457-466, 2016.
Hye-Won Han, Seo-Yeon Kim, "Analysis of Storytelling in On-line Personal Game Broadcasting", Journal of Korea Game Society, Vol 14 No 2, pp 85-96, 2014

원문보기 상세보기
Min-Ji Choe, Jeong-Min Park, Ghee-Young Noh, "A Study of Factors Influencing on Watching Personal Game Webcasting", Journal of Korea Game Society, Vol.16, No 6, pp 39-48, 2016.

원문보기 상세보기
Korea Communications Commission (KCC) Notification, No. 2011-53, 2011.
Action on Hearing Loss, "Access to TV and video on demand for people with hearing loss", https://www.actiononhearingloss.org.uk/, 2015.
ATVOD, "Video on demand access service best practice guidelines for service providers", https://www.atvod.co.uk/, 2012.
Jin Tai Kim, Hun Jeong, "Speech Recognition Technology trend and Applying Model to Navy Info-Comm area", Defense Technology, pp 120-127, 2017.
Young Jun Kim, "Evolution of Speech interface", Tech Planet 2016, SK Telecom, 2016
Jung Youn Kim, Jeho Nam, "A Study on Multimedia Application Service using DTV Closed Caption Data", Journal of broadcast engineering, Vol 14, No.4, pp 488-500, 2009

원문보기 상세보기
Hyon Gun Park, Hee Suk Lee, Sang Moon Lee, "A Study on The Automatic Caption System for Hearing Impaired Person", Korea Society of Computer Information, Vol 18, No.2, pp 335-336, 2010.
Minho Kim, Hyosoon Kang, "Implement closed captioning systems for the deaf", Journal of Korea Game Society, Vol.16, No.1, pp 103-110, 2016

원문보기 상세보기
Chung Hyun Ahn, In Sun Jang, "Subtitle generation using Speech recognition", The Korean Institute of Broadcast and Media Engineers, pp 60-61, 2016
Seong Joon Chu, Min Gyu Lee, Jin Gyeong Jeong, Chi wan Song, Han Jong Ko, Han Sung Kim, Won-Gil Hong, "A Study on the Similarity Measure between Speech to Text Result and Real Text Using Smith -Waterman Algorithm", The Korean Institute of Communications and Information Sciences, Summer Conference, 2017
Seung Joo Choi, Jong-Bae Kim "Comparison Analysis of Speech Recognition Open APIs' Accurac", Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, Vol. 7, No. 8, 2017

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format