[논문]화면해설방송 콘텐츠 저작 기술

장인선; 임우택; 안충현

화면해설방송 콘텐츠 저작 기술
Descriptive Video Service Contents Authoring Technique 원문보기

장인선 (한국전자통신연구원 방송통신미디어연구부문) , 임우택 (한국전자통신연구원 방송통신미디어연구부문) , 안충현 (한국전자통신연구원 방송통신미디어연구부문)

본 논문에서는 시각장애인의 TV 시청 보조기술인 화면해설방송(Descriptive Video Service)에 있어 다양한 편의 기술을 적용하여 저작자로 하여금 편리하고 경제적으로 화면해설방송물을 제작할 수 있도록 하는 저작 기술을 제안한다. 제안하는 방법은 화면해설 대본 작성의 편의를 위한 화면해설 삽입 추천 기술과 성우 음성 더빙을 대체할 수 있는 TTS 기반의 합성음성 기술, 또한 마스터 오디오와 합성음성 화면해설을 믹싱하기 위한 오디오 믹싱 기술을 포함한다. 마지막으로, 제안하는 기술의 구현 예를 제시한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 화면해설방송 저작 기술을 제안하고 각 세부 기술에 대해 설명하였다. 제안하는 방식은 화면해설 콘텐츠 저작 전반에 대한 편의성을 제공하며 특히, 화면해설 대본 작성에 효율적이다.
본 논문에서는 효율적인 화면해설 저작 방법을 제안한다. 제안하는 방법은 MPEG-2 TS (Transport Stream) 등 다양한 동영상 파일로부터 비디오 분석을 통해 화면전환 구간을 감지하고 오디오와 자막 정보를 분석하여 비 대사 구간을 검출하여 저작자에게 화면해설 삽입 구간을 추천함으로 효율적인 화면해설 대본 작성을 가능하게 한다.

제안 방법

MPEG-2 TS 등 동영상 파일 내 비디오를 디코딩 한 후 화면전환검출(Shot Boundary Detection) 기술을 적용하여 검출된 화면 전환 시간 정보를 사용자에게 제시함으로써 장면(scene)이 바뀐 부분에 화면해설을 추가할 수 있도록 한다. 이를 위해 비디오 프레임 간 차분 히스토그램의 평균값을 이용하여 규정된 임계값(threshold)보다 클 경우 장면 전환이 일어난 것으로 판정한다.
!? 등)를 검출함으로써 감지할 수 있다. 검출된 문장 끝 시점에서의 자막데이터 버퍼 내 첫번째 문자를 포함하는 TS 패킷의 PTS, 그리고 문장 끝 부호 캐릭터를 포함하는 TS 패킷의 PTS 를 알 수 있으므로 이를 기반으로 첫 캐릭터를 포함하는 TS 패킷의 상대 시간과 문장 끝 부호를 포함하는 TS 패킷의 상대 시간을 계산하여 비 대사 구간을 검출한다[7].
이 정보를 활용하여 화면해설 에디터 창 내 화면해설 텍스트와 시간 정보를 추가하고 TTS 엔진을 실행하여 해당 시간에 합성음성을 출력한다. 구현 예에서는 디오텍(Diotek)의 Power TTS 를 이용하여 자연스러운 합성음성을 제공하였다[8].
한편, 자막 방송을 위한 텍스트 데이터는 비디오 TS 패킷내 비디오 ES (Elementary Stream) 의 Picture User Data 영역에 저장되어 전송된다. 따라서 해당 부분을 분석하여 자막 텍스트를 추출하고 관련 PES 헤더의 PTS (Presentation Time Stamp) 정보를 추출하여 비 대사 구간을 검출한다. 자막 텍스트 추출은 문장 단위로 수행하며 문장 단위는 문장 끝 부호(예로, .
오디오는 AC-3 디코더에서 출력된 스테레오 PCM 데이터를 입력 받아 비 대사(non-dialogue) 구간을 검출한다. 배경음악 및 효과음이 큰 경우에도 비 대사 구간 검출 성능을 보장하기 위하여 기존의 에너지 기반 VAD(Voice Activity Detection)[5]에 센터채널추출 기술을 접목하여 프레임 별 센터채널과 서라운드 신호 에너지 비율 변화를 추가 오디오 특징으로 사용하였다[6]. 이는 방송 콘텐츠 분석 결과, 대사 음성의 음상은 주로 센터채널에 존재하며 그 이외의 음향은 스테레오 음상 전역에 걸쳐 퍼져 있음에 기반한 비 대사 구간 검출 방법이다.
저작자는 비디오/오디오/자막 자동 분석을 통해 화면해설 삽입구간 정보를 추천 받을 수 있으며 이 정보는 오디오 파형 밑의 창에 바(bar) 및 다이아몬드 형태와 색깔로 구분되어 보여진다. 이 정보를 활용하여 화면해설 에디터 창 내 화면해설 텍스트와 시간 정보를 추가하고 TTS 엔진을 실행하여 해당 시간에 합성음성을 출력한다. 구현 예에서는 디오텍(Diotek)의 Power TTS 를 이용하여 자연스러운 합성음성을 제공하였다[8].
본 논문에서는 효율적인 화면해설 저작 방법을 제안한다. 제안하는 방법은 MPEG-2 TS (Transport Stream) 등 다양한 동영상 파일로부터 비디오 분석을 통해 화면전환 구간을 감지하고 오디오와 자막 정보를 분석하여 비 대사 구간을 검출하여 저작자에게 화면해설 삽입 구간을 추천함으로 효율적인 화면해설 대본 작성을 가능하게 한다. 또한 저작자가 입력한 화면해설 텍스트를 TTS (Text-to-Speech)를 통해 음성으로 변환하고 변환된 화면해설 합성음성을 마스터 오디오와 믹싱하여 출력함으로써 화면해설 콘텐츠의 1 인 저작을 가능하게 한다.
제안하는 저작 방법에서는 화면해설 텍스트를 입력받아 TTS 를 이용하여 합성음성으로 변환함으로써 저작자가 화면해설 분량(글자 수 등)을 선정하는데 활용하거나 성우의 화면해설 더빙을 대체할 수 있다.
화면해설은 상황 변화적 요소나 자막, 그래픽 등 시각적 요소들을 대사나 중요 효과음이 없는 부분에 삽입하여 전체 프로그램의 이해를 저해하지 않도록 한다. 제안하는 화면해설 저작 방법에서는 효율적인 화면해설 작성을 위하여 방송스트림에 포함되어 있는 비디오, 오디오 및 자막 정보를 분석하여 화면해설 삽입 필요/가능 구간을 저작자에게 추천한다.

성능/효과

본 논문에서는 화면해설방송 저작 기술을 제안하고 각 세부 기술에 대해 설명하였다. 제안하는 방식은 화면해설 콘텐츠 저작 전반에 대한 편의성을 제공하며 특히, 화면해설 대본 작성에 효율적이다.

후속연구

제안한 화면해설 저작도구를 기반으로 향후 실제 화면해설 콘텐츠 제작에서의 효율성을 검증하고 영상물뿐만 아니라 다른 서비스 영역으로의 확대를 위해 기능 확장 등 연구개발을 수행할 예정이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

화면해설방송 콘텐츠 저작 기술
Descriptive Video Service Contents Authoring Technique 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

화면해설방송 콘텐츠 저작 기술 Descriptive Video Service Contents Authoring Technique 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

화면해설방송 콘텐츠 저작 기술
Descriptive Video Service Contents Authoring Technique 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper