[논문]전사텍스트를 이용한 반자동 레이블링 구현

원동진; 장문수; 강선미

doi:10.5391/jkiis.2015.25.6.585

전사텍스트를 이용한 반자동 레이블링 구현
Implement of Semi-automatic Labeling Using Transcripts Text 원문보기

한국지능시스템학회 논문지 = Journal of Korean institute of intelligent systems, v.25 no.6, 2015년, pp.585 - 591

원동진 (서경대학교 전자컴퓨터학과) , 장문수 (서경대학교 컴퓨터과학과) , 강선미 (서경대학교 전자공학과)

초록
AI-Helper

구어 연구를 위한 전사 과정에서 문자로 표현된 발화를 녹음 음성에 연결해주는 작업을 레이블링이라고 한다. 기존 레이블링 도구들은 대부분 수동으로 작업이 이루어진다. 제안하는 반자동 레이블링은 자동화 모듈과 수동 조정 모듈로 구성된다. 자동화 모듈은 G.Saha 알고리즘을 활용하여 음성구간을 추출하고, 기구축된 발화텍스트의 발화 수와 발화의 길이 정보를 이용하여 발화구간을 예측한다. 본 논문에서는 기존 수동 도구의 정확성을 유지하기 위하여 자동 레이블링된 발화구간을 보정하기 위한 수동 조정 사용자 인터페이스를 제공한다. 제안하는 반자동 레이블링 알고리즘으로 구현한 도구는 기존 수동 레이블링 도구와 비교하여 작업 속도가 평균 27% 향상되었다.

Abstract ▼ AI-Helper

In transcription for spoken language research, labeling is a work linking text-represented utterance to recorded speech. Most existing labeling tools have been working manually. Semi-automatic labeling we are proposing consists of automation module and manual adjustment module. Automation module extracts voice boundaries utilizing G.Saha's algorithm, and predicts utterance boundaries using the number and length of utterance which established utterance text. For maintaining existing manual tool's accuracy, we provide manual adjustment user interface revising the auto-labeling utterance boundaries. The implemented tool of our semi-automatic algorithm speed up to 27% than existing manual labeling tools.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

실험은 제안하는 알고리즘으로 구현한 도구를 포함한 세 가지 레이블링 도구를 실험자들이 사용하여, 그 결과에 대해 작업 속도를 비교하고, 제안하는 레이블링 방식에 대한 만족도를 조사하는 방식으로 진행한다. 그리고 실험자를 전문가와 비전문가 그룹으로 나누어 실험하여 각 그룹에 대한 효과를 평가하고자 한다.
본 논문에서는 기구축된 텍스트 전사 자료를 레이블링하기 위해 자동과 수동 모듈로 구성된 반자동 레이블링 알고리즘을 제안한다. 그리고 아동 언어를 자동화 대상에 포함시키기 위하여 본 논문에서는 음성 인식 기술을 사용하지 않고, 기본적인 음성 신호 정보와 기구축된 전사 텍스트 정보를 이용하여 자동화 알고리즘을 구성한다.
수동 방식이나 반자동 방식의 레이블링은 사용자에 의해 최종적으로 결과물이 생성되기 때문에 이에 대한 정확도 평가는 무의미하다. 본 논문에서는 작업 과정과 결과물에 대한 사용자 만족도 설문 조사 방식으로 평가를 진행하고자 한다.
이 작업은 기존 수동 도구를 사용하여 레이블링을 하는 것과 마찬가지로 높은 집중력과 많은 시간이 요구될 수 있다. 본 논문에서는 작업자의 피로를 줄이고, 수동 조정 작업을 편리하게 할 수 있는 사용자 인터페이스를 개발한다.
구어 연구에서는 음성을 텍스트로 변환하는 전사 작업이 필요하다. 본 논문에서는 전사 자료를 위한 반자동 레이블링 방법을 제안하고 그 도구를 개발하였다. 제안한 레이블링은 자동 발화구간 검출 과정과 검출된 발화 구간을 발화텍스트에 맞춰 미세 조정을 하는 수동 레이블링 과정으로 구성된다.
말하는 사람이나 상황에 따라 발화 음성의 길이가 다르지만, 하나의 발화 내에서 음절들의 길이의 변화는 크지 않다. 본 논문에서는 전체 텍스트에서의 발화 수와 한 발화 내에서의 음절의 수를 이용하여 음성구간들을 조합하여 발화구간을 예측하고자 한다.
본 논문의 자동 레이블링 알고리즘은 기존 수동 도구로 이루어지고 있는 전사 환경을 개선하기 위해 제안하였다. 제안한 알고리즘의 성능을 평가하기 위해 대표적인 기존 수동 도구들과 비교 실험을 한다.

제안 방법

본 논문에서는 기구축된 텍스트 전사 자료를 레이블링하기 위해 자동과 수동 모듈로 구성된 반자동 레이블링 알고리즘을 제안한다. 그리고 아동 언어를 자동화 대상에 포함시키기 위하여 본 논문에서는 음성 인식 기술을 사용하지 않고, 기본적인 음성 신호 정보와 기구축된 전사 텍스트 정보를 이용하여 자동화 알고리즘을 구성한다.
그리고 자동화로 인한 오류를 보정하기 위해 수동 조정 인터페이스를 개발한다. 이 인터페이스는 오류 수정 기능뿐만 아니라 기존 수동 도구들의 단점을 보완하여 작업의 효율성을 향상시키는 기능을 제공한다.
계산된 temp값이 u_a보다 작은 경우는 음성구간의 합이 발화텍스트보다 짧은 상태로 판단하여 temp에 다음 음성구간인 v_b+1를 더한 다음 다시 비교를 시도한다. 반대로 계산된 temp값이 u_a보다 큰 경우는 너무 긴 음성구간이 하나로 잡힌 경우로 판단하여 발화텍스트의 비율 u_a만큼만 temp에 대입하고, 남은 음성구간 즉, temp-u_a는 새로운 음성구간으로 삽입하여 알고리즘을 진행한다.
발화텍스트 비율 u_a와 음성구간 비율 v_b의 비가 최소 구간 비 R보다 크거나 같으면 두 값이 일치하는 것으로 판단하여 발화구간 c_ia에 계산된 temp값을 대입한다. 그러나 두 값의 비가 R보다 작으면, 두 가지 경우로 나뉜다.
음성 신호 검출 알고리즘들은 프레임별로 음성임을 판단하고 묵음 프레임은 검출하지 않고 음성 신호로 판단된 프레임만 검출하는 형식이다. 본 논문에서는 음성 프레임이 아닌 음성구간의 시작과 끝 시간을 구한다. 음성구간을 구할 때, 녹음 데이터의 중간부분만 계산할 때가 있다.
본 논문에서는 음성구간들을 조합하여 발화구간을 예측하기 위하여 기구축된 발화 텍스트의 길이 정보를 이용한다. 발화텍스트는 전문가들에 의해 전사된 발화의 텍스트이다.
실험은 제안하는 알고리즘으로 구현한 도구를 포함한 세 가지 레이블링 도구를 실험자들이 사용하여, 그 결과에 대해 작업 속도를 비교하고, 제안하는 레이블링 방식에 대한 만족도를 조사하는 방식으로 진행한다. 그리고 실험자를 전문가와 비전문가 그룹으로 나누어 실험하여 각 그룹에 대한 효과를 평가하고자 한다.
Transcriber는 전사와 레이블링 작업을 동시에 할 수 있는 도구이다. 음성데이터를 텍스트로 옮기기 위해 타이핑을 하면서 단축키를 이용하여 레이블링한다. 이러한 작업 방식은 키보드만을 사용하여 사용자가 하나의 입력 도구에 집중할 수 있게 한다.
제안하는 반자동 레이블링은 자동화 단계와 수동 조정 단계로 구성된다. 자동화 단계는 다시 음성구간 추출 알고리즘과 발화구간 예측 알고리즘으로 나뉜다.
기존 레이블링 도구들은 새로 구축되는 전사 자료에 초점을 맞춰 개발되었기 때문에 기구축된 전사텍스트를 음성 자료에 레이블링하여 멀티미디어 전사 자료로 재구축하는 데에는 적합하지 않았다. 제안한 도구는 기구축된 전사텍스트를 이용하여 음성 데이터에서 자동으로 발화 구간을 검출하고, 이것을 수동 레이블링 도구를 이용하여 조정함으로써, 기존 전사 자료를 멀티미디어 전사 자료로 빠르게 재구축할 수 있다.
본 논문에서는 전사 자료를 위한 반자동 레이블링 방법을 제안하고 그 도구를 개발하였다. 제안한 레이블링은 자동 발화구간 검출 과정과 검출된 발화 구간을 발화텍스트에 맞춰 미세 조정을 하는 수동 레이블링 과정으로 구성된다.
조사 항목은 속도 향상 정도, 정확도 향상 정도, 학습의 용이성, 수동 조정 도구의 편의성, 자동 모듈의 유용성 등 다섯 가지 항목으로 구성한다. 표 2는 실험자에게 5점 만족도 설문으로 평가한 것을 전문가(A)와 비전문가(B) 그룹으로 나누어 정리한 것이다.

대상 데이터

제안한 알고리즘의 성능을 평가하기 위해 대표적인 기존 수동 도구들과 비교 실험을 한다. 비교 대상은 제안하는 알고리즘과 같이 발화 단위로 레이블링을 하는 Transcriber와 음성 관련 분야에서 가장 보편적으로 사용하고 있는 Praat를 선정한다.
실험에 사용할 데이터는 여러 가지 상황을 고려하기 위하여 성인과 아동이 모두 등장하는 장면의 대화형 음성 파일을 선정하고, 주변 잡음이 많은 것과 없는 것을 모두 포함하도록 한다.
실험의 참가인원은 11명이고, 음성 데이터는 7개 파일에서 실험을 위해 20발화씩 발췌하여 사용한다.

데이터처리

본 논문의 자동 레이블링 알고리즘은 기존 수동 도구로 이루어지고 있는 전사 환경을 개선하기 위해 제안하였다. 제안한 알고리즘의 성능을 평가하기 위해 대표적인 기존 수동 도구들과 비교 실험을 한다. 비교 대상은 제안하는 알고리즘과 같이 발화 단위로 레이블링을 하는 Transcriber와 음성 관련 분야에서 가장 보편적으로 사용하고 있는 Praat를 선정한다.

이론/모형

자동 레이블링의 첫 단계는 음성구간 추출이다. 음성구간 추출을 위해 먼저 묵음이 아닌 음성을 검출해야 하는데, 본 논문에서는 음성검출 알고리즘으로 G.Saha의 알고리즘[12]을 사용한다. 이 알고리즘은 확률밀도함수를 이용하여 음성 신호를 검출한다.
Saha의 알고리즘[12]을 사용한다. 이 알고리즘은 확률밀도함수를 이용하여 음성 신호를 검출한다.

성능/효과

14의 점수로 대체적으로 만족하였다. 2번(정확도 향상)에서 그룹 A는 3.00으로 만족도가 보통인데, 음성 파형 외의 부가적인 정보가 제공되는 Praat에 익숙한 전문가에게는 다소 불편한 것으로 나타났다.
파일 3,4,6번은 발화가 겹쳐서 나타나거나 제 3자의 음성이 섞여서 나타나서 전문가의 정밀한 판단이 필요한 데이터이다. Praat의 사용에 익숙한 그룹 A는 이들 파일에서 제안하는 도구보다 Praat의 작업속도가 빨랐다. 그러나 두 도구 모두 숙련되지 않은 그룹 B는 제안하는 도구 쪽이 더 적은 시간이 걸린 것으로 나타났다.
이것은 연속되는 발화가 많을 경우 자동 레이블링에 오류가 증가하는 것으로, 향후 알고리즘을 개선할 필요가 있다. 그리고 Transcriber의 경우에는 처음 예상과는 달리, 수정 기능의 불편함으로 인하여 거의 모든 상황에서 가장 느린 결과를 나타내었다.
또한, 기존 도구와의 비교 실험에서, 제안한 알고리즘으로 구현된 레이블링 도구는 기존의 수동 레이블링 도구와 비교하여 작업 속도 면에서 평균 27%정도 향상되었다.
전체적인 평균속도는 두 그룹 모두 제안하는 도구의 속도가 빠른 것으로 나타나 작업 효율성이 향상된 것으로 판단된다. 예외적으로 7번 파일은 두 그룹 모두 Praat가 빠른 것으로 나타났다.

후속연구

예외적으로 7번 파일은 두 그룹 모두 Praat가 빠른 것으로 나타났다. 이것은 연속되는 발화가 많을 경우 자동 레이블링에 오류가 증가하는 것으로, 향후 알고리즘을 개선할 필요가 있다. 그리고 Transcriber의 경우에는 처음 예상과는 달리, 수정 기능의 불편함으로 인하여 거의 모든 상황에서 가장 느린 결과를 나타내었다.
자동 발화구간 예측에서 발화구간 검출 기능이 잡음이나 기타 소음이 많은 음성 파일의 경우 정확하지 않아 스펙트로그램이나 피치 같은 추가적인 음성 정보를 이용하여 개선할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	자동화 모듈을 통해 어떤 작업을 수행 하였나?	제안하는 반자동 레이블링은 자동화 모듈과 수동 조정 모듈로 구성된다. 자동화 모듈은 G.Saha 알고리즘을 활용하여 음성구간을 추출하고, 기구축된 발화텍스트의 발화 수와 발화의 길이 정보를 이용하여 발화구간을 예측한다. 본 논문에서는 기존 수동 도구의 정확성을 유지하기 위하여 자동 레이블링된 발화구간을 보정하기 위한 수동 조정 사용자 인터페이스를 제공한다.
	전사 작업시에 음성이나 화상 데이터와 연동된 전사 자료를 만들때 필요한 작업을 무엇이라고 하는가?	전사 작업은 주로 컴퓨터를 이용하는데, 최근의 자료들이 멀티미디어화 되면서 음성이나 화상 데이터와 연동된 전사 자료가 만들어지고 있다. 이러한 자료를 만들기 위해서는 녹음된 음성구간과 텍스트를 동기화시키는 과정이 필요한데, 이 작업을 레이블링(labeling)이라고 한다. 레이블링된 전사 자료는 음성학이나 언어학적 분석뿐만 아니라 음성 자료를 이용하는 모든 연구에서 매우 유용하게 활용되고 있다.
	전사란?	구어(spoken language)와 관련된 연구에서 녹음된 음성 데이터를 문자로 표현하는 작업을 전사(transcription)라고 한다. 그리고 넓은 의미의 전사에는 문자화가 완료된 데이터에 언어 분석을 위한 정보, 즉 음성, 음운, 형태소 등을 추가하는 작업이 포함된다.

참고문헌 (15)

TalkBank, "TalkBank Transcript Browser," Available: http://talkbank.org, [Accessed: Feb 2, 2015].
CHILDES, "CHILDES Transcript Browser," Available: http://childes.psy.cmu.edu/browser, [Accessed: Feb 2, 2015].
Bigi, Brigitte, "SPPAS: a tool for the phonetic segmentations of Speech," The eighth international conference on Language Resources and Evaluation, vol. 8, pp. 1748-1755, 2012.
Sharmistha S. Gray, et al., "Child Automatic Speech Recognition for US English: Child Interaction with Living-Room-Electronic-Devices," WOCCI 2014, poster session, 2014.
Jiyoung Shin et al., "Developing a Korean Standard Speech DB," Journal of the Korean society of speech sciences, vol. 7, no. 1, pp. 139-150, 2015.
CHILDES, "Using CLAN," Available: http://childes.psy.cmu.edu/clan/, [Accessed: Feb 2, 2015].
Claude Barras, et al., "Transcriber: a free tool for segmenting, labeling and transcribing speech." First international conference on language resources and evaluation (LREC). pp. 1373-1376, 1998.
Boersma, P. and Weenink, D., "Praat: doing phonetics by computer," Available: http://www.praat.org, 2009, [Accessed: Feb 2, 2015].
Jongmo Sung and Hyung Soon Kim, "Implemen- tation of the Automatic Speech Segmentation and Labeling System," The Journal of The Acoustical Society of Korea, vol. 16, no. 5, pp. 50-59, 1997.
Kang-Chun So, "A Study on the Method of Computational Processing of Dialectal Sound Data," The Society of Korean Language and Literature, vol. 142, pp. 7-30, 2006.
Sun-dong Kwak and Moon-soo Chang, "CosmoScriBe 2.0 : The development of Korean transcription tools," Journal of Korean Institute of Intelligent Systems, vol. 24, no. 3, pp. 323-329, 2014.

원문보기 상세보기
G. Saha, Sandipan Chakroborty, and Suman Senapati, "A new silence removal and endpoint detection algorithm for speech and speaker recognition applications," Proceedings of the 11th National Conference on Communications (NCC), pp. 291-295, 2005.
Dong-jin Won and Moon-soo Chang, "An Improvement of Audio controller in Transcription Tool," Proceedings of KIIS Spring Conference, Vol. 22, no. 2, pp. 121-122, 2012.
Donald A. Norman, The Design of Everyday Things, Basic Books, 2002.
Tekla S. Perry, and John Voelcker, "Of mice and menus: designing the user-friendly interface," IEEE Spectrum, vol. 26, no. 9, pp. 46-51, 1989.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증