선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 음성 전사와 보조 자료를 사용하여 강의 검색 시스템을 구현하였다. 일부 온라인 강의 시스템에서도 동영상 검색을 제공하는 데, 이는 대부분 수작업을 통해 색인한 것을 이용한다.
- 본 연구에서는 보조 자료와 음성 전사를 이용한 강의 검색 시스템을 개발하였다. 강의 보조 자료는 크게 두 가지 관점에서 사용하였다.
제안 방법
- 우선, 음성 인식 성능을 향상시키기 위한 언어 모델링에 강의 보조 자료를 이용한다. 그리고 검색 성능 향상을 위해, 보조 자료를 바탕으로 색인 테이블을 추가적으로 생성한다.
- 강의와 관련된 보조 자료는 쉽게 구할 수가 있을 뿐만 아니라, 잘 활용하면 성능 향상에도 도움이 될 수 있다. 보조 자료로부터 컨텐츠 테이블(Contents Table)과 매칭 테이블(Matching Table)을 생성했다. 그림 4는 이 두 테이블이 생성되는 과정을 보여준다.
- 여기서는 음성 전사와 보조 자료를 통해 자동으로 음성 전사 색인 테이블, 컨텐츠 테이블, 매칭 테이블을 생성했다. 세 가지 테이블을 이용해 검색 과정에서 연관 점수를 구했다. 실험 결과에서 보조 자료를 활용하는 것이 음성 문서 검색 성능 향상에 도움이 되는 것을 보였다.
- 강의에서는 주로 대화체의 형태로 발화가 이루어지기 때문에 기본적으로 언어 모델링을 대화체에 맞추어야 한다. 여기서는 강의에 사용된 대화체 내용을 기본으로 하여, 강의 내용에 맞는 보조 자료 내용을 결합하여 언어 모델링을 했다.
- 일부 온라인 강의 시스템에서도 동영상 검색을 제공하는 데, 이는 대부분 수작업을 통해 색인한 것을 이용한다. 여기서는 음성 전사와 보조 자료를 통해 자동으로 음성 전사 색인 테이블, 컨텐츠 테이블, 매칭 테이블을 생성했다. 세 가지 테이블을 이용해 검색 과정에서 연관 점수를 구했다.
- 그 이후 음성 인식기를 거쳐 오디오 신호는 텍스트로 전사되는 과정을 거쳤다. 이렇게 생성된 음성 전사로부터 음성 문서를 색인하고, 색인 테이블로부터 검색을 수행한다. 사용자는 음성 검색 시스템에 키워드를 입력하면, 시스템은 관련된 음성 문서를 사용자에게 제공해준다.
- 매칭 테이블은 특정 섹션에 분할된 음성 문서를 할당해준 뒤 그 정보를 저장한다. 이를 위해서 각 섹션마다 언어 모델을 생성한다. 분할된 음성 문서를 생성한 각각의 언어 모델에 적용해서 가장 높은 언어 모델 점수를 가지는 섹션으로 할당한다.
대상 데이터
- 본 연구에서는 보조 자료와 음성 전사를 이용한 강의 검색 시스템을 개발하였다. 강의 보조 자료는 크게 두 가지 관점에서 사용하였다. 우선, 음성 인식 성능을 향상시키기 위한 언어 모델링에 강의 보조 자료를 이용한다.
- 본 연구에서는 온라인 교육 사이트로부터 추출한 고등학교 과정의 수학 강의 동영상을 추출하여 음성 문서 검색 실험에 사용하였다. 실험 과정에서 사용한 보조 자료 역시 교육 사이트에서 제공한 강의 노트를 이용하였다.
- 대부분의 경우 방송 뉴스를 대상으로 이루어졌으며, 강의 비디오 데이터를 바탕으로 한 경우도 있었다. 예를 들면, TREC (Text REtrieval Conference) Spoken Document Retrieval evaluation[1]에서 방송 뉴스를 이용하였고, MIT Lecture browser[2]에서 MIT의 대학 강의를 이용하였다.
- 음성 문서 검색 성능 실험을 위해 총 50개의 텍스트질의를 사용했다. 자주 발생하는 n-gram 후보군 중에서 인위적으로 50개를 선택했다.
- 이 시스템은 발성 화자에 관계없는 음성 인식을 하는 화자 독립 시스템이다. 인식 단위로는 음소 기반의 유사음소단위(PLU, Phoneme Like Unit)를 사용하며, 48개로 구성된 유사음소단위 세트를 이용하였다.
- 음성 문서 검색 성능 실험을 위해 총 50개의 텍스트질의를 사용했다. 자주 발생하는 n-gram 후보군 중에서 인위적으로 50개를 선택했다. 각 텍스트 질의는 최소 1개의 단어에서 최대 3개의 단어를 포함하고 있다.
이론/모형
- 검색 성능의 평가 방법으로는 MAP(Mean Average Precision)과 R-Precision을 사용했다.
- 모든 히든 마코프 모델은 각각 세 개의 상태를 가지고, 각 상태의 출력 확률 값은 다수의 가우시안 혼합분포로부터 계산된다. 발음 모델은 연관 규칙(Association Rules)을 사용한 자소열-음소열 변환기(Grapheme to Phoneme Converter; G2P)[4]를 이용하여 생성했다. 언어 모델은 SRILM toolkit[5]을 이용하여 바이그램(bigram) 모델을 기본적으로 적용했고, 트라이그램(trigram) 모델도 점수 재조정(re-scoring)에 이용하였다.
- 본 연구에서 사용한 한국어 연속 음성 인식 시스템은 HTK(Hidden Markov Model Toolkit)[3]를 기반으로 하였다. 이 시스템은 발성 화자에 관계없는 음성 인식을 하는 화자 독립 시스템이다.
- 발음 모델은 연관 규칙(Association Rules)을 사용한 자소열-음소열 변환기(Grapheme to Phoneme Converter; G2P)[4]를 이용하여 생성했다. 언어 모델은 SRILM toolkit[5]을 이용하여 바이그램(bigram) 모델을 기본적으로 적용했고, 트라이그램(trigram) 모델도 점수 재조정(re-scoring)에 이용하였다.
- 강의와 같은 음성 파일은 길이가 1시간 정도 되는데, 효과적인 음성 인식을 위해서 문장 단위로 잘라내는 것이 필요하다. 여기서는 음성 툴인 Praat[6]을 이용하여 잘라낸 뒤 수작업을 거쳐 완성 했다.
- 텍스트 색인하는 방법에도 TF-IDF, 확률 모델 등 여러 가지가 있다. 여기에서는 Ad-hoc 모델(일명, early google model)[7]을 사용했다. Ad-hoc 모델은 Hit이라는 개념을 사용하는 데, Hit은 특정 문서에서 특정 단어가 나타난 것을 의미한다.
- 음성 인식 시스템에서는 크게 음향 모델(Acoustic Model), 발음 모델(Pronunciation Model), 언어 모델(Language Model) 등 3가지 모델을 사용한다. 음향 모델은 상태 공유의 연속 히든 마코프 모델을 사용하였다.
- 음향 모델, 발음 모델, 언어 모델을 이용하여 네트워크를 생성한 뒤 비터비(viterbi) 알고리즘을 이용하여 탐색을 수행한다. 음성 인식의 최종 출력은 크게 1-best와 lattice로 나누어 볼 수 있다.
- 음성 인식 시스템에서는 크게 음향 모델(Acoustic Model), 발음 모델(Pronunciation Model), 언어 모델(Language Model) 등 3가지 모델을 사용한다. 음향 모델은 상태 공유의 연속 히든 마코프 모델을 사용하였다. 모든 히든 마코프 모델은 각각 세 개의 상태를 가지고, 각 상태의 출력 확률 값은 다수의 가우시안 혼합분포로부터 계산된다.
성능/효과
- 각 텍스트 질의는 최소 1개의 단어에서 최대 3개의 단어를 포함하고 있다. 모든 텍스트 질의는 음성 인식기의 어휘에 포함된 단어들로 구성되었고, 평균 길이는 1.27이였다.
- 검색 성능의 평가 방법으로는 MAP(Mean Average Precision)과 R-Precision을 사용했다. 실험 결과를 보면, 보조 자료를 추가적으로 활용했을 경우에 검색 성능도 조금은 향상 되는 것을 확인할 수 있다.
- 세 가지 테이블을 이용해 검색 과정에서 연관 점수를 구했다. 실험 결과에서 보조 자료를 활용하는 것이 음성 문서 검색 성능 향상에 도움이 되는 것을 보였다.
- 그 이유는 중요한 단어는 반복되는 경향이 있고, 의미적으로 도움을 주는 단어들도 자주 나타나기 때문이다. 즉, 음성 인식 성능이 일정 수준 이상만 되면 검색 성능에는 큰 악영향을 주지 않았다. 하지만, 실제 음성 인식 환경에서는 단어 오인식율이 30%에서 심지어 50%까지 이른다.
후속연구
- 본 연구에서 개발한 시스템의 경우 고등학교 수학 강의를 검색하기 때문에, 관련된 보조 자료를 활용하면 어휘 선택과 언어 모델링에 큰 도움이 될 수 있다. 강의에서는 주로 대화체의 형태로 발화가 이루어지기 때문에 기본적으로 언어 모델링을 대화체에 맞추어야 한다.
- 하지만, 본 연구에서는 강인한 음성 문서 검색 시스템에서 필수적인 미등록어(Out-of-Vocabulary;OOV) 처리 부분이 고려되지 않았다. 앞으로는 사용자 질의에 미등록어가 포함되어 있을 경우에도 검색을 효과적으로 수행할 수 있는 방법을 연구할 계획이다. 추가적으로 지금보다 큰 규모의 데이터에 대해서 연구를 확장할 계획이다.
- 앞으로는 사용자 질의에 미등록어가 포함되어 있을 경우에도 검색을 효과적으로 수행할 수 있는 방법을 연구할 계획이다. 추가적으로 지금보다 큰 규모의 데이터에 대해서 연구를 확장할 계획이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.