초록 ▼

정보산업의 발전을 위해서는 대량의 정보자원의 구축과 더불어 이들 자원을 사용하는 시스템의 품질관리가 필요하다. 본 과제에서는 음성(음향)/언어/영상 부분의 DB 표현 형식의 표준화 및 DB구축을 목표로, 1) 국내외 표준화 동향과 연계하여 정보 표현 형식의 표준화, 2) 응용개발시스템 평가 및 학습을 위한 DB의 구축, 3) 표준화된 개발용 정보 DB를 구축하였다.

이를 위해 1차년도에서는 음성/언어/영상표준안 도출을 위한 추진조직을 결성하고 대용량 정보자원의 표현 형식을 설계하고, 평가/개발용 시범DB를 구축하여, 사

정보산업의 발전을 위해서는 대량의 정보자원의 구축과 더불어 이들 자원을 사용하는 시스템의 품질관리가 필요하다. 본 과제에서는 음성(음향)/언어/영상 부분의 DB 표현 형식의 표준화 및 DB구축을 목표로, 1) 국내외 표준화 동향과 연계하여 정보 표현 형식의 표준화, 2) 응용개발시스템 평가 및 학습을 위한 DB의 구축, 3) 표준화된 개발용 정보 DB를 구축하였다.

이를 위해 1차년도에서는 음성/언어/영상표준안 도출을 위한 추진조직을 결성하고 대용량 정보자원의 표현 형식을 설계하고, 평가/개발용 시범DB를 구축하여, 사업발표회를 통해 공개하였다. 2차년도에서는 표준화 노력을 지속하면서, 각 응용시스템의 평가 및 학습을 위한 DB를 구축하고, 이들 시스템의 평가 방법을 모델링하였다.

구체적인 성과로는 문장의 표준 유형을 분류하고, 각 유형별 평가를 위한 15,000 문장의 기계번역 평가 DB를 구축하고, 5,000여 문장에 대한 실제 5개의 사용제품을 평가를 통해 활용화 가능성을 검증하였다. 또한, 정보검색시스템의 성능평가를 위해 성능평가 DB를 구축하였다. 질의응답시스템 평가를 위해서 20만여 문서와 47,000여 평가정보 부착문서를 구축하고 220개의 질의/응답 세트를 구축하였다. 또한 문서분류 시스템의 평가를 위해 6천여건의 분류문서를 구축하였다. 또한 이 과정에서 각 시스템의 성능 평가 및 DB 설계 권고안을 각각 완성하여 공개하였다.

음성응용 시스템의 학습 및 평가를 위해서는 100단어 2천명분의 전화음성 DB와, 100문장 50여분의 Dictation용 문장음성 DB를 구축하였으며,1000문장 규모의 운율 DB를 제작하였다. 또한, 이 과정에서 음성인식/합성을 위해 각각 균형 잡힌 문장발성목록을 작성하였으며, 우리말 운율표기체계를 정리하였다.

이 과제를 통해 작성된 각종 조사보고서와 표준화 권고안들은 관련 산업의 기초가 될 것이며, 같이 구축된 평가 및 학습 DB들은 정보산업분야의발전과 품질관리를 위해 유용하게 사용될 것으로 기대한다.

Abstract ▼

Large-sized information resources and quality control system are required for developing information industry. This reportaims at the construction of speech/language/image DB and the standardization of its representational formIn the first year, specialized working groups, organized for these purpos

Large-sized information resources and quality control system are required for developing information industry. This reportaims at the construction of speech/language/image DB and the standardization of its representational formIn the first year, specialized working groups, organized for these purposes, designed DB representational form and constructedinitial DB and released it. In this second year, large sized DB are constructed for training and testing the applicationsystem. Further, some application systems were tested and the test method was reportedThe result of language area includes the classification of sentence types, 15,000 sentence-sized DB for test/training theMT(Machine Translation) system, and the real MT system examination report that contains 5,000 sentences. It also includes thetest suits for QA(Question/Answering) systems and document classification systems. QA test suite is composed of 220query/answer pairs, 200,000 documents, and 47,000 sentences annotated with appraisement information. And recommendationsof criteria for the system quality evaluation and of DB design for each language application system are reportedThe result of speech area includes 100 token, 2,000 person sized telephone voice DB, 100 sentence, 50 person-sized utteranceDB, and 1,000 sentence sized prosody DB. The phonetically balanced sentence lists for each speech recognition and synthesissystem are also reported. Moreover, Korean prosody representation system is investigatedThis report and several recommendations should be bases of each related industry, and all constructed speech/language/imageDB should be used as quality control materials on speech/language/image applicaion systems

목차 Contents

• 1. 연구개발 목표 및 평가의 착안점...6
• 가. 연구개발 목표...6
• 나. 구축 DB의 연차별 목표량 및 실적...6
• 다. 평가의 착안점...7
• 2. 연구범위 및 연구수행 방법...9
• 3. 연구수행 내용 및 결과...13
• 4. 연구개발목표의 달성도 및 자체평가...17
• 가. 연구개발목표의 달성도...17
• 나. 평가의 착안점에 따른 목표 달성도 자체평가...18
• 5. 연구성과...18
• 6. 연구수행에 따른 문제점 및 개선방향...26
• 7. 주요 연구변경 사항...26
• 8. 기타 건의사항...26
• 부록 A 언어-1...27
• 목차...28
• 1. 참여자...29
• 1.1 자문위원...29
• 1.2 참여연구원...29
• 2. 개요...30
• 2.1 배경 및 목적...30
• 2.2 관련 연구 현황...31
• 2.2.1 평가 방법론...31
• 2.2.2 국외 자연언어처리 관련 프로젝트 소개...33
• 2.2.3 기존의 평가세트 조사...35
• 3. 연구 내용...36
• 3.1 작업 절차...36
• 3.2 평가세트의 특징...37
• 3.3 평가세트의 형식...38
• 3.4 평가세트에 사용된 언어 현상 목록...38
• 3.5 평가세트에 사용된 언어 현상 해설...50
• 4. 참고문헌...159
• 부록 A 언어-2...160
• 목차...161
• 1. 개요...163
• 1.1. 배경 및 필요성...163
• 1.2. 평가 방법론...163
• 1.3. 평가 유형...165
• 1.4. 평가 방법론 연구 사례...166
• 1.5. 국내외 기계번역 제품 개발 현황...173
• 2. 영한 기계번역시스템 평가 세트 : KSMT...178
• 2.1. 평가 모델링...178
• 2.2. 평가 세트...180
• 2.3. 평가 기준 및 방법...185
• 3. 2차년도에 구축된 평가 세트의 모습...189
• 3.1. 언어 현상에 따른 분포...189
• 3.2. 문장 길이 따른 분포...191
• 4. 상용 영한 기계번역기들의 평가...193
• 4.1. 개발자 평가...193
• 4.2. 사용자 평가...196
• 4.3. 문제점의 분석 및 앞으로의 방향...198
• 5. 참고 문헌...201
• 부록 A 언어-3...202
• 목차...203
• 1. 참여자...204
• 1.1 자문위원...204
• 1.2 참여연구원...204
• 1.3 시스템 참여...204
• 2. 개요...205
• 2.1. 배경 및 목적...205
• 2.2. 작업 절차...206
• 3. 관련 연구...208
• 3.1. 국내...208
• 3.2. 국외...209
• 4. 연구 내용 : 정보검색 테스트컬렉션...218
• 4.1. 테스트 시범 DB...218
• 4.1.1. 문서집합...218
• 4.1.2. 질의집합...219
• 4.1.3. 적합문서 후보집합 생성...224
• 4.2. 평가 모델링 및 방법론...226
• 4.2.1. 적합성 평가...226
• 4.2.2. 질의/응답 시스템 평가를 위한 테스트 DB 분석...237
• 5. 결론...255
• 6. 참고문헌...255
• 7. 부록...258
• 7.1. 103개의 질의...258
• 7.2. 검색결과 조합 순위의 변화에 따른 각 질의에 대한 적합문서 추가 분포...259
• 부록 B 음성-1...275
• 목차...277
• 2. 발성 목록...279
• 3. 발성화자...280
• 4. 음성 데이터의 녹음...280
• 5. 디렉토리 구조...282
• II. 결과물...286
• III. 부록...287
• 1. 발성목록...287
• 2. 화자 분포표...322
• 2.1 1차년도 500명분 분포표...322
• 2.2. 2차년도 1500명분 분포표...323
• 2.3 1차년도/2차년도 전체 분포표...324
• 3. 화자 정보...325
• 부록 B 음성-2...326
• 목차...327
• 1. 요약...328
• 2. 발성 목록의 선정...328
• 2.1 발성 목록 선정을 위한 텍스트 전처리...328
• 2.2 발성 목록 선정을 위한 고빈도 어절의 선정...330
• 2.3 발성 목록의 선정...331
• 3. 프로토타입(Prototype) 음성DB의 구축...335
• 3.1 음성DB의 구축...335
• 3.2 음소 트랜스크립션(Phone transcription)...336
• 3.2.1 음소 기호 표...337
• 3.2.2 음소 트랜스크립션 기준...337
• 3.3 Pause marking...338
• 4. 고빈도 5,000어절...340
• 부록 B 음성-3...366
• 목차...367
• 1. 요약...368
• 2. 발성 목록 문장의 설계...368
• 2.1 발성 목록 선정의 모집단...368
• 2.2 발성 목록 선정을 위한 텍스트 전처리...368
• 2.3 음소 기호 표...370
• 2.4 발성 목록 선정 알고리즘...371
• 3. 음성DB 구축...372
• 4. 합성용 음성DB 발성 목록...374
• 부록 B 음성-4...525
• 부록 B 음성-5...553
• 목차...554
• 1. 음성입출력평가법 및 음성코퍼스 연구회...555
• 2. 본 과제와 관련한 COCOSDA 및 Oriental COCOSDA에서의 활동...555
• 별첨 1) ORIENTAL COCOSDA WORKSHOP 2001목차...558
• 별첨 2) ORIENTAL COCOSDA WORKSHOP 2001발표내용...565
• 별첨 3) 국내 음성정보기술산업의 문제점 및 발전방안...581