초록 ▼

연구의 목적 및 내용
스마트 교육에 대한 국가적 관심과 필요성이 대두되고 있으며 기존 주입식 교육이 아닌 체험적 학습을 통한 학습 방법이 대두 되고 있다. 본 연구는 제2언어 습득 이론에 바탕을 둔 자연어 처리 기반 몰입 환경 영어 교육 시스템을 제안한다. 이는 가상 체험 학습 공간에서 자연스러운 대화를 통한 외국어 회화 연습을 하는 과정에서 학습자의 발화 오류를 분석하고, 교육적 피드백을 제공한다. 또한, 현실과 비슷한 몰입 환경에서 시각, 촉각, 청각을 동시에 이용하는 체험형 기술을 통해 자발적인 학습을 유도하고 집중력,

연구의 목적 및 내용
스마트 교육에 대한 국가적 관심과 필요성이 대두되고 있으며 기존 주입식 교육이 아닌 체험적 학습을 통한 학습 방법이 대두 되고 있다. 본 연구는 제2언어 습득 이론에 바탕을 둔 자연어 처리 기반 몰입 환경 영어 교육 시스템을 제안한다. 이는 가상 체험 학습 공간에서 자연스러운 대화를 통한 외국어 회화 연습을 하는 과정에서 학습자의 발화 오류를 분석하고, 교육적 피드백을 제공한다. 또한, 현실과 비슷한 몰입 환경에서 시각, 촉각, 청각을 동시에 이용하는 체험형 기술을 통해 자발적인 학습을 유도하고 집중력, 기억력을 획기적으로 높이고자 한다.

구체적인 연구 내용으로는 영어 회화를 위한 음성 대화 시스템 및 자연어 처리를 이용한 영어 학습피드백, 가상 공간을 구축하기 위한 컴퓨터 그래픽스의 렌더링 연구, 교육적 피드백을 위한 진동 피드백 및 힘피드백, 제스처 및 시선 인식으로 몰입도 높은 교육 환경을 제공 하고자 한다.

연구결과
자연어 처리 몰입환경 영어 교육 시스템을 위해 자연어 처리 기술을 이용하여 데이터 기반의Ranking 영어 교육용 대화 시스템을 개발하였다. 또한, 학습자 음성 데이터와 발음 사전을 기반으로 학습자의 발음, 리듬, 모음 약화 검출 및 피드백 기술을 개발하였다. 대용량 n-gram 데이터를 기반으로 문법 오류 교정 및 피드백을 개발하였으며 학습자 모델을 만들어 개인 수준별 학습을 가능하게 하였다. 햅틱 렌더링 기반 과학 교육용 가상 현실 시나리오 및 시스템을 개발하고 이를 기존 영어 교육용 대화 시스템과 접목시킴으로써 더욱 몰입감 있는 햅틱 영어 교육 시스템을 완성하였다. 효과적인 학습을 위한 정보 강조 및 스테레오 렌더링 기술들을 개발하였다. 이 기술들은 시각적 정보만으로도 효과적인 정보 전달을 가능하게 한다. 사람의 자세,행동인식, 특징점, 및 선추정 기술을 개발하여 실제 학습자의 상태를 파악하고 집중도를 높이기 위해 도와준다. 연구 결과는 Siggraph, IEEE 등 많은 권위있는 학회 및 저널에 개제 되었으며, CoNLL, HCI Korea, 등 국내외 대회에서의 경진 대회에 참석하여 우수한 성적을 거두었다. 개발된 시스템을 이용하여 실제 초등학교 방학 프로그램으로 대규모 실험을 실시하여 인지적 정의적 교육 효과가 있음을 증명 하였다.

연구결과의 활용계획
1. 네이버 기술 이전: 본 연구에 개발된 영어 교육 시스템을 과제 후반부에 네이버에 기술이전을 실시하였다. 기업체에서는 연구소에서 할 수 없었던 보다 실용화 측면에서 개선 될 수 있도록 할 것이다. 또한 다른 원천 기술은 영어 교육 뿐 아니라 음식 추천, 네비게이션 등 다양한 인공지능 비서에도 활용될 수 있다. 이는 IT 제품의 부가 가치를 향상 시키며 국가 경쟁력 제고에 이바지 할 것이다.

2. 연구 목적으로 수집한 코퍼스 공유: 연구 목적으로 다량의 대화 코퍼스와 문법오류 및 다양한 코퍼스를 수집하였으며 수집된 코퍼스는 공개하며 모든 연구 기관들이 활용하도록 할 계획이다.

3. 향후 다른 연구의 활용: 본 연구에서 개발된 기술들은 다른 분야에 기반 기술로 활용할 것이다. 예를 들어 문법오류 수정 방법은 음성 인식 오류 후처리 기술에 기반 기술로 활용하며 교육용 대화 시스템은 다중 대화 시스템의 기반 기술로 활용될 것이다.

(출처 : 요약문 4p)

Abstract ▼

Purpose&contents

Artificial Intelligence has been investigated for smart education such as natural language processing, computer vision, computer graphics, and haptics. In this project, we developed the immpersive English education system which enable conversation between students and compute

Purpose&contents

Artificial Intelligence has been investigated for smart education such as natural language processing, computer vision, computer graphics, and haptics. In this project, we developed the immpersive English education system which enable conversation between students and computers by using spoken dialog system. To improve the educational effect, the attention, immersion, and feedback have been explored by integrating various computer vision and graphics technique to provide better immersion. Moreover, natural language processing technique such as grammatical error and pronunciation feedback and haptics techniques for force and vibration feedback.

Result
We developed the POSTECH Immersive English study (POMY) system by integrating a ranking based educational dialogue system which has advantages of higher scalability than previous example based method. Additionally pronunciation training has been integrated to detection and feedback for students’ pronunciation errors by using pronunciation dictionary and learners’ speech data. We also developed grammar error detection and feedback in oral conversation and written essay. Our methods are the significantly improved performances. For constructing immersion environment, we integrated a spoken dialogue system and scientific virtual scenarios and systems based on haptic rendering, information emphasis, and the stereo rendering for effective education. These techniques enable effective information delivery by using visual information. We evaluated speaking improvement, such as fluency and correctness through field testing using the POMY system. Participants are significantly improved the English skill in the speaking, writing, and vocabulary. We received awards in the challenge and competition such as HCI conference and Robust Reading of Text in Challenging Contexts. Many papers were accepted in top-tier conferences and journal such as Siggraph, AAAI, ACL, and IEEE conferences.

Expected Contribution
1. Technical Transfer: we conducted technical transfer to Naver Lab which one of the biggest companies in Korea at the end of the project, which indicates the developed techniques has high commercial values. The developed techniques will be improved for commercial release which is difficult in university. Moreover, the developed techniques can be used in more domains such as navigation and recommendation for personal assistance.

2. Sharing corpus to the public: we manually annotated many resources such as dialogue corpus, grammatical error tagged corpus etc. These data will be very useful in the other research groups for research purpose.

3. Our techniques can be utilized not only educational application, but other fields also can be utilized this framework to improve their own purposes. For example, grammar error correction is used for speech recognition error correction. Ranking-based dialog system will be used as a base system for multi-party, multi-modal dialog system.

(출처 : SUMMARY 5p)

목차 Contents

• 표지 ... 1
• 목차 ... 2
• 연구계획 요약문 ... 3
• 연구결과 요약문 ... 4
• 한글요약문 ... 4
• SUMMARY ... 5
• 연구내용 및 결과 ... 6
• 1. 연구개발과제의 개요 ... 6
• 2. 국내외 기술개발 현황 ... 13
• 3. 대표적 연구수행 내용 및 결과 ... 16
• 4. 목표달성도 및 관련분야에의 기여도 ... 57
• 5. 연구 성과목표 ... 65
• 6. 대표적 연구실적 ... 67
• 7. 연구결과의 활용계획 ... 67
• 8. 연구과정에서 수집한 해외과학기술정보 ... 68
• 9. 참고문헌 ... 69
• 10. 연구성과 ... 71
• 11. 연구기자재 현황 및 활용 ... 113
• 별첨1 대 표 연 구 성 과 ... 114
• 별첨2 기초연구실 참여 인력 현황 ... 122
• 끝페이지 ... 123