초록 ▼

□ 연구개발 목표 및 내용
○ 최종 목표
○ 사회적 소통 약자들이 자기만의 감정을 장면마다 더 자세히 이해하고 제작, 표현할 수 있도록 도움을 주는 AI 스피커 연계 지능형 대화 도우미 저작 도구 소프트웨어 개발 및 (이를 활용하여) 사용자의 콘텐츠(작품)를 소셜네트워크 플랫폼에 업로드 할 수 있게 도와주는 대화형 도우미 플랫폼 개발

○ 전체 내용
○ 사회적 소통 약자에 대한 분류와 대화형 도우미 인터페이스 설계
- 발달장애인의 행동데이터 및 센서데이터 수집을 위한 인터페이스 설계 및 사용성 평가<

□ 연구개발 목표 및 내용
○ 최종 목표
○ 사회적 소통 약자들이 자기만의 감정을 장면마다 더 자세히 이해하고 제작, 표현할 수 있도록 도움을 주는 AI 스피커 연계 지능형 대화 도우미 저작 도구 소프트웨어 개발 및 (이를 활용하여) 사용자의 콘텐츠(작품)를 소셜네트워크 플랫폼에 업로드 할 수 있게 도와주는 대화형 도우미 플랫폼 개발

○ 전체 내용
○ 사회적 소통 약자에 대한 분류와 대화형 도우미 인터페이스 설계
- 발달장애인의 행동데이터 및 센서데이터 수집을 위한 인터페이스 설계 및 사용성 평가
- 각 사회적 소통 약자에 대한 데이터셋 구축 및 인터페이스 설계
- 대화형 도우미 SW 프로토타입 설계 / 구현(3종 이상)
○ 발달장애인이 표현하고 싶은 감정 표현 기능 설계
- AI 스피커 및 다양한 센서 기반 텍스트, 음성 말풍선, 음성대화 등의 기능 설계 및 구축
- 이미지 스타일 및 채색 등 (반)자동 보정기술 제안
○ 사용자 사용/체험을 풍부하게 해주는 제작 콘텐츠의 메타 정보 자동 추출 기술
- 제작 콘텐츠에 대한 사회적 소통 약자의 생각을 잘 표현하고 전달할 수 있도록 설명을 유도하고 자동으로 기술하는 도구 제공
- 사회적 소통 약자가 작품을 보고 이해하는데 도움을 주는 메타정보 기반 방식제공
○ 지능형 대화도우미가 작품을 설명해주고 사용자와 소통하는 대화형 도우미 플랫폼
- AI 스피커 기반 사회적 소통 약자들을 위한 음성향상 기술 개발
- 도우미와 APP 간 통신 프로토콜 구축
- 도우미의 피드백을 위한 콘텐츠/작품 메타 정보 구축
○ 제작 콘텐츠 공유를 위한 소셜네트워크 플랫폼 구축
- 상용 소프트웨어와의 연동기술 개발
- 상용 플랫폼과의 연동기술 개발
- 작품 전시 및 감상을 위한 클라이언트/서버 기술(효과툰, 인터랙션툰 등)

○ 1단계
□ 목표
사회적 소통약자를 위한 대화형 도우미 플랫폼을 위한 설계 및 구축

□ 내용
1. 사회적 소통 약자를 위한 대화형 도우미 SW 3종을 개발하기 위한 관련 선행연구 문헌조사 진행
2. 대화형 도우미 SW 3종 개발을 위한 베이스 플랫폼 설계 완료
3. 다중 채널 음성향상 모듈 개발
4. 마비말장애인의 발음 특성을 반영한 음성인식기 발음모델과 음향모델개발

○ 2단계
□ 목표
사회적 소통약자를 위한 대화형 도우미 플랫폼 개발

□ 내용
1. 사회적 소통 약자를 위한 대화형 도우미 SW 3종 개발
2. 일상 및 특수 환경에서 실험군의 언어 활동 데이터 수집
3. 다중 채널 음성향상을 위한 후처리 알고리즘과 빔포머의 정확성을 높이기 위한 음원정위 기술 개발
4. 장애음성 분석 바탕의 장애 중증도 자동구분 기법 개발

○ 3단계
□ 목표
사회적 소통약자를 위한 대화형 도우미 플랫폼 고도화

□ 내용
1. 사회적 소통 약자를 위한 대화형 도우미 SW 3종 고도화
2. 다채널 음성향상 통합 솔루션 개발 및 실제 활용 환경에서도 동작하도록 알고리즘 최적화 작업
3. 음성인식 솔루션의 대상을 마비말장애에서 발달 장애인으로 확장
- 사회적 소통 약자에 대한 데이터셋 구축 및 인터페이스 설계 고도화
- 발달장애인을 위한 체육활동 기반 참여형 게임 콘텐츠 제작 및 인공지능 알고리즘 개발

□ 연구개발성과
○ 1단계
정성적 - 사회적 소통약자를 위한 대화형 도우미 SW 제작을 위해서 기본적인 자료조사 및 기능 설계
정량적 - 논문 4건 게재(국내 학술대회 4건), 국내 소프트웨어 등록 3건

○ 2단계
정성적 - 사회적 소통약자를 위한 대화형 도우미 SW 3종을 개발, 이후 일반인을 통해 제품에 대한 피드백을 듣고, 수렴하는 과정을 진행.
정량적 - 논문 9건 게재(국외 SCI급 저널 2건, 국외 학술대회 2건, 국내 학술대회 5건), 국내 특허 1건

○ 3단계
정성적 - 사회적 소통약자를 위한 대화형 도우미 SW 3종을 발달장애 아동들 대상으로 테스팅을 진행, 이후 전문가미팅을 통하여 제품에 대한 피드백을 듣고, 수렴하는 과정을 진행.
정량적 - 논문 10건 게재(국외 SCI급 저널 1건 외 국외 학술대회 2건, 국내 학술지 2건, 국내 학술대회 5건), 국내 특허 2건, 국외 특허 1건, 국내 소프트웨어 등록 1건, 사업화 1건

□ 연구개발성과 활용계획 및 기대 효과
본 과제에서 연구 및 개발된 대화형 도우미 SW 3종은 주로 의사소통능력이 결여된 사회적 소통약자 아동들을 대상으로 한다. 사회적 소통약자 교육 및 훈련기관 (초등학교 특수학급, 발달장애 복지관, 발달장애 복지센터)은 대화형 도우미 SW를 활용하여 사회적 소통약자 아동들의 소통 및 일상 생활 적응 능력을 학습시킬 수 있다.
음성기반 창작보조 그림판 SW은 음성 및 이미지 채색 모듈을 통하여 소통약자 아동들의 창작 활동을 보조한다. 이를 통하여 소통약자 아동들은 정서적 안정과 성취감을 얻을 수 있을 것이다.
제스처 기반 대화형 도우미 SW는 소통약자의 보완대체의사소통 수단인 손담을 리듬 게임을 통하여 자발적으로 학습할 수 있도록 하였으며 만들었다. 손담 리듬게임 학습은 기존의 학습방법에 비해 소통약자 아동들의 긍정적인 감정, 집중력, 흥미를 유발하였으며 학습도구로서 효과가 있음을 나타내었다.
센서 기반 인터렉티브 콘텐츠 SW는 센서 및 행동 데이터를 통하여 소통약자 아동의 심박수, 집중도, 활동 유지 가능성 측정할 수 있었으며 데이터를 바탕으로 학생의 상태을 파악하며 집중적인 지도가 가능하도록 하였다.

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 요 약 문 ... 2
• 목차 ... 5
• 1. 연구개발과제의 개요 ... 6
• 1-1. 연구개발의 개요 ... 6
• 1-2. 연구개발 대상의 국내외 현황 ... 7
• 1-3. 연구개발의 중요성(필요성) ... 10
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 11
• 1. 사회적 소통 약자 대상 분류와 대화형 도우미 인터페이스 설계 ... 11
• 2. 발달장애인이 표현하고 싶은 감정 표현 기능 설계 ... 17
• 3. 사용자 사용/체험을 풍부하게 해주는 제작 콘텐츠의 메타 정보 자동 추출 기술 ... 22
• 4. 지능형 대화도우미가 작품을 설명해주고 사용자와 소통하는 대화형 도우미 플랫폼 ... 25
• 5. 제작 콘텐츠 공유를 위한 소셜네트워크 플랫폼 구축 ... 39
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 45
• 1) 연구수행 결과 ... 45
• 2) 목표 달성 수준 ... 61
• 4. 목표 미달 시 원인분석 ... 64
• 1) 목표 미달 원인(사유) 자체분석 내용 ... 64
• 2) 자체 보완활동 ... 64
• 3) 연구개발 과정의 성실성 ... 64
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 65
• 6. 연구개발성과의 관리 및 활용 계획 ... 66
• 끝페이지 ... 68