보고서 정보
주관연구기관 |
(주)소리를보는통로 |
연구책임자 |
윤지현
|
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2023-11 |
과제시작연도 |
2023 |
주관부처 |
보건복지부 [Ministry of Health & Welfare(MW)(MW) |
등록번호 |
TRKO202400001350 |
과제고유번호 |
1465039561 |
사업명 |
노인장애인보조기기연구개발사업 |
DB 구축일자 |
2024-07-10
|
초록
▼
1. 연구개발 목표 및 내용
1) 최종목표 및 내용
※ 다양한 환경에서 간편하게 소리와 자막을 함께 수신하는 청각 보조기기 총 5종 개발
◎ 최종 목표
본 과제 연구를 통해 다양한 환경에서 간편하게 이용할 수 있는 청각보조기기 3종의 상용화 및 2종의 시제품 개발을 목표로 하며, 이는 서로 유기적으로 연동되어지는 통합 시스템으로 세부 항목은 아래와 같음
1) [상용화] AI 음성인식을 활용한 실시간 자막 모바일 어플리케이션 상용화
2) [상용화] AI 음성인식 어플리케이션과 동시 연동하여 소
1. 연구개발 목표 및 내용
1) 최종목표 및 내용
※ 다양한 환경에서 간편하게 소리와 자막을 함께 수신하는 청각 보조기기 총 5종 개발
◎ 최종 목표
본 과제 연구를 통해 다양한 환경에서 간편하게 이용할 수 있는 청각보조기기 3종의 상용화 및 2종의 시제품 개발을 목표로 하며, 이는 서로 유기적으로 연동되어지는 통합 시스템으로 세부 항목은 아래와 같음
1) [상용화] AI 음성인식을 활용한 실시간 자막 모바일 어플리케이션 상용화
2) [상용화] AI 음성인식 어플리케이션과 동시 연동하여 소리와 자막의 동시 수신이 가능한 FM/BT 복합 중계기 상용화
3) [상용화] 다중이용시설용 액자형 인덕션 히어링루프 상용화
4) [시제품] FM/BT 중계기 연동 손실청력 보완 음성증폭 스마트 이어셑 시제품 제작
5) [시제품] AI 자동 상황인지 기능이 탑재된 어플리케이션 프로토타입 제작
1) 음성인식을 활용한 실시간 자막 모바일 어플리케이션 개발 및 고도화
- 말소리를 입력받아 실시간 자막으로 변환해서 보여주는 모바일 AI 음성인식 어플리케이션
- 학교 수업과 직무 환경에서 말소리에 대한 글자 정보를 제공하여 원활한 정보 수신을 돕고자 함
2) 소리와 자막의 동시 수신이 가능한 FM/BT 복합기능의 휴대형 중계기 개발
- FM을 통해 말소리를 수신하여 개인 보장구 (인공와우, 보청기) 로 전달함과 동시에 모바일 어플리케이션에도 연결할 수 있는 복합 수신기 개발
- 하나의 장치로 간편하게 소리 수신과 자막 송출의 연동이 가능하도록 복합 디바이스를 통해 사용편의성을 높이고자 함
3) 다중이용시설용 액자형 인덕션 히어링루프 개발
- FM을 통해 음성신호를 수신하여 개인 보장구 (인공와우, 보청기) 로 전달하는 벽걸이 액자형 히어링 루프로서, 다중이용시설에서도 안내 방송 오디오를 무선 수신할 수 있음
- 기존의 루프케이블은 바닥 또는 천정의 매립형으로 설치 소요 비용 부담이 높았으나, 본 연구를 통해 벽걸이 액자형으로 개발하여 비용 부담을 완화하고 간편하게 도입될 수 있도록 함
4) FM/BT 중계기 연동 손실청력 보완 음성 증폭 스마트 이어셑 개발
- 손실 청력을 보완하여 주는 블루투스 기반의 스마트 음성증폭기로서 사용자의 청력에 맞춰 스마트폰 APP을 통한 Self Fitting.
- 본 연구를 통한 스마트 이어셑은 기존의 음성 증폭기능이외에 FM/BT 중계기를 통해 다양한 환경에서의 소리정보를 무선으로 청취 할 수 있는 활용성 및 경제성이 뛰어남
5) 상황인지 기능이 탑재된 어플리케이션 개발
- 벨소리, 아이 울음소리, 화재경보 등을 감지하여 (Audio event detection) 진동과 빛 등으로 출력해주는 어플리케이션 개발
- 일상의 다양한 상황들을 인지하고 대처할 수 있도록, 활용 범위를 넓히고자 함
이를 통해 다음과 같은 문제 해결을 하고자 함
1) 다중이용시설, 가정, 학교에서의 다양한 상황에서 청각장애인은 소통의 어려움으로 인해 교육격차, 고용격차, 심리적 좌절을 겪음.
2) 이에 따라 무선으로 소리를 증폭하여 원활히 전달하고 동시에 실시간 자막으로 시각화하여, 상호 대화가 가능한 수준의 청각 보조기기 지원이 필요함.
3) 또한 대화 상황 이외에도 아기 울음, 화재 경보 등 특정 소리에 대한 인식이 어려워 상황 대처를 돕는 보조기기가 필요함.
4) 본 연구를 통해 간편한 장치와 소프트웨어의 구성으로서 전 생애주기에 걸친 청각장애인의 소통과 상황인지를 돕고자 함.
◎ 전체 내용
1) AI 음성인식을 활용한 실시간 자막 모바일 어플리케이션 상용화
- 기존 PC 소프트웨어, 태블릿 앱으로 제공했던 음성인식 프로그램의 모바일화 기획, 디자인, 개발
- 양방향 소통 기능, 수업에 특화된 학습기능 탑재
- 교과목별 특화하여 음성인식 AI 엔진 인식률 강화
- 개발 완료 직후 최소 한 학기 (3개월) 동안의 수업 내 활용 현장 실증 진행
- 국내 교육청과 대학교에 시판하여 상용화
2) AI 음성인식 어플리케이션과 동시 연동하여 소리와 자막의 동시 수신이 가능한 FM/BT 복합 중계기 상용화
- FM을 통해 음성을 수신하여 개인 보장구에 전달함과 동시에 블루투스 통신으로 음성인식 디바이스에 함께 전송하는 휴대형 무선 중계기
- 디자인, 기구설계, HW 개발, 펌웨어 개발, 상용화 준비
- 개발 완료 직후 최소 한 학기 (3개월) 동안의 수업 내 사용 현장 실증 진행
- 국내 교육청과 대학교, 기존 인공와우등 FM 수신 중계기로 시판하여 상용화
3) 다중이용시설용 액자형 인덕션 히어링루프 상용화
- 원거리 송신이 가능한 벽걸이형 히어링루프 시제품 제작 (기존의 루프케이블 매립형의 히어링 루프를 벽걸이 액자형으로 개발)
- 전체 기능 설계, 세부 구현 동작 시나리오 제작
- 디자인, 기구설계, HW 개발, 펌웨어 개발, 상용화 준비
- 공인시험기관 실험을 통한 정량적 성능 평가
- 교통이용 및 다중이용시설, 학습 사용 현장 실증 진행, 개발 기간 내 상용화
- 국내“ 노인 장애인 편의 증진법 ”및 “교통약자 편의 증진법”등 의무설치 의거 교통이용시설 및 수단, 다중이용시설등에 시판
4) FM/BT 중계기 연동 손실청력 보완 음성증폭 스마트 이어셑 시제품 제작
- 손실청력을 보완하여 주는 블루투스 기능 내장 스마트 이어셑
- 디자인, 기구설계, HW 개발, 펌웨어 개발
- 디지털 음성 증폭기능 및 자가 Fitting 기능 실증 테스트
5) AI 자동 상황 인지 기능이 탑재된 어플리케이션 시제품 제작
- 소리 분류별 (울음소리, 화재경보, 벨소리) 데이터 수집/생성 계획 수립
- 기초 기술 검토, 상황인지 엔진의 성능 평가
- APP 기획, UX/UI 디자인, 모바일 어플리케이션 프로토타입 개발
- 지역사회 내 농인 사용자 10 명의 가정 내 사용 환경 평가 진행
※ (연구개발과제1) 다양한 환경에서 간편하게 자막과 상황정보를 수신하는 청각 보조기기 소프트웨어
◎ 최종 목표
<연구 목표>
○ [상용화] 음성인식을 활용한 실시간 자막 모바일 어플리케이션 상용화
○ [시제품] 상황인지 기능이 탑재된 어플리케이션 프로토타입 제작
○ [시제품] 스마트 이어셑 자가 Fitting 어플리케이션 프로토타입 제작
<기대 결과물>
○ [상용화] 음성인식을 활용한 실시간 자막 모바일 어플리케이션 상용화
- 음성인식을 활용한 실시간 자막 모바일 APP의 기획, UX/UI 디자인, 안드로이드 앱 개발 및 출시, 음성엔진 고도화, 교육현장 실증 평가 (리빙랩)
○ [시제품] 상황인지 기능이 탑재된 어플리케이션 프로토타입 제작
- 상황인지 Audio Detection APP의 기획, UX/UI 디자인, 안드로이드 앱 시제품 개발, Audio Detection 엔진 고도화, 가정 내 실증 평가 (리빙랩)
○ [시제품] 스마트 이어셑 자가 Fitting 어플리케이션 프로토타입 제작
- 자가 Fitting APP의 기획, UX/UI 디자인, 안드로이드 앱 시제품 개발
◎ 전체 내용
□ 음성인식 모바일 어플리케이션 상용화
○ 1차 년도 (기획)
- 기존 PC 소프트웨어, 태블릿 앱으로 제공한 음성인식 프로그램의 모바일화 기획
- 교과목별 전문용어 사전등록으로 인식률 강화 (속기 채점프로그램을 통한 인식률 평가), 다양한 상황별 전문용어 수집 및 음성인식 엔진 개선
- 텍스트를 저장하고 자유롭게 활용할 수 있는 기능 기획
- 청각장애인의 양방향 소통을 위한 모바일 TTS (Text-to-speech), AAC 기능 기획
○ 2차 년도 (상용 개발)
- 모바일 어플리케이션 상용 제품 개발, 출시
- 교과목별 전문용어 사전등록으로 인식률 고도화
- 텍스트를 저장하고 활용할 수 있는 기능 탑재, 각장애인의 양방향 소통을 위한 모바일 TTS (Text-to-speech), AAC 기능 탑재
- 최종 상용/시제품 개발 완료, 현장 실증 및 사용성 평가 협조
○ 3차 년도 (고도화, 업데이트)
- 사용성 평가에 따른 피드백을 반영한 기능 고도화
- 소프트웨어 안정화 및 버그 개선, APP 업데이트
□ 상황 인지 어플리케이션 개발 기획
○ 1차 년도 (기획)
- 소리 분류별 (울음소리, 화재경보, 벨소리) 데이터 수집/생성 계획 수립
- 사용 시나리오 구성 및 모바일 어플리케이션 UX 설계, UI 디자인
- 개발 연구 기획 및 기초 기술 검토
- 상황인지 AI 엔진 프로토타입 제작 및 성능 평가 협조
○ 2차 년도 (프로토타입 개발)
- 모바일 어플리케이션 시제품 개발
- 소리 분류별 (울음소리, 화재경보, 벨소리) 데이터 수집/생성을 통한 엔진 고도화
- 상황인지 엔진의 성능 평가 및 사용성 평가 협조
○ 3차 년도 (고도화, 업데이트)
- 사용성 평가에 따른 피드백을 반영한 기능 고도화
- 소프트웨어 안정화 및 버그 개선
□ 자가 Fitting 어플리케이션 시제품 개발
○ 3차 년도 (기획, 디자인, 프로토타입 개발)
- Fitting 어플리케이션 UX/UI 구성, 모바일 앱 디자인
- Fitting 기능 개발, 성능 평가, 스마트이어셑과의 연동 테스트
- 소프트웨어 안정화 및 버그 개선
3) 연구개발 성과 및 기대효과
※ 다양한 환경에서 간편하게 소리와 자막을 함께 수신하는 청각 보조기기 총 5종 개발
◎ 연구개발성과 활용계획 및 기대효과
주요 성과 증빙
1) 상용화제품 3종 완료 (액자형 히어링루프, 음성인식 APP, FM복합중계기), 연구 개발 성능 목표 달성
2) 시제품 2종 개발 완료 (상황인지 APP, 스마트이어셋), 연구 개발 성능 목표 달성
3) SW/HW 각 특허조사분석 보고서 1건
- 음성인식과 상황인지 관련 기술 동향 조사, 특허조사분석 수행
- 히어링 루프 및 FM 보청기기 제품 현황, 시장, 기술 동향 조사
4) 시제품별 개발 가이드라인 1건
- 다양한 상황에 맞는 음성인식과 상황인지(Audio Event Detection) 기술 검토 진행, 최적의 접근법으로 개발가이드라인 제작
- 하드웨어 전체 기능 설계, 세부 구현 동작 시나리오 제작
5) 사용성평가보고서 총 4건
- 액자형 인덕션 히어링루프 공공장소 설치 사용성 평가 (국내 학술대회 발표 1건)
- FM/BT 복합중계기 + 음성인식App 현장 실증 기반 교육환경 사용성 평가 (SCI급 저널 논문 1건)
- 스마트이어셑 사용성 평가 (해외 학술대회 발표 1건)
- 상황인식App 현장 실증 기반 유아돌봄 환경 사용성 평가 (KCI급 저널 논문 1건)
6) 미래비전컨셉영상 1건
7) 시제품/상용화 제품 특허출원 3건
8) 비즈니스모델 보고서 1건
1) AI 음성인식을 활용한 실시간 자막 모바일 어플리케이션 적용
- STT (Speech-to-text) 와 TTS (Text-to-speech) 의 양방향 소통 기능이 탑재된 모바일 어플리케이션 (안드로이드 OS) 출시
- [교육] 온/오프라인 학습 환경에서 교육 격차 해소를 위한 보조공학기기로서 활용됨. 교실에서 교사의 수업 내용을 실시간으로 변환하여 자막을 통해 이해를 돕고, 비대면 온라인 강의의 경우 컴퓨터에서 나오는 소리를 연결하여 자막 제공
- [직무] 직장에서 근무하는 청각장애인의 회의, 대면 대화 상황에서 활용하여 사내 소통에 누락이 없도록 지원함
2) 소리와 자막의 동시 수신이 가능한 FM/BT 복합기능의 휴대형 중계기의 적용
- [교육] 교실에서 교사가 FM 송신기를 착용하면 학생이 갖고 있는 중계기를 통해서 개인 보장구로 소리가 전달되고, 스마트폰에도 소리를 무선 전달하여 자막 어플리케이션에 입력을 제공함. 소리와 자막의 전체 정보들이 총체적으로 수신되어 교육 전달력을 높임
- [다중이용시설] 중계기 하나로 일상의 소리 수신 품질을 높이고, 자막을 동시에 연결할 수 있음. 교육뿐만 아닌 사회 전반의 인프라 구축에 활용을 목표함
- [개인] 기존의 블루투스 기능을 가진 인공와우나 보청 음성증폭기기에 연동되어 다중이용 시설등 다양한 환경에서 의 소리정보 청취 FM 수신기로 활용
3) 다중이용시설용 액자형 인덕션 히어링루프의 적용
- 어느 곳에 가도 소리 정보의 전달 품질이 높아질 수 있도록 사회 전반의 인프라 구축을 목표함
- 설치가 간편한 저가의 벽걸이형 FM 히어링루프의 형태로 가격 경쟁력 확보 (90 % 절감 예상)
- 다중이용시설 (지하철, 공항 등)에서 안내 방송 오디오를 무선 수신할 수 있음
- 교육 및 문화 시설 편의 장치 적용벽걸이형 히어링 루프 방송 무선 청취 편의 환경 구축
- 종교 집회 시설 노인 장애인 무선 청취 편의 장치 제품화
- 새로운 상업적 광고 매채로의 경제성 기대
4) FM/BT 중계기 연동 손실 청력 보완 음성증폭 스마트 이어셑
- [개인] 노인 및 난청 장애인이 손실 청력을 보완하는 음성증폭기로 사용
- FM/BT 무선 중계기를 통해 학교 교육, 직장, 다중이용시설에서 FM으로 송출되는 음성 정보를 무선으로 청취 할 수 있음
5) AI 자동 상황 인지 기능이 탑재된 어플리케이션 개발
- 가정 내에서 한밤중 아기의 울음소리가 수신되면 침대/베개에 둔 스마트폰에서 강한 진동과 빛을 통해 상황을 알리고 청각장애인 부모가 대응할 수 있도록 함
- Audio Detection을 통한 상황인지 기능이 개인 스마트폰에서 구동되는 모바일 어플리케이션 (안드로이드 OS) 출시 후 구글 플레이스토어 업로드
- Audio Detection 이 이루어지는 형태를 기존 설치형 하드웨어 제품에서, 개인 모바일 기기내 경량화 된 어플리케이션으로 작동되도록 하여 활용도 증대
※ (연구개발과제1) 다양한 환경에서 간편하게 자막과 상황정보를 수신하는 청각 보조기기 소프트웨어
◎ 연구개발성과 활용계획 및 기대효과
○ [상용화] 음성인식을 활용한 실시간 자막 모바일 어플리케이션 상용화
- [정확도] 수업 연속 발화 90% 이상 성능 평가
- [시제품] 전체 기획 기능 동작 여부 평가
- [사용자 만족도] 사용 전후 학업 의지 및 성취도 향상 여부 평가
○ [시제품] 상황인지 기능이 탑재된 어플리케이션 프로토타입 제작
- [정확도] Audio Detection 80% 이상 성능 평가
- [시제품] 전체 기획 기능 동작 여부 평가
- [사용자 만족도] 사용 전후 상황 대응력 증가 여부 평가
○ [시제품] 스마트 이어셑 자가 Fitting 어플리케이션 프로토타입 제작
- [시제품] 전체 기획 기능 동작 여부 평가
- [사용자 만족도] 착용감과 소리 수신 만족도 평가
○ 개발 결과물 사용성 평가
1) 음성인식 App과 FM 복합중계기를 이용한 소리와 자막의 동시 수신으로 학습력 증가 여부 평가
- 수업 전달력과 학습 효율이 증대되는지 검증하기 위해 실제 수업 환경에 도입 후 평가하는 리빙랩 형식의 현장 실증 및 사후 평가 예정
- 최소 3개월, 고등학생 및 대학생 10명 대상 사용성 평가
2) 상황인지 APP 프로토타입을 이용한 일상생활 속 상황 대응력 증가 효과 평가
- 영유아 자녀를 둔 청각장애인 부모 10 여 명을 대상으로 3개월간 실제 육아 환경에 도입 후 평가하는 리빙랩 형식의 현장 실증 및 사후 평가
- 아이의 울음소리 파악에 도움을 주는지와 활용 중 사용성 저해 요인 파악
<음성인식 모바일 APP 실용화 방안>
- STT (Speech-to-text) 와 TTS (Text-to-speech) 의 양방향 소통 기능이 탑재된 모바일 어플리케이션 (안드로이드 OS) 출시
- 상용 어플리케이션 운영 관리를 위한 내부 백오피스 구축 개발
- 서울창업허브 테스트센터를 통해 기기별 테스트를 거쳐 성능 확인 후 업로드
<상황인지 모바일 APP 실용화 방안>
- Audio Detection을 통한 상황인지 기능이 개인 스마트폰에서 구동되는 모바일 어플리케이션 (안드로이드 OS) 출시 후 구글 플레이스토어 업로드
<현장 적용 계획>
○ [교육 현장 적용 계획]
- 비대면 교육지원을 위해 음성인식 소프트웨어를 구입했던 두 참여기업의 기존 교육기관 이용자를 중심으로 초기 확산 (초/중/고등/대학교 및 지역별 특수교육지원센터를 포함하여 100여 곳)
- 교육청 단위 구매 후 학교 제공, 학교 현장 밀착형 방문 설치 및 사용법 안내를 통해 담당교사와 학생, 특수교사, 학부모의 원활한 협조
- 앱 내 CS 응대를 위한 실시간 채팅 채널 ‘소통공간’ 운영, 현장 적용 후 사후 관리 소통 진행
- 사용 전후 학업 의지와 만족도 측정과 개선 피드백 수합으로 제품 업데이트 반영
○ [가정 내 활용 계획]
- 진동 알람을 위해 수면 중 스마트폰을 베개나 침대에 두고 취침하는 청각장애인이 다수임
- 아기가 있는 청각장애인 부모의 스마트폰에 상황인지 어플리케이션을 설치하여 머리맡에 놓고 이용하는 형태로, 특정 상황 발생 시 강한 빛과 진동으로 출력하여 활용
- 개인 농인/난청인 대상 마케팅으로 다운로드 확산, 기존 ㈜소리를보는통로 SNS 채널 (유투브, 페이스북, 블로그 등) 이용하여 홍보
(출처 : 요약문 2p)
목차 Contents
- 표지 ... 1
- 요약문 ... 2
- 목차 ... 7
- 1. 연구개발과제의 개요 ... 8
- 2. 연구개발과제의 수행 과정 및 수행 내용 ... 9
- 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 61
- 1) 연구수행 결과 ... 61
- 2) 목표 달성 수준 ... 73
- 4. 목표 미달 시 원인분석 ... 73
- 1) 목표 미달 원인(사유) 자체분석 내용 ... 73
- 2) 자체 보완활동 ... 74
- 3) 연구개발 과정의 성실성 ... 74
- 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 76
- 6. 연구개발성과의 관리 및 활용 계획 ... 77
- 7. 참고문헌 ... 81
- 끝페이지 ... 82
※ AI-Helper는 부적절한 답변을 할 수 있습니다.