청력의 결여나 결손이 생기면 회화 음이나 환경 음을 청취하는 것이 어려우므로 언어 감각, 성격 등에 문제가 발생한다. 이러한 청각장애인들을 위하여 특별하게 발음 교정 교육을 할 수 있는 응용 프로그램을 설계하고 구현하였다. 시간과 장소에 제약이 없이 사용할 수 있도록 스마트폰 앱 형태로 제작하였고, 청각장애인의 발음 교정 실태를 고려하여 발음 습득 순서에 따라 난이도 순 훈련을 제공한다. 기본 발음 연습, 단어 발음 연습을 할 수 있고, 이에 대한 기록을 통하여 연습률과 성공률을 확인할 수 있다. 또한, 전면카메라를 통한 자가 발음 교정이 가능하도록 하여 발음이 향상되도록 하였다.
청력의 결여나 결손이 생기면 회화 음이나 환경 음을 청취하는 것이 어려우므로 언어 감각, 성격 등에 문제가 발생한다. 이러한 청각장애인들을 위하여 특별하게 발음 교정 교육을 할 수 있는 응용 프로그램을 설계하고 구현하였다. 시간과 장소에 제약이 없이 사용할 수 있도록 스마트폰 앱 형태로 제작하였고, 청각장애인의 발음 교정 실태를 고려하여 발음 습득 순서에 따라 난이도 순 훈련을 제공한다. 기본 발음 연습, 단어 발음 연습을 할 수 있고, 이에 대한 기록을 통하여 연습률과 성공률을 확인할 수 있다. 또한, 전면카메라를 통한 자가 발음 교정이 가능하도록 하여 발음이 향상되도록 하였다.
A person with defects and the lack of hearing, has very difficult problems to listen to the sound of conversation or environment, and these problems cause wrong directions in the linguistic sense and character. We designed and implemented an application to practice and correct pronunciation of a hea...
A person with defects and the lack of hearing, has very difficult problems to listen to the sound of conversation or environment, and these problems cause wrong directions in the linguistic sense and character. We designed and implemented an application to practice and correct pronunciation of a hearing-impaired person specially. This is made as a mobile app without the limitation of time and space, and this provides practices with the level of difficulty in learning of pronunciation, taking into consideration of remedial status in pronunciation. The hearing-impaired person can train the basic pronunciation and the word pronunciation. He or she can practice basic skills in pronunciation and check the record on the practice rate and the success rate. Also, the person can improve pronunciation by self-correction function using the front camera of a smart phone.
A person with defects and the lack of hearing, has very difficult problems to listen to the sound of conversation or environment, and these problems cause wrong directions in the linguistic sense and character. We designed and implemented an application to practice and correct pronunciation of a hearing-impaired person specially. This is made as a mobile app without the limitation of time and space, and this provides practices with the level of difficulty in learning of pronunciation, taking into consideration of remedial status in pronunciation. The hearing-impaired person can train the basic pronunciation and the word pronunciation. He or she can practice basic skills in pronunciation and check the record on the practice rate and the success rate. Also, the person can improve pronunciation by self-correction function using the front camera of a smart phone.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구는 청각 장애인의 발음교정을 위한 모바일 기능성 앱 개발로, 발음 교정과 발성 훈련을 통한 재활 치료를 가능하게 하고 스마트 폰으로 개발되어 시간과 장소에 제약이 없다. 단계에 맞게 꾸준히 연습한다면 청각 장애인의 발음교정 재활치료에 많은 도움이 되리라 기대된다.
청각장애인을 위한 보조 프로그램들은, 청각장애인의 의사소통 능력을 높이기 위한 목적으로 제작되었다. 이것은 크게 두 분류로 나누어 볼 수있는데 첫째는 프로그램을 통하여 음성을 청각 이외의 기관이 인지할 수 있는 자료로 변환해주는 종류이다.
제안 방법
단어연습 모듈은 단어의 표기와 발음이 다른 글자들을 연습하는 단계로, 화면은 <그림 6>과 같다. HTML Parsing을 이용하여 사용자가 입력한 단어의 발음기호를 인터넷의 네이버 국어사전에서 가져와 차이를 알려준다.
조음기관 훈련 단계에서는 조음 기관인 입과 혀의 움직임 모양을 동영상으로 확인하고 발음 훈련을 한다. 동영상을 통한 입모양을 학습한 후, 모바일기기의 카메라를 이용하여 사용자가 직접 자신의 입모양을 확인하면서 조음 발음 연습을 한다.
먼저 기본 발음 연습 메뉴에서 단음을 선택하면 해당 단음이 실생활에 사용되는 단음인지 확인하고, 사용하는 발음에 대해서만 발음 기호를 파싱하여 화면에 출력한다. 발음 기호의 HTML 파싱은 오픈 라이브러리인 JERICHO HTML Parser 라이브러리를 이용하여 구현하였다[14]. 한번 파싱이 이루어진 후, 앱의 데이터베이스를 확인하여 이전 사용 기록이 없으면 이를 자동으로 저장하여 파싱이 중복되지 않도록 함으로써 앱의 독립성을 높였다.
본 논문에서는 모바일이라는 접근성 높은 매체를 이용하여, 다양한 조음 요인을 복합적으로 학습한 뒤 발음을 연습할 수 있는 모바일 앱인 See&Speech를 설계 및 구현하였다.
본 논문은 이러한 청각 장애인의 발음교정에 도움을 주기 위하여, 2장에서 관련 연구를 살펴보고, 3장에서 시간적, 경제적 비용이 들지 않는 모바일 발음 교정 앱See&Speech)을 설계하였다.
한국어는 구개음화, 자음동화 등의 발음변화 때문에 단어와 실제 발음에서 차이가 생기는 경우가 있는데, 이를 훈련하기 위한 과정으로 실생활에 단음 연습을 보다 유용하게 하는 훈련이다. 사용자가 단어를 입력하고 검색하면 네이버 사전에서 발음 기호를 parsing 하여 이를 보고 연습하도록 한다. 이 메뉴에서는 인터넷 연결이 필수이므로 특정 환경을 필요로 하는 제약이 있다.
연습하고자 하는 단계 속에서 모음을 고른 후 글자를 선택하면 연습이 시작되고 연습 화면은 <그림 4(b)>와 같다. 사용자가 시각적인 정보를 통하여 발음 연습을 할 수 있도록 조음 동영상과 글로 풀어쓴 조음법 정보를 제공하였다.
청각보다는 촉각 및 시각적 활용을 극대화하여 프로그램을 구성하였다. 사용자가 자신의 입 모양을 직접 볼 수 있는 전면카메라를 사용하고, 발음을 실패했을 경우 진동 효과를 주어 소리를 잘 듣지 못하는 사용자를 배려하였다.
사용자는 발음 설명과 동영상을 참고하여 연습하고, 자신의 목소리로 음성인식 테스트를 해봄으로써 발음교정을 하게 된다. 이 단계에서는 인식정확도가 평균 96.
실험 학생들은 보완 요청 사항으로 받침글자 등을 포함한 다양한 한국어 발음을 포함하는 것과 청각 장애인에게 취약한 ‘ㅅ’, ‘ㅈ’ 발음은 심화된 자세한 설명, 이미지, 동영상 자료의 첨부를 제안하였다.
또한 발음 훈련 구성이 체계적으로 짜여 있다. 언어학적 자료를 바탕으로 사용자가 소리 내기 쉬운 발음부터 단계적으로 훈련할 수 있도록 하였기 때문에 발음을 교정하고자 하는 사람들의 학습이 가능하고, 사용자 중심 UI를 구성하여 사용이 용이하도록 하였다. 청각보다는 촉각 및 시각적 활용을 극대화하여 프로그램을 구성하였다.
기본발음연습은 크게 다섯 단계로 나누어진다. 언어학적 자료를 바탕으로 하여 조음에 구강기관이 많이 관여할수록 높은 단계에 배치하였고, 한글 14개의 자음을 5단계로 분류하였다. 화면은 <그림 4(a)>와 같다.
발음 교정 훈련 단계에서는 구글의 음성 인식(Voice Recognition) 기술을 이용하여 음성인식을 한다. 인식된 음성을 글자로 변환하여 사용자가 발음한 글자와 연습하고자 하는 글자가 일치하는지 비교한다. 발음한 음성이 연습하려던 글자와 일치하는 경우 연습이 성공하였다고 보며, 다른 글자를 연습할 수 있도록 이전 글자선택 화면으로 돌아가게 된다.
언어학적 자료를 바탕으로 사용자가 소리 내기 쉬운 발음부터 단계적으로 훈련할 수 있도록 하였기 때문에 발음을 교정하고자 하는 사람들의 학습이 가능하고, 사용자 중심 UI를 구성하여 사용이 용이하도록 하였다. 청각보다는 촉각 및 시각적 활용을 극대화하여 프로그램을 구성하였다. 사용자가 자신의 입 모양을 직접 볼 수 있는 전면카메라를 사용하고, 발음을 실패했을 경우 진동 효과를 주어 소리를 잘 듣지 못하는 사용자를 배려하였다.
청각장애 대학생 6명(2급 장애 4명, 3급 장애 2명 및 선천적 장애 3명, 후천적 장애 3명))을 대상으로 개발된 앱의 사용법을 설명해주고 발음교정훈련을 하도록 한 후 설문 통한 평가를 실시하였다. 이들은 모두 발음교정 경험이 있었고 발음교정 기관에서 교육을 받았었다.
이론/모형
이미 파싱해놓은 데이터에 접근하는 경우, 데이터를 가져옴과 동시에 저장된 동영상 주소도 가져온다. 주소를 이용하여 동영상을 재생하는데 이것의 개발에는 유튜브의 API를 사용하였다.
성능/효과
결론적으로 본 앱에 대하여 청각장애인들은 발음교정 기기로 매우 긍정적이며, 모든 발음을 수용할 수 있는 기기로 개선이 된다면 이들의 발음교정에 많은 기여를 할 수 있을 것으로 평가하였다.
정확하게 발음하지 못했을경우 모바일 기기가 '진동’하도록 하여 청각 이외의 촉각 감각을 이용한 피드백이 가능하게 하였다. 또한, 연습한 단음과 발음한 단음을 비교하여 보여주어 학습의 극대화와 동기 유발의 효과를 기대할 수 있게 하였다.
본 앱을 사용한 후 사용법에 대하여 직관적이고 이해 용이도에 대한 질문에 보통 2명, 긍정 3명, 매우 긍정 1명으로 긍정적이었고, 제공되는 조음법 정보에서는 조음정보의 양과 질이 부족하다는 의견이었다. 특히 거울 기능(전면 카메라 이용)은 발음연습에 도움이 되지 않는다고 2명이 답을 하여 개선의 필요하다.
조사를 따르면 재활 치료를 위한 이동에 평균 20∼40분 정도의 시간이 소요된다고 답한 응답자가 43.4%로 가장 높은 비율을 차지하였다.
청각 장애인들이 의사소통을 할 수 없는 것은 아니다. 청각 장애인의 주 의사 소통방법은 여러가지가 있는데 사용하는 비율 순으로 말(87%), 수화(4%), 구화(4%), 몸짓(3%), 필담(2%)인 것으로 나타났다[1].
발음 기호의 HTML 파싱은 오픈 라이브러리인 JERICHO HTML Parser 라이브러리를 이용하여 구현하였다[14]. 한번 파싱이 이루어진 후, 앱의 데이터베이스를 확인하여 이전 사용 기록이 없으면 이를 자동으로 저장하여 파싱이 중복되지 않도록 함으로써 앱의 독립성을 높였다. 이미 파싱해놓은 데이터에 접근하는 경우, 데이터를 가져옴과 동시에 저장된 동영상 주소도 가져온다.
후속연구
앞으로 청력 훈련 프로그램을 개발하여 청력훈련 과정을 먼저 거친 후 발음교정과 발성 훈련을 한다면 더욱 재활 효과가 크리라 판단되며, 앞으로 청력 훈련 분야를 연구하여 기능성 프로그램뿐만 아니라 영어 교육용 발음 교정 프로그램 혹은 외국인을 위한 한국어 교육 프로그램 등 다양한 방면으로 응용할 수 있을 것으로 예상한다.
따라서 이에 대한 해결을 위한 연구가 더 필요하다. 이러한 부분들을 보완한다면 더욱더 효율적인 장애인들을 도울 수 있는 도구가 될것으로 본다.
질의응답
핵심어
질문
논문에서 추출한 답변
청각장애란 어떤 경우를 말하는가?
인간은 언어라는 매체와 말이라는 수단을 통해 의사소통하며 감정을 전달한다. 말은 소리를 이용한 가장 기본적인 단계의 의사소통 방법으로, 소리를 듣는 기관(청각기관)에 이상이 생기거나 들은 소리를 말로 해석하는 중추기관에 문제가 생겨 의사소통에 지장이 있는 경우, 이를 청각장애라 한다. 청력의 결여나 결손이 생기면 회화 음이나 환경 음을 청취하는 것이 어려우므로 언어, 성격 등에 문제가 야기되어 특별한 교육을 받지 않으면 안 되는 사람을 청각 장애인이라 하며 그 가운데 특히 청각 이용에 의한 의사소통의 가능성을 지닌 사람을 난청인이라 한다.
청각 장애인의 주 의사소통 방법은 어떤 순서로 나타나는가?
청각 장애인들이 의사소통을 할 수 없는 것은 아니다. 청각 장애인의 주 의사 소통방법은 여러가지가 있는데 사용하는 비율 순으로 말(87%), 수화(4%), 구화(4%), 몸짓(3%), 필담(2%)인 것으로 나타났다[1].
조사에 따르면 청각 장애인의 재활 치료를 위한 이동에는 평균 몇 분 정도의 시간이 걸리는가?
청각 장애인의 대부분은 말을 하는 것이 가능하지만 듣지 못해 발음이 부정확해지므로 의사소통에 어려움을 겪고 발음 교정에는 여러 가지 어려움이 따른다. 조사를 따르면 재활 치료를 위한 이동에 평균 20∼40분 정도의 시간이 소요된다고 답한 응답자가 43.4%로 가장 높은 비율을 차지하였다.
참고문헌 (15)
김성희 외(2011). 2011 장애인 실태조사. 한국보건사회연구원.
권선진 외(2009). 장애 아동.청소년의 삶의 질 향상을 위한 지원방안연구 I: 재활복지 서비스 제고방안. 한국청소년 정책 연구원.
이춘호(2009). 청각장애아동의 효율적인 청능 훈련을 위한 기능성게임 제안. 한국컴퓨터게임학회논문지, 17, 3-8.
박소연(2012). 검색 포털들의 모바일 검색 기능 분석. 정보관리학회지. 29(1), 175-190.
박한무 외(2008). 청각장애인 조음 훈련 보조시스템을 위한 입 모양 인식 방법. 한국지능시스템학회 학술발표 논문집. 18(2), 286-289.
Xun Luo et al(2012). Assistive Learning for Hearing Impaired College Students using Mixed Reality: a Pilot Study. International Conference on Virtual Reality and Visualization, 74-81.
S. Lee et al(2013). Dialogue Enabling Speech-to-Text User Assistive Agent with Auditory Perceptual Beamforming for Hearing-Impaired. International Conference on Consumer Electronics(ICCE), 360-361
S. Lijuan et al, (2013). Tongue Rehabilitation Training Method of Hearingimpaired Child Based on Visualization Model. International Conference on Mobile Ad-hoc and Sensor Networks, 481-484.
S.H. Park et al(1994). Integrated Speech Training System for Hearing Impaired. IEEE Transactions on Rehabilitation Engineering. 2(4), 189-196.
P. K. Gupta et al(2013). Comprehension of Basic Mathematics among Children with Hearing Impairment using Multimedia in Accessible and Non-Accessible Format a Comparative Study. IEEE 63rd Annual Conference International Council for Educational Media(IECM). 1-11.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.