[논문]청각 장애인을 위한 발음 교정 학습용 스마트 미러 시스템 개발

정하윤; 정다미; 이종혁; 김병규

doi:10.9728/dcs.2017.18.2.267

청각 장애인을 위한 발음 교정 학습용 스마트 미러 시스템 개발
Development of Smart Mirror System for Hearing Deaf's Pronunciation Training 원문보기

디지털콘텐츠학회 논문지 = Journal of Digital Contents Society, v.18 no.2, 2017년, pp.267 - 274

정하윤 (숙명여자대학교 IT 공학과) , 정다미 (숙명여자대학교 IT 공학과) , 이종혁 (숙명여자대학교 빅데이터활용 연구소) , 김병규 (숙명여자대학교 IT 공학과)

초록
AI-Helper

최근 패션, 뷰티 업계를 중심으로 스마트 미러를 도입한 매장을 선보이는 등 IoT기술을 적용하고자 다양한 노력이 시도되고 있다. 스마트 미러는 거울을 통해 모습을 비춰볼 수 있으면서 거울 뒤에 부착된 화면을 통해 원하는 내용을 디스플레이 할 수 있어 패션, 뷰티, 헬스 케어 등 다양한 산업 분야에 적용이 가능하다. 본 논문에서는 이러한 스마트 미러의 특성을 이용하여 구술 능력이 퇴화되어 발음이 부정확한 청각 장애인이 타인의 도움 없이 스스로 발음 교정 학습을 할 수 있도록 하는 학습 시스템을 제안하고자 한다. 제안된 시스템에서는 임베디드 시스템에서 적용 가능한 효과적인 립 리딩 기법을 제안하여 기존에 검증된 발음 교정용 데이터와 연동하여 학습 효율을 높였다.

Abstract ▼ AI-Helper

Recently, there is a new trend about internet of things (IoT) such as shops with smart mirror around the fashion and beauty industry. Since smart mirror can display a content through a monitor which is attached to back of mirror system while looking through a mirror, it can be applied to various industries such as fashion, beauty and health care. This paper proposes an efficient learning system requiring no assistance from others for the hearing deaf who atrophy verbal skill and are inaccurate in pronunciation by using features of smart mirror. Also, this system proposes an efficient and simple lip reading method which can be applied to an embedded system and improves a learning efficiency by employing previously verified pronunciation training data.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

사용자가 특정 음절을 학습할 때 그 음절에 해당하는 모음군에 대한 선 길이의 패턴이 저장되어 있으므로 사용자가 입모양을 올바르게 하였는지 파악할 수 있다. 본 연구에서 분류된 모음 군별 립 리딩의 인식률을 확인하기 위해 실험을 시행하였다. 이 프로그램은 음성 인식 기능이 활성화되면 웹캠이 켜지고, 웹캠이 켜져 있는 동안 립 리딩이 실행되므로 음성 인식 결과가 전송되기 전까지 입 모양에 대해 맞았다고 판단하면 정확히 인식한 것으로 간주하고 50회 이상 반복 실험을 시행하였다.
본 연구에서는 실시간으로 립 리딩을 수행하는 알고리즘을 바탕으로 사용자가 음절에 해당하는 올바른 입모양을 하였는지를 판단한다. 견고한 입 모양 추출을 위한 알고리즘으로 널리 알려진 것들이 있으나, 간단하게 입술에서 4개의 특징점을 찾아 특징점 간의 길이를 비교하여 음절 데이터와 정합하는 방식으로 립 리딩이 이루어지는 알고리즘을 사용하였으며 그림 6은 본 연구에서 제안한 립 리딩 알고리즘의 흐름도이다.
스마트 미러는 거울에 인터페이스 화면이 장착된 장치로 스마트 홈 네트워크의 대표적인 IoT(Internet of Things) 사례로 다양한 장소에 비치되어 있는 거울의 역할을 정보 전달의 서비스 수단으로 이용되고 있으며 새로운 부가가치 창출이 가능하다[5]-[8]. 스마트 미러의 특성을 이용하면 청각 장애인 재활 및 발음 교정 시 입 모양을 확인하면서 발음 연습이 가능하므로 본 연구에서는 이를 이용해 후천적으로 장애를 얻어 구술 능력이 퇴화되어 가는 것을 막고 정확하게 발성을 하는 시스템을 개발하고자 한다. 또한 발음 훈련에서 음성 기반 인터페이스를 위해 입술의 모양을 인식하는 립리딩 (Lip-reading) 기법이 필요하다.
또한 Park은 청각장애자를 위해 개인평가에 따라 다양하게 청능 언어 훈련을 기획하고 관리해주는 청능 및 언어 훈련 서비스 모델을 제안하였다[16]. 이 모델을 기반으로 기능성 게임콘텐츠를 기획하는 설계 방법을 또한 제시하였다. 그러나 이 모델은 실제 구현을 통해 검증이 필요한 상태이다.

제안 방법

본 연구에서는 실시간으로 립 리딩을 수행하는 알고리즘을 바탕으로 사용자가 음절에 해당하는 올바른 입모양을 하였는지를 판단한다. 견고한 입 모양 추출을 위한 알고리즘으로 널리 알려진 것들이 있으나, 간단하게 입술에서 4개의 특징점을 찾아 특징점 간의 길이를 비교하여 음절 데이터와 정합하는 방식으로 립 리딩이 이루어지는 알고리즘을 사용하였으며 그림 6은 본 연구에서 제안한 립 리딩 알고리즘의 흐름도이다.
교통 정보는 공공 데이터 포털의 버스 도착 정보 조회 서비스 API를, 날씨정보는 Openweather API를 사용하였으며, QTXML(eXtensible Markup Language) 로 원하는 데이터를 파싱하였다.
또한, 이 프로그램은 입의 특징점 간의 거리를 가지고 비교를 하므로 정확한 입의 크기를 맞추기 위해 사용 가이드를 통하여 스마트 미러와 사용자 간의 적정 거리를 제안하고 있으므로 실험 역시 사용 가이드가 안내하는 적정 거리에 올바르게 착석한 후 임의의 사람들에 의해 진행되었다. 수행된 실험결과와 인식률 성능비교는 표 2와 같다.
본 논문에서 제안하는 청각 장애인의 발음 교정 학습용 스마트 미러는 단순히 음성 인식 결과만을 가지고 발음 학습을 돕는 것이 아니라 립 리딩 결과를 종합적으로 판단하기 때문에 정확한 발음을 위한 입 모양과 발성까지 스스로 학습을 할 수 있도록 설계하였다. 또한 스마트 미러라는 하드웨어 구조와 청각 장애인을 위한 발음 교정 학습용 시스템을 개발함으로써 사물인터넷의 장점을 극대화하고 학습 효율을 높였다.
립 리딩(Lip-reading)은 외부 소음이 있는 환경에서 떨어지는 음성 인식률을 보완하는 수단으로 활용될 수 있어 이에 관한 연구가 활발히 진행되고 있다[9]. 본 연구는 입 모양을 읽기 위해 입술의 특징점을 찾는 간단한 알고리즘을 포함하고 있으며, 학습 시스템은 립 리딩과 음성 인식을 종합적으로 고려하여 입 모양과 소리 모두 일치할 경우를 맞았다고 판단, 그 외의 경우에는 잘못된 부분을 안내하는 방식으로 학습을 돕도록 하였다.
본 연구에서 개발하는 스마트 미러는 사용자가 학습 음절을 참조 비디오와 글을 통해 익힌 후 스스로 연습해보고 올바르게 발음하였는지 확인할 수 있는 구조이다. 립 리딩(Lip-reading)은 외부 소음이 있는 환경에서 떨어지는 음성 인식률을 보완하는 수단으로 활용될 수 있어 이에 관한 연구가 활발히 진행되고 있다[9].
스마트 미러 내의 서버 구현 부분이 하나이기 때문에, 모드에 따라 전달받는 인자를 구분 시켜 놓았다. 스마트 미러는 넘겨받은 음절을 인자로 하여 스마트 미러의 학습 코드를 실행시키고, 인자에 따른 애니메이션, 텍스트, 판단 방법을 달리하는 식으로 구성되어 있다.
스마트 미러에 부착된 라즈베리파이와 안드로이드 어플리케이션의 IP (Internet Protocol)를 연동하여 응용프로그램을 스마트 미러의 제어를 위한 리모콘처럼 사용할 수 있도록 하였다. 사용자는 어플리케이션을 통해 손쉽게 스마트 미러의 모드 변경을 할 수 있고, 학습하고자 하는 음절을 선택할 수 있다.
음성인식 결과와 립리딩 결과를 고려하면 표3과 같은 4가지 경우로 구분이 가능하며 두 결과 모두 맞았을 경우만 다음 음절 학습을 진행하게 되고, 그렇지 못한 경우는 해당 음절의 재학습을 유도하는 메시지가 출력된 후, 학습을 추가적으로 진행하도록 하였다.
본 연구에서 분류된 모음 군별 립 리딩의 인식률을 확인하기 위해 실험을 시행하였다. 이 프로그램은 음성 인식 기능이 활성화되면 웹캠이 켜지고, 웹캠이 켜져 있는 동안 립 리딩이 실행되므로 음성 인식 결과가 전송되기 전까지 입 모양에 대해 맞았다고 판단하면 정확히 인식한 것으로 간주하고 50회 이상 반복 실험을 시행하였다.
Kim 등은 GMM(Gausian mixture model) 기반의 HMM을 이용하여 시청각정보의 통합방법기반의 음성인식을 수행하였다[15]. 입술에 관한 정보획득을 용이하게 하기 위해 마커를 이용하였고 거울을 통하여 입술 파라미터의 깊이 방향에 대한 정보를 획득하였다. 획득 된 2차원 영상 데이터를 이용하여 3차원 안면 움직임 파라미터를 추출하는 방법이다.
제안된 알고리즘은 전 처리, 특징점 찾기, 데이터 매칭의 3단계로 구분할 수 있다.
입술 영역 검출은 얼굴영역은 검출하고, 검출된 얼굴 영역에서 두 눈의 위치를 찾아, 거리에 관련된 기하학적 모델을 이용하여, 입술 영역을 정확하게 검출한다. 조명의 영향을 최소화하기 위해 특징 추출의 단계에서는 히스토그램 매칭(Histogram Matching), 입술영상 접기, RASTA(RelAtive SpecTrAl)을 사용하여 특징점을 검출한다. 특히, 실제로 사용자가 말을 할 때, 입술 영역은 계속해서 바뀌지만 입술 주변 영역은 변화가 적다.
검출된 입술영역을 관심영역으로 지정한 후에, YCbCr 채널에서 Cr 채널만을 분리시켜 이를 이진화 시키고 Canny 연산을 통해 외곽선만 남긴다. 형태학적 연산을 통해 잡음을 제거한 후 외곽선 검출을 다시 수행한다. 그림 7은 실제 전처리 과정을 나타낸 그림이다.

이론/모형

사용자의 입술영역을 견고하게 추출하기 위해 Lee 등[9]은 HSI(Hue Saturation Intensity)모델과 블록 매칭을 이용하였고, 특징점 추출에는 이미지 기반 방법인 PCA(Principal Component Analysis)를 이용하였다. Yang 등[13]은 실내 환경과 특정 환경에서 다양한 패턴의 입술 움직임을 분석하기 위해, 입술 영상정보와 얼굴의 기하학적 특징을 결합하여 추출하고, HMM(Hidden Markov Model) 학습 인식 알고리즘을 사용하여 립리딩의 정확도를 향상 시키는 방법을 제안하였다.
전 처리 단계에서는 입술의 특징점을 찾기 위해 먼저 얼굴에서 입술 영역을 찾는다. 스마트 미러 상단에 부착되어 있는 카메라로 사용자의 얼굴 영상을 입력 받은 후, 입력 영상에서 Haarcascade 알고리즘을 사용하여 입 부분을 검출한다.

성능/효과

결과에서 볼 수 있듯이 매우 인식률이 높은 것을 알 수 있으며, 특히 [아] 계열을 92%로 다른 계열군보다 높게 나타났고 평균 약 90.66%까지 인식이 가능함을 알 수 있었다. 표 3은 카메라 기반의 립 리딩 및 음성인식 관련 기존기법의 인식 정확도에 대한 성능비교를 보여준다.
본 논문에서 제안하는 청각 장애인의 발음 교정 학습용 스마트 미러는 단순히 음성 인식 결과만을 가지고 발음 학습을 돕는 것이 아니라 립 리딩 결과를 종합적으로 판단하기 때문에 정확한 발음을 위한 입 모양과 발성까지 스스로 학습을 할 수 있도록 설계하였다. 또한 스마트 미러라는 하드웨어 구조와 청각 장애인을 위한 발음 교정 학습용 시스템을 개발함으로써 사물인터넷의 장점을 극대화하고 학습 효율을 높였다. 개발에 사용된 스마트 미러는 거울이라는 특성을 이용하여 다양한 응용 분야로 확대될 수 있다.
44%, 84%의 인식률을 보여준다. 실험결과 본 연구의 높은 인식 정확도와 IoT 디바이스인 스마트 미러를 사용함으로써 발음교정 훈련에 보다 실용적인 시스템 구현이 가능하다.
독순에서는 기록된 영상에서 입술의 특징점을 정확히 정의하고, 추출하는 것이 중요한데 Lee 등[11]은 새로운 시간 영역 필터링을 제안했다. 입술 영역 영상에서 각 픽셀 값의 시간 궤적에 대역통과 필터를 적용하여, 발음 정보와 관련이 없는 성분, 즉 너무 크거나 너무 작은 주파수 성분을 제거한 후에 주성분분석으로 특징을 추출해냈고, 향상된 인식 성능을 보였다. Park 등[12]은 청각장애인의 조음 훈련 보조 시스템 연구를 통해서, 입술 영상을 HSV(Hue Saturation Value)채널로 변경한 후, Hue 채널을 이용해 입술 인식 방법의 개선을 제안했다.
청각장애인이 자신의 의사를 다른 사람에게 전달할 때 의사소통을 할 만큼의 수화를 사용할 수 있는 비율은 8.0%로 조사되었다. 주요 의사 소통방법으로는 말(80.

후속연구

또한 스마트 미러라는 하드웨어 구조와 청각 장애인을 위한 발음 교정 학습용 시스템을 개발함으로써 사물인터넷의 장점을 극대화하고 학습 효율을 높였다. 개발에 사용된 스마트 미러는 거울이라는 특성을 이용하여 다양한 응용 분야로 확대될 수 있다.
추후 과제로는 제안된 시스템에 의한 실제 청각 장애우를 대상으로 교육효과에 대한 검증이 필요하다. 또한 본 시스템에 Deep learning 기술을 도입하여 사용자의 입 모양을 보고 주변 상황을 인지하여 장문의 문장을 학습하는 데 도움을 줄 수 있어야 한다. 이러한 기술을 도입한다면 더욱 신뢰성 높은 청각 장애인용 학습 시스템이 구현될 수 있을 것이다.
또한 본 시스템에 Deep learning 기술을 도입하여 사용자의 입 모양을 보고 주변 상황을 인지하여 장문의 문장을 학습하는 데 도움을 줄 수 있어야 한다. 이러한 기술을 도입한다면 더욱 신뢰성 높은 청각 장애인용 학습 시스템이 구현될 수 있을 것이다.
추후 과제로는 제안된 시스템에 의한 실제 청각 장애우를 대상으로 교육효과에 대한 검증이 필요하다. 또한 본 시스템에 Deep learning 기술을 도입하여 사용자의 입 모양을 보고 주변 상황을 인지하여 장문의 문장을 학습하는 데 도움을 줄 수 있어야 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	청각장애인이 사용하는 의사소통 방법의 종류와 그 비율은?	0%로 조사되었다. 주요 의사 소통방법으로는 말(80.3%), 구화(7.5%), 수화(6.0%), 몸짓(3.5%), 필담(2.3%), 기타(0.4%) 순으로 말의 사용 비율이 가장 높게 나타났다[2]. 대부분의 청각장애들은 말을 하는 것이 가능하지만 듣지 못해 발음이 부정확해지므로 의사소통에 어려움을 겪게 된다.
	언어란 무엇인가?	언어는 인간이 감정을 전달하는 중요한 수단이며 주변 환경을 이해하고 소통하는 필수적인 매개체이다. 그 중에서도 의사소통 도구인 음성언어 소리는 인간의 사회적 관계 형성에 매우 큰 영향을 미친다[1].
	스마트 미러 내의 청각장애인을 위한 어플리케이션으로 무엇을 이용하였는가?	스마트 미러는 라즈비안 운영체제를 사용하며 Qt에 상황에 맞는 Dialog를 띄워 사용자에게 필요한 화면을 보여준다. 스마트 미러 내의 청각장애인을 위한 학습 어플리케이션은 OpenCV(Open Source Computer Vision)와 OpenAPI(Open Application Program Interface)를 이용하여 구현된 립 스캐닝 및 립리딩, 그리고 음성인식 및 부가 정보 제공 기능들로 구성되어 있다.

참고문헌 (16)

M. S. Lee, Experiences of Raising Children without Hearing Impairments among Hearing-Impaired Mothers, Thesis of master's degree, Department of Social Welfare, Chonbuk National University, 2010.
S. H. Kim, Y. H. Lee, J. H. Hwang, M. Oh, M. G. Yee, N. H. Yee, D. Kang, S. J. Kwon, H. K. Oh ,S. Y. Yoon, S. W. Lee, Survey on the Actual Condition of Disabled Person at 2014, Korea Institute for Health and Social Affairs, Policy Report, 2014.
Y. J. Lee, S. M. Lim, Y. J. Choi, B. H. Moon, "A Mobile App(See&Speech) of Correcting Pronunciation for Hearing-Impaired Persons," The Journal of Korean Association of Computer Education, Vol. 18, No. 4, pp.11-18, June 2015.
J. W. Lee, J. W. Ryoo, J. D. Lee, J. H. Choi, "A Study on the Technical Trends of the IoT Home Assistant in Global Market," Journal of the Korea Society of Computer and Information, Vol. 25, No. 1, pp 109-110, January 2017.
M. S. Oh, "Evaluation Research on Smart Mirror UX for Efficient Communication of the IoT Generation," Journal of the Korea Society of Digital Industry and Information Management, Vol. 11, No. 1, pp 121-133, March 2015.
M. S. Oh, "A Study on Analysis of User Behavior and Needs for Efficient Use of a Home Smart Mirror," Journal of the Korea Society of Digital Industry and Information Management, Vol. 12, No. 1, pp 119-129, March 2016.

원문보기 상세보기
Mina Moon, Seonhee Kim, Hyejin Yun, "IoT Construction thorugh Smart Mirror and its Connection with Wearable Devices", Korean Institute of Information Scientists and Engineers, Pyeongchang, 2016.
B. H. Choi, Study on the Values of Smart Mirror Products in the Smart Home Industry, Thesis of master's degree, Graduate School of Business Administration, Sungkyunkwan University, 2013.
E. S. Lee, "Design & Implementation of Lipreading System using Robust Lip Area Extraction," The Journal of Korea Multimedia Society, pp. 524-527, May 2003.
Y. U. Kim, "Real Time Lip Reading System Implementation in Embedded Environment," The Journal of Information Processing Society , Vol 17, No. B, pp. 227 -232, June 2010.
J. S. Lee, "A New Temporal Filtering Method for Improved Automatic Lipreading," The Journal Korean Information Processing Society , Vol 15, No. B, pp. 123 -130, April 2008.
H. M. Park, Articulation training supporting system for the hearing-impaired using a lip shape recognition method, Thesis of master's degree, Department of Computer Engineering, Dongguk University, 2009.
J. S. Yang, K. S. Hong, "A Study on Lip Reading Based on Geometric Facial Feature," The Institute of Electronics and Information Engineers, Daegu, 2016.
K. H. Lee, J. J. Kum, and S. B. Rhee, "Design & Implementation of Lipreading System using the Articulatory Controls Analysis of the Korean 5 Vowels," Journal of the Korea Computer Industry Society, vol. 8, no. 4, pp. 281-288, 2007.
J. Y. Kim, S. H. Min, and S. H. Choi, "Robustness of Bimodal Speech Recognition on Degradation of Lip Parameter Estimation Performance," Journal of the Korean Society of Phonetic Science and Speech Technology, vol. 10, no. 2, pp. 29-33, 2003.
Hwa-Jin Park, "Auditory and Language Training Service Model and Serious Game Contents Design for the hearing-impaired," Journal of Digital Contents Society, vol.12, no.4, pp.467-474, 2011

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증