[논문]청각장애인을 위한 음성인식 기반 메시지 전송 시스템

김성진; 조경우; 오창헌

doi:10.6109/jkiice.2018.22.12.1604

청각장애인을 위한 음성인식 기반 메시지 전송 시스템
Speech Recognition based Message Transmission System for the Hearing Impaired Persons 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.22 no.12, 2018년, pp.1604 - 1610

김성진 (Department of Electrical, Electronics & Communication Engineering, Korea University of Technology and Education(KOREATECH)) , 조경우 (Department of Electrical, Electronics & Communication Engineering, Korea University of Technology and Education(KOREATECH)) , 오창헌 (Department of Electrical, Electronics & Communication Engineering, Korea University of Technology and Education(KOREATECH))

초록
AI-Helper

음성인식 서비스는 청각장애인에게 화자의 음성을 텍스트로 변환하여 시각화함으로써 의사소통의 보조적인 수단으로 사용되고 있다. 하지만 강의실 및 회의실과 같은 개방된 환경에서는 다수의 청각장애인에게 음성인식 서비스를 제공하기 힘들다. 이를 위해 주변 환경에 따라 음성 인식 서비스를 효율적으로 제공하기 위한 방법이 필요하다. 본 논문에서는 화자의 음성을 인식하여 변환된 텍스트를 다수의 청각장애인에게 메시지로 전달하는 시스템을 제안한다. 제안하는 시스템은 다수의 사용자에게 동시에 메시지를 전달하기 위해 MQTT 프로토콜을 사용한다. MQTT 프로토콜의 QoS level 설정에 따른 제안 시스템의 서비스 지연을 확인하기 위해 종단 간 지연을 측정하였다. 측정 결과 가장 신뢰성이 높은 QoS level 2와 0간의 지연이 111ms로 대화 인식에 큰 영향을 끼치지 않음을 확인하였다.

Abstract ▼ AI-Helper

The speech recognition service is used as an ancillary means of communication by converting and visualizing the speaker's voice into text to the hearing impaired persons. However, in open environments such as classrooms and conference rooms it is difficult to provide speech recognition service to many hearing impaired persons. For this, a method is needed to efficiently provide it according to the surrounding environment. In this paper, we propose a system that recognizes the speaker's voice and transmits the converted text to many hearing impaired persons as messages. The proposed system uses the MQTT protocol to deliver messages to many users at the same time. The end-to-end delay was measured to confirm the service delay of the proposed system according to the QoS level setting of the MQTT protocol. As a result of the measurement, the delay between the most reliable Qos level 2 and 0 is 111ms, confirming that it does not have a great influence on conversation recognition.

주제어

표/그림 (8)

그림 Fig. 1 Publish/Subscribe Model
그림 Fig. 2 Speech Recognition based Message Transmission Scenario for the Hearing Impaired Persons
그림 Fig. 3 System Configuration
그림 Fig. 4 Process Flow Chart of Speech Recognition System
그림 Fig. 5 Android Applications
그림 Fig. 6 Experiment Environment
그림 Fig. 7 Screen of Each Smartphone
그림 Fig. 8 End-to-End Delay According to QoS Level of Each Smartphone

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 강의실 및 회의실에서 청각장애인들의 원활한 의사소통을 지원하기 위해 음성인식 기반 메시지 전송 시스템을 제안하였다. 제안한 시스템은 화자와 가까운 마이크를 통해 인식된 음성을 텍스트로 변환한다.
본 논문에서는 청각장애인을 위한 음성인식 기반 메시지 전송 시스템을 제안한다. 제안하는 시스템은 강의실 및 회의실에서 화자와 가까운 마이크에서 인식된 음성을 인식하여 텍스트로 변환한다.

제안 방법

또한, 고급신호처리 및 잡음 제거 등의 오디오 전처리 과정을 수행하여 음성 인식률을 높인다 [13]. Broker는 mosquitto 1.5.1을 사용하여 구현하였으며, MQTT 기능 구현은 paho 라이브러리를 통해 구현하였다 [14],[15].
Broker로부터 전달받은 메시지를 시각화하기 위해 안드로이드 애플리케이션을 구현하였다. 그림 5는 구현된 안드로이드 애플리케이션의 화면이다.
‘SmartHear’은 주변 소음 및 잔향을 줄이기 위해 청취자의 귀에 직접 화자의 음성을 스마트폰의 블루투스 및 Wi-Fi(Wireless-Fidelity)를 통해 전송한다. 또한 시각적 보조를 위해 전달받은 음성을 텍스트로 변환하는 기능을 구현하였다 [6]. C.
실험 결과 구독 시점에 따라 화자의 인식된 음성이 각 스마트폰을 통해 메시지로 변환되어 전달됨을 확인하였다. 또한, QoS level 설정에 따른 종단 간 지연을 측정하여 제안한 시스템의 서비스 지연을 확인하였다. 가장 신뢰성이 높은 QoS level 2와 0간의 지연은 111ms로 나타났으나, 대화 인식에 큰 영향을 끼치는 정도의 지연을 발생되지 않았다.
메시지 전달을 위한 토픽은 ‘test_class’로 설정하였으며, 마이크로 음성을 인식시킨 뒤 청자 device들의 구독 시점을 달리하였다.
제안하는 방법은 단일 마이크 기반 IBM(Ideal Binary Mask)를 사용하여 음성 신호를 분리한다. 분리된 음성신호는 잡음을 추출하기 위해 DNN(Deep Neural Network)를 이용하여 학습 및 훈련하였다 [2]. R.
그림 3은 제안하는 시스템에 대한 구성도이다. 음성인식 시스템은 raspberry pi3을 통해 구현하였으며, 화자의 음성을 전달받기 위해 마이크를 부착하였다. 음성인식을 위해 google cloud 서비스 중 하나인 google speech-to-text를 사용한다.
변환된 텍스트는 청각장애인에게 메시지로 전달된다. 이 때 강의실 및 회의실과 같은 개방된 환경에서 다수의 청각장애인이 동시에 텍스트를 전달받을 수 있도록 MQTT(Message Queue Telemetry Transport) 프로토콜을 이용하여 메시지를 전송한다. MQTT는 publish/subscribe 모델 구조를 통해 다수의 장치에서 동일한 토픽을 구독하는 경우 동시에 메시지를 수신할 수 있다 [10].
제안하는 시스템은 비전 기반 접근 방식을 사용하여 손 모양, 움직임, 위치로부터 다양한 특징 벡터를 추출한다. 인식 단계에서 해당 특징 벡터를 HMM(Hidden Markov Model)를 통해 학습한 뒤, 학습된 모델을 통해 실시간 수화 인식 시스템을 구현하였다[3]. D.
Healy의 연구에서는 보청기 및 인공와우와 같은 장치에서 주변 소음을 완화하기 위한 방법을 제안하였다. 제안하는 방법은 단일 마이크 기반 IBM(Ideal Binary Mask)를 사용하여 음성 신호를 분리한다. 분리된 음성신호는 잡음을 추출하기 위해 DNN(Deep Neural Network)를 이용하여 학습 및 훈련하였다 [2].
Reddy의 연구에서는 보청기로 전달되는 주변 잡음을 줄이기 위한 방법을 제안하였다. 제안하는 방법은 보청기 장치를 대신하여 스마트폰에서 잡음 및 음성 왜곡에 대한 복잡한 연산 처리를 수행한다 [9].
본 논문에서는 청각장애인을 위한 음성인식 기반 메시지 전송 시스템을 제안한다. 제안하는 시스템은 강의실 및 회의실에서 화자와 가까운 마이크에서 인식된 음성을 인식하여 텍스트로 변환한다. 변환된 텍스트는 청각장애인에게 메시지로 전달된다.
Akmeliawati의 연구에서는 청각장애인을 위한 자동 수화 통역 시스템을 제안하였다. 제안하는 시스템은 비전 기반 접근 방식을 사용하여 손 모양, 움직임, 위치로부터 다양한 특징 벡터를 추출한다. 인식 단계에서 해당 특징 벡터를 HMM(Hidden Markov Model)를 통해 학습한 뒤, 학습된 모델을 통해 실시간 수화 인식 시스템을 구현하였다[3].
Speech-to-text를 통해 변환된 텍스트는 broker로 전달되어 해당하는 토픽 명에 게시되며, 해당 토픽을 구독한 다수의 청각장애인에게 텍스트 메시지 형태로 전달된다. 제안하는 시스템의 검증을 위해 마이크로 음성을 인식시켜 서로 다른 시점에 토픽을 구독하였을 때의 메시지 응답을 확인하였다. 실험 결과 구독 시점에 따라 화자의 인식된 음성이 각 스마트폰을 통해 메시지로 변환되어 전달됨을 확인하였다.
본 논문에서는 강의실 및 회의실에서 청각장애인들의 원활한 의사소통을 지원하기 위해 음성인식 기반 메시지 전송 시스템을 제안하였다. 제안한 시스템은 화자와 가까운 마이크를 통해 인식된 음성을 텍스트로 변환한다. 변환된 텍스트는 다수의 청각장애인에게 동시다발적으로 메시지 전송이 가능하도록 MQTT 프로토콜을 통해 스마트폰으로 전달된다.
제안한 시스템의 서비스 지연을 확인하기 위해 QoS level에 따른 종단 간 지연을 확인하였다. 그림 8은 speech-to-text module과 청자 device들의 QoS level에 따른 종단 간 지연을 나타낸다.
메시지 전송의 신뢰성을 보장하기 위해 QoS level 0, 1, 2의 설정이 가능하며, 높은 level이 적용될수록 메시지 전달의 신뢰성이 높다. 하지만 높은 QoS level의 경우 신뢰성을 보장하기 위해 4-way handshake 방식을 사용하여 메시지 전달간의 지연이 발생할 수 있어 QoS level에 따른 종단 간 지연 측정을 통해 제안 시스템의 MQTT 적용을 검토한다.

대상 데이터

실험에 사용되는 스마트폰 device 1, 2, 3, 4는 각각 SM-N910K, SM-G950N, SM-N900K, LG-F320S를 사용하였다. 음성인식 시스템에 부착된 마이크는 elecrow 사의 RPA02198R 제품을 사용하였다.
음성인식 시스템에 부착된 마이크는 elecrow 사의 RPA02198R 제품을 사용하였다.

이론/모형

음성인식 시스템은 raspberry pi3을 통해 구현하였으며, 화자의 음성을 전달받기 위해 마이크를 부착하였다. 음성인식을 위해 google cloud 서비스 중 하나인 google speech-to-text를 사용한다. Google speech-to-text는 신경망 모델을 통해 오디오를 텍스트로 변환한다.

성능/효과

또한, QoS level 설정에 따른 종단 간 지연을 측정하여 제안한 시스템의 서비스 지연을 확인하였다. 가장 신뢰성이 높은 QoS level 2와 0간의 지연은 111ms로 나타났으나, 대화 인식에 큰 영향을 끼치는 정도의 지연을 발생되지 않았다. 향후 연구로는 제안하는 시스템의 음성인식률 향상을 위해 외부 잡음 제거에 대한 연구를 진행할 계획이다.
가장 신뢰성이 높은 level 2의 경우 level 0보다 111ms의 지연이 발생되나, 대화 인식에 큰 영향을 끼치는 정도의 지연은 발생되지 않았다. 따라서 제안하는 시스템을 적용할 때 MQTT의 QoS level 설정에 따른 서비스 지연으로 인한 불편함은 낮을 것으로 판단된다.
실험 결과 각 device의 토픽 구독 시점을 기준으로 인식된 음성이 텍스트로 변환되어 청자 device로 전달됨을 확인할 수 있다. 또한 03:50:11 시점 이후의 메시지를 관찰하면 각 device로 하나의 메시지가 전달되는 과정에서 최대 1초의 차이를 가지며 메시지가 전달된 것을 확인할 수 있다.
(a)와 (b) device는 동일한 시간에 구독 요청을 수행하였으며, (c)와 (d) 디바이스의 경우 (a), (b) 디바이스와 다른 시간에 구독 요청을 수행하였다. 실험 결과 각 device의 토픽 구독 시점을 기준으로 인식된 음성이 텍스트로 변환되어 청자 device로 전달됨을 확인할 수 있다. 또한 03:50:11 시점 이후의 메시지를 관찰하면 각 device로 하나의 메시지가 전달되는 과정에서 최대 1초의 차이를 가지며 메시지가 전달된 것을 확인할 수 있다.
제안하는 시스템의 검증을 위해 마이크로 음성을 인식시켜 서로 다른 시점에 토픽을 구독하였을 때의 메시지 응답을 확인하였다. 실험 결과 구독 시점에 따라 화자의 인식된 음성이 각 스마트폰을 통해 메시지로 변환되어 전달됨을 확인하였다. 또한, QoS level 설정에 따른 종단 간 지연을 측정하여 제안한 시스템의 서비스 지연을 확인하였다.
제안한 시스템에서 MQTT 적용에 대한 검토를 위해 4대의 사용자 어플리케이션이 다른 시점에 토픽을 구독하였을 때의 메시지 응답과 QoS level 설정에 따른 종단간 지연을 통해 서비스 지연을 확인하였다. QoS level의 경우 화자의 speech-to-text module과 청자 device들의 QoS level을 동일하게 설정하였다.

후속연구

향후 연구로는 제안하는 시스템의 음성인식률 향상을 위해 외부 잡음 제거에 대한 연구를 진행할 계획이다. 또한 실질적인 서비스 운용이 가능하도록 사용자 어플리케이션의 인터페이스를 설계할 예정이다.
하지만 강의실 및 회의실과 같은 개방된 환경에서 다수의 청각장애인에게 음성 인식 서비스를 제공하기는 어렵다 [6-9]. 청각장애인에게 음성인식 서비스를 제공하기 위해서는 주변 환경을 고려하고, 효율적으로 청각장애인들에게 음성 인식 결과를 전달하는 방법에 대한 연구가 필요하다.
가장 신뢰성이 높은 QoS level 2와 0간의 지연은 111ms로 나타났으나, 대화 인식에 큰 영향을 끼치는 정도의 지연을 발생되지 않았다. 향후 연구로는 제안하는 시스템의 음성인식률 향상을 위해 외부 잡음 제거에 대한 연구를 진행할 계획이다. 또한 실질적인 서비스 운용이 가능하도록 사용자 어플리케이션의 인터페이스를 설계할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	음성 인식 서비스의 한계?	음성인식 서비스는 대부분 스마트폰을 활용하여 스마트폰에 내장된 마이크로 화자의 음성을 인식한다. 하지만 강의실 및 회의실과 같은 개방된 환경에서 다수의 청각장애인에게 음성 인식 서비스를 제공하기는 어렵다 [6-9]. 청각장애인에게 음성인식 서비스를 제공하기 위해서는 주변 환경을 고려하고, 효율적으로 청각장애인들에게 음성 인식 결과를 전달하는 방법에 대한 연구가 필요하다.
	음성인식 기반 메시지 전송 시스템에서 사용되는 프로토콜은?	변환된 텍스트는 청각장애인에게 메시지로 전달된다. 이 때 강의실 및 회의실과 같은 개방된 환경에서 다수의 청각장애인이 동시에 텍스트를 전달받을 수 있도록 MQTT(Message Queue Telemetry Transport) 프로토콜을 이용하여 메시지를 전송한다. MQTT는 publish/subscribe 모델 구조를 통해 다수의 장치에서 동일한 토픽을 구독하는 경우 동시에 메시지를 수신할 수 있다 [10].
	음성인식 서비스란?	청각장애인을 위해 보청기 및 인공와우와 같은 장치, 의사소통 보조 서비스 등의 연구가 진행되고 있다 [1-5]. 이러한 서비스 중 음성인식 서비스의 경우 화자의 음성을 텍스트로 시각화하여 청각장애인의 의사소통 보조수단으로 사용할 수 있다. 음성인식 서비스는 대부분 스마트폰을 활용하여 스마트폰에 내장된 마이크로 화자의 음성을 인식한다.

참고문헌 (15)

T. Aujeszky, and M. Eid, "A gesture recogintion architecture for arabic sign language communication system," Multimedia Tools and Applications, vol. 75, no. 14, pp. 8493-8511, Jul. 2016.

상세보기
E. W. Healy, and S. E. Yoho, "Difficulty understanding speech in noise by the hearing impaired: underlying causes and technological solutions," in Proceedings of the 38th Annual International Conference of The IEEE in Medicine and Biology Society, pp. 89-92, Orlando: Florida, 2016.
R. Akmeliawati, D. Bailey, S. Bilal, S. Demidenko, N. Gamage, S. Khan, Y. C. Kuang, M. Ooi, and G. S. Gupta, "Assistive technology for relieving communication lumber between hearing/speech impaired and hearing people," The Journal of Engineering, vol. 2014, no. 6, pp. 312-323, Jun. 2014.
D. Watanabe, Y. Takeuchim, T. Matsumoto, H. Kudo, and N. Ohnishi, "Communication support system of smart glasses for the hearing impaired," in Proceedings of the 16th International Conference on Computers Helping People with Special Needs, Linz: Austria, pp. 225-232, Jul. 2018.
S. E. Han, S. A. Kim, and G. H. Hwang, "E-book to sign-language translation program based on morpheme analysis," Journal of Korea Institute of Information and Communication Engineering, vol. 21, no. 2, pp. 461-467, 2017.
A. Chern, Y. H. Lai, Y. P. Chang, Y. Tsao, R. Y. Chang, and H. W. Chang, "A smartphone-based multi-functional hearing assistive system to facilitate speech recognition in the classroom," IEEE Access, vol. 5, pp. 10339-10351, Jun. 2017.

상세보기
P. Patil, and J. Prajapat, "Implementation of a real time communication system for deaf people using internet of things," in Proceedings of the International Conference on Trends in Electronics and Informatics, Tirunelveli: India, pp. 313-316, May 2017.
J. Ming, and D. Crookes, "Speech enhancement based on full-sentence correlation and clean speech recognition," IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 25, no. 3, pp. 531-543, Mar. 2017.

상세보기
C. K. A. Reddy, N. Shankar, G. S. Bhat, R. Charan, and I. Panahi, "An individualized super-gaussian single microphone speech enhancement for hearing aid users with smartphone as an assistive device," IEEE Signal Processing Letters, vol. 24, no. 11, pp. 1601-1605, Nov. 2017.

상세보기
OASIS Standard, MQTT version 3.1.1[Internet], Available: http://docs.oasis-open.org/mqtt/mqtt/v3.1.1/mqtt-v3.1.1.html.
Y. T. Lee, W. H. Hsiao, C. M. Huang, and S. C. T. Chou, "An integrated cloud-based smart home management system with community hierarchy," IEEE Transactions on Consumer Electronics, vol. 62, no. 1, pp. 1-9, Feb. 2016.

상세보기
S. H. Kim, D. H. Kim, H. S. Oh, H. S. Jeon, and H. J. Park, "The data collection solution based on MQTT for stable IoT platforms," Journal of Korea Institute of Information and Communication Engineering, vol. 20, no. 4, pp. 728-738, Apr. 2016.
Google Cloud, Cloud Speech-to-Text[Internet], Available: https://cloud.google.com/speech-to-text/.
Mosquitto, Mosquitto[Internet], Available: http://mosquitto-.org/.
eclipse paho, paho[Internet], Available: http://eclipse.org-/paho/.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증