[논문]음성특징의 거리 개념에 기반한 한국어 모음 음성의 시각화

복거철

doi:10.17661/jkiiect.2019.12.5.512

음성특징의 거리 개념에 기반한 한국어 모음 음성의 시각화
Speech Visualization of Korean Vowels Based on the Distances Among Acoustic Features 원문보기

한국정보전자통신기술학회논문지 = Journal of Korea institute of information, electronics, and communication technology, v.12 no.5, 2019년, pp.512 - 520

복거철 (Division of Computer and IT Instruction, PaiChai University)

초록
AI-Helper

음성을 시각적으로 표현하는 것은 외국어를 습득하는 과정의 학습자나 음성을 직접 들을 수 없는 청각장애자에게 매우 유용하며 기존에 다수의 연구가 이루어졌다. 그러나 기존의 연구들은 발음의 특징을 단지 컬러로 표현한다든가 입모양을 3차원 그래픽으로 표현하거나 입과 구강의 변화하는 형태를 애니메이션으로 보여 주는 방식에 머물러 있다. 따라서 이런 방식을 사용하는 학습자들은 자신의 발음이 표준 발음과 얼마나 멀리 떨어져 있는지 알 수가 없고 더 나아가서 학습 중에 스스로 교정을 해 나가는 시스템을 개발하기가 기술적으로 어려운 단점이 있다. 이를 극복하기 위해 본 논문에서는 음성 간의 상대적 거리를 토대로 음성을 시각화하는 모델을 제시하고, 이를 한국어 모음에 적용하여 모음의 음성적 특징을 이용한 시각화의 구체적인 구현 방법을 제시한다. 음성데이터에서 F1, F2, F3의 세 개의 포먼트를 구하고 이들 특징벡터를 코호넨 자기조직화맵 알고리즘으로 2차원 화면에 사상하여 각 음성을 화면 위의 각 점에 대응하여 표현하였다. 제안하는 시스템의 실제적인 구현은 인터넷에 공개된 음성처리 공개소프트웨어를 사용하고 한국인 교사의 표준 발음과 한국어를 배우고 있는 외국인 유학생의 음성을 이용하여 음성특징의 상호간 거리를 구하였으며, 사용자 인터페이스는 자바스크립트를 이용하여 구현하였다.

Abstract ▼ AI-Helper

It is quite useful to represent speeches visually for learners who study foreign languages as well as the hearing impaired who cannot directly hear speeches, and a number of researches have been presented in the literature. They remain, however, at the level of representing the characteristics of speeches using colors or showing the changing shape of lips and mouth using the animation-based representation. As a result of such approaches, those methods cannot tell the users how far their pronunciations are away from the standard ones, and moreover they make it technically difficult to develop such a system in which users can correct their pronunciation in an interactive manner. In order to address these kind of drawbacks, this paper proposes a speech visualization model based on the relative distance between the user's speech and the standard one, furthermore suggests actual implementation directions by applying the proposed model to the visualization of Korean vowels. The method extract three formants F1, F2, and F3 from speech signals and feed them into the Kohonen's SOM to map the results into 2-D screen and represent each speech as a pint on the screen. We have presented a real system implemented using the open source formant analysis software on the speech of a Korean instructor and several foreign students studying Korean language, in which the user interface was built using the Javascript for the screen display.

주제어

표/그림 (10)

그림 그림 1.한국어 및 영어 모음 공간 (단위: Hz) Fig. 1. Vowel space of Korean and English vowels (Unit: Hz)
그림 그림 2.한국어 음성 교육시스템의 구조도 Fig. 2. System structure of the instructional system for Korean language speeches
그림 그림 3.음성특징의 상대적 거리에 기반한 시각화 화면 Fig. 3. Speech visualization on the screen based on the relative distances among acoustic features
그림 그림 4. /우/ 발음의 음성신호와 스펙트로그램상의 5개의 포먼트. Fig. 4. Speech signal and five formants illustrated on the spectrogram for Korean /u/ pronunciation
그림 그림 5. SOM의 구조. Fig. 5. Structure of SOM
그림 그림 6. (a) /아/ 발음의 SOM 특징맵 (b) 화면 사상 예 Fig. 6. (a) Feature map of /아/ speeches (b) Screen mapping example
그림 그림 7. 표준음성과 사용자 음성의 특성비교 Fig. 7. Comparison of acoustic features between standard pronunciation and the user’s pronunciation
표 표 1. 실험 음성의 포먼트 값 평균(Hz) Table 1. Formant means for speech data(Hz)
그림 그림 8. /에/ 음성의 SOM 특징맵과 화면 사상 예 Fig. 8. Feature map of /에/ speeches and their screen mapping example
그림 그림 9. /오/ 발음의 SOM 특징맵과 화면 사상 예 Fig. 9. Feature map of /오/ speeches and their screen mapping example

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 이런 점을 보완하기 위해 본 논문에서는 학습자의 발음과 표준 발음의 음성특징의 차이를 상대적인 거리 개념을 도입하여 화면에 표시하는 모델을 제시하고, 사용자가 발화를 할 때 마다 실시간으로 자신의 발음이 표준발음으로부터 얼마나 떨어져 있는지 확인을 하고 동시에 자신의 입모양이나 혀의 위치를 변화시켜가면서 표준발음을 스스로 습득하도록 도와주는 시스템 개발의 기반을 제시한다.
본 논문에서는 기존의 음성시각화 방법과 달리 음성의 특징 사이의 상대적 거리를 기반으로 표준발음으로부터 학습자의 발음이 얼마나 많이 떨어져 있는지를 확인할 수 있는 시각화 모델을 제시하였고 이를 한국어 모음에 대해 구체적인 구현을 시행하였다. 3개의 포먼트를 이용한 모음의 특징에 코호넨 자기조직화맵 알고리즘을 적용하여 특징맵을 구한 후 이를 컴퓨터 화면에 사상하는 시스템을 구현하였다.
본 논문에서는 이런 점을 보완하기 위해 음성의 상대적 거리를 시각화하여 실시간으로 보여 주며 학습자/사용자가 표준 발음에 유사하게 발음할 때의 입모양이나 혀의 위치를 스스로 익히고 찾아 낼 수 있는 시각화 시스템을 제시하고자 한다.

가설 설정

1. 연결가중치 w_ij를 0과 1 사이의 난수로 초기화한다.
전처리 작업으로 Hamming window를 곱한 후에 고주파 통과 전극 여과기 (high-pass all pole filter)를 적용한다. 각 프레임의 음성샘플 수를 N으로 표시하고, i 번째 프레임의 n 번째 샘플데이터를 \(s\)_{\(i \)}(\(n\))으로 나타낼 때, LPC 모델은 다음과 같이 현재의 음성신호 값이 이전 p개의 음성샘플 값의 선형조합으로 근사적인 표현을 할 수 있다는 가정을 한다.

제안 방법

본 논문에서는 기존의 음성시각화 방법과 달리 음성의 특징 사이의 상대적 거리를 기반으로 표준발음으로부터 학습자의 발음이 얼마나 많이 떨어져 있는지를 확인할 수 있는 시각화 모델을 제시하였고 이를 한국어 모음에 대해 구체적인 구현을 시행하였다. 3개의 포먼트를 이용한 모음의 특징에 코호넨 자기조직화맵 알고리즘을 적용하여 특징맵을 구한 후 이를 컴퓨터 화면에 사상하는 시스템을 구현하였다. 실험을 통해 3개의 포먼트를 이용하면 각 모음의 조밀한 클러스터를 얻을 수 있음을 확인하였다.
각 발음에 대해 30개의 음성데이터에서 추출한 특징벡터를 가지고 SOM 특징맵을 구하였다. 그림 6(a)는 /아/ 발음에 대한 특징맵을 보여준다.
그림 4에서 보듯이 포먼트 값은 균일하게 지속되지 않고 측정지점에 따라 값이 다르기 때문에 본 논문에서는 음성구간의 1/3 지점에서 포먼트 값을 측정값으로 정하였다 [2, 10].
음성 자료의 샘플링 주파수는 11,025Hz로 설정하고 모음구간은 STE(short time energy)와 STZCR(short time zero crossing rate)를 이용하여 구하였다. STE는 유한 구간에서 신호의 에너지를 나타나며 다음과 같이 정의된다.
음성구간을 지정한 후 오픈소프트웨어 Deep Phonetic Tools의 모듈을 사용하여 각 음성데이터에 대해 F1, F2, F3의 세 개의 포먼트를 구하였다. 즉, 각 모음별로 수집한 각 발음군의 10개 음성에서 포먼트값을 구했으며 이들 10개 포먼트값에 대한 평균은 표 1에 정리하였다.
이 시스템은 크게 음성인식 모듈, 인터페이스 모듈, 데이터서버 모듈의 3부분으로 구성되었으며 본 논문에서 연구하는 부분은 인터페이스 모듈의 음성 시각화하는 부분으로서 그림 3에 자세히 나타내었다.
따라서 그림 9의 /오/ 발음 같이 학습자 음성들이 조밀한 클러스터를 형성하지 않는 경우를 대비하여 학습자의 샘플데이터를 충분하게 수집하는 대책이 마련되어야 한다. 이와 같이 한국어 모음에 대해 F1, F2, F3의 3개 포먼트를 사용하여 구현한 시스템은 대체적으로 조밀한 클러스터를 형성하고 이를 이용하여 학습자의 발음이 표준발음으로부터 얼마나 떨어져 있는지 스스로 학습하면서 인지할 수 있는 시스템을 구현해 보였다.
주어진 한 글자/단어에 대해 여러 화자의 표준발음을 노란색 점으로 표시하고 학습자의 발음은 파란 색으로 표시하였다. 학습자는 빨간 화살표로 궤적을 표시한 것 같이 자기 발음이 표준 발음으로부터 상대적으로 얼마나 멀리 떨어져 있는지 실시간으로 관찰하면서 입의 모양과 혀의 위치를 변화시켜가며 표준 발음을 향해 교정해 나갈 수 있다.
실험을 위한 음성자료는 한국인 남성 교사와 P대학교에 유학 중인 외국인 남학생 10명의 발음을 녹음하여 수집하였다. 한국인 교사의 표준발음 녹음은 비교적 방음이 잘되어 있는 방에서 헤드셋 마이크를 이용하여 녹음을 하였고, 학습자 발음은 잡음 환경하의 발음을 수집하려는 목적으로 유학생들의 개인 스마트폰을 이용하여 녹음하였다.

대상 데이터

한국어 모음 중에 /아, 에, 이, 오, 우/의 다섯 모음을 각각 5회씩 발성하여 녹음을 하고, 이 중에서 발음이 명확하지 않은 것을 제외하고 실험 데이터를 구성하였다. 실험데이터의 구성은 각 모음에 대해 세 개의 그룹으로 나누어 표준 발음 10개 (표준발음군),학습자 발음 중 표준발음에 가까운 발음 10개 (발음군 1), 표준 발음에서 비교적 멀리 떨어진 발음 10개(발음군 2)로 선택하여 구성하였다.
실험을 위한 음성자료는 한국인 남성 교사와 P대학교에 유학 중인 외국인 남학생 10명의 발음을 녹음하여 수집하였다. 한국인 교사의 표준발음 녹음은 비교적 방음이 잘되어 있는 방에서 헤드셋 마이크를 이용하여 녹음을 하였고, 학습자 발음은 잡음 환경하의 발음을 수집하려는 목적으로 유학생들의 개인 스마트폰을 이용하여 녹음하였다.
한국어 모음 중에 /아, 에, 이, 오, 우/의 다섯 모음을 각각 5회씩 발성하여 녹음을 하고, 이 중에서 발음이 명확하지 않은 것을 제외하고 실험 데이터를 구성하였다. 실험데이터의 구성은 각 모음에 대해 세 개의 그룹으로 나누어 표준 발음 10개 (표준발음군),학습자 발음 중 표준발음에 가까운 발음 10개 (발음군 1), 표준 발음에서 비교적 멀리 떨어진 발음 10개(발음군 2)로 선택하여 구성하였다.

이론/모형

제안한 방법을 수집한 음성 데이터를 사용하여 실제로 구현하기 위해 다음과 같이 실험을 진행하였다. 음성특징 추출은 공개 소프트웨어인 Deep Phonetic Tools[14] 사용하였다.

성능/효과

3개의 포먼트를 이용한 모음의 특징에 코호넨 자기조직화맵 알고리즘을 적용하여 특징맵을 구한 후 이를 컴퓨터 화면에 사상하는 시스템을 구현하였다. 실험을 통해 3개의 포먼트를 이용하면 각 모음의 조밀한 클러스터를 얻을 수 있음을 확인하였다. 이를 그림 2에서 제시한 한국어 발음 교육시스템 상의 사용자인터페이스에 적용하면 외국인을 위한 발음교정이나 장애인을 위한 발음교육에 유용하게 사용할 수 있을 것으로 기대되며, 특히 본 연구의 후속으로 이어질 연구에서 학습자 스스로 발성을 연습하면서 실시간으로 교정이 가능한 발음 교육시스템을 개발하는 토대가 된다.

후속연구

실험을 통해 3개의 포먼트를 이용하면 각 모음의 조밀한 클러스터를 얻을 수 있음을 확인하였다. 이를 그림 2에서 제시한 한국어 발음 교육시스템 상의 사용자인터페이스에 적용하면 외국인을 위한 발음교정이나 장애인을 위한 발음교육에 유용하게 사용할 수 있을 것으로 기대되며, 특히 본 연구의 후속으로 이어질 연구에서 학습자 스스로 발성을 연습하면서 실시간으로 교정이 가능한 발음 교육시스템을 개발하는 토대가 된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	모음의 조음 위치는 어떻게 예측하였는가?	전통적으로 모음의 조음 위치는 모음사각도로 표현 되는 모음공간을 이용하여 예측하여 왔다. 그러나 이 방법은 상대적인 모음 위치를 표시할 뿐이고 정확한 조음 위치를 반영하지 못하는 단점이 있으며, 이런 단점을 보완하기 위하여 음향학적인 관점에서 모음을 분석하려는 시도로서 포먼트(formant) 주파수 분석 기법이 제시되었다[2].
	포먼트란 무엇인가?	포먼트는 폐로부터 나오는 공기의 흐름이 성대를 진동시키며 발생시킨 음원이 성도를 지나는 동안 필터링 과정을 거치면서 만들어내는 공명주파수를 의미한다[3]. 포먼트 값은 성도의 길이에 따라 다른 값을 가지기 때문에 남녀화자의 포먼트 값이 차이가 나지만 포먼트 크기를 정규화한 값은 일정한 비율로 변화하고 동일한 간격을 유지한다는 사실로부터 모든 화자들의 성도 모양은 거의 비슷하다는 것을 알 수 있다[3].
	모음공간을 이용하여 예측하는 방법의 단점은 무엇인가?	전통적으로 모음의 조음 위치는 모음사각도로 표현 되는 모음공간을 이용하여 예측하여 왔다. 그러나 이 방법은 상대적인 모음 위치를 표시할 뿐이고 정확한 조음 위치를 반영하지 못하는 단점이 있으며, 이런 단점을 보완하기 위하여 음향학적인 관점에서 모음을 분석하려는 시도로서 포먼트(formant) 주파수 분석 기법이 제시되었다[2].

참고문헌 (14)

G. J. Borden, K. S. Harris, and L. J. Raphael, Speech science primer: physiology, acoustics, and perception of speech (Kim et al., Trans.), Seoul: Hankookmunhwasa, 2000.
H.-Y. Sim , C.-H. Choi and S. H. Choi, "Characteristics of Vowel Formants, Vowel Space, and Speech Intelligibility Produced by Children Aged 3-6 Years," Audiology and Speech Research, vol.12, no. 4, pp. 260-269, 2016.

상세보기
B. Yang, "A study on vowel formant variation by vocal tract modification," Phonetics and Speech Sciences vol. 3, no. 4, pp. 83-92, 1998.
G. C, Yoon "A Comparative Study on the Male and Female Vowel Formants of the Korean Corpus of Spontaneous Speech," Phonetics and Speech Sciences vol. 7, no. 2, pp. 131-138, 2015.
A. Watanabe, S. Tomishige, and M. Nakatake "Speech Visualization by Integrating Features for the Hearing Impaired", IEEE Trans. Speech Audio Proc., vol 8, no 4, pp. 454-466, 2000.
J. Beskow, O. Engwall, B. Granstrom, P. Nordqvist, and P. Wik, "Visualization of Speech and Audio for Hearing Impaired Persons," Technology and Disability, vol 20, pp. 97-107, 2008.

상세보기
Y. Ueda, T. Sakada, and A. Watanabe, "Real-time Speech Visualization System for Speech Training and Diagnosis," Audio Engineering Society Convention Paper 8184, 2010 November 4, San Fransico, USA.
D. S. Kim, T. H. Lee, and D. M. Lee, "An ambient display for hearing impaired people," Proc. Human Computer Interface Korea (HCI2006), pp.46 - 51, 2006.
J.-H. Lee and H.-J. Chung, "A Study on Frequency Characteristics of Korean Phonemes," Audiology, 제1권, pp. 59-66, 2005.
P. Denes and E. Pinson, The Speech Chain, W. H. Freeman and Company, (Ko et al., Trans.) 1995.
B. Yang, "Formant Measurements of Complex Waves and Vowels Produced by Students," Phonetics and Speech Sciences vol. 15, no. 3, pp. 39-52, 2008.
Y. Dissen, J. Goldberg, and J. Keshet, "Formant Estimation and Tracking: A Deep Learning Approach", J. Acoustic Society, vol.145, no.2, pp.1-11, 2019.
Kohonen, "Clustering, taxonomy, and topological maps of patterns," Proc. 6th Int. Conf. on Pattern Recognition, pp. 114-128, Washington, DC. IEEE Computer Soc. Press.
State-of-the-art accurate phonetic tools based on machine-learning, https://mlspeech.github.io/index.html.

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증