[논문]한국어 화자의 영어 양순음 /b/와 순치음 /v/ 식별에서 시각 단서의 효과

김윤현; 고성룡

doi:10.13064/ksss.2012.4.3.025

한국어 화자의 영어 양순음 /b/와 순치음 /v/ 식별에서 시각 단서의 효과
The Effect of Visual Cues in the Identification of the English Consonants /b/ and /v/ by Native Korean Speakers 원문보기

말소리와 음성과학 = Phonetics and speech sciences, v.4 no.3, 2012년, pp.25 - 30

Abstract ▼ AI-Helper

This study investigated whether native Korean listeners could use visual cues for the identification of the English consonants /b/ and /v/. Both auditory and audiovisual tokens of word minimal pairs in which the target phonemes were located in word-initial or word-medial position were used. Participants were instructed to decide which consonant they heard in $2{\times}2$ conditions: cue (audio-only, audiovisual) and location (word-initial, word-medial). Mean identification scores were significantly higher for audiovisual than audio-only condition and for word-initial than word-medial condition. Also, according to signal detection theory, sensitivity, d', and response bias, c were calculated based on both hit rates and false alarm rates. The measures showed that the higher identification rate in the audiovisual condition was related with an increase in sensitivity. There were no significant differences in response bias measures across conditions. This result suggests that native Korean speakers can use visual cues while identifying confusing non-native phonemic contrasts. Visual cues can enhance non-native speech perception.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

또, 식별해야 할 음소가 단어의 머리에 나올 때와 단어의 중간에 나올 때 시각 단서의 활용 정도가 같은지 다른지 검토하였다. 단어 내 위치처럼 음소가 놓인 환경에 따라 같은 음소라도 식별률이 다르다.
시각 단서 유무에 따른 식별률의 차이가 음소에 대한 민감도 차이와 관련 있는지 혹은 참여자들 반응 기준의 편중과 관련 있는지 살펴보았다. 민감도와 반응 편중의 계산에는 베이지안 분석 방법을 썼다(Dennis, Lee, & Kinnell, 2008; Lee, 2008).
파열음인 /b/는 다물었던 두 입술을 터뜨려 나오는 말소리이고, /v/는 마찰음으로 윗니를 아래 입술에 살짝 댄 채로 공기를 그 좁은 틈으로 새나오게 해서 만드는 말소리이다. 외국어 말소리를 들을 때 발음하고 있는 입 모양도 볼 수 있다면 말소리만 들을 때에 비해 어떤 말소리인지 더 잘 식별할 수 있을까? 이 연구는 한국어 화자에게 영어 음소 /b/와 /v/를 식별하도록 할 때, 발음하고 있는 사람의 얼굴을 함께 보여 주는 것이 식별에 효과적인지, 그리고 시각 단서가 식별에 미치는 영향이 낱말에서 음소의 위치(단어 머리 vs. 단어 내)에 따라 차이가 있는지를 조사하였다.
한국어 화자들이 영어 유음 /r/과 /l/을 식별할 때 시각 단서는 별로 도움이 되지 않았다(예, Hazan 등, 2006). 이 연구에서는 /r/, /l/보다 조음 동작의 차이가 시각적으로 더 분명하게 드러나는 /b/와 /v/를 이용하여 한국어 화자들이 이 두 음소를 식별할 때 시각 단서를 활용할 수 있는지 조사하였다. 시각 단서의 활용에 식별하려는 외국어 말소리와 모국어 말소리의 음성 또는 조음 자질들의 관계가 중요하다면, 한국어는 유성음인 양순음이 없다는 점에서 일본어에 비해 영어와 더 다르기 때문에 한국어 화자의 경우에는 일본어 화자에 비해 시각 단서 효과가 없거나 작아야 할 것이다.
이 연구의 목적은 한국어 화자가 모국어에 없는 외국어 말소리를 식별할 때 시각 단서를 활용할 수 있는지 살펴보는 것이다. 한국어 화자들이 영어 유음 /r/과 /l/을 식별할 때 시각 단서는 별로 도움이 되지 않았다(예, Hazan 등, 2006).

제안 방법

얼굴 영상 제시 여부(A 조건-음성만 제시, AV 조건-얼굴과 음성을 함께 제시)와 표적 음소 위치(i 조건-단어의 첫 음소가 표적 자극, m 조건-단어의 두 번째 음절 첫 음소가 표적 자극)의 효과를 조사하였다. A 조건과 AV 조건의 제시 순서는 참여자 간 상쇄되도록 하였고, A 조건(또는 AV 조건) 내에서 i 조건, m 조건 순으로 자극을 제시하였다. 참여자는 빈 영상+ 음성 또는 얼굴 영상+음성으로 제시되는 단어의 처음 또는 중간의 음소가 /b/인지 /v/인지 판단하여 해당키를 누르라는 지시를 받았다.
단어별로 조음 동작 관련 시각 정보가 담긴 비디오 파일을 만들었으며, 각 파일의 시작과 끝 장면은 중립적인 얼굴 표정이 표시되도록 편집하였다. 각 자극의 영상은 250*300 픽셀, 25 프레임/초, 그리고 음성은 표본추출률 22,050 Hz로 만들었다. 음성만 제시되는 자극은 영상과 음성이 동시에 제시되는 자극에서 음성만 추출한 것으로, 이 자극이 제시될 때 모니터에는 검은색 화면이 표시되었다.
4명(남자 2명, 여자 2명)의 영어(British English) 화자들이 각각의 단어를 발음하였다. 단어별로 조음 동작 관련 시각 정보가 담긴 비디오 파일을 만들었으며, 각 파일의 시작과 끝 장면은 중립적인 얼굴 표정이 표시되도록 편집하였다. 각 자극의 영상은 250*300 픽셀, 25 프레임/초, 그리고 음성은 표본추출률 22,050 Hz로 만들었다.
⁵⁾ 그 결과, 평균 민감도는 음소가 어두에 나오고 청각 단서와 시간 단서가 함께 제시되었을 때 가장 높았고, 음소가 어중에 나오고 말소리만 제시된 조건에서 가장 낮았다<표 1>. 민감도와 반응 편중에 대하여 시각 단서 유무(음성만 제시, 음성과 얼굴 영상 동시 제시), 음소 위치(단어의 초두, 단어의 중간)가 변인인 반복측정 이원변량분석을 실시하였다. 민감도에서 시각 단서 유무와 음소 위치의 주효과가 각각 유의하였다 [시각 단서: F(1, 17) = 7.
]. 식별율의 차이가 음소들에 대한 민감도 이외에 참여자들의 반응 결정 기준 때문에 생긴 것인지 보기 위해 반응 편중 값을 분석하였다. 두 요인의 주효과는 모두 유의하지 않았다 [시각 단서: F(1, 17) = .
얼굴 영상 제시 여부(A 조건-음성만 제시, AV 조건-얼굴과 음성을 함께 제시)와 표적 음소 위치(i 조건-단어의 첫 음소가 표적 자극, m 조건-단어의 두 번째 음절 첫 음소가 표적 자극)의 효과를 조사하였다. A 조건과 AV 조건의 제시 순서는 참여자 간 상쇄되도록 하였고, A 조건(또는 AV 조건) 내에서 i 조건, m 조건 순으로 자극을 제시하였다.
영아는 생후 4, 5 개월이 되면 말소리에 맞는 얼굴의 움직임을 옳게 탐지해낼 수 있다(Kuhl & Meltzoff, 1982). 연구자 들은 /a/ 또는 /i/ 모음을 들려주면서 모니터에 각 모음을 조음하는 두 얼굴을 제시한 다음, 영아들이 어느 쪽을 보는지 조사하였다. 영아들은 들려진 모음에 맞게 조음하는 얼굴 쪽을 더 오래 응시하였다.
실험 프로그램은 DMDX 소프트웨어로 작성되었다(Forster, 2003). 참여자들은 사운드카드에 연결된 헤드폰(Sennheiser HD212Pro)을 통해 음성 자극을 들었고, 모니터를 통해 해당 자극을 발음하고 있는 화자의 얼굴 영상을 보았다. 반응 수집을 위해 키보드의 두 키(‘v', 'b')가 사용되었다.

대상 데이터

반응 수집을 위해 키보드의 두 키(‘v', 'b')가 사용되었다.
서울대학교에서 심리학 개론을 수강하는 18명(남자 11명, 여자 7명, 18세-25세)의 대학생이 과목 이수를 위한 의무로 실험에 참가하였다. 이들은 모두 한국어가 모국어였다.
반응 수집을 위해 키보드의 두 키(‘v', 'b')가 사용되었다. 영상 자극은 영국 UCL Speech, Hearing and Phonetic Sciences 학과의 녹음실에서 Canon XL-1 DV 캠코더로 녹화되었으며, 자극 음성은 Bruel and Kjaer type 4165 마이크를 이용해 캠코더로 녹음되었다.
방음 설비된 실험실에서 실험하였다. 외장형 사운드카드(Sound Blaster Audigy 2 NX)를 장착한 데스크톱 컴퓨터로 자극을 제시하고 반응을 수집하였다. 실험 프로그램은 DMDX 소프트웨어로 작성되었다(Forster, 2003).

이론/모형

외장형 사운드카드(Sound Blaster Audigy 2 NX)를 장착한 데스크톱 컴퓨터로 자극을 제시하고 반응을 수집하였다. 실험 프로그램은 DMDX 소프트웨어로 작성되었다(Forster, 2003). 참여자들은 사운드카드에 연결된 헤드폰(Sennheiser HD212Pro)을 통해 음성 자극을 들었고, 모니터를 통해 해당 자극을 발음하고 있는 화자의 얼굴 영상을 보았다.
이 연구에서는 시각 단서의 효과를 측정하기 위해 식별률뿐 아니라, 신호탐지 이론(Macmillan & Creelman, 2005)에 따라 적중률(hit rate)과 오경보율(false alarm rate)을 근거로 민감도(sensitivity)와 반응 편중(response bias) 값을 구하였다.

성능/효과

모국어에 없는 말소리 대립의 지각에서 시각 단서의 활용 정도가 모국어에 따라 다를까? 스페인어 화자와 일본어 화자를 대상으로 영어 /b/, /v/ 음소 식별, 그리고 일본어 화자와 한국어 화자를 대상으로 영어 /l/, /r/ 자음 식별을 조사한 연구 (Hazan 등, 2006)에 따르면, 맥거크 효과의 경우처럼 언어에 따라 시각 단서의 활용에 차이가 있다. /b/-/v/ 음소 대립의 경우에 두 언어 화자들은 앞서 말했듯이 시각 단서가 같이 제시되었을 때 그렇지 않을 때보다 잘 식별하였지만, 스페인어 화자의 식별이 일본어 화자보다 전반적으로 나았을 뿐 아니라 식별할 때 시각 단서의 효과가 컸다. 자극으로 시각 단서만 제시하였을 때 스페인어 화자는 음소 식별률이 82.
4% 대 5%). 그리고 식별률의 향상이 참여자들의 반응 편중 때문이 아니라 음소 위치와 시각 단서 유무에 따른 자극에 대한 민감도 변화와 관련이 있음을 확인하였다. 정리하면, 영어 음소 /b/와 /v/를 식별할 때 한국어 화자들도 시각 단서를 활용할 수 있다.
이 분석으로 조음 동작 단서가 참여자들의 음소 식별에 도움을 주고, 단어 중간보다는 초두에 나올 때 음소가 더 잘 식별됨을 알 수 있었다. 또, 표적 음소를 식별할 때 음소가 단어의 어디에 있는가에 따라 시각 단서가 더 영향을 주거나 하지는 않음을 확인하였다.
참여자들은 조음 동작 관련 시각 단서를 확인할 수 있는 경우 그렇지 않은 경우에 비해 /b/, /v/ 음소를 더 잘 식별하였다. 모든 실험 조건에서 개인차가 크긴 했지만, 시각 단서가 제공되고 표적 음소가 어두에 위치할 때 평균 식별률이 가장 높았으며(평균 86%, 표준편차 20.4), 음성만 제공되고 음소가 어중에 위치할 때 평균 식별률이 가장 낮았다(평균 75.3%, 표준편차 18.2) <그림 1>.
반복측정 이원변량분석으로 시각 단서 제시 여부와 단어내 음소 위치가 /b/와 /v/의 식별에 미친 효과를 검토한 결과, 시각 단서 주효과와 음소 위치 주효과가 있었다 [시각 단서: F(1, 17) = 4.9, p < .05, 음소 위치: F(1, 17) = 13.6, p < .05].
실험 결과, 참여자들의 A 조건 평균 식별률은 78.4%(표준 편차 17.2)였고, AV 조건의 평균 식별률은 83.1%(표준편차 20.3)이었다. 참여자들은 조음 동작 관련 시각 단서를 확인할 수 있는 경우 그렇지 않은 경우에 비해 /b/, /v/ 음소를 더 잘 식별하였다.
]. 이 분석으로 조음 동작 단서가 참여자들의 음소 식별에 도움을 주고, 단어 중간보다는 초두에 나올 때 음소가 더 잘 식별됨을 알 수 있었다. 또, 표적 음소를 식별할 때 음소가 단어의 어디에 있는가에 따라 시각 단서가 더 영향을 주거나 하지는 않음을 확인하였다.
또, 모국어와 외국어 말소리의 관계가 시각 단서의 활용에 결정적으로 영향을 주는 것 같지도 않다. 일본어에 비해 한국어 양순음이 영어 양순음과 비슷한 점이 적음에도 불구하고, 음성과 함께 시각 단서를 제시하면 일본어 화자처럼 식별률이 유의하게 향상되었다. 반대로 유음의 경우에는 일본어와 달리 영어 /l/과 비슷하게 조음되는 이음이 한국어에 있음에도 불구하고, 두 언어 화자의 경우 모두 /r/과 /l/의 식별에서 시각 단서의 효과가 나오지 않았다(예, Hazan 등, 2006).
/b/-/v/ 음소 대립의 경우에 두 언어 화자들은 앞서 말했듯이 시각 단서가 같이 제시되었을 때 그렇지 않을 때보다 잘 식별하였지만, 스페인어 화자의 식별이 일본어 화자보다 전반적으로 나았을 뿐 아니라 식별할 때 시각 단서의 효과가 컸다. 자극으로 시각 단서만 제시하였을 때 스페인어 화자는 음소 식별률이 82.3%였던 반면에 일본어 화자는 우연 수준인 50.7%였다. 실험 참여자들의 모국어 말소리와 영어 말소리의 관련성 때문에 이러한 차이가 생겼을 수 있다.
하지만, 시각 단서가 음소의 위치에 따라 식별에 도움이 더 되거나 하지는 않았다. 즉, 청각 단서의 활용이 상대적으로 쉬운 음소 환경(어두에 위치할 때)과 어려운 음소 환경(어중에 위치할 때)에서 시각 단서를 제공했을 때 평균 식별률의 향상 정도는 별로 다르지 않았다(4.4% 대 5%). 그리고 식별률의 향상이 참여자들의 반응 편중 때문이 아니라 음소 위치와 시각 단서 유무에 따른 자극에 대한 민감도 변화와 관련이 있음을 확인하였다.
그런데 그들의 실험 결과에 따르면, 시각 단서의 효과는 두 언어 사용자 모두에게서 유의하지 않았다. 한국어 화자들이 일본어 화자에 비해 전반적으로 높은 식별률을 보여 주었지만, 두 언어 화자 모두 시각 단서를 음성 단서와 함께 제시하여도 음성 단서만 제시한 경우에 비해 식별률이 유의하게 향상되지 않았다. 이 결과는 모국어와의 관련성 외에 시각 단서 활용에 영향을 미치는 다른 요인이 있을 가능성을 시사한다.

후속연구

말소리 지각 훈련뿐 아니라 시각 단서에 대한 훈련을 할 필요가 있다. 음성 지각을 위한 훈련과 함께 조음 관련 시각 단서의 변별을 촉진하는 훈련을 같이 병행한다면, 외국어 화자와 얼굴을 맞대고 대화하는 상황에서 청각 단서로 식별이 쉽지 않을 때 시각 단서로 보완할 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	양순 파열음 /b/와 순치 마찰음 /v/는 어떻게 발음하는가?	이 음소들은 조음 과정에서 눈에 띌 정도로 입 모양 움직임에 차이가 있다. 파열음인 /b/는 다물었던 두 입술을 터뜨려 나오는 말소리이고, /v/는 마찰음으로 윗니를 아래 입술에 살짝 댄 채로 공기를 그 좁은 틈으로 새나오게 해서 만드는 말소리이다. 외국어 말소리를 들을 때 발음하고 있는 입 모양도 볼 수 있다면 말소리만 들을 때에 비해 어떤 말소리인지 더 잘 식별할 수 있을까? 이 연구는 한국어 화자에게 영어 음소 /b/와 /v/를 식별하도록 할 때, 발음하고 있는 사람의 얼굴을 함께 보여 주는 것이 식별에 효과적인지, 그리고 시각 단서가 식별에 미치는 영향이 낱말에서 음소의 위치(단어 머리 vs.
	맥거크 효과 실험 패러다임을 이용한 연구에 따르면, 청자가 시각 단서를 무시한 이유는 무엇으로 추측할 수 있는가?	맥거크 효과 실험 패러다임을 이용한 연구(Sekiyama & Burnham, 2008)에 따르면, 영어 화자들의 경우에 6세에서 11세에 이르기까지 시각 단서의 영향이 점점 커졌지만, 일본어 화자들은 이런 발달적 변화를 보이지 않았다. 청자가 시각 단서를 무시한 것은, 모국어 말소리의 시각 단서가 충분한 정보를 제공하지 못하거나 대화 중 얼굴을 잘 보지 않아서 조음 관련 시각 단서를 잘 처리하지 못하게 되기 때문일 수 있다(Sekiyama, 1997). 예를 들어, 중국어의 경우 성조에 따라 의미가 달라지는데, 시각 단서는 이에 대한 정보를 제공해 주지 못한다.
	맥거크 효과의 크기는 어떤 조건에 따라 차이가 발생하는가?	예를 들어, /ga/를 조음할 때의 입 모양(시각 단서)과 /ba/의 말소리(청각 단서)를 함께 제시하면, 청자는 /da/로 식별하는 비율이 높다. 그런데 맥거크 효과의 크기는 청자가 사용하는 모국어에 따라 차이가 있다(예, 최양규, 2004; Sekiyama, 1997; Sekiyama & Tohkura, 1991). 일본어, 중국어, 한국어 화자들은 영어 화자들에 비해 맥거크 효과가 작았다.

참고문헌 (18)

Choi, Yang-Gyu (2004). The influences of visual information in place of articulation on speech perception: The McGurk effect in Korean subjects. Journal of Speech & Hearing Disorders, 13, 117-128. (최양규 (2004). 조음위치에 관한 시각정보가 말소리 지각에 미치는 영향: 한국인의 McGurk 효과. 言語治療硏究, 13, 117-128.)
Dennis, S., Lee, M. D. & Kinnell, A. (2008). Bayesian analysis of recognition memory: The case of the list-length effect. Journal of Memory and Language, 59, 361-376.

상세보기
Forster, K. I. & Forster, J. C. (2003). DMDX: A Windows display program with millisecond accuracy. Behavior Research Methods, 35, 116-124.

상세보기
Grant, K. W. & Seitz, P. F. (1998). Measures of auditory-visual integration in nonsense syllables and sentences. The Journal of the Acoustical Society of America, 104, 2438-2450.

상세보기
Hardison, D. M. (2003). Acquisition of second-language speech: Effects of visual cues, context, and talker variability. Applied Psycholinguistics, 24, 495-522.

상세보기
Hazan, V., Sennema, A., Iba, M. & Faulkner, A. (2005). Effect of audiovisual perceptual training on the perception and production of consonants by Japanese learners of English. Speech Communication, 47, 360-378.

상세보기
Hazan, V., Sennema, A., Faulkner, A., Ortega-Llebaria, M., Iba, M. & Chung, H. (2006). The use of visual cues in the perception of non-native consonant contrasts. The Journal of the Acoustical Society of America, 119, 1740-1751.

상세보기
Iverson, P., Kuhl, P. K., Akahane-Yamada, R., Diesch, E., Tohkura, Y., Kettermann, A. & Siebert, C. (2003). A perceptual interference account of acquisition difficulties for non-native phonemes. Cognition, 87, 47-57.

상세보기
Kuhl, P. K. & Meltzoff, A. N. (1982). The bimodal perception of speech in infancy. Science, 218, 1138-1141.

상세보기
Lee, M. D. (2008). BayesSDT: Software for Bayesian inference with signal detection theory. Behavior Research Methods, 40, 450-456.

상세보기
Logan, J., Lively, S. & Pisoni, D. B. (1991). Training Japanese listeners to identify English /r/ and /l/: A first report. The Journal of the Acoustical Society of America, 89, 874-886.

상세보기
Macmillan, N. & Creelman, C. (2005). Detection theory: A user's guide. Mahwah, NJ: Lawrence Erlbaum Assoc. Inc.
McGurk, H. & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, 746-748.

상세보기
Schmidt, A. M. (1996). Cross-language identification of consonants. Part 1. Korean perception of English. The Journal of the Acoustical Society of America, 99, 3201-3211.

상세보기
Sekiyama, K. (1997). Cultural and linguistic factors in audiovisual speech processing: the McGurk effect in Chinese subjects. Perception & Psychophysics, 59, 73-80.

상세보기
Sekiyama, K. & Burnham, D. (2008). Impact of language on development of auditoryvisual speech perception. Developmental Science, 11, 306-320.

상세보기
Sekiyama, K. & Tohkura, Y. (1991). McGurk effect in non-English listeners: Few visual effects for Japanese subjects hearing Japanese syllables of high auditory intelligibility. The Journal of the Acoustical Society of America, 90, 1797-1805.

상세보기
Sumby, W. H. & Pollack, I. (1954). Visual contribution to speech intelligibility in noise. The Journal of the Acoustical Society of America, 26, 212-215.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증