선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이에 본 연구에서는 대상자의 발화 상황을 녹화하여 입술 윤곽 추출을 통해 입술의 움직임의 범위를 정량화 하여 노화에 따라 발화시 입술 움직임의 변화를 객관적으로 제시하는 것이다. 또한 입술 움직임을 쉽게 측정할 수 있도록 스마트폰 기반의 자동화 소프트웨어를 구현하여 임상적 유용성을 높이고자 한다.
- 본 연구를 시행함에 있어 다음과 같은 문제점을 발견하였으며 추후 연구에서는 문제점을 개선 및 보완한 연구를 진행하고자 한다.
- 본 연구에서는 이중모음 발화시 입술의 움직임 변화에 대해 노년층과 청년층의 발화 영상을 분석하여 비교하였다. 연구 결과 노인집단은 젊은 여성 집단에 비해 이중모음 발화시 입술의 가로 움직임 범위와 세로 움직임 범위가 현저하게 감소된 것을 알 수 있었다.
- 이에 본 연구에서는 대상자의 발화 상황을 녹화하여 입술 윤곽 추출을 통해 입술의 움직임의 범위를 정량화 하여 노화에 따라 발화시 입술 움직임의 변화를 객관적으로 제시하는 것이다. 또한 입술 움직임을 쉽게 측정할 수 있도록 스마트폰 기반의 자동화 소프트웨어를 구현하여 임상적 유용성을 높이고자 한다.
제안 방법
- 과제 발화시 입술 움직임의 최소치와 최대치를 계산하기 위해 다음과 같이 가로 길이(A), 세로축 길이(T)를 측정하였다(그림 1).
- 즉 1 cm 기준 스티커의 길이가 영상 촬영에서 10 pixel 로 측정된 경우 입술 길이가 20 pixel로 측정되었을 경우 20 pixel을 10 pixel로 나누어 모든 영상이 같은 비율로 측정 될 수 있도록 재계산하였다. 기준점 및 입술의 가로, 세로 길이는 ImageJ의 픽셀 측정 도구로 결과값을 측정하였으며(그림 2), 최대 움직임의 길이에서 최소 움직임의 길이를 뺀 값을 입술 움직임 범위로 선정하였다. 최종 입술의 움직임의 범위는 그림 3과 같다.
- 영상으로 녹화하였다. 녹화된 영상은 영상편집 소프트웨어(Adobe Premiere Pro)로 불러와 프레임별로 분석하여 이중모음 발화시 움직임이 가장 좁혀지는 스틸이미지 한 컷과 입술 움직임이 가장 길어지는 스틸이미지 한 컷을 추출하여 분석하였다. 이미지 추출 시 최소와 최대 움직임을 선택할 때 임상 경력 8년 이상의 언어재활사 5명의 의견이 일치하는 경우로 선정하였다.
- 본 연구는 입술의 움직임의 변화가 많은 이중모음 과제를 선정하였으며 일상생활에 사용빈도(Shin, 2010)를 고려하여 표 2 와 같이 구성하였다. 실험과제로 이중모음을 선택한 이유는 한국 성인 화자의 생활어휘에서 이중모음 발화시 반모음과 모음을 연속해서 발음해야 하기 때문에 입술의 역동적인 움직임이 필요하다는 선행 연구(Shim et al.
- 본 연구에서는 노화에 따른 입술 움직임의 변화를 알아보기 위해 스마트폰의 카메라 기능을 이용하여 입술 윤곽추출 알고리즘을 적용하여 분석하였다. 연구결과 노화에 따라 발화 시 입술 움직임의 변화가 줄어드는 양상이 관찰되었으며 간단한 영상 촬영으로 쉽고 빠르게 측정할 수 있었다.
- , 2004). 세 번째 단계로 윤곽선 검출을 위해서는 영상에서 기울기를 나타내는 그라디언트 (gradiant)의 값을 구하여 영상의 밝기 값이 급격히 변화하는 부분을 입술의 윤곽선이라 판단하고 이를 위해 소벨 마스크(Sobel mask)를 사용하였다. 마지막으로 윤곽선의 연결 성분 라벨링을 위해 Blob 라벨링을 사용하여 각 영역의 크기, 위치, 방향, 둘레와 같은 영역의 특징 값을 추출하는데 사용하였다(Kass, 1998).
- 이 중 스마트폰의 동영상 녹화 기능을 이용하여 입술 윤곽을 추출하기 위해 이미지 기반 입술 윤곽 추출방법을 이용하였다. 이미지 기반 윤곽추출 방법을 이용하여 바깥 입술의 높이와 폭을 이 중 모음 발화시 입술이 가장 좁혀지는 부분과 가장 넓어지는 범위를 파라미터로 사용하였다. 입술 윤곽 추출 방법으로 자동 추출 알고리즘을 사용하는 방법과 손으로 입술 이미지에 표시를 하여 입술 파라미터를 추출하는 방법이 있다.
- 선택한 스틸이미지에서 입술 윤곽과 길이를 측정하기 위해 미국 국립보건의학원에서 개발한 영상분석 소프트웨어 ImageJ (Abramoff & Magalhães, 2004)를 이용하였다. 입술 윤곽추출 시 입술과 입술 외의 경계 지점을 정확하게 구분하기 위해 ImageJ를 이용하여 컬러 이미지를 8비트 흑백 이미지로 변환하여 Find Edges 메뉴를 이용하여 입술 윤곽 추출을 하였다. 카메라의 촬영 위치나 대상자의 입의 모양에 따라 크기가 변할 수 있기 때문에 촬영 당시 양 눈썹 사이에 부착한 지름 1 cm의 원형 스티커를 기준으로 하여 기준 픽셀을 설정하고 입술의 가로 및 세로 움직임을 측정하여 기준 스티커의 크기로 변환하여 계산하였다.
- 입술 윤곽추출을 위한 자동화를 위해 OpenCV의 C++을 사용하여 구현하였다. 자동화를 위해 스틸 이미지 변환 없이 분석할 수 있도록 Audio Video Interleave(.
- 자동화를 통해 입술 윤곽을 추출한 후 입술의 상하, 좌우 4개의 점을 확보하고 발화 시 입술 움직임에 대한 변화를 수작업과 동일한 방법으로 그림 1과 같이 가로(A), 세로(T) 값을 출력하도록 하였다.
- 첫 번째 단계로 회색조(gray scale) 변환을 사용하여 배경과 물체를 쉽게 분리할 수 있도록 하였다(Park, 2001). 두 번째 단계로는 이미지 블러링(image blurring)을 사용하여 입술 이외의 배경을 약화시켰다(Wakasugi et al.
- 입술 윤곽추출 시 입술과 입술 외의 경계 지점을 정확하게 구분하기 위해 ImageJ를 이용하여 컬러 이미지를 8비트 흑백 이미지로 변환하여 Find Edges 메뉴를 이용하여 입술 윤곽 추출을 하였다. 카메라의 촬영 위치나 대상자의 입의 모양에 따라 크기가 변할 수 있기 때문에 촬영 당시 양 눈썹 사이에 부착한 지름 1 cm의 원형 스티커를 기준으로 하여 기준 픽셀을 설정하고 입술의 가로 및 세로 움직임을 측정하여 기준 스티커의 크기로 변환하여 계산하였다. 즉 1 cm 기준 스티커의 길이가 영상 촬영에서 10 pixel 로 측정된 경우 입술 길이가 20 pixel로 측정되었을 경우 20 pixel을 10 pixel로 나누어 모든 영상이 같은 비율로 측정 될 수 있도록 재계산하였다.
- 화자의 자연스러운 발화 움직임의 샘플을 추출하기 위해 1회 연습할 수 있도록 하였으며 목표 단어를 무작위로 제시하여 각단어 당 3회씩 발화하여 평균값을 계산하였다.
대상 데이터
- 노년층은 과제를 실시할 때 영향을 줄 시청각 문제가 없고, 치매 및 뇌의 기질적 병변이 없는 대상으로 한국판 간이 치매 선별 검사(Korean Mini-Mental State Examination, K-MMSE; Kang et al., 1997)에 정상에 해당하는 노인으로 선정하였다. 노년층의 평균 연령은 69 세(±5.
- 본 연구는 부산 지역에 거주하는 65세 이상의 여성 노인 15 명, 일반 여성 15명, 총 30명을 대상으로 진행하였다. 노년층은 과제를 실시할 때 영향을 줄 시청각 문제가 없고, 치매 및 뇌의 기질적 병변이 없는 대상으로 한국판 간이 치매 선별 검사(Korean Mini-Mental State Examination, K-MMSE; Kang et al.
- 같이 구성하였다. 실험과제로 이중모음을 선택한 이유는 한국 성인 화자의 생활어휘에서 이중모음 발화시 반모음과 모음을 연속해서 발음해야 하기 때문에 입술의 역동적인 움직임이 필요하다는 선행 연구(Shim et al., 2010)와 파킨슨병 환자군의 경우 이중모음에서 제2포먼트 기울기가 완만하여 혀의 움직임이 부족하다는 선행연구(Kang et al., 2010)를 고찰하여 입술의 움직임에서도 움직임이 부족할 것이라는 판단으로 실험 자료로 선택하였다.
- 녹화된 영상은 영상편집 소프트웨어(Adobe Premiere Pro)로 불러와 프레임별로 분석하여 이중모음 발화시 움직임이 가장 좁혀지는 스틸이미지 한 컷과 입술 움직임이 가장 길어지는 스틸이미지 한 컷을 추출하여 분석하였다. 이미지 추출 시 최소와 최대 움직임을 선택할 때 임상 경력 8년 이상의 언어재활사 5명의 의견이 일치하는 경우로 선정하였다. 선택한 스틸이미지에서 입술 윤곽과 길이를 측정하기 위해 미국 국립보건의학원에서 개발한 영상분석 소프트웨어 ImageJ (Abramoff & Magalhães, 2004)를 이용하였다.
- 이중모음 발화 시 입술 움직임을 분석하기 위해 스마트폰 (iPhone 8 Plus)을 이용하여 초당 60프레임, 해상도 1, 920×1, 080 pixel의 영상으로 녹화하였다. 녹화된 영상은 영상편집 소프트웨어(Adobe Premiere Pro)로 불러와 프레임별로 분석하여 이중모음 발화시 움직임이 가장 좁혀지는 스틸이미지 한 컷과 입술 움직임이 가장 길어지는 스틸이미지 한 컷을 추출하여 분석하였다.
- 구현하였다. 자동화를 위해 스틸 이미지 변환 없이 분석할 수 있도록 Audio Video Interleave(.avi) 파일을 사용하였다. 이미지 처리는 다음과 같은 4단계를 사용하였다.
- 4)이었다. 정상 여성의 경우 평균 연령 22(±3.2)세의 청년층으로 과제 실시에 영향을 줄 시청각 문제가 없는 일반 성인으로 하였다. 연구대상의 세부 정보는 표 1에 제시하였다.
데이터처리
- 노년층과 청년층의 이중모음 발화 시 입술 움직임의 범위를 알아보기 위해 가로(A), 세로(T) 값을 입술의 가장 좁은 지점에서 가장 넓은 지점간의 차이를 비율로 계산하였으며 두 집단 간과제 따른 A값의 평균과 표준편차는 표 3과 같으며 T값의 평균과 표준편차는 표 4와 같다.
- 수 작업과 자동화 간의 결과 값의 상관관계를 알아보기 위해 피어슨 상관 분석을 실시하였으며 결과는 표 5, 표 6과 같다.
- 906)하여 독립표본 t 검정을 실시하여 비교하였다. 수작업과 자동화 간 통계적 상관성을 알아보기 위해 피어슨 상관 분석 실시하였다. 통계 프로그램은 Jamovi 1.
- 이중모음 산출 시 입술 움직임 범위에서 두 집단 간 차이가 있는지 알아보기 위해 샤피로 윌크 검정(Shapiro-Wilk test)을 실시하였으며 검정결과 두 집단이 정규분포를 충족(w=0.993, p=0.906)하여 독립표본 t 검정을 실시하여 비교하였다. 수작업과 자동화 간 통계적 상관성을 알아보기 위해 피어슨 상관 분석 실시하였다.
- 수작업과 자동화 간 통계적 상관성을 알아보기 위해 피어슨 상관 분석 실시하였다. 통계 프로그램은 Jamovi 1.6을 사용하였다(Jamovi Project, 2020).
이론/모형
- 세 번째 단계로 윤곽선 검출을 위해서는 영상에서 기울기를 나타내는 그라디언트 (gradiant)의 값을 구하여 영상의 밝기 값이 급격히 변화하는 부분을 입술의 윤곽선이라 판단하고 이를 위해 소벨 마스크(Sobel mask)를 사용하였다. 마지막으로 윤곽선의 연결 성분 라벨링을 위해 Blob 라벨링을 사용하여 각 영역의 크기, 위치, 방향, 둘레와 같은 영역의 특징 값을 추출하는데 사용하였다(Kass, 1998). 위 단계로 구현된 자동화를 통한 입술 윤곽 추출 결과는 그림 4 와 같다.
- 이미지 추출 시 최소와 최대 움직임을 선택할 때 임상 경력 8년 이상의 언어재활사 5명의 의견이 일치하는 경우로 선정하였다. 선택한 스틸이미지에서 입술 윤곽과 길이를 측정하기 위해 미국 국립보건의학원에서 개발한 영상분석 소프트웨어 ImageJ (Abramoff & Magalhães, 2004)를 이용하였다. 입술 윤곽추출 시 입술과 입술 외의 경계 지점을 정확하게 구분하기 위해 ImageJ를 이용하여 컬러 이미지를 8비트 흑백 이미지로 변환하여 Find Edges 메뉴를 이용하여 입술 윤곽 추출을 하였다.
- , 1994). 이 중 스마트폰의 동영상 녹화 기능을 이용하여 입술 윤곽을 추출하기 위해 이미지 기반 입술 윤곽 추출방법을 이용하였다. 이미지 기반 윤곽추출 방법을 이용하여 바깥 입술의 높이와 폭을 이 중 모음 발화시 입술이 가장 좁혀지는 부분과 가장 넓어지는 범위를 파라미터로 사용하였다.
성능/효과
- 또한 Byeon(2010)의 연구에서도 마비말장애의 경우 이중모음 발화시 제2포먼트 기울기 지수가 현격하게 감소함을 보고하며 혀의 움직임의 둔화를 지적하였다. 선행 연구와 마찬가지고 본 연구에서 객관적인 입술 움직임을 측정한 결과 이 중 모음 발화시 입술의 움직임이 현저하게 감소한 결과는 혀의 움직임 저하와 더불어 입술의 움직임 또한 저하되어 말의 명료도가 낮아지는 것을 알 수 있다.
- 연구 결과 노인집단은 젊은 여성 집단에 비해 이중모음 발화시 입술의 가로 움직임 범위와 세로 움직임 범위가 현저하게 감소된 것을 알 수 있었다. 입술의 움직임을 객관적인 수치로 확인하여 비교한 선행연구가 없어 비교하기는 어렵지만 Choi(2012)의 연구에서 제2포먼트 기울기 지수로 이중모음의 발화 패턴을 청년층, 장년층, 노년층과 비교한 결과 노년층의 경우 이중모음 발화 시혀의 움직임 범위가 청년층에 비해 좁아 이중모음 발화시 명료도가 떨어진다고 보고한 바 있다.
- 적용하여 분석하였다. 연구결과 노화에 따라 발화 시 입술 움직임의 변화가 줄어드는 양상이 관찰되었으며 간단한 영상 촬영으로 쉽고 빠르게 측정할 수 있었다. 이는 스마트폰의 카메라 기능을 활용한다면 노화뿐만 아니라 마비말장애, 조음장애 및 발음 개선에 관심이 있는 일반인들까지 쉽게 자신의 발음을 모니터링 할 수 있고 결과에 따라 언어재활 여부를 파악할 수 있어 사용성이 높을 것으로 기대된다.
- 입술움직임 범위를 보기 위해 /wi/ 과제의 경우 노인층의 가로 길이는 5.32 pixel, 세로 길이는 1.21 pixel 비해 청년층의 경우 가로 길이 9.14 pixel, 세로 길이 4.14 pixel로 노년층이 입술 움직임 범위가 통계적으로 유의하게 낮게 나타났다(p<.05). /wa/ 과제의 경우 노년층의 가로 길이는 4.
후속연구
- 둘째, 이중모음의 경우에도 다양한 발화 환경에서 나타날 수있으므로 현 연구에서보다 더 많은 이중모음 환경에서의 발화를 수집하는 것과 이중모음 뿐 아니라 다양한 모음 과제에서의 차이가 어떠한가를 살펴 볼 필요성 있다.
- 확대 해석에 문제점이 있을 수 있다. 따라서 향후 연구에서 대상자의 수를 늘려 객관성을 높여야 할 것이다.
- 마지막으로 본 연구에서는 입술 움직임을 가로, 세로 방향에서 변동성을 측정하였으나 마비말장애와 같은 신경학적 병변이 있는 경우 입술의 좌우 대칭, 발화 시 좌우 움직임의 규칙성 등 다양한 입술윤곽 추출 알고리즘을 적용해 볼 필요성이 있다.
- , 2000; Sadagopan & Smith, 2013). 본 연구에서는 구어 과제를 사용하여 입술의 움직임이감소되었다고 볼 수 있으며 향후 구어과제와 비구어과제의 차이를 연구하는 것도 도움이 될 것으로 판단된다.
- 연구결과 노화에 따라 발화 시 입술 움직임의 변화가 줄어드는 양상이 관찰되었으며 간단한 영상 촬영으로 쉽고 빠르게 측정할 수 있었다. 이는 스마트폰의 카메라 기능을 활용한다면 노화뿐만 아니라 마비말장애, 조음장애 및 발음 개선에 관심이 있는 일반인들까지 쉽게 자신의 발음을 모니터링 할 수 있고 결과에 따라 언어재활 여부를 파악할 수 있어 사용성이 높을 것으로 기대된다.
- 첫째, 노인집단에서 이중모음 과제를 실시하였는데 경상도 방언에 의해 이중모음을 단모음화하여 발음한다는 일부 선행연구 결과(Lee, 2018)를 바탕으로 표준어를 사용하는 노인에게 데이터를 수집하여 비교 분석할 필요성이 있다고 판단된다.
- 현재까지 말 명료도의 객관적인 측정을 위해 음향학적인 평가로 제2포먼트 기울기와 제1포먼트와 제2포먼트의 모음 면적을 통해 혀의 움직임 범위와 속도를 측정한 것에 더해 본 연구에서 사용한 영상인식 기술을 이용해 입술의 움직임을 객관적으로 제시하여 현재 자신의 발음 상태를 모니터링 할 수 있을 것으로 판단된다. 또한 대부분 스마트폰을 소유하고 있어 임상이나 가정에서 사용도 용이할 것으로 판단되며 마비말장애, 청각장애 등 입술 훈련을 실시할 때 피드백으로 활용해도 도움이 될 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.