현재 음성인식 분야에서는 잡음이 심한 환경에서 음성 인식률을 향상시킬 수 있는 바이모달의 한 형태인 립리딩 기술에 관한 연구가 활발히 진행되고 있다. 립리딩 연구에 있어서 가장 중요한 것은 정확한 입술 이미지를 찾아내는 것이다. 그러나 조명변화, 화자의 발음습관, 입술 모양의 다양성, 입술의 회전과 크기 변화 등의 환경 변화 요인 때문에 안정적인 성능을 예측하기가 힘든 실정이다. 본 논문에서는 보다 안정적 성능을 얻기 위해 시간영역에서 이미지를 임펄스 응답 필터링을 수행을 통해 향상된 인식성능을 보였다. 또한 본 연구에서는 입술 전체 영상을 대상으로 처리하는 립리딩 기법의 사용으로 인해 발생하는 데이터 용량 증가를 고려해 영상의 정보는 손실하지 않고 그 특징만을 추출하여 데이터의 양을 줄일 수 있는 주성분 분석을 전처리 과정으로 사용하였다. 본 연구에서는 영상정보만을 사용하여 음성인식 성능 관찰을 위해 자동차 내에서 서비스가 가능한 22단어를 선정하여 인식실험을 하였다. 이 단어들의 인식 성능을 비교하기 위하여 음성 인식 알고리듬으로 잘 알려진 HMM(Hidden Markov Model)을 이용하였다. 실험결과 PCA(Principal component Analysis)하였던 경우 립리딩이 64%의 인식률을 보인 반면, 시간영역필터를 립리딩에 적용시 72.7%로 인식률의 향상을 보였다.
현재 음성인식 분야에서는 잡음이 심한 환경에서 음성 인식률을 향상시킬 수 있는 바이모달의 한 형태인 립리딩 기술에 관한 연구가 활발히 진행되고 있다. 립리딩 연구에 있어서 가장 중요한 것은 정확한 입술 이미지를 찾아내는 것이다. 그러나 조명변화, 화자의 발음습관, 입술 모양의 다양성, 입술의 회전과 크기 변화 등의 환경 변화 요인 때문에 안정적인 성능을 예측하기가 힘든 실정이다. 본 논문에서는 보다 안정적 성능을 얻기 위해 시간영역에서 이미지를 임펄스 응답 필터링을 수행을 통해 향상된 인식성능을 보였다. 또한 본 연구에서는 입술 전체 영상을 대상으로 처리하는 립리딩 기법의 사용으로 인해 발생하는 데이터 용량 증가를 고려해 영상의 정보는 손실하지 않고 그 특징만을 추출하여 데이터의 양을 줄일 수 있는 주성분 분석을 전처리 과정으로 사용하였다. 본 연구에서는 영상정보만을 사용하여 음성인식 성능 관찰을 위해 자동차 내에서 서비스가 가능한 22단어를 선정하여 인식실험을 하였다. 이 단어들의 인식 성능을 비교하기 위하여 음성 인식 알고리듬으로 잘 알려진 HMM(Hidden Markov Model)을 이용하였다. 실험결과 PCA(Principal component Analysis)하였던 경우 립리딩이 64%의 인식률을 보인 반면, 시간영역필터를 립리딩에 적용시 72.7%로 인식률의 향상을 보였다.
Lip-reading technique based on bimodal is to enhance speech recognition rate in noisy environment. It is most important to detect the correct lip-image. But it is hard to estimate stable performance in dynamic environment, because of many factors to deteriorate Lip-reading's performance. There are i...
Lip-reading technique based on bimodal is to enhance speech recognition rate in noisy environment. It is most important to detect the correct lip-image. But it is hard to estimate stable performance in dynamic environment, because of many factors to deteriorate Lip-reading's performance. There are illumination change, speaker's pronunciation habit, versatility of lips shape and rotation or size change of lips etc. In this paper, we propose the IIR filtering in time-domain for the stable performance. It is very proper to remove the noise of speech, to enhance performance of recognition by digital filtering in time domain. While the lip-reading technique in whole lip image makes data massive, the Principal Component Analysis of pre-process allows to reduce the data quantify by detection of feature without loss of image information. For the observation performance of speech recognition using only image information, we made an experiment on recognition after choosing 22 words in available car service. We used Hidden Markov Model by speech recognition algorithm to compare this words' recognition performance. As a result, while the recognition rate of lip-reading using PCA is 64%, Time-domain filter applied to lip-reading enhances recognition rate of 72.4%.
Lip-reading technique based on bimodal is to enhance speech recognition rate in noisy environment. It is most important to detect the correct lip-image. But it is hard to estimate stable performance in dynamic environment, because of many factors to deteriorate Lip-reading's performance. There are illumination change, speaker's pronunciation habit, versatility of lips shape and rotation or size change of lips etc. In this paper, we propose the IIR filtering in time-domain for the stable performance. It is very proper to remove the noise of speech, to enhance performance of recognition by digital filtering in time domain. While the lip-reading technique in whole lip image makes data massive, the Principal Component Analysis of pre-process allows to reduce the data quantify by detection of feature without loss of image information. For the observation performance of speech recognition using only image information, we made an experiment on recognition after choosing 22 words in available car service. We used Hidden Markov Model by speech recognition algorithm to compare this words' recognition performance. As a result, while the recognition rate of lip-reading using PCA is 64%, Time-domain filter applied to lip-reading enhances recognition rate of 72.4%.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
립리딩은 아직 실용화 단계에 있지 못하지만, 많은 연구가 진행 중이다. 그 방법으로는 모델기반과 이미지 기반 방법이 있으며, 본 논문에서는 이미지를 기반으로 하여 영상정보를 음성정보에 이용하는 립리딩 기술을 바탕으로 연구하였다. 실험에 사용된 이미지 기반 방법은 입술 전체 영상을 처리하므로 잘못된 파라미터로 인해 인식율이 저하하는 다른 방법보다는 안정된 인식률을 보이는 장점이 있는 반면, 입술 전체영상을 특징 파라미터로 사용하기 때문에 데이터 용량의 증가에 따른 인식 속도 저하가 발생한다.
립리딩은 아직 실용화 단계에 있지 못하지만, 많은 연구가 진행 중이다. 그 방법으로는 모델기반과 이미지 기반 방법이 있으며, 본 논문에서는 이미지를 기반으로 하여 영상정보를 음성정보에 이용하는 립리딩 기술을 바탕으로 연구하였다. 실험에 사용된 이미지 기반 방법은 입술 전체 영상을 처리하므로 잘못된 파라미터로 인해 인식율이 저하하는 다른 방법보다는 안정된 인식률을 보이는 장점이 있는 반면, 입술 전체영상을 특징 파라미터로 사용하기 때문에 데이터 용량의 증가에 따른 인식 속도 저하가 발생한다.
실험 결과에서도 PCA 90%를 적용하였을 때는 24개, PCA 95%를 적용할 경우는 44개의 주성분 개수가 그대로 사용되어 인식속도 향상을 기대할 수 없었다. 그래서 본 논문에서는 필터에 의해 정보를 손실하지 않고 잡음성분만을 제거하고 파라미터 수를 줄여 인식속도를 향상시키기 위해 필터링을 먼저 수행한 후 PCA를 통해 주성분을 추출하는 방법을 제안하였다. 범례의 80%, 90%와 95%는 주성분 백분율을 나타내며 PCA한 결과값이 각각 80%, 90%와 95%의 원래 신호 정보를 가지고 있음을 뜻한다.
그래서 본 논문에서는 필터에 의해 정보를손실하지 않고 잡음성분만을 제거하고 파라미터 수를 줄이 인식속도를 향상시키기 위해 필터링을 먼저 수행한후 PCA를 통해 주성분을 추출하는 방법을 제안하였다.
본 논문에서는 안정적인 성능을 보이는 립리딩 구현을 위해 립리딩 성능을 저하시키는 원인을 분석하고 그 보상 방법으로 몇 단계 전처리 과정 중 PCA를 통해 추출된 파라미터를 사용한 성능 향상 방법과 시간 영역 필터를 이용한 방법에 대해 잡음이 배제된 실내에서 인식 실험을 수행하고 그 결과를 비교 분석하여 인식률을 살펴보았다.
본 논문에서는 안정적인 성능을 보이는 립리딩 구현을 위해 립리딩 성능을 저하시키는 원인을 분석하고 그 보상 방법으로 몇 단계 전처리 과정 중 PCA를 통해 추출된 파라미터를 사용한 성능 향상 방법과 시간 영역 필터를 이용한 방법에 대해 잡음이 배제된 실내에서 인식 실험을 수행하고 그 결과를 비교 분석하여 인식률을 살펴보았다.
본 논문에서는 영상 정보만으로 단어를 인식하는 빙법으로 효과적 인 입술 파라미터를 추출하는 립리딩에 대하여 살펴보았다.
본 논문에서는 영상 정보만으로 단어를 인식하는 빙법으로 효과적 인 입술 파라미터를 추출하는 립리딩에 대하여 살펴보았다.
이같은 문제해결을 위해 본 논문에서는 입력된 전체 입술 영상을 그레이 변환 후 입술 관심영역 (ROI: Region Of Interest) 추출을 통해 입술만을 따로 분리하고 다운샘플링을 과정을 통해 입술의 정보손실을 최소화하는 범위 내에서 데이터 처리량을 줄이기 위한 작업을 수행하였다. 그리고 입술형태가 좌우 대칭인 점에 착안하여 입술 ROI 영상의 절반만을 이용해서 영상을 처리하였다.
이같은 문제해결을 위해 본 논문에서는 입력된 전체 입술 영상을 그레이 변환 후 입술 관심영역 (ROI: Region Of Interest) 추출을 통해 입술만을 따로 분리하고 다운샘플링을 과정을 통해 입술의 정보손실을 최소화하는 범위 내에서 데이터 처리량을 줄이기 위한 작업을 수행하였다. 그리고 입술형태가 좌우 대칭인 점에 착안하여 입술 ROI 영상의 절반만을 이용해서 영상을 처리하였다.
또한 시간의 흐름에 따라서 픽셀 값이 이전의 픽셀 값과 많은 차이가 나면 고주파 영역에 도시되고 그렇지 않으면 저주파 영역에 도시된다. 이같은 특성을 이용해 적절한 필터를 사용하여 중요한 정보만을 추출하는 것이 필터링의 목적이라 할 수 있다.
또한 시간의 흐름에 따라서 픽셀 값이 이전의 픽셀 값과 많은 차이가 나면 고주파 영역에 도시되고 그렇지 않으면 저주파 영역에 도시된다. 이같은 특성을 이용해 적절한 필터를 사용하여 중요한 정보만을 추출하는 것이 필터링의 목적이라 할 수 있다.
이런 주위 환경들의 시간적 특성은 음성의 시간적 특성과 매우 다른 경향을 보인다. 이와 같이 음성과 잡음이 다른 점을 이용하여 시간 영역에서 음성 인식 향상에 강인하게 작용하는 필터를 연구하였다. 이 필터는 잡음 환경하에서 견인하게 잡음을 제거할 수 있어 음성 인식 성능을 효과적으로 향상시킨다 [10].
제안 방법
이같은 문제해결을 위해 본 논문에서는 입력된 전체 입술 영상을 그레이 변환 후 입술 관심영역 (ROI: Region Of Interest) 추출을 통해 입술만을 따로 분리하고 다운샘플링을 과정을 통해 입술의 정보손실을 최소화하는 범위 내에서 데이터 처리량을 줄이기 위한 작업을 수행하였다. 그리고 입술형태가 좌우 대칭인 점에 착안하여 입술 ROI 영상의 절반만을 이용해서 영상을 처리하였다. 접어진 영상은 입력 이미지를 시간영역에서 필터링하는 과정을 통해 입술 이미지에서 불필요한 정보를 제거하였다.
이같은 문제해결을 위해 본 논문에서는 입력된 전체 입술 영상을 그레이 변환 후 입술 관심영역 (ROI: Region Of Interest) 추출을 통해 입술만을 따로 분리하고 다운샘플링을 과정을 통해 입술의 정보손실을 최소화하는 범위 내에서 데이터 처리량을 줄이기 위한 작업을 수행하였다. 그리고 입술형태가 좌우 대칭인 점에 착안하여 입술 ROI 영상의 절반만을 이용해서 영상을 처리하였다. 접어진 영상은 입력 이미지를 시간영역에서 필터링하는 과정을 통해 입술 이미지에서 불필요한 정보를 제거하였다.
먼저 시간영역 필터링 방법 1로 PCA를 한 후 필터링을 통한 단어 인식 성능을 분석하였다. 다음으로 본 논문에서 제안한 방법으로 본래 이미지를 먼저 필터링하고 그 결과에 대한특징 파라미터를 추출하여 인식 성능을 비교 분석하였다.
먼저 시간영역 필터링 방법 1로 PCA를 한 후 필터링을 통한 단어 인식 성능을 분석하였다. 다음으로 본 논문에서 제안한 방법으로 본래 이미지를 먼저 필터링하고 그 결과에 대한특징 파라미터를 추출하여 인식 성능을 비교 분석하였다.
먼저 시간영역 필터링 방법 1로 PCA를 한 후 필터링을 통한 단어 인식 성능을 분석하였다. 다음으로 본 논문에서 제안한 방법으로 본래 이미지를 먼저 필터링하고 그 결과에 대한특징 파라미터를 추출하여 인식 성능을 비교 분석하였다.
먼저 시간영역 필터링 방법 1로 PCA를 한 후 필터링을 통한 단어 인식 성능을 분석하였다. 다음으로 본 논문에서 제안한 방법으로 본래 이미지를 먼저 필터링하고 그 결과에 대한특징 파라미터를 추출하여 인식 성능을 비교 분석하였다.
본 논문에는 이 시간 영역 필터의 장점을 기본 립리딩 시스템에 적용하여 새로운 시스템을 구성하였다. 실제 실험에서는 고역통과 필터링과 대역통과 필터링을 입술 ROI 이미지에 적용하여 인식률을 실험해 보았으며, 각각의 필터식은 다음과 같다.
본 논문에는 이 시간 영역 필터의 장점을 기본 립리딩 시스템에 적용하여 새로운 시스템을 구성하였다. 실제 실험에서는 고역통과 필터링과 대역통과 필터링을 입술 ROI 이미지에 적용하여 인식률을 실험해 보았으며, 각각의 필터식은 다음과 같다.
본 논문에서는 기준 립리딩 시스템에 시간영역 필터링을 적용한 방식을 두가지로 분류하여 인식 실험을 하였다. 그 결과를 분석하면 PCA를 먼저 수행한 후 필터링을 한 시간영역 필터링 방법 1은 먼저 수행한 후 PCA를 먼저 수행한 후 PCA를 수행한 시간 영역 필터링 방법 2에 비행 좋지 못한 인식 결과를 보였다.
립리딩은 영상 정보만을 통해 단어를 인식하는 것이므로 입술 영역을 견고하게 잘 찾는 것이 매우 중요하다. 본 실험에서는 실내라는 안정적인 환경에서 입술 ROI를 추출하여 립리딩 실험을 하여 인식결과를 얻었다. 그러나 실제 립리딩의 응용 범위는 실생활에 적용되어야 하므로 추후 연구에서는 립리딩의 응용 영역은 실제 현실영역을 대상이므로 동적환경에서 보다 효율적 향상된 립리딩 방식에 대한 연구를 하고자 한다.
립리딩은 영상 정보만을 통해 단어를 인식하는 것이므로 입술 영역을 견고하게 잘 찾는 것이 매우 중요하다. 본 실험에서는 실내라는 안정적인 환경에서 입술 ROI를 추출하여 립리딩 실험을 하여 인식결과를 얻었다. 그러나 실제 립리딩의 응용 범위는 실생활에 적용되어야 하므로 추후 연구에서는 립리딩의 응용 영역은 실제 현실영역을 대상이므로 동적환경에서 보다 효율적 향상된 립리딩 방식에 대한 연구를 하고자 한다.
본논문에서 기준 립리딩시스템은 이미지 기반 립리딩 방법을 적용하여 모델링하였으며 그림 1에 본 연구를 위해 구현한 기준 립리딩 알고리듬의 블록도를 도시하였다.
본 논문에서는 기준 립리딩 시스템에 시간영역 필터링을 적용한 방식을 두가지로 분류하여 인식 실험을 하였다. 그 결과를 분석하면 PCA를 먼저 수행한 후 필터링을 한 시간영역 필터링 방법 1은 먼저 수행한 후 PCA를 먼저 수행한 후 PCA를 수행한 시간 영역 필터링 방법 2에 비행 좋지 못한 인식 결과를 보였다.
시간영역 필터링 방법 1ePCA를수행한후구해진 파라미터에 필터 甘을 적용한 방법이고 시간영역 필터링 방법 2는 본 논문에서 제안한 방법이다.
그림 7에 각각의 실험 방식을 도식하였다. 시간영역 필터링 방법 1은 PCA를 수행한 후 구해진 파라미터에 필터링을 적용한 방법이고 시간영역 필터링 방법 2는 본 논문에서 제안한 방법이다.
본 논문에는 이 시간 영역 필터의 장점을 기본 립리딩 시스템에 적용하여 새로운 시스템을 구성하였다. 실제 실험에서는 고역통과 필터링과 대역통과 필터링을 입술 ROI 이미지에 적용하여 인식률을 실험해 보았으며, 각각의 필터식은 다음과 같다.
본 논문에는 이 시간 영역 필터의 장점을 기본 립리딩 시스템에 적용하여 새로운 시스템을 구성하였다. 실제 실험에서는 고역통과 필터링과 대역통과 필터링을 입술 ROI 이미지에 적용하여 인식률을 실험해 보았으며, 각각의 필터식은 다음과 같다.
실험은 크게 2가지 조건으로 나누어 수행하였다. 첫번재 조건은 필터링을 적용하지 않고 PCA만수행하여 얻어 긴 주성분 개수에 대한 변화 유무에 대해서 실험했으며, 드번째로 필터링을 기준 립리딩 시스템에 적용하여 주성븐 개수의 변화를 살펴 보았다.
영상에서 화자가 발음하는 동안에 정확한 음성구간의 결정은 피치를 이용한 방법과 신호의 ZCR (Zero Cross Rate)을 이용한 음성 구간의 시작점 끝점 검출 알고리듬을 이용하였다[5]. 동기화에 의해 얻어진 프레임들은 먼저 각 프레임에 대해 8 bits 그레이 영상으로 변환하여 이 영상에 대해 명암 마스크 차감을 시켜 일차적인 명암의 영향을 제거한 후 ROI를 찾는다.
영상에서 화자가 발음하는 동안에 정확한 음성구간의 결정은 피치를 이용한 방법과 신호의 ZCR (Zero Cross Rate)을 이용한 음성 구간의 시작점 끝점 검출 알고리듬을 이용하였다[5]. 동기화에 의해 얻어진 프레임들은 먼저 각 프레임에 대해 8 bits 그레이 영상으로 변환하여 이 영상에 대해 명암 마스크 차감을 시켜 일차적인 명암의 영향을 제거한 후 ROI를 찾는다.
영상이미지 기반 립리딩 방법에 시간영역 필터링의 적용은 조명의 영향에 의한 성분을 제거하여 파라미터 수를 줄여줄 뿐 아니라 인식성능을 개선시켜 주었다. 또한 필터링를 한 결과 출력 파라미터에 대해 PCA을 적용하므로써 다시 몇 개의 특징 파라미터들로 주성분 개수를 줄일 수 있다.
음성과 영상의 동기화를 위해 화자가 단어를 발음하는 구간 동안에 음성 분석 알고리듬을 이용하여 음성의 시작점과 끝점을 찾고 이를 토대로 영상 정보에서 발음의 시작점과 끝점을 맞추는 동기화 방법을 이용하였다.
음성과 영상의 동기화를 위해 화자가 단어를 발음하는 구간 동안에 음성 분석 알고리듬을 이용하여 음성의 시작점과 끝점을 찾고 이를 토대로 영상 정보에서 발음의 시작점과 끝점을 맞추는 동기화 방법을 이용하였다.
첫번재 조건은 필터링을 적용하지 않고 PCA만수행하여 얻어 긴 주성분 개수에 대한 변화 유무에 대해서 실험했으며, 드번째로 필터링을 기준 립리딩 시스템에 적용하여 주성븐 개수의 변화를 살펴 보았다. 이 경우 먼저 PCA 수행立 얻어진 결과 파라미터를 대상으로 필터링을한 시간영역 필터링 방법 1과 먼저 필터링을 수행 후 얻어진 파라미터를 대상으로 PCA를 한 시간영역 필터링 방법 2로 분류하여 총 3가지 경우에 대해 주성분 개수변화 실험을 수행하였다.
첫번재 조건은 필터링을 적용하지 않고 PCA만수행하여 얻어 긴 주성분 개수에 대한 변화 유무에 대해서 실험했으며, 드번째로 필터링을 기준 립리딩 시스템에 적용하여 주성븐 개수의 변화를 살펴 보았다. 이 경우 먼저 PCA 수행立 얻어진 결과 파라미터를 대상으로 필터링을한 시간영역 필터링 방법 1과 먼저 필터링을 수행 후 얻어진 파라미터를 대상으로 PCA를 한 시간영역 필터링 방법 2로 분류하여 총 3가지 경우에 대해 주성분 개수변화 실험을 수행하였다.
이때 발음을 하면서 계속적으로 변하는 부분은 고주파 영역에서 나타나고, 변화가 적은 부분은 저주파 영역에 나타나게 된다. 이를 바탕으로 고역 통과 필터와 대역 통과 필터를 각각 적용하여 실험하고 결과를 비교·분석하였다.
이때 발음을 하면서 계속적으로 변하는 부분은 고주파 영역에서 나타나고, 변화가 적은 부분은 저주파 영역에 나타나게 된다. 이를 바탕으로 고역 통과 필터와 대역 통과 필터를 각각 적용하여 실험하고 결과를 비교·;분석하였다.
입술 ROI 안의 영상은 입술과 입술 주변의 피부가 대상이 되며 발음하는 동안 화자의 입술 움직임은 계속적으로 변화가 된다. 이미지 크기와 비례하는 파라미터 수를 가지고 있으므로 PCA 과정을 통해 데이터의 양을 축소하였다. PCA 과정을 거치게 되면 입력된 입술 영상이 갖는 특징 정보를 거의 포함 소수 m 차원 파리미터로 축약시킬 수 있고 여기서 추출된 주성분들이 최종적으로 HMM 인식 알고리듬에 사용될 입술 특징 파라미터들로 확정된다.
실험은 크게 2가지 조건으로 나누어 수행하였다. 첫번재 조건은 필터링을 적용하지 않고 PCA만수행하여 얻어 긴 주성분 개수에 대한 변화 유무에 대해서 실험했으며, 드번째로 필터링을 기준 립리딩 시스템에 적용하여 주성븐 개수의 변화를 살펴 보았다. 이 경우 먼저 PCA 수행立 얻어진 결과 파라미터를 대상으로 필터링을한 시간영역 필터링 방법 1과 먼저 필터링을 수행 후 얻어진 파라미터를 대상으로 PCA를 한 시간영역 필터링 방법 2로 분류하여 총 3가지 경우에 대해 주성분 개수변화 실험을 수행하였다.
대상 데이터
실험을 위해 이용된 데이터는 일반인 남성 화자 70명을 대상으로 운전자들이 요구하는 정보에 대해 서비스가 가능한 22단어를 발음하여 영상 데이터 및 음성 데이터를 구축하였다.
실험을 위해 이용된 데이터는 일반인 남성 화자 70명을 대상으로 운전자들이 요구하는 정보에 대해 서비스가 가능한 22단어를 발음하여 영상 데이터 및 음성 데이터를 구축하였다.
인식률 비교를 위한 실험은 22단어를 대상으로 실험실 내에서 수행하였다. 영상 녹화는 남성 화자 70명을 대상으로 코에서부터 턱까지 촬영하였다. 이 중 학습화를 위해 52명의 영상을, 나머지 18명의 영상은 테스트에 사용하였으며, 실험은 다음과 같은 방법으로 이루어졌다.
영상 데이터의 수집은 30 Frames/sec 속도로 컬러 이미지로 코에서부터 턱까지만 320 X 240 크기로 고정하여 수집하였고 음성데이터는 일반 마이크를 사용하여 수집 하였다.
영상 데이터의 수집은 30 Frames/sec 속도로 컬러 이미지로 코에서부터 턱까지만 320 X 240 크기로 고정하여 수집하였고 음성데이터는 일반 마이크를 사용하여 수집 하였다.
영상 녹화는 남성 화자 70명을 대상으로 코에서부터 턱까지 촬영하였다. 이 중 학습화를 위해 52명의 영상을, 나머지 18명의 영상은 테스트에 사용하였으며, 실험은 다음과 같은 방법으로 이루어졌다.
인식률 비교를 위한 실험은 22단어를 대상으로 실험실 내에서 수행하였다. 영상 녹화는 남성 화자 70명을 대상으로 코에서부터 턱까지 촬영하였다.
인식률 비교를 위한 실험은 22단어를 대상으로 실험실 내에서 수행하였다. 영상 녹화는 남성 화자 70명을 대상으로 코에서부터 턱까지 촬영하였다.
성능/효과
그림 8에서 보는 바와 같이 입술 ROI 파라미터에 대해 필터링을 수행하면 PCA의 개수가 필터링을 전혀 하지 않은 것에 비해 절반 이상 줄어드는 것을 볼 수 있다. 결과적으로 시간영역 필터링 방법 2가 더 적은 파라미터를 추출한다는 것을 알 수 있으며, 따라서 파라미터 수를 줄여 인식 속도를 향상시킬 수 있는 장점이 있음을 알 수 있다.
그림 8에서 보는 바와 같이 입술 ROI 파라미터에 대해 필터링을 수행하면 PCA의 개수가 필터링을 전혀 하지 않은 것에 비해 절반 이상 줄어드는 것을 볼 수 있다. 결과적으로 시간영역 필터링 방법 2가 더 적은 파라미터를 추출한다는 것을 알 수 있으며, 따라서 파라미터 수를 줄여 인식 속도를 향상시킬 수 있는 장점이 있음을 알 수 있다.
결과적으로 제안된 시간영역 필터링 방법 2가 립리딩의 성능 향상에는 효과적임을 알 수 있다. 또한 대역 통과 필터와 고역 통과 필터의 인식율만을 비교하여 보면 거의 비슷한 인식성능을 보임을 알 수 있다.
결과적으로 제안된 시간영역 필터링 방법 2가 립리딩의 성능 향상에는 효과적임을 알 수 있다. 또한 대역 통과 필터와 고역 통과 필터의 인식율만을 비교하여 보면 거의 비슷한 인식성능을 보임을 알 수 있다.
본 논문에서는 기준 립리딩 시스템에 시간영역 필터링을 적용한 방식을 두가지로 분류하여 인식 실험을 하였다. 그 결과를 분석하면 PCA를 먼저 수행한 후 필터링을 한 시간영역 필터링 방법 1은 먼저 수행한 후 PCA를 먼저 수행한 후 PCA를 수행한 시간 영역 필터링 방법 2에 비행 좋지 못한 인식 결과를 보였다. 필터링을 하지 않고 PCA 를 먼저 적용하는 시간영역 필터링 방법 1은 PCA를 수행하기 전에 먼저 필터링을하여 본래 이미지에서 불필요한 정보를 제거한 후 주성분을 추출하는 제안한 방식과 비교해서 좋지 못한 인식 결과를 보였다.
본 논문에서는 기준 립리딩 시스템에 시간영역 필터링을 적용한 방식을 두가지로 분류하여 인식 실험을 하였다. 그 결과를 분석하면 PCA를 먼저 수행한 후 필터링을 한 시간영역 필터링 방법 1은 먼저 수행한 후 PCA를 먼저 수행한 후 PCA를 수행한 시간 영역 필터링 방법 2에 비행 좋지 못한 인식 결과를 보였다. 필터링을 하지 않고 PCA 를 먼저 적용하는 시간영역 필터링 방법 1은 PCA를 수행하기 전에 먼저 필터링을하여 본래 이미지에서 불필요한 정보를 제거한 후 주성분을 추출하는 제안한 방식과 비교해서 좋지 못한 인식 결과를 보였다.
그림 16은 PCA 90%에서 필터링을 먼저 한 후 PCA 처리한 방법과 PCA를 먼저 수행한 후 필터링을 한 두 방법의 인식율을 비교한 것이다. 그림에 도식된 결과를 살펴보면 필터링을 먼저 수행한 후 PCA를 수행한 것이 더 좋은 인식 성능을 보임을 알 수 있다.
그림 16은 PCA 90%에서 필터링을 먼저 한 후 PCA 처리한 방법과 PCA를 먼저 수행한 후 필터링을 한 두 방법의 인식율을 비교한 것이다. 그림에 도식된 결과를 살펴보면 필터링을 먼저 수행한 후 PCA를 수행한 것이 더 좋은 인식 성능을 보임을 알 수 있다.
이 현상은 픽셀마다 필터에 의해서 제거된 정보 때문이다. 두 가지 방법의 결과 영상만을 비교해 보면 시간영역 필터링 방법 1의 결과가 시간영역 필터링 방법 2의 결과에 비하여 더 많이 흐려진 것을 확인할 수 있다. 이는 시간영역 필터링 방법 1에서 중요한 영상 정보가 필터에 의해 더 많이 제거되었음을 보여 준다.
이 현상은 픽셀마다 필터에 의해서 제거된 정보 때문이다. 두 가지 방법의 결과 영상만을 비교해 보면 시간영역 필터링 방법 1의 결과가 시간영역 필터링 방법 2의 결과에 비하여 더 많이 흐려진 것을 확인할 수 있다. 이는 시간영역 필터링 방법 1에서 중요한 영상 정보가 필터에 의해 더 많이 제거되었음을 보여 준다.
결과적으로 제안된 시간영역 필터링 방법 2가 립리딩의 성능 향상에는 효과적임을 알 수 있다. 또한 대역 통과 필터와 고역 통과 필터의 인식율만을 비교하여 보면 거의 비슷한 인식성능을 보임을 알 수 있다. 같은 개수의 주성분을 갖으면서도 인식율이 비슷하다는 것은 영상은 음성과는 달리 시간영역에서 볼 때 고주파 영역에 존재하는 급변하는 정보는 많지 않다는 것을 알 수 있다.
그래서 본 논문에서는 필터에 의해 정보를 손실하지 않고 잡음성분만을 제거하고 파라미터 수를 줄여 인식속도를 향상시키기 위해 필터링을 먼저 수행한 후 PCA를 통해 주성분을 추출하는 방법을 제안하였다. 범례의 80%, 90%와 95%는 주성분 백분율을 나타내며 PCA한 결과값이 각각 80%, 90%와 95%의 원래 신호 정보를 가지고 있음을 뜻한다.
본 논문에서는 이러한 성능저하를 보상하기 위해서 명암이나 조도 변화에 강인한 시간 영역 필터링기법을 사용하였으며, 이 방법을 통해 실제 명암의 변화나 잡음 등이 줄어들어 인식성능이 향상되었음을 확인하였다.
본 논문에서는 이러한 성능저하를 보상하기 위해서 명암이나 조도 변화에 강인한 시간 영역 필터링기법을 사용하였으며, 이 방법을 통해 실제 명암의 변화나 잡음 등이 줄어들어 인식성능이 향상되었음을 확인하였다.
본 연구의 결과에서도 필터를 립리딩에 적용한 후 인식률 변화를 살펴보면 필터링을 하지 않고 PCA만 수행했을 경우 64%의 인식율을 보인 반면, 필터링을 수행하였을 경우는 72.7%으로 인식율 향상을 보였다. 그리고 파라미터 개수의 감소로 인해서 인식처리 속도 또한 현저히 단축되었다.
본 연구의 결과에서도 필터를 립리딩에 적용한 후 인식률 변화를 살펴보면 필터링을 하지 않고 PCA만 수행했을 경우 64%의 인식율을 보인 반면, 필터링을 수행하였을 경우는 72.7%으로 인식율 향상을 보였다. 그리고 파라미터 개수의 감소로 인해서 인식처리 속도 또한 현저히 단축되었다.
단지 추출된 파라미터 성분에서 고주파나 저주파 영역의 정보만을 제거하는 것이다. 실험 결과에서도 PCA 90%를 적용하였을 때는 24개, PCA 95%를 적용할 경우는 44개의 주성분 개수가 그대로 사용되어 인식속도 향상을 기대할 수 없었다. 그래서 본 논문에서는 필터에 의해 정보를 손실하지 않고 잡음성분만을 제거하고 파라미터 수를 줄여 인식속도를 향상시키기 위해 필터링을 먼저 수행한 후 PCA를 통해 주성분을 추출하는 방법을 제안하였다.
단지 추출된 파라미터 성분에서 고주파나 저주파 영역의 정보만을 제거하는 것이다. 실험 결과에서도 PCA 90%를 적용하였을 때는 24개, PCA 95%를 적용할 경우는 44개의 주성분 개수가 그대로 사용되어 인식속도 향상을 기대할 수 없었다. 그래서 본 논문에서는 필터에 의해 정보를 손실하지 않고 잡음성분만을 제거하고 파라미터 수를 줄여 인식속도를 향상시키기 위해 필터링을 먼저 수행한 후 PCA를 통해 주성분을 추출하는 방법을 제안하였다.
그림 14는 시간영역 필터링 방법 1을 사용해 인식 실험한 결과이다. 실험결과를 분석해 보면 필터링을 수행하지 않는 쪽의 인식률이 더 좋은 결과를 나타내고 있음을 확인할수 있다. 이는 필터에 의해 추출된 특징 파라미터가 기존의 특징 파라미터와 비교해서 더 적은 정보를 갖고 잇음을 알 수 있다.
그림 14는 시간영역 필터링 방법 1을 사용해 인식 실험한 결과이다. 실험결과를 분석해 보면 필터링을 수행하지 않는 쪽의 인식률이 더 좋은 결과를 나타내고 있음을 확인할수 있다. 이는 필터에 의해 추출된 특징 파라미터가 기존의 특징 파라미터와 비교해서 더 적은 정보를 갖고 잇음을 알 수 있다.
위의 두 결과에서 알 수 있듯이 시간영역 필터링 방법 1에서는 필터링을 하지 않는 것이 더 좋은 인식률을 보인다. 반면 시간영역 필터링 방법 2에서는 필터링을 한 경우가 인식률이 더 좋은 것을 알 수 있다.
위의 두 결과에서 알 수 있듯이 시간영역 필터링 방법 1에서는 필터링을 하지 않는 것이 더 좋은 인식률을 보인다. 반면 시간영역 필터링 방법 2에서는 필터링을 한 경우가 인식률이 더 좋은 것을 알 수 있다.
이 실험 결과에서 보면 PCA에 의하여 추출된 정보가 필터링에 의해 이미지 정보가필터 영역에 따라 제거됨을 알수 있으며, 따라서 시간영역 필터링 방법 1을 이용하는 것 보다 필터링을 하지 않고 PCA만 하여 파라미터를 추출한 것이 더 좋은 인식율을 나타낸다는 것을 예측할 수 있다. 이는 원 영상으로부터 추출된 파라미터를 필터링하는 것이므로 필터에 의해서 파라미터들의 정보가 손실되어 인식 성능의 저하를 가져온다는 것을 알 수 있는 결과이다.
이 실험 결과에서 보면 PCA에 의하여 추출된 정보가 필터링에 의해 이미지 정보가필터 영역에 따라 제거됨을 알수 있으며, 따라서 시간영역 필터링 방법 1을 이용하는 것 보다 필터링을 하지 않고 PCA만 하여 파라미터를 추출한 것이 더 좋은 인식율을 나타낸다는 것을 예측할 수 있다. 이는 원 영상으로부터 추출된 파라미터를 필터링하는 것이므로 필터에 의해서 파라미터들의 정보가 손실되어 인식 성능의 저하를 가져온다는 것을 알 수 있는 결과이다.
접어진 영상은 입력 이미지를 시간영역에서 필터링하는 과정을 통해 입술 이미지에서 불필요한 정보를 제거하였다. 이처럼 처리된 이미지에 대해 PCA를 수행하여 중요한 몇 개의 특징 파라미터만을 추출해 처리하므로써 인식 속도를 현저히 단축하고 인식률을 증가시킬 수 있었다.
후속연구
본 실험에서는 실내라는 안정적인 환경에서 입술 ROI를 추출하여 립리딩 실험을 하여 인식결과를 얻었다. 그러나 실제 립리딩의 응용 범위는 실생활에 적용되어야 하므로 추후 연구에서는 립리딩의 응용 영역은 실제 현실영역을 대상이므로 동적환경에서 보다 효율적 향상된 립리딩 방식에 대한 연구를 하고자 한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.