본 논문은 임베디드 환경에서의 실시간 립리딩 방법을 제안한다. 기존 PC 환경에 비하여 임베디드 환경은 사용할 수 있는 자원이 제한적이므로, 기존 PC 환경의 립리딩 시스템을 임베디드 환경에서 실시간으로 구동하기는 어렵다. 이러한 문제를 해결하기 위해 본 논문은 임베디드 환경에 적합한 입술영역 검출 방법과 입술 특징추출 방법, 그리고 발성 단어 인식 방법을 제안한다. 먼저 정확한 입술영역을 찾기 위해 얼굴 색상정보를 이용해 얼굴영역을 검출하고 검출된 얼굴 영역에서 양쪽 두 눈의 위치를 찾아 기하학적 관계를 이용해 정확한 입술영역을 검출한다. 검출된 입술영역에서 주위 환경 변화에 따른 조명 변화에 강인한 특징을 추출하기위해 히스토그램 매칭과 입술 폴딩, RASTA 필터를 적용하고 주성분 분석(PCA)을 이용한 특징계수를 추출해 인식에 사용하였다. 실험결과 CPU 806Mhz, RAM 128MB 사양의 임베디드 환경에서 발성 단어에 따라 1.15초에서 2.35초까지의 처리 속도를 보였으며, 180개의 단어 중 139개의 단어를 인식해 77%의 인식률을 얻을 수 있었다.
본 논문은 임베디드 환경에서의 실시간 립리딩 방법을 제안한다. 기존 PC 환경에 비하여 임베디드 환경은 사용할 수 있는 자원이 제한적이므로, 기존 PC 환경의 립리딩 시스템을 임베디드 환경에서 실시간으로 구동하기는 어렵다. 이러한 문제를 해결하기 위해 본 논문은 임베디드 환경에 적합한 입술영역 검출 방법과 입술 특징추출 방법, 그리고 발성 단어 인식 방법을 제안한다. 먼저 정확한 입술영역을 찾기 위해 얼굴 색상정보를 이용해 얼굴영역을 검출하고 검출된 얼굴 영역에서 양쪽 두 눈의 위치를 찾아 기하학적 관계를 이용해 정확한 입술영역을 검출한다. 검출된 입술영역에서 주위 환경 변화에 따른 조명 변화에 강인한 특징을 추출하기위해 히스토그램 매칭과 입술 폴딩, RASTA 필터를 적용하고 주성분 분석(PCA)을 이용한 특징계수를 추출해 인식에 사용하였다. 실험결과 CPU 806Mhz, RAM 128MB 사양의 임베디드 환경에서 발성 단어에 따라 1.15초에서 2.35초까지의 처리 속도를 보였으며, 180개의 단어 중 139개의 단어를 인식해 77%의 인식률을 얻을 수 있었다.
This paper proposes the real time lip reading method in the embedded environment. The embedded environment has the limited sources to use compared to existing PC environment, so it is hard to drive the lip reading system with existing PC environment in the embedded environment in real time. To solve...
This paper proposes the real time lip reading method in the embedded environment. The embedded environment has the limited sources to use compared to existing PC environment, so it is hard to drive the lip reading system with existing PC environment in the embedded environment in real time. To solve the problem, this paper suggests detection methods of lip region, feature extraction of lips, and awareness methods of phonetic words suitable to the embedded environment. First, it detects the face region by using face color information to find out the accurate lip region and then detects the exact lip region by finding the position of both eyes from the detected face region and using the geometric relations. To detect strong features of lighting variables by the changing surroundings, histogram matching, lip folding, and RASTA filter were applied, and the properties extracted by using the principal component analysis(PCA) were used for recognition. The result of the test has shown the processing speed between 1.15 and 2.35 sec. according to vocalizations in the embedded environment of CPU 806Mhz, RAM 128MB specifications and obtained 77% of recognition as 139 among 180 words were recognized.
This paper proposes the real time lip reading method in the embedded environment. The embedded environment has the limited sources to use compared to existing PC environment, so it is hard to drive the lip reading system with existing PC environment in the embedded environment in real time. To solve the problem, this paper suggests detection methods of lip region, feature extraction of lips, and awareness methods of phonetic words suitable to the embedded environment. First, it detects the face region by using face color information to find out the accurate lip region and then detects the exact lip region by finding the position of both eyes from the detected face region and using the geometric relations. To detect strong features of lighting variables by the changing surroundings, histogram matching, lip folding, and RASTA filter were applied, and the properties extracted by using the principal component analysis(PCA) were used for recognition. The result of the test has shown the processing speed between 1.15 and 2.35 sec. according to vocalizations in the embedded environment of CPU 806Mhz, RAM 128MB specifications and obtained 77% of recognition as 139 among 180 words were recognized.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
기존의 방법들은 프로세서의 성능이 우수하고 메모리 등의 자원이 풍부한 PC 환경에서 구현되었기 때문에 자원에 대한 제약 조건이 많은 임베디드 환경에서 실시간으로 동작하기 어려운 문제를 가지고 있다. 따라서 본 논문에서는 임베디드에서 립리딩이 실시간으로 동작하기 위해 입술검출 방법과 특징 추출 방법을 제안하였다. 본 논문에서 제안한 방법은 계산량이 작고 자원을 적게 사용함으로써 임베디드 환경에서 실시간으로 동작할 수 있었다.
카메라로부터 입력되는 영상은 조명과 주위 환경에 따라 얼굴 영역의 색상이 다양하게 변한다. 따라서 본 논문에서는 입력 영상의 첫 프레임에서 영상의 중앙 부분에 영역을 설정하여 영역 내에 포함된 픽셀들의 색상을 분석하여 이와 유사한 색상을 가지는 영역을 얼굴 영역으로 검출하였다[14]. (그림 2)에는 입력된 영상에서 얼굴 영역을 검출한 결과가 나타나 있다.
본 논문에서는 임베디드 환경에서 실시간 립리딩 방법을 제안하였다. 기존의 방법들은 프로세서의 성능이 우수하고 메모리 등의 자원이 풍부한 PC 환경에서 구현되었기 때문에 자원에 대한 제약 조건이 많은 임베디드 환경에서 실시간으로 동작하기 어려운 문제를 가지고 있다.
또한 시간의 흐름에 따라서 픽셀 값이 이전 픽셀 값과 차이가 나면 고주파 영역에 도시되고 그렇지 않으면 저주파 영역에 도시된다. 이를 이용해 적절한 필터를 사용하여 중요한 정보만을 추출하는 것이 필터링의 목적이다.
제안 방법
먼저 임베디드 시스템에 내장된 카메라를 이용해 영상을 획득하고 피부 색상정보를 이용해 얼굴영역을 검출한다. 검출된 얼굴 영역에서 좌, 우측 양쪽 눈의 위치를 검출하고, 기하학적 특징을 이용해 입술영역을 검출한다. 검출된 입술영역에서 히스토그램 매칭을 통해 조명변화에 대한 보상을 수행하고 입술 폴딩을 이용해 입술 영상을 절반으로 줄여 처리 속도를 향상시킨다[12].
학습 데이터 환경의 히스토그램과 인식 환경의 히스토그램을 비교 했을 때 서로 다른 히스토그램 분포는 인식률 저하의 원인이 된다. 따라서 본 논문에서는 매핑 함수를 만들어 실제 인식 환경의 히스토그램을 학습 데이터 환경의 히스토그램과 비슷한 분포를 가지도록 매핑 하여 조명의 변화를 보상하였다. (그림 7)은 원본 입술 영상과 히스토그램 매핑을 적용한 입술 영상을 보여 주고 있다.
조명은 카메라로부터 입력되는 영상에서 실제 색 정보를 왜곡시키며, 영상 분석을 통해 파라미터를 추출하여 인식하는 방식을 사용하는 경우 인식률 성능에 큰 영향을 미친다. 따라서 본 논문에서는 이러한 성능저하를 보상하기 위해서 명암이나 조도변화에 강인한 RASTA 필터를 사용하였다.
마지막으로 RASTA 필터링을 적용한 입술 영상을 통계적 알고리즘인 주성분 분석(PCA)을 사용하여 중요한 몇 개의 특징 파라미터만을 추출해 처리함으로써 인식속도를 현저히 단축하고 인식률을 증가시킬 수 있도록 하였다.
또한 RASTA(RelAtive SpecTrAl) 필터를 통해 불필요한 특징을 제거해 준다[12, 13]. 마지막으로 주성분 분석(PCA)을 이용해 특징계수를 추출하고 비터비 디코딩 알고리즘을 이용해 발성한 단어를 인식한다.
본 논문에서는 입술검출 방법으로 얼굴영역에서 양쪽 두 눈을 먼저 찾고 두 눈으로부터 기하학적 특징을 이용해 입술영역을 찾는 방법을 사용하였다[14]. 먼저 눈과 눈썹은 피부에 비하여 어두운 특성을 가지고 있으므로 명암도를 이용하여 눈을 검출한다. (그림 3)에는 명함도가 가장 작은 값을 탐색한 행이 굵은 선으로 표시되어 있고, 열 중에서 제일 작은 값과 그 다음으로 작은 값을 가지는 열이 굵은 선으로 표시되어 있다.
(그림 1)은 임베디드 환경에서 실시간으로 립리딩을 수행하기 위한 전체적인 알고리즘이 나타나 있다. 먼저 임베디드 시스템에 내장된 카메라를 이용해 영상을 획득하고 피부 색상정보를 이용해 얼굴영역을 검출한다. 검출된 얼굴 영역에서 좌, 우측 양쪽 눈의 위치를 검출하고, 기하학적 특징을 이용해 입술영역을 검출한다.
따라서 본 논문에서는 사용자가 발성을 시작하면 입술 영상을 발성이 모두 끝날 때 까지 36x28크기로 메모리에 저장한다. 메모리에 저장된 입술 영상을 본 논문에서 제안한 방법으로 특징 벡터를 추출하고 비터비 디코딩 알고리즘을 이용해 인식을 수행한다. 발성 단어의 인식 수행 속도는 발성 단어에 따라 차이가 있으나 3.
따라서 본 논문에서는 임베디드에서 립리딩이 실시간으로 동작하기 위해 입술검출 방법과 특징 추출 방법을 제안하였다. 본 논문에서 제안한 방법은 계산량이 작고 자원을 적게 사용함으로써 임베디드 환경에서 실시간으로 동작할 수 있었다. 향후 과제는 현제 제안된 방식은 화자종속으로 제한된 사용자만 인식이 가능하나 향후 화자독립으로 립리딩 연구를 진행 하고자 한다.
입술 영상의 색상정보는 조명에 따라서 그 분포가 쉽게 변한다. 본 논문에서는 이러한 문제를 해결하기 위한 방안으로 히스토그램 매칭을 사용하였다. 히스토그램 매칭은 서로 다른 두 영상을 비교하여 상대적으로 비슷한 히스토그램을 갖게 하는 방법이다.
본 논문에서는 입술검출 방법으로 얼굴영역에서 양쪽 두 눈을 먼저 찾고 두 눈으로부터 기하학적 특징을 이용해 입술영역을 찾는 방법을 사용하였다[14]. 먼저 눈과 눈썹은 피부에 비하여 어두운 특성을 가지고 있으므로 명암도를 이용하여 눈을 검출한다.
본 실험의 수행 속도는 사용자가 발성을 시작할 때 버튼을 클릭하여 시작하고 발성을 다 마친 후 다시 버튼을 클릭하여 발성 단어를 인식 하였으므로 정확한 수행 시간과는 오차가 발생할 수 있다. 본 논문에서는 처리 속도 향상을 위해서 부동 소수점 연산을 고정 소수점연산으로 변환 하였으며, 빠른 입술 검출과 특징 추출 알고리즘을 사용 하였다. 또한 묵음-단어-묵음의 3상태 HMM 모델과 비터비 디코딩 알고리즘을 임베디드 시스템에 탑재해 사용하였다.
본 논문에서는 픽셀 기반 방법 중 주성분 분석(PCA: Principal Component Analysis)을 사용 하여 입술 영역의 특징을 추출 하였다. PCA는 다른 기법들에 비해 기저벡터를 계산하는데 있어 많은 계산량이 요구되지만 특징 정보의 차원 축소를 통해 정보를 압축해주는 알고리즘으로 가장 좋은 결과를 얻을 수 있다[11].
본 논문에서는 히스토그램 매칭(Histogram matching)과 입술영상 접기(Lip folding), RASTA(RelAtive SpecTrAl)필터링을 적용하고 주성분 분석(PCA)을 이용해 입술 특징 정보를 추출하였다. 입술 영상의 색상정보는 조명에 따라서 그 분포가 쉽게 변한다.
PC 환경에서는 부동 소수점 연산에 제한이 없으나 임베디드 시스템에서는 부동 소수점 연산에 제한이 많이 있다. 이를 해결하기 위해서 부동 소수점 연산을 고정 소수점 연산으로 변환하여 처리 속도를 최적화 하였다.
둘째는 입력 영상에서 입술 영역을 추출한 다음에 픽셀 값에 주성분 분석, 선형 판별 분석, 이산 코사인 변환 등의 변환을 적용하여 특징의 크기를 줄여서 사용하는 픽셀 기반 방법이다[8-10]. 일반적으로 픽셀 기반 방법에 비하여 모델 기반 방법이 더 많은 계산을 요구하므로 본 논문에서는 임베디드 시스템 환경에 적합한 픽셀 기반 방법을 이용한 입술 영역검출과 입술 특징추출 방법을 사용하였다.
대상 데이터
본 논문에서는 임베디드 시스템의 전면에 부착되어 있는 카메라를 이용해 발성자의 얼굴 영상을 입력받아 사용하였으며, 카메라와 얼굴 사이의 거리는 얼굴 전체가 화면에 나오도록 하였다. 카메라로부터 입력되는 영상은 조명과 주위 환경에 따라 얼굴 영역의 색상이 다양하게 변한다.
실험에 사용된 마이크로비젼 MV-320은 806Mhz CPU와 128MB Memory를 내장하고 있다. 본 논문에서는 전면에 부착 되어 있는 카메라를 사용해 실험하였으며, 카메라로부터 입력된 영상은 240x320 크기의 10 Frame/Sec 이내의 영상을 제공한다.
임베디드 시스템에서 립리딩 인식 테스트를 위해 18개 단어를 10번 반복해 총 180개의 단어를 학습 시켜 데이터베이스를 제작하였다. 18개의 단어는 헬스케어 기기인 경사침대를 제어하기 위한 명령어들로 이루어져 있다.
데이터처리
구현 환경은 Microsoft Embedded Visual C++를 사용하였으며, HTK 3.0의 HMM 알고리즘을 사용해 학습 및 인식하였다. 실험에 사용된 마이크로비젼 MV-320은 806Mhz CPU와 128MB Memory를 내장하고 있다.
이론/모형
본 논문에서는 처리 속도 향상을 위해서 부동 소수점 연산을 고정 소수점연산으로 변환 하였으며, 빠른 입술 검출과 특징 추출 알고리즘을 사용 하였다. 또한 묵음-단어-묵음의 3상태 HMM 모델과 비터비 디코딩 알고리즘을 임베디드 시스템에 탑재해 사용하였다. (그림 10)은 임베디드 시스템에서 실시간으로 립리딩을 수행해 인식 결과를 보여주고 있다.
RASTA 필터는 원래 음성과 잡음이 서로 다른 점을 이용하여 인식 향상에 강인하게 작용하는 필터로 연구되었다. 본 논문에서는 영상을 이용한 립리딩에 RASTA 필터를 적용하였으며, 다음 식은 고역통과 필터와 저역통과 필터 식이다.
성능/효과
35초가 걸렸다. 본 실험의 수행 속도는 사용자가 발성을 시작할 때 버튼을 클릭하여 시작하고 발성을 다 마친 후 다시 버튼을 클릭하여 발성 단어를 인식 하였으므로 정확한 수행 시간과는 오차가 발생할 수 있다. 본 논문에서는 처리 속도 향상을 위해서 부동 소수점 연산을 고정 소수점연산으로 변환 하였으며, 빠른 입술 검출과 특징 추출 알고리즘을 사용 하였다.
<표 2>는 180개의 단어를 인식 테스트하였을 때의 결과를 보여 주고 있으며, (그림 11) 은 인식 결과를 그래프로 나타내고 있다. 실험 결과에서 보면 높여, 이동훈련, 0도와 같은 단어가 잘못 인식하는 비율이 높았으며, 이 중에서 높여 단어는 이동훈련과 50센치로 잘못 인식하는 결과를 보였다. 또한 이동훈련은 훈련으로 잘못 인식 하였으며, 0도는 위로와 0센치로 잘못 인식 하였다.
인식 테스트는 학습 환경과 비슷한 조명에서 18개 단어를 10번 반복해 총 180개의 단어를 사용해 인식 테스트를 수행하였으며, 테스트 결과는 180개의 단어 중 139개의 단어를 인식해 77% 인식률을 얻었다. <표 2>는 180개의 단어를 인식 테스트하였을 때의 결과를 보여 주고 있으며, (그림 11) 은 인식 결과를 그래프로 나타내고 있다.
후속연구
본 논문에서 제안한 방법은 계산량이 작고 자원을 적게 사용함으로써 임베디드 환경에서 실시간으로 동작할 수 있었다. 향후 과제는 현제 제안된 방식은 화자종속으로 제한된 사용자만 인식이 가능하나 향후 화자독립으로 립리딩 연구를 진행 하고자 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
임베디드 환경에서 실시간으로 립리딩을 수행하기 위한 알고리즘은 어떤 단계를 거치는가?
(그림 1)은 임베디드 환경에서 실시간으로 립리딩을 수행하기 위한 전체적인 알고리즘이 나타나 있다. 먼저 임베디드 시스템에 내장된 카메라를 이용해 영상을 획득하고 피부 색상정보를 이용해 얼굴영역을 검출한다. 검출된 얼굴 영역에서 좌, 우측 양쪽 눈의 위치를 검출하고, 기하학적 특징을 이용해 입술영역을 검출한다. 검출된 입술영역에서 히스토그램 매칭을 통해 조명변화에 대한 보상을 수행하고 입술 폴딩을 이용해 입술 영상을 절반으로 줄여 처리 속도를 향상시킨다[12]. 또한 RASTA(RelAtive SpecTrAl) 필터를 통해 불필요한 특징을 제거해 준다[12, 13]. 마지막으로 주성분 분석(PCA)을 이용해 특징계수를 추출하고 비터비 디코딩 알고리즘을 이용해 발성한 단어를 인식한다.
립리딩을 수행하기 위한 단계는 어떻게 나누어지는가?
립리딩을 수행하기 위해서는 크게 입술 영역검출과 입술 특징추출, 그리고 발성 단어 인식 단계로 나누어 볼 수 있다. 먼저 입력된 영상에서 입술 영역검출과 입술 특징을 추출 방법은 크게 두 가지 기법으로 나눌 수 있다.
PCA는 어떤 특성을 가진 알고리즘인가?
본 논문에서는 픽셀 기반 방법 중 주성분 분석(PCA: Principal Component Analysis)을 사용 하여 입술 영역의 특징을 추출 하였다. PCA는 다른 기법들에 비해 기저벡터를 계산하는데 있어 많은 계산량이 요구되지만 특징 정보의 차원 축소를 통해 정보를 압축해주는 알고리즘으로 가장 좋은 결과를 얻을 수 있다[11]. PCA는 부동 소수점 연산과 같은 많은 연산을 필요로 한다.
참고문헌 (17)
E. D. Petajan, "Automatic lipreading to enhance speech recognition," in Proc. of Global Telecommunications Conf., pp.265-272, Nov. 1984.
C. C. Chibelushi, F. Deravi, and J. S. D. Mason, "A review of speech based bimodal recognition," IEEE Trans. Multimedia, Vol.4, No.1, pp.23-37, Mar. 2002.
G. Potamianos, C. Neti, G. Gravier, A. Garg, A.W. Senior, "Recent advances in the automatic recognition of audiovisual speech," Proceedings of the IEEE, Vol.91, No.9, pp.1306-1326, Sept. 2003.
J. S. Lee and C. H. Park, "Robust Audio-Visual Speech Recognition Based on Late Integration," IEEE Trans. on Multimedia, Vol.10, No.5, pp.767-779, Aug. 2008.
T. Wark, S. Sridharan, V. Chandran, "An approach to statistical lip modelling for speaker identification via chromatic feature extraction," Proc. of Fourteenth International Conference on Pattern Recognition, pp.123-125, Aug. 1998.
P. Delmas, N. Eveno, M. Lievin, "Towards robust lip tracking," Proc. of 16th International Conference on Pattern Recognition, pp.528-531, Aug. 2002.
S. Dupont and J. Luettin, "Audio-visual speech modeling for continuous speech recognition," IEEE Trans. on Multimedia, Vol.2, No.3, pp.141-151, Sep. 2000.
C. Bregler and Y. Konig, "Eigenlips for robust speech recognition," in Proc. IEEE ICASSP, Vol.2, pp.669-672, 1994
P. Duchnowski, U. Meier, and A. Waibel, "See me, hear me: Integrating automatic speech recognition and lip-reading," in Proc. ICSLP, Vol.2, pp.547-550, 1994.
G. Potamianos, A. Verma, C. Neti, G. Iyengar, and S. Basu, "A cascade image transform for speaker independent automatic speechreading," in Proc. 1st IEEE Int. Conf. Multimedia and Expo., Vol.2, pp.1097-1100, 2000.
S. Lucey, "An Evaluation of Visual Speech Features for the Tasks of Speech and Speaker Recognition," Proc. Int. Conf. Audio-Video-base Biometric Person Authentication, Guildford, UK, pp.260-267, 2003.
Jinyoung Kim, Joohun Lee, Katsuhiko Shirai, "An Efficient Lip-Reading Method Robust to Illumination Variations," IEICE TRANSACTIONS on Fundamentals of Electronics, Communications and Computer Sciences, Vol.E85-A, No.9, pp.2164-2168, September 2002.
Hynek Hermansky, Nelson Morgan, "RASTA processing of speech," IEEE Transactions on Speech and Audio Processing, Vol.2, No4, October 1994.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.