선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 연속 프로파일 모델을 이용하여 입술 모델을 구하고 능동적 형태 모델과 최적화 알고리즘을 이용하여 입술을 인식하는 방법을 제안하였다. 최적화 알고리즘으로 이용한 다운힐 심플렉스 알고리즘은 입술인식을 위한 연산량이 많으므로 빠른 수렴을 위해서 능동적 형태 모델의 결과를 이용해서 초기값을 결정하였으며 보다 나은 능동적 형태 모델의 결과를 위해 입술의 형태에 기반한 가중치 벡터를 이용하여 초기 위치를 설정하고 입술의 경계선을 찾는 방법을 제안하였다.
- 이 논문은 입술을 효과적으로 인식하는 방법을 제안하였다. 학습 영상을 통계적으로 분석하는 주성분 분석법을 이용하여 입술 모델을 구하였다.
가설 설정
- 2. 입술 형태 모델을 표현하는 xs= xs+ Ps . bs 식에 의하여 입술의 인스턴스를 생성하고 식에 의하여 스케일, 평행이동, 회전시킨다.
- 5. b와 ( 7\9, s)가 수렴하면 중지한다. 그렇지 않으면 단계 2로 간다.
제안 방법
- 테스트 영상의 오인식 형태는 위아래 입술 각각의 바깥쪽과 안쪽 경계선에서의 오인식과와 바깥쪽과 안쪽 입술의 폭을 잘못 인식하는 총 6가지로 분류하여 오인식을 분석하였다. 각 형태별 오인식 빈도를 표 1에 보였으며 표 1의 오인식 분류인 (1), (2), (3)이 두 가지 이상 동시에 발생하는 오인식인 경우는 폭의 오인식으로 분류하였다.
- 학습 영상을 통계적으로 분석하는 주성분 분석법을 이용하여 입술 모델을 구하였다. 능동적 형태 모델은 물체의 인식 시 초기 위치의 설정에 따라 잘못된 결과를 얻을 수 있기 때문에 이 논문에서는 입술의 형태에 기반한 가중치 벡터를 이용하여 아랫입술과 윗입술 사이의 경계선을 찾고 이 경계선을 중심으로 위치계수를 결정하여 초기 위치의 정확성을 높였다. 다운힐 심플 렉스 탐색 방법을 사용하는 경우 최적화 벡터의 차원이 높으면 지역 최소점 (local minima)에 빠지는 경우가 많고 탐색 시간이 오래 걸리므로 초기 위치와 형태 계수의 선택이 중요하다.
- 능동적 형태 모델을 이용하여 탐색하는 경우 초기위치에 영향을 받게 되므로 본 논문에서는 입술을 인식 하는 첫 단계로서 두 입술 사이의 경계선을 찾고 그 위치를 중심으로 입술을 탐색하였다. 아랫입술과 윗입술의 경계 부분의 영상이 가장 어두우므로 영상의 각 열 (column)에서 식 (7) 을 이용하여 가장 어두운 화소들을 찾고 식 (8) 을 이용하여 입술 영상의 높이에 해당하는 크기를 갖는 벡터인 L(y)를 구하면 가장 큰 값을 갖는 위치에서 두 입술 사이의 경계선을 얻는다.
- 단순화된다. 다운힐 심플 렉스를 이용하여 목적함수의 최소값을 찾는 과정은 초기값의 선택에 따라 연산량의 차이가 많으므로 본 논문에서는 초기값을 결정하는 과정으로 능동적 형태 모델을 이용하였다. 능동적 형태 모델로 찾아진 형태 좌표들을 이용해 식 (12) 의 최적화 벡터를 구한다.
- 두 입술 사이의 경계선 위치( Y顷5«>가 정해지면 입술 모델을 그 위치로 평행 이동한 후 입술을 찾는 과정을 수행하였다. 이 과정은 모델을 구성하는 각 기준점의 프로파일을 이용하여 입술 경계선을 탐색하는 과정과 점들의 전체적인 모양을 허용범위 내로 조정하는 과정의 두 단계로 구성된다.
- 실제 입술의 윤곽은 시각적인 인스펙션(inspection)을 사용하였으며 이때 거리의 기준으로 윗입술 높이의 1/2을 사용하였다[12, 13]. 또한 인식율의 객관성을 높이기 위해 초기위치의 선택에 제한이 없는 연속 프로파일 모델 기반의 기존 알고리즘[12]을 구현하여 두 가지 방식의 결과를 비교하였다. 테스트 영상의 오인식 형태는 위아래 입술 각각의 바깥쪽과 안쪽 경계선에서의 오인식과와 바깥쪽과 안쪽 입술의 폭을 잘못 인식하는 총 6가지로 분류하여 오인식을 분석하였다.
- 모델을 생성할 때에도 이러한 경계점 문제가 발생할 수 있는데 이 경우 모델의 생성과 인식단계에서 동일한 방법을 사용한다. 본 논문에서는 경계에 있는 점의 픽셀값을 연장하는 방법을 이용하였다.
- 본 논문에서는 그림 1에서와같이 입술의 외부와 내부에 N개(외부 21개, 내부 20개)의 기준점을 찍고 이 점들로부터 직교 방향으로 K개의 프로파일 정보를 얻어 연속으로 나열한 뒤 모델을 얻는다. 각 그림은 입술 경계를 따라 찍은 기준점과 기준점에서의 프로파일을 보인 것이다.
- 특히 다운힐 심플렉스의 경우 가장 큰 오차를 만들어 내는 좌표점을 수축, 확장하는 과정을 통해 최소값에 수렴하므로 최적화 벡터의 요소들을 동일하게 다루면 지역최 소점에 빠지기 쉽다. 본 논문에서는 이를 해결하기 위해 최적화 벡터에서 고유값 요소 C를 가우시안 분포의 변화도의 90%를 초기값으로 결정하고 형태적 변환에 관련 있는 T, 9, S는 값의 90%를 오프셋 값으로 정해 이를 차감한 것을 초기값으로 정하였다. 차감된 오프셋 값은 최소값을 찾은 뒤 다시 더해진다.
- 식 (15) 에서 최적화의 대상이 되는 벡터에는 형태계수와 이동, 회전, 스케일 요소를 모두 포함하고 있어 차원이 높으므로 초기값의 선정에 의한 수렴 시간의 차이가 많이 발생한다. 본 논문에서는 초기값을 능동적 형태 모델의 결과로 얻어진 값을 이용해 수렴 시간을 줄인다.
- 본 논문에서의 입력 영상의 입술은 2장에서 구성한 입술 모델에 대해 목적함수를 구하고 이를 최소화하여 인식한다. 목적함수의 최적해는 다운힐 심플렉스를 이용하였다.
- 실험 결과를 분석하기 위하여 인식한 입술의 경계선이 실제 위치와 일정 거리 이상 떨어진 경우를 오인식으로 판정하였다. 실제 입술의 윤곽은 시각적인 인스펙션(inspection)을 사용하였으며 이때 거리의 기준으로 윗입술 높이의 1/2을 사용하였다[12, 13].
- 다운힐 심플 렉스 탐색 방법을 사용하는 경우 최적화 벡터의 차원이 높으면 지역 최소점 (local minima)에 빠지는 경우가 많고 탐색 시간이 오래 걸리므로 초기 위치와 형태 계수의 선택이 중요하다. 제안하는 방법은 입술을 구성하는 각 점에서의 화소 분포를 이용하여 대략적인 입술의 형태를 먼저 찾은 뒤 이를 초기값으로 선택하고 다운힐 심플렉스 탐색을 이용하였다. 또한 다운힐 심플렉스에서의 최적화 벡터의 편차를 정규화하여 알고리즘의 수렴성을 보장하였다.
- 이동한다. 즉, 입술 모델을 구성하는 각 기준점의 프로파일을 구하는 방법과 같이 입술의 인스턴스를 구성하는 j 번째 기준점에서 현재 점을 중심으로 양쪽에서 m(m>K)개 의 화소 값을 취 하여 프로파일 XU를 구성하였다. 이후 X".
- 제안하였다. 최적화 알고리즘으로 이용한 다운힐 심플렉스 알고리즘은 입술인식을 위한 연산량이 많으므로 빠른 수렴을 위해서 능동적 형태 모델의 결과를 이용해서 초기값을 결정하였으며 보다 나은 능동적 형태 모델의 결과를 위해 입술의 형태에 기반한 가중치 벡터를 이용하여 초기 위치를 설정하고 입술의 경계선을 찾는 방법을 제안하였다. 또한 다운힐 심플렉스 알고리즘에서는 초기 심플 렉스의 구성에 관한 새로운 방법을 제안하여 지역 최소 점으로의 수렴할 가능성을 낮췄다.
- 또한 인식율의 객관성을 높이기 위해 초기위치의 선택에 제한이 없는 연속 프로파일 모델 기반의 기존 알고리즘[12]을 구현하여 두 가지 방식의 결과를 비교하였다. 테스트 영상의 오인식 형태는 위아래 입술 각각의 바깥쪽과 안쪽 경계선에서의 오인식과와 바깥쪽과 안쪽 입술의 폭을 잘못 인식하는 총 6가지로 분류하여 오인식을 분석하였다. 각 형태별 오인식 빈도를 표 1에 보였으며 표 1의 오인식 분류인 (1), (2), (3)이 두 가지 이상 동시에 발생하는 오인식인 경우는 폭의 오인식으로 분류하였다.
대상 데이터
- 실험에 사용한 입술 영상은 Tulip 1 데이터베이스 [15]에 있는 영상들을 사용하였다. 이 들은 다양한 조명 상태 에 서 총 12명 (남자 9명 과 여 자 3명 )이 'One', 'Two', 'Three', 'Four'의 4개 숫자를 두 번씩 발음할 때 입력된 연속적인 명암 영상(gray image)으로서 첫 번째 발음할 때의 영상들을 집합 1, 두 번째 발음할 때 의 영상들을 집합 2라고 지칭 한다.
- 이들은 입술영 역만을 포함하고 있으며 다양한 입술 형태를 가지고 100*75 크기를 갖는다. 이 논문에서는 학습 영상으로 집합 1의 492개 중에서 200개의 입술 영상을, 실험 영상으로 집합 2의 464개 중 220개의 영상을 무작위로 추출하여 사용하였다.
이론/모형
- Delmas[9]와 Lievin[10, ll]은 색 정보와 MRF(Markov Random Process)에 기반한 Bayesian segmentation을 이용하여 입술 영역을 찾고 snake를 이용하여 입술의 경계 선을 추출하였다. Luettin[12, 13]과 Cootes⑸는 능동적 형태 모델을 이용하여 입술을 인식하였다. PDM(Point Distribution Model) 방법을 사용하여 입술을 표현하고 주성 분 분석 법 (PCA : Principle Com ponent Analysis)# 적용하여 입술 형태 모델을 구성하였으며 입술을 구성하는 각 점에서 profile을 추출하여 입술 경계선 모델을 구성하였다.
- Luettin[12, 13]과 Cootes⑸는 능동적 형태 모델을 이용하여 입술을 인식하였다. PDM(Point Distribution Model) 방법을 사용하여 입술을 표현하고 주성 분 분석 법 (PCA : Principle Com ponent Analysis)# 적용하여 입술 형태 모델을 구성하였으며 입술을 구성하는 각 점에서 profile을 추출하여 입술 경계선 모델을 구성하였다. 각 점의 인근영 역을 탐색하여 형태 계수(shape parameter)와 자세 계수(pose parameter)를 변화시키며 입술을 인식하였으며 좋은 결과를 얻었다.
- 인식한다. 목적함수의 최적해는 다운힐 심플렉스를 이용하였다. 다운힐 심플 렉스는 계산량이 많으나 간단하게 구현할 수 있고 기울기 정보를 요구하지 않으므로 지역최소점으로 수렴하는 오류가 적다 [14], 다운힐 심플 렉스를 이용하기 위해서는 최적화해야 할 벡터의 차원보다 하나 많은 초기점을 선정하여 심플렉스를 만들고 이 심플 렉스의 수축, 확장을 통해 최적값을 찾는다.
- 입술 형태를 인식하는 연구로서 Oliver⑵는 색 정보에 대한 입술 모델을 설정하고 입의 형태적 특성을 반영하는 특징들과 시간에 따른 입술의 형태 변화를 HMM(Hidden Markov Model)을 이용하여 모델링하고 인식하였다. Wark[6]는 에지 정보와 색 정보를 이용하여 윗입술과 아랫입술의 경계선을 각각 4차 방정식과 2차 방정식으로 근사화하여 입술의 경계선을 추출하였다.
- 학습 영상을 통계적으로 분석하는 주성분 분석법을 이용하여 입술 모델을 구하였다. 능동적 형태 모델은 물체의 인식 시 초기 위치의 설정에 따라 잘못된 결과를 얻을 수 있기 때문에 이 논문에서는 입술의 형태에 기반한 가중치 벡터를 이용하여 아랫입술과 윗입술 사이의 경계선을 찾고 이 경계선을 중심으로 위치계수를 결정하여 초기 위치의 정확성을 높였다.
성능/효과
- PDM(Point Distribution Model) 방법을 사용하여 입술을 표현하고 주성 분 분석 법 (PCA : Principle Com ponent Analysis)# 적용하여 입술 형태 모델을 구성하였으며 입술을 구성하는 각 점에서 profile을 추출하여 입술 경계선 모델을 구성하였다. 각 점의 인근영 역을 탐색하여 형태 계수(shape parameter)와 자세 계수(pose parameter)를 변화시키며 입술을 인식하였으며 좋은 결과를 얻었다.
- 제안하는 방법은 입술을 구성하는 각 점에서의 화소 분포를 이용하여 대략적인 입술의 형태를 먼저 찾은 뒤 이를 초기값으로 선택하고 다운힐 심플렉스 탐색을 이용하였다. 또한 다운힐 심플렉스에서의 최적화 벡터의 편차를 정규화하여 알고리즘의 수렴성을 보장하였다. 제안하는 알고리즘은 다양한 입술 영상에 대해 우수한 인식율을 보였고 기존의 알고리즘에서 오인식하는 영상에 대해서도 입술의 내부와 외부의 윤곽선을 정확히 인식하였다.
- 결과 그림에서 보면 윗입술의 안쪽경계가 수렴 위치를 찾지 못하고 윗입술 바깥 경계로 다가가는 것을 볼 수 있다. 전체적으로 220개의 테스트 영상중에 능동적 형태 모델의 결과로 정상 인식된 입술을 다시 제안한 알고리즘으로 오인식 하는 경우는 5개였으며 능동적 형태 모델이 찾지 못한 입술 형태를 정상적으로 인식하는 경우가 17개였다.
- 또한 다운힐 심플렉스에서의 최적화 벡터의 편차를 정규화하여 알고리즘의 수렴성을 보장하였다. 제안하는 알고리즘은 다양한 입술 영상에 대해 우수한 인식율을 보였고 기존의 알고리즘에서 오인식하는 영상에 대해서도 입술의 내부와 외부의 윤곽선을 정확히 인식하였다.
- 1절에서의 식 (7), (8) 로부터 아래위 입술 경계선을 찾는 과정을 (그림 2)에 보였다. 제안한 방법은 입술이 다물어져 있는 영상이나 입술이 벌어져 치아가 보이는 영상에서도 경계선을 잘 찾아냄을 알 수 있다. (그림 2)의 (a), (c), (Q는 각 영상의 행에서 얻어진 L(y)의 계산 값을 그래프로 보인 것이고 (b), (d), (f)는 L(y)를 이용하여 실제 입술영상에서 경계선을 나타낸 것이다.
- 또한 다운힐 심플렉스 알고리즘에서는 초기 심플 렉스의 구성에 관한 새로운 방법을 제안하여 지역 최소 점으로의 수렴할 가능성을 낮췄다. 제안한 방법을 여러 입술 영상에 대해 실험한 결과 능동적 형태 모델로 인식하지 못하는 패턴의 입술을 정확히 인식하였으며 전체적으로 약 5% 이상의 인식률 향상을 얻었다.
- 제안한 인식 알고리즘에서 초기값은 능동적 형태 모델을 이용한 인식 결과를 선택하였으므로 능동적 형태 모델의 결과가 실제 입술 윤곽에서 너무 많은 오차가 나는 경우는 다운힐 심플 렉스가 수렴하지 못하게 된다. 두 알고리즘이 모두 오인식을 하는 경우를 그림 5에 보였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.