본 논문에서는 동적시간교정법(dynamic time warping: DTW)과 다중퓨전기법(multiple fusion strategy: MFS)을 연속 적용하여 비유사도기반 분류법(dissimilarity-based classification: DBC)을 최적화시키는 방법의 실험결과를 보고한다. DBC란 샘플패턴을 분류하기 위하여 샘플의 특징 값을 이용하는 대신에 샘플들 사이의 비유사도를 측정하여 분류기를 설계하는 방법이다. DTW에서는 다음과 같이 두 단계로 나누어 비유사도를 측정한다. 먼저 상관계수를 이용하여 객체 샘플들을 대응시키기 위한 최적의 대응경로를 찾을 수 있도록 샘플들을 조정한다. 그리고 기존의 거리측정법으로 조정된 샘플들 사이의 비유사도를 측정한다. MFS에서는 분류기결합 뿐만 아니라 비유사도 행렬생성에서도 퓨전기법을 적용한다. 즉, DTW 기법으로 작성한 다수의 비유사도 행렬들을 결합하여 새로운 비유사도 행렬을 생성한 다음, 이 행렬공간에서 여러 개의 베이스 분류기를 학습하여 다시 결합한다. 본 논문에서 제안한 방법을 벤취마크 영상 데이터베이스를 대상으로 실험한 결과, 기존의 방법과 비교하여 분류성능을 향상시킬 수 있음을 확인하였다. 이와 같은 실험결과로 볼 때, 제안 방법을 멀티미디어 정보검색 등과 같은 다른 고차원 응용에도 활용할 수 있을 것으로 사료된다.
본 논문에서는 동적시간교정법(dynamic time warping: DTW)과 다중퓨전기법(multiple fusion strategy: MFS)을 연속 적용하여 비유사도기반 분류법(dissimilarity-based classification: DBC)을 최적화시키는 방법의 실험결과를 보고한다. DBC란 샘플패턴을 분류하기 위하여 샘플의 특징 값을 이용하는 대신에 샘플들 사이의 비유사도를 측정하여 분류기를 설계하는 방법이다. DTW에서는 다음과 같이 두 단계로 나누어 비유사도를 측정한다. 먼저 상관계수를 이용하여 객체 샘플들을 대응시키기 위한 최적의 대응경로를 찾을 수 있도록 샘플들을 조정한다. 그리고 기존의 거리측정법으로 조정된 샘플들 사이의 비유사도를 측정한다. MFS에서는 분류기결합 뿐만 아니라 비유사도 행렬생성에서도 퓨전기법을 적용한다. 즉, DTW 기법으로 작성한 다수의 비유사도 행렬들을 결합하여 새로운 비유사도 행렬을 생성한 다음, 이 행렬공간에서 여러 개의 베이스 분류기를 학습하여 다시 결합한다. 본 논문에서 제안한 방법을 벤취마크 영상 데이터베이스를 대상으로 실험한 결과, 기존의 방법과 비교하여 분류성능을 향상시킬 수 있음을 확인하였다. 이와 같은 실험결과로 볼 때, 제안 방법을 멀티미디어 정보검색 등과 같은 다른 고차원 응용에도 활용할 수 있을 것으로 사료된다.
This paper reports an experimental result on optimizing dissimilarity-based classification(DBC) by simultaneously using a dynamic time warping(DTW) and a multiple fusion strategy(MFS). DBC is a way of defining classifiers among classes; they are not based on the feature measurements of individual sa...
This paper reports an experimental result on optimizing dissimilarity-based classification(DBC) by simultaneously using a dynamic time warping(DTW) and a multiple fusion strategy(MFS). DBC is a way of defining classifiers among classes; they are not based on the feature measurements of individual samples, but rather on a suitable dissimilarity measure among the samples. In DTW, the dissimilarity is measured in two steps: first, we adjust the object samples by finding the best warping path with a correlation coefficient-based DTW technique. We then compute the dissimilarity distance between the adjusted objects with conventional measures. In MFS, fusion strategies are repeatedly used in generating dissimilarity matrices as well as in designing classifiers: we first combine the dissimilarity matrices obtained with the DTW technique to a new matrix. After training some base classifiers in the new matrix, we again combine the results of the base classifiers. Our experimental results for well-known benchmark databases demonstrate that the proposed mechanism achieves further improved results in terms of classification accuracy compared with the previous approaches. From this consideration, the method could also be applied to other high-dimensional tasks, such as multimedia information retrieval.
This paper reports an experimental result on optimizing dissimilarity-based classification(DBC) by simultaneously using a dynamic time warping(DTW) and a multiple fusion strategy(MFS). DBC is a way of defining classifiers among classes; they are not based on the feature measurements of individual samples, but rather on a suitable dissimilarity measure among the samples. In DTW, the dissimilarity is measured in two steps: first, we adjust the object samples by finding the best warping path with a correlation coefficient-based DTW technique. We then compute the dissimilarity distance between the adjusted objects with conventional measures. In MFS, fusion strategies are repeatedly used in generating dissimilarity matrices as well as in designing classifiers: we first combine the dissimilarity matrices obtained with the DTW technique to a new matrix. After training some base classifiers in the new matrix, we again combine the results of the base classifiers. Our experimental results for well-known benchmark databases demonstrate that the proposed mechanism achieves further improved results in terms of classification accuracy compared with the previous approaches. From this consideration, the method could also be applied to other high-dimensional tasks, such as multimedia information retrieval.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서 DBC의 성능을 최적화시키기 위하여 DTW와 MFS를 도입하는 이유는 표현 단계와 일반화 단계 모두에서 최적화를 이루기 위해서이다. 즉, DTW를 이용할 경우, 객체의 크기나 방향에 따라 기존의 방법으로는 측정하기 어려운 비유사도를 측정할 수 있게 된다.
본 논문에서는 멀티미디어 검색 등과 같은 고차원 분류문제에서 샘플벡터의 수가 벡터 차원 보다 적을 경우에 발생하는 희소성 문제를 해결하기 위하여 비유사도기반 분류기(DBC)의 성능 개선 방법을 검토하였다. 특히, 본 논문에서는 비유사도 표현 단계와 분류기 학습단계에서 동적 시간교정법(DTW)과 다중퓨전기법(MFS)을연속 적용하여 DBC를 최적화시키는 DTW-MFS 방법을 제안하였다.
본 실험에서는 기존 DBC와 DTW-MFS를 이용한 DBC의 식별 성능을 비교한다. 기존 DBC의 실험에서는 유클리드 거리 (ED)와 국부적인 거리 (regional distance: RD)S로 서로 다른 비유사도 행렬을 작성하여 DBC의 식별성능을 실험(이하, ExT이라 표기)한다.
가설 설정
1.학습샘플 T를 모두 프로토타입 y로 선정한다.
제안 방법
org/참조)에 구현되어 있는 nearest mean classifier(nmc), linear Bayes normal classifier(ldc), ^-nearest neighbor classifier(kimc)로 실험한다. 그리고 식별기고정결합과 학습결합은 각각 product combining classifier(prodc)와 mean combining classiher(meanc)로 실험한다.
본 논문에서는 DTW 이용하여 다양한 비유 사도 공간행렬을 계산한 다음, 이들을 결합하여 새로운 비유 사도 공간을 생성한다. 그리고 이 공간에서 다수의 베이스 분류기를 학습하여 다시 결합시키는 MFS로 DBC 의 성능을 최적화시키는 방법(이하, DTW-MFS로 표기)을 제안한다. DTW-MFS를 이용한 DBC 알고리즘은 다음과 같다.
생성한다. 그리고 이들 두 비유사도 공간을 퓨전 기법(평균)으로 결합하여 새로운 하나의 비유사도 공간 〃(3) = %〃(1)+ o;2■〃(2)를 생성한 다음, 이 공간에서 분류 실험(이하, Ex-3라 표기)을 수행한다. 여기서 啓, %는 두 공간의 결합비율이다.
끝으로, 본 실험에서는 먼저 ED와 DTW 또는, RD와 DTW로 거리를 측정하여 각각 비유사도 공간 〃(1)와 刀(2)를 생성한다. 그리고 이들 두 비유사도 공간을 퓨전 기법(평균)으로 결합하여 새로운 하나의 비유사도 공간 〃(3) = %〃(1)+ o;2■〃(2)를 생성한 다음, 이 공간에서 분류 실험(이하, Ex-3라 표기)을 수행한다.
끝으로, 세 실험 데이터 AT&T, Yale, Yale2에 대한실험에서 ED 측정의 경우, 두 비유사도 공간(행렬)의결합을 위한 결합비율(气 :%)는 각각 (0.75:0.25), (0.55:0.45), (0.35: 0.65)으로 하였다. 이와 같은 비율 선정은 실험적으로 이루어졌으며, 따라서 이를 자동화시키는 연구는 앞으로의 과제가 된다.
즉, 房孑와 를 비교해보면, 그림 2(a)의 수직벡터 는 같은 위치에 놓인 (b)의 a* ;보다는 (c)의 *35 에 대응되어야 함을 알 수 있고, 이는 시각적인 판단과도일치한다. 따라서 본 실험에서는 DTW를 이용하여 먼저 a:죽 방향(수평)으로 최적 대응 경로를 주정한 다음, 다시 g축 방향(수직)으로 최적 경로를 추정하여 방향 또는 크기가 다른 두 영상 벡터의 비유사도를 산출한다.
고찰하였다. 따라서, 앞으로 제안방법을 실시간 멀티미디어 처리에 응용할 수 있도톡 처리 시간을 분석하고, 이를 단축시키기 위한 연구가 필요하다, 또한, 본 논문에서는 ED와 DTW 또는 RD와 DTW로만 비유 사도를 측정하였다. 따라서 해밍거리를 포함하여 다양한 거리 측정법에 DTW를 적용하고, 더 나아가 ED와 RD의 결합에 DTW를 적용하는 연구는 앞으로의 과제이다.
Ex-1 에서 비유 사도 행렬을 작성할 때, 전체 영상을 평균한 평균 얼굴로 영상들을 정규화하여 비유사도를 측정한다. 또한, 본 실험에서는 ED나 RD 등의 거리로 비유 사도를 측정할 때 DTW기법만을 이용하여 영상 샘플들을 보정하여 분류한다(이하, 이 실험을 Ex-2로 표기한다).
즉, 비유사도 표현 단계와 분류기 학습을 위한 일반화 단계에서 각각 다수의 비유 사도 표현과 분류기를 다단계로 결합시키는 방법이다. 먼저, 다수의 분류기를 학습하기 위하여 서로 다른 표현의 샘플벡터가 제공된다고 할 때, 각 샘플 집합으로 학습한 분류기들을 결합하기 위하여 Product, Sum, Max, Min, Median, Majority vote 등과 같은 퓨전 규칙을 이용할 수 있*. *다 예를 들어, 클래스별 사전확률이 동일하다고 할 경우, Majority ua宓규칙은 여러 개의 분류기가 만들어낸 출력 결과를 분석하여 다수표를 획득한 클래스를 최종 결과로 출력하는 규칙이다.
여기서 Otj, C%는 정규화 가중치이다. 본 논문에서는 DTW 이용하여 다양한 비유 사도 공간행렬을 계산한 다음, 이들을 결합하여 새로운 비유 사도 공간을 생성한다. 그리고 이 공간에서 다수의 베이스 분류기를 학습하여 다시 결합시키는 MFS로 DBC 의 성능을 최적화시키는 방법(이하, DTW-MFS로 표기)을 제안한다.
본 논문에서는 DTW-MFS의 방법을 식별 성능의 관점에서만 고찰하였다. 따라서, 앞으로 제안방법을 실시간 멀티미디어 처리에 응용할 수 있도톡 처리 시간을 분석하고, 이를 단축시키기 위한 연구가 필요하다, 또한, 본 논문에서는 ED와 DTW 또는 RD와 DTW로만 비유 사도를 측정하였다.
즉, DBC에서 비유사도 공간의 생성과 분류기 학습에 DTW와 MFS를 연속 적용하는 방법이다. 본 논문에서는 먼저 DTW를 이용하여 방향과 크기가 다른 영상들의 비유사도를 측정하여 다수의 비유 사도 공간을 생성한 다음, 이 비유사도 공간에서 다시 여러 개의 베이스 분류기를 학습하여 결합시키는 MFS로 DBC의 최적화를 시도한다. 예를 들어, DTW에서 영상 $와 打의 비유사도를 측정할 띠], s 의한 요소가 打의 다수 요소에 대응되는 특이성 문제를 해결하기 위하여 경사 가중치(또는 제한)를 이용하는 방법과 두 영상의 중요한 요소를 주줄한 다음, 이를 이용하여 영상을 다수의 부분 영역으로 나누어 대응시키는 방법을 검토한다.
본 실험에서 DTW로 생성한 비유사도 공간을 퓨전 기법으로 결합하여 새로운 식별공간을 생성한 다음, 이 식별공간에서 학습한 세 개의 베이스 분류기를 결합한 결합기의 식별 성능을 실험하였다. AT&T, Yale, Yale2 에 대해 Ex-1, Ex-2, Ex-3의 고정 결합 및 학습결합 DBC의 분류 성능(바르게 분류한 비율(%)과 표준편차) 를 L00법으로 측정한 실험 결과는 표 2와 같다.
본 실험에서는 Ex-1, Ex-2, Ex-3의 방법으로 생성한 비유 사도 공간에서 각각 세 개의 베이스식별기를 학습한 다음, 다시 고정 결합과 학습 결합으로 퓨전시킨 분류기의 성능을 실험한다. 이때, 베이스 식별기로는 PRTools(http:〃prtools.
즉, 기개의학습 데이터 중에서 n—1 개의 샘플을 이용하여 분류기를 학습하고, 나머지 1개로 식별 성능을 측정한다. 이와같은 실험을 모든 학습 샘플에 대하여 반복S회 반복)하여 얻은 식별결과의 평균으로 최종 성능을 측정한다.
특히, 본 논문에서는 비유사도 표현 단계와 분류기 학습단계에서 동적 시간교정법(DTW)과 다중퓨전기법(MFS)을연속 적용하여 DBC를 최적화시키는 DTW-MFS 방법을 제안하였다. 제안방법을 벤 취마크 얼굴 영상 데이터베이스를 대상으로 실험한 결과, 비유사도 식별단계에서의 결합뿐만 아니라 비유사도 표현 단계에서 샘플영상의 방향과 크기를 조정한 다음 비유사도 표현을 결합시키는 DTW-MFS로 식별 성능을 더욱 개선할 수 있음을확인하였다.
대상 데이터
본 논문의 실험에서는 벤취마크 얼굴 영상 데이터베이스인 AT&T와 Yale"를 이용한다. AT&T는 40명의 얼굴을 조금씩 다르게 10번씩 촬영한 것이고, Yale 은 15명에 대해 한 사람당 11장씩 촬영한 데이터이다.
이론/모형
Table 2. Classification accuracies%) of the combined DBCs built with the DTW-MFS method. Here, the numbers in the brackets are the standard deviations.
또한, 본 실험에서는 분류기의 식별 성능을 측정하기위하여 leave-one-out (LOO) 법을 이용한다. 즉, 기개의학습 데이터 중에서 n—1 개의 샘플을 이용하여 분류기를 학습하고, 나머지 1개로 식별 성능을 측정한다.
최근, 샘플간의 비유사도(dissimilarity)에 기반한 분류법 (dissimilarity나)ased classification: DBC)(3)을 이용하여 특징 차원을 축소하는 방법으로 희소성 문제의 해결을 시도하였다〔4质. 참고문헌 Ml에서는 비유사도 측정을 위한 기준 샘플을 적절히 선택하는 방법으로 DBC에 의한 희소성 문제의 해결을 시도하였으며, 참고문헌 四에서는 동적계획법으로 비유사도를 측정하여 DBC의 성능을 개선하였다.
성능/효과
제안방법을 벤 취마크 얼굴 영상 데이터베이스를 대상으로 실험한 결과, 비유사도 식별단계에서의 결합뿐만 아니라 비유사도 표현 단계에서 샘플영상의 방향과 크기를 조정한 다음 비유사도 표현을 결합시키는 DTW-MFS로 식별 성능을 더욱 개선할 수 있음을확인하였다. 따라서 본 논문의 DTW-MFS에 의한 DBC를 데이터 마이닝이나 멀티미디어 정보 검색 등과같은 고 차원 패턴 처리에 응용할 경우, 차원 축소 문제를획기적으로 단순화시킬 수 있고, 따라서 희소성 문제를회피할 수 있을 것으로 사료된다.
이상에서 고찰한바와 같이, 본 논문에서 제안한 DTW-MFS를 이용한 DBC의 실험(Ex-3)이 일반 DBC의 분류실험(Ex-1)이나 DTW를 이용하지 않는 분류 실험 (Ex-2)보다 우수하다. 따라서 제안한 방법이 DBC의 성능 향상에 유용하다는것을 알 수 있다.
같다. 먼저, RD에 대한 Ex-3 실험결과는 모든 실험데이터에 대하여 ED의 결과보다 우수함을 보였다. 이와 같은 고찰로부터, RD의 측정법이 ED법보다 우수한 비유사도 측정법임을 알 수 있다.
00(%)를 얻었다. 이 결과는 Ex-3(RDa리와 DTW로 두 개의 비유사도공간을 생성하여 결합하는 방법)의 식별률이 기존의ExT이나 Ex~2보다 우수함을 나타낸다. 같은 방법으로, AT&T의 RD의 경우, 최고 식별률은 98.
이상에서 고찰한 바와 같이, 두 영상 벡터에 대해 DTW를 위한 최적 경로를 탐색할 때, 두 벡터를 구성하는 요소들 사이에 존재하는 상관관계 즉, 상관계수를이용할 수 있음을 알 수 있다. 이때, 주어진 샘플 쌍의집합 {&, 巧)}檀1의 상관계수 p對를 추정하기 위하여샘플상관계수법 (sample correlation coefficient method) 이나 최우수 추정법 (maximum likelihood estimates) 등다양한 방법을 이용할 수 있다m 본 논문에서는 주어진 샘플 쌍에서 직접 상 관계수를 추정하는 샘플상관계수법을 이*.
또한 나머지 실험 데이터 Yale과 Yale2에서도 (굵은 글씨체로 표시한) 최고 식별률은 모두 Ex-3로부터 결과되었음을 보인다. 이상에서 고찰한바와 같이, 본 논문에서 제안한 DTW-MFS를 이용한 DBC의 실험(Ex-3)이 일반 DBC의 분류실험(Ex-1)이나 DTW를 이용하지 않는 분류 실험 (Ex-2)보다 우수하다. 따라서 제안한 방법이 DBC의 성능 향상에 유용하다는것을 알 수 있다.
특히, 본 논문에서는 비유사도 표현 단계와 분류기 학습단계에서 동적 시간교정법(DTW)과 다중퓨전기법(MFS)을연속 적용하여 DBC를 최적화시키는 DTW-MFS 방법을 제안하였다. 제안방법을 벤 취마크 얼굴 영상 데이터베이스를 대상으로 실험한 결과, 비유사도 식별단계에서의 결합뿐만 아니라 비유사도 표현 단계에서 샘플영상의 방향과 크기를 조정한 다음 비유사도 표현을 결합시키는 DTW-MFS로 식별 성능을 더욱 개선할 수 있음을확인하였다. 따라서 본 논문의 DTW-MFS에 의한 DBC를 데이터 마이닝이나 멀티미디어 정보 검색 등과같은 고 차원 패턴 처리에 응용할 경우, 차원 축소 문제를획기적으로 단순화시킬 수 있고, 따라서 희소성 문제를회피할 수 있을 것으로 사료된다.
후속연구
따라서 해밍거리를 포함하여 다양한 거리 측정법에 DTW를 적용하고, 더 나아가 ED와 RD의 결합에 DTW를 적용하는 연구는 앞으로의 과제이다. 그리고 비유사도 공간의 결합비율을 자동 적으로 선정할 수 있도록 하는 연구도 앞으로의 과제이다. 끝으로, 비유사도 공간을 결합할 때 발생하는 비정 의적인 특성에 기인하는 문제를 해결하기 위하여 결합 비유 사도 공간을 의사유클리드 공간으로 임베딩 시키는 방법에 관한 연구도 앞으로의과* 제이다
즉, 새로 생성된 (또는 결합된) 공간 행렬이 대칭 특성이나 삼각부등(triangle inequality)의 메트릭을 만족하지 못하게 된다. 따라서 새비유사도 공간을 의사유클리드 공간(a pseudo-Euclidean space)으로 임베이딩 시키는 방법으로 식별 성능을 더욱 향상시킬수 있는 가능성이 있으며, 이를 구현하는 연구도 앞으로의 과제로 남게 된다.
따라서, 앞으로 제안방법을 실시간 멀티미디어 처리에 응용할 수 있도톡 처리 시간을 분석하고, 이를 단축시키기 위한 연구가 필요하다, 또한, 본 논문에서는 ED와 DTW 또는 RD와 DTW로만 비유 사도를 측정하였다. 따라서 해밍거리를 포함하여 다양한 거리 측정법에 DTW를 적용하고, 더 나아가 ED와 RD의 결합에 DTW를 적용하는 연구는 앞으로의 과제이다. 그리고 비유사도 공간의 결합비율을 자동 적으로 선정할 수 있도록 하는 연구도 앞으로의 과제이다.
참고문헌 (13)
K. Fukunaga, Introduction to Statistical Pattern Recognition, Second Edition, Academic Press, San Diego, 1990.
J. Ye, R. Janardan, C. H. Park and H. Park, "An optimization criterion for generalized discriminant analysis on undersampled problems," IEEE Trans. Pattern Anal. and Machine Intell., vol. 26, no. 8, pp. 982-994, 2004.
E. Pekalska and R. P. W. Duin, The Dissimilarity Representation for Pattern Recognition: Foundations and Applications, World Scientific Publishing, Singapore, 2005.
S. -W. Kim, "On solving the small sample size problem using a dissimilarity representation for face recognition," in Proc. of Advanced Concepts for Intelligent Vision Systems, Antwerp, Belgium, vol. LNCS-4179, pp. 1174-1185, 2006.
S. -W. Kim and J. Gao, "A dynamic programming technique for optimizing dissimilarity-based classifiers," in Proc. of Joint IAPR International Workshops SSPR2008 and SPR2008 (SS+SPR2008), Orlando, USA, vol. LNCS-5342, pp. 664-673, 2008.
김상운, 로버트 듀인, "다단계 퓨전기법을 이용한 비유사도 기반 식별기의 최적화," 대한전자공학회논문지, 제45권 CI편, 제5호, 15-24쪽, 2008년 9월
Y. Adini, Y. Moses, and S. Ullman, "Face recognition: the problem of compensating for changes in illumination direction," IEEE Trans. Pattern Anal. and Machine Intell., vol. 19, no. 7, pp. 721-732, 1997.
A. L. Ratan, W. E. L. Grimson, and W. M. Wells III, "Object detection and localization by dynamic template warping," Int'l Journal of Computer Vision, vol. 36, no. 2, pp. 131-147, 2000.
H. Sahbi and N. Boujemaa, "Robust face recognition using dynamic space warping," in Proc. of Biometric Authentication, vol. LNCS-2359, pp. 121-132, 2002.
L. I. Kuncheva, Combining Pattern Classifiers - Methods and Algorithms, John Wiley & Sons, New Jersey, 2004.
S. -W. Kim and B. J. Oommen, "On using prototype reduction schemes to optimize dissimilarity-based classification," Pattern Recognition, vol. 40, pp. 2946-2957, 2007.
J. Kim and J. A. Fessler, "Intensity-based image registration using robust correlation coefficients," IEEE Trans. Medical Imaging, vol. 23, no. 1, pp. 1430-1444, 2004.
R. P. W. Duin, E. Pekalska, A. Harol, W. -J. Lee, and H. Bunke, "On Euclidean corrections for non-Euclidean dissimilarities," in Proc. of Joint IAPR International Workshops SSPR2008 and SPR2008 (SS+SPR2008), Orlando, USA, vol. LNCS-5342, pp. 664-673, 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.