선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 그러나 출력 코딩 기반 SVM은 특정 두 개의 클래스를 위한 이진 분류기의 조합임에도 불구하고, 기존 특징 선택 기법[13]은 각 분류기의 정확도 향상에 기여하는 특징이 아니라 전체 분류 정확도 향상에 기여하는 특징을 선택하고 있다. 따라서 본 논문에서는 출력 코딩 기반 SVM의 각 이진 분류기 분류 정확도를 최대화하는 특징을 각각 선택하여 사용함으로써 전체 분류 정확도를 향상시키는 특징 선택 기법을 제안한다.
제안 방법
- SVM을 다중클래스 문제에 적용하기 위한 방법들 중에서 de facto standard로 간주되는 OAO 기법에 사용되는 다수의 SVM에 대해서 기존에는 다수의 SVM 전체에 대해 모두 동일하게 구성된 특징 집합을 사용하였다. 하지만, 본 논문에서는 각각의 SVM에 대해서 최적의 다른 특징 집합을 사용하면, 기존 기법보다 분류 정확도가 높아질 수 있다.
- 마지막으로 t-test를 이용하여 실험을 통해 구한 각 기법 별 평균 분류 정확도 사이의 차이를 검정하였다. 기존 특징 선택 기법의 경우도 위와 동일한 실험 조건으로 직접 구현하여 비교하였다.
- 제안 기법에 적용한 OAO 기법은 클래스의 가능한 K(K-1)/2개의 조합 쌍마다 조합 쌍의 두 클래스에 속한 데이터를 이용하여 분류기를 학습한다. 학습된 K(K-1)/2개의 이진 분류기를 이용하여 새로운 데이터를 분류하는 방식은 몇 가지가 있지만, 투표 방식이 가장 널리 사용된다[15].
대상 데이터
- 본 논문에서 제안한 출력 코딩 특징 선택 기법과 기존 특징 선택 기법의 성능을 비교 및 분석하기 위하여 다양한 종류의 데이터 수, 클래스 수, 특징 수를 가진 9개의 공개 데이터 셋[23]을 사용하였다(표 1). 비교 대상으로는 특징 선택을 적용하지 않은 경우, 기존 특징 선택 기법을 적용한 경우를 선택하였다.
- 본 논문에서 제안한 출력 코딩 특징 선택 기법과 기존 특징 선택 기법의 성능을 비교 및 분석하기 위하여 다양한 종류의 데이터 수, 클래스 수, 특징 수를 가진 9개의 공개 데이터 셋[23]을 사용하였다(표 1). 비교 대상으로는 특징 선택을 적용하지 않은 경우, 기존 특징 선택 기법을 적용한 경우를 선택하였다. SVM 매개 변수 C는 10으로 고정하였으며, 커널함수는 방사상 기저 함수를 사용하였고, gamma는 0.
데이터처리
- 01로 고정하였다. 2-Fold Cross-Validation을 사용하여 분류기를 학습하고, 분류 정확도를 측정하였으며, Random Folding에 의한 분류 정확도 편차를 반영하기 위하여 20회 반복하여 정확도를 측정하고 평균 분류 정확도와 표준편차를 구하였다. 마지막으로 t-test를 이용하여 실험을 통해 구한 각 기법 별 평균 분류 정확도 사이의 차이를 검정하였다.
- 2-Fold Cross-Validation을 사용하여 분류기를 학습하고, 분류 정확도를 측정하였으며, Random Folding에 의한 분류 정확도 편차를 반영하기 위하여 20회 반복하여 정확도를 측정하고 평균 분류 정확도와 표준편차를 구하였다. 마지막으로 t-test를 이용하여 실험을 통해 구한 각 기법 별 평균 분류 정확도 사이의 차이를 검정하였다. 기존 특징 선택 기법의 경우도 위와 동일한 실험 조건으로 직접 구현하여 비교하였다.
이론/모형
- 현재까지 여러 가지 특징 선택 기법이 제시되었는데[19], 특징 선택은 기본적으로 NP-hard 문제이므로[20-22] 대부분의 연구가 발견적 기법에 초점을 맞추어 이루어져왔다. 본 연구에서는 매개 변수 선택이 필요 없으면서 좋은 성능을 보여주는 Sequential Forward Selection (SFS) 기법을 특징 선택 기법으로 사용하였다.
성능/효과
- 본 연구에서는 출력 코딩 기반 SVM을 구성하는 이진 분류기 별로 특징 선택을 수행하는 새로운 특징 선택 기법을 제시하고, 실험을 통하여 제안된 기법이 기존 특징 선택 기법에 비해 통계적으로 유의미한 성능 향상이 있음을 보여주었다. 제안된 이진 분류기 별로 특징선택을 수행하는 기법은 현재 연구가 활발히 이루어지고 있는 계층 구조 기반 기법에도 확장 적용될 수 있다.
- 05) 분류 정확도 향상을 보였으며, 2개의 데이터 셋에서는 통계적으로 유의미한 차이가 없는 것으로 나타났다. 실험 결과 본 논문에서 제안한 특징 선택 기법이 기존 특징 선택 기법보다 높은 분류 정확도를 보이는 것으로 나타났다.
- 실험 결과 전체 9개 중 7개의 데이터 셋에서 본 연구에서 제안한 출력 코딩 특징 선택 기법을 적용한 경우가 특징 선택을 적용하지 않은 경우와 기존 특징 선택 기법을 적용한 경우보다 통계적으로 유의미한(P-value < 0.05) 분류 정확도 향상을 보였으며, 2개의 데이터 셋에서는 통계적으로 유의미한 차이가 없는 것으로 나타났다.
- 표 1과 표 2의 실험 결과를 살펴보면, 클래스 수와 같은 다른 조건이 비슷하다면, 데이터 수에 비하여 특징 수가 많은 데이터 셋이 더 좋은 분류 정확도를 보여주는 경향을 발견할 수 있었다. 이는 본 논문에서 제안한 특징 선택 기법을 통하여 기존 특징 선택 기법에 비하여 적은 수의 특징을 사용함으로써 각 클래스의 데이터 특성을 더 잘 반영할 수 있는 컴팩트한 특성 공간에서 데이터 학습 및 분류를 수행하기 때문에 분류 정확도를 향상시키는 것으로 볼 수 있다.
- 본 논문에서 제안한 이와 같은 특징 선택 기법을 출력 코딩 특징 선택 기법이라고 명명한다. 제안 기법은 각 분류기에 대해서 각각 다른 특징들을 사용할 수 있는 것이고, 최종 분류를 위하여 결과적으로 이용되는 정보는 각 분류기의 분류 결과이므로 각 분류기마다 다른 특징들을 사용하는 것은 구현 측면에서도 문제가 없다.
- 제안된 기법은 특정 두 클래스의 분류 정확도를 향상시키는 특징을 선택하기 때문에, 전체 클래스의 분류 정확도를 향상시키기 위해 선택된 특징보다 그 수가 적은 경향을 가진다. 표 1과 표 2의 실험 결과를 살펴보면, 클래스 수와 같은 다른 조건이 비슷하다면, 데이터 수에 비하여 특징 수가 많은 데이터 셋이 더 좋은 분류 정확도를 보여주는 경향을 발견할 수 있었다.
- SVM을 다중클래스에 적용하기 위한 방식은 크게 두 가지로 구분된다. 첫째, SVM 자체를 다중 클래스 분류기로 일반화하는 것이 있다. 둘째, 이진 SVM을 다중으로 사용하는 방식이 있다.
- 제안된 기법은 특정 두 클래스의 분류 정확도를 향상시키는 특징을 선택하기 때문에, 전체 클래스의 분류 정확도를 향상시키기 위해 선택된 특징보다 그 수가 적은 경향을 가진다. 표 1과 표 2의 실험 결과를 살펴보면, 클래스 수와 같은 다른 조건이 비슷하다면, 데이터 수에 비하여 특징 수가 많은 데이터 셋이 더 좋은 분류 정확도를 보여주는 경향을 발견할 수 있었다. 이는 본 논문에서 제안한 특징 선택 기법을 통하여 기존 특징 선택 기법에 비하여 적은 수의 특징을 사용함으로써 각 클래스의 데이터 특성을 더 잘 반영할 수 있는 컴팩트한 특성 공간에서 데이터 학습 및 분류를 수행하기 때문에 분류 정확도를 향상시키는 것으로 볼 수 있다.
- SVM을 다중클래스 문제에 적용하기 위한 방법들 중에서 de facto standard로 간주되는 OAO 기법에 사용되는 다수의 SVM에 대해서 기존에는 다수의 SVM 전체에 대해 모두 동일하게 구성된 특징 집합을 사용하였다. 하지만, 본 논문에서는 각각의 SVM에 대해서 최적의 다른 특징 집합을 사용하면, 기존 기법보다 분류 정확도가 높아질 수 있다. 본 논문에서 제안한 이와 같은 특징 선택 기법을 출력 코딩 특징 선택 기법이라고 명명한다.
후속연구
- 그러나 전체 클래스의 분류 정확도를 향상시키는 특징과 특정 두 클래스의 분류 정확도를 향상시키는 특징은 다를 수 있다. 따라서 이진 분류기의 출력 결과를 종합하여 다중 클래스 문제를 해결하는 출력 코딩 방식에서 그림 5에서와 같이 각 클래스 조합 쌍의 분류 정확도를 향상시키는 특징을 각각 선택함으로써 이에 대응하는 이진 분류기의 정확도 향상을 통하여 전체 분류 정확도 개선을 기대할 수 있을 것이다.
- 본 연구에서는 출력 코딩 기반 SVM을 구성하는 이진 분류기 별로 특징 선택을 수행하는 새로운 특징 선택 기법을 제시하고, 실험을 통하여 제안된 기법이 기존 특징 선택 기법에 비해 통계적으로 유의미한 성능 향상이 있음을 보여주었다. 제안된 이진 분류기 별로 특징선택을 수행하는 기법은 현재 연구가 활발히 이루어지고 있는 계층 구조 기반 기법에도 확장 적용될 수 있다. 향후 제안된 출력 코딩 특징 선택 기법을 OAO 이외에 OAA, ECOC 등에 적용을 통하여 성능 향상 검증을 수행할 예정이고, 특징 수와 데이터 수의 관계가 제안 기법의 기존 기법 대비 성능 향상에 미치는 영향에 대한 연구를 수행할 예정이다.
- 제안된 이진 분류기 별로 특징선택을 수행하는 기법은 현재 연구가 활발히 이루어지고 있는 계층 구조 기반 기법에도 확장 적용될 수 있다. 향후 제안된 출력 코딩 특징 선택 기법을 OAO 이외에 OAA, ECOC 등에 적용을 통하여 성능 향상 검증을 수행할 예정이고, 특징 수와 데이터 수의 관계가 제안 기법의 기존 기법 대비 성능 향상에 미치는 영향에 대한 연구를 수행할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.