선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 새로운 중간교사학습 방법으로서, SVM분류기의 정확도를 개선하는 SVM-KNN분류기에 AdaBoost알고리즘을 특성을 결합한 새로운 모델을 제안한다. 실험을 통하여 제안된 SVM-KNN-AdaBoost 결합 모델이 기존 분류기에 비해 더나은 성능을 나타내는 특성이 있음을 확인하였다.
제안 방법
- 다음으로 50차원의 이진 분류 문제를 고려하였다. 앞선 실험과 마찬가지로 출력정보가 있는 50개의 데이터와 출력 정보가 없는 150개의 데이터를 사용하였고 1000개의 테스트 샘플을 생성하였다.
- 그림 3은 본 연구에서 제안한 SVM-KNN-AdaBoost 모델을 나타낸다. 라벨이 있는 데이터를 SVM알고리즘을 사용하여 학습을 한 후, 이 출력정보를 사용하여 KNN 알고리즘을 적용하여 출력정보가 없는 데이터의 라벨을 부여하였다. 마지막으로 라벨을 부여받은 데이터와 기존의 데이터를 함께 AdaBoost알고리즘에 적용한다.
- 실제 문제에서 많은 분류기는 데이터를 선형적으로 나눌 수 없다. 이 문제를 해결하기 위해 커널 트릭 (Kernel Trick)을 이용하여 비선형 경계면을 생성한다[2]. 이 커널의 개념은 비선형적인 훈련 데이터를 커널 함수를 통해 높은 차원의 공간으로 이동하는 것이다.
- Weak Learning Classifier는 개별적인 분류기로 그 분류 성능이 각각 다르다. 이 분류기들의 가중치를 조정하여 하나의 강력한 분류기(Strong learning Classifier)를 구축한다. 이러한 결합 방법은 그림 2과 같이 나타낼 수 있다.
- 중간교사학습의 성능개선을 위하여 본 연구에서는 SVM 분류기와 KNN알고리즘을 적용하여 출력정보가 없는 데이터에 라벨을 부여한 후 이들 데이터를 바탕으로 AdaBoost 알고리즘을 결합하여 오류를 줄여가는 방법을 제안하였고 실험을 통해 제안된 방법의 성능을 보였다.
대상 데이터
- 33으로 K가 1일 때와 같으며 M이 증가할수록 오류가 감소하는 현상을 보인다. IONOSPHERE데이터는 351개의 34차원 데이터로 이루어져있으며 이중 36개의 데이터를 출력정보를 가지게 설정하고, 74개의 데이터의 출력정보를 없게 설정하였다. 남은 261개의 데이터를 테스트 데이터로 사용하였다.
- 실험 데이터로 UCI 데이터의 IRIS와 IONOSPHERE를 사용하였다. IRIS는 150개의 데이터로 구성되어있고, 15개의 데이터를 출력정보와 함께 사용하고 30개의 데이터를 출력정보를 지우고 사용하였다. 남은 105개의 데이터를 테스트 데이터로 사용하였다.
- 또한 1000개의 테스트 샘플도 생성했다. Weak learner는 20개를 사용하였다. 영역 1의 가우시안 평균은 (0.
- IRIS는 150개의 데이터로 구성되어있고, 15개의 데이터를 출력정보와 함께 사용하고 30개의 데이터를 출력정보를 지우고 사용하였다. 남은 105개의 데이터를 테스트 데이터로 사용하였다. 그림 6(a)는 IRIS의 출력정보가 있는 데이터만을 사용한 SVM분류기의 Testing error rate는 0.
- IONOSPHERE데이터는 351개의 34차원 데이터로 이루어져있으며 이중 36개의 데이터를 출력정보를 가지게 설정하고, 74개의 데이터의 출력정보를 없게 설정하였다. 남은 261개의 데이터를 테스트 데이터로 사용하였다. 그림 6(b) IONOSPHERE의 출력정보가 있는 데이터만을 사용한 SVM분류기의 Testing error rate는 0.
- 이진 분류 문제에 대해 50개의 출력정보가 있는 데이터와 150개의 출력정보가 없는 데이터를 생성하였다. 또한 1000개의 테스트 샘플도 생성했다. Weak learner는 20개를 사용하였다.
- 본 논문에서는 인위적으로 생성한 데이터와 UCI 데이터를 사용하였다[5]. 각각의 실험에 SVM의 커널 함수의 매개변수 σ = 0.
- 실험 데이터로 UCI 데이터의 IRIS와 IONOSPHERE를 사용하였다. IRIS는 150개의 데이터로 구성되어있고, 15개의 데이터를 출력정보와 함께 사용하고 30개의 데이터를 출력정보를 지우고 사용하였다.
- 다음으로 50차원의 이진 분류 문제를 고려하였다. 앞선 실험과 마찬가지로 출력정보가 있는 50개의 데이터와 출력 정보가 없는 150개의 데이터를 사용하였고 1000개의 테스트 샘플을 생성하였다. 영역 1에서의 가우시안 평균은 (0.
- 이진 분류 문제에 대해 50개의 출력정보가 있는 데이터와 150개의 출력정보가 없는 데이터를 생성하였다. 또한 1000개의 테스트 샘플도 생성했다.
데이터처리
- AdaBoost의 가중치는 초기화를 시킨 후 오분류에 따른 가중치를 계산하여 사용하였다. 비교 대상으로는 제한된 출력정보가 있는 데이터를 사용한 SVM분류기와 SVN-KNN분류기를 제안된 알고리즘과 비교하였다. 각각의 실험결과는 그래프에 나타내었다.
이론/모형
- (b)와 (c) 그림은 KNN알고리즘을 사용하여 각각 K=1, K=5로 설정하여 출력 정보가 없는 데이터에 라벨을 부여한 후 SVM분류기를 통해 분류하였다. 그 후 테스트 데이터에 적용 후 AdaBoost알고리즘을 결합하였다. (b)의 경우 SVM-KNN을 한 Testing error rate는 0.
- 라벨이 있는 데이터를 SVM알고리즘을 사용하여 학습을 한 후, 이 출력정보를 사용하여 KNN 알고리즘을 적용하여 출력정보가 없는 데이터의 라벨을 부여하였다. 마지막으로 라벨을 부여받은 데이터와 기존의 데이터를 함께 AdaBoost알고리즘에 적용한다.
- 9)로 설정하였고 가우시안 분포는 단위공분산행렬을 사용하였다. 출력정보가 없는 데이터의 라벨을 부여하기 위해 KNN알고리즘을 사용하였고, K의 값을 1인 경우와 5인 경우를 고려하였다. 그림 4(a)의 첫 번째 그림은 출력정보가 있는 데이터를 SVM분류기를 통해 분류한 그림이고 Testing error rate는 0.
성능/효과
- 남은 105개의 데이터를 테스트 데이터로 사용하였다. 그림 6(a)는 IRIS의 출력정보가 있는 데이터만을 사용한 SVM분류기의 Testing error rate는 0.413이고 K가 1인 SVM-KNN Testing erorr rate는 0.33이고 M이 증가함에 따라 오류가 감소하는 것을 볼 수 있다. K가 5인 Testing erorr rate는 0.
- 남은 261개의 데이터를 테스트 데이터로 사용하였다. 그림 6(b) IONOSPHERE의 출력정보가 있는 데이터만을 사용한 SVM분류기의 Testing error rate는 0.359이고 K가 1인 SVM-KNN Testing erorr rate는 0.43이고 M이 25일 때 Testing error rate는 0.15이다. K가 5인 Testing erorr rate는 0.
- 인공의 데이터와 UCI데이터의 실험결과에서 SVM분류기 단독으로 사용한 것보다 SVM-KNN분류기가 상대적으로 오류율이 낮다는 것을 알 수 있다. 또한 제안한 알고리즘을 사용하였을 때 오류율이 지속적으로 감소하는 것을 보였다.
- 본 논문에서는 새로운 중간교사학습 방법으로서, SVM분류기의 정확도를 개선하는 SVM-KNN분류기에 AdaBoost알고리즘을 특성을 결합한 새로운 모델을 제안한다. 실험을 통하여 제안된 SVM-KNN-AdaBoost 결합 모델이 기존 분류기에 비해 더나은 성능을 나타내는 특성이 있음을 확인하였다.
- 146이었다. 이는 출력정보가 제한적인 SVM 분류기보다 출력정보가 없는 데이터를 이용한 중간교사학습 SVM-KNN의 오류율이 낮음을 알 수 있고, 중간교사학습 SVM-KNN분류기와 AdaBoost알고리즘을 결합한 모델이 오류율이 개선되는 것을 알 수 있다.
- 인공의 데이터와 UCI데이터의 실험결과에서 SVM분류기 단독으로 사용한 것보다 SVM-KNN분류기가 상대적으로 오류율이 낮다는 것을 알 수 있다. 또한 제안한 알고리즘을 사용하였을 때 오류율이 지속적으로 감소하는 것을 보였다.
- 인공의 데이터와 UCI데이터의 실험결과에서 제한된 양의 출력정보 데이터를 이용하여 SVM분류기를 단독으로 사용한 것보다 출력정보가 없는 데이터를 중간교사학습 SVM-KNN분류기를 사용한 방법이 오류율이 낮다는 것을 알 수 있다. 하지만 K값의 변화에 따라 성능이 좋아질 때도 있고 그렇지 못할 때도 있음을 알 수 있다.
- 하지만 K값의 변화에 따라 성능이 좋아질 때도 있고 그렇지 못할 때도 있음을 알 수 있다. 제안된 알고리즘을 사용하였을 때 인공의 데이터와 UCI데이터 모두에서 오류율이 감소한 것을 볼 수 있다.
후속연구
- 추후 연구로는 중간교사학습문제에서 분류하고자 하는 데이터에 적합한 SVM분류기의 매개변수, KNN알고리즘의 K 값과 AdaBoost의 Weak Learning Classifier의 수에 대해 연구가 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.