선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 다른 앙상블 방법인 배징과 부스팅과의 정확도 비교를 살펴보자. 여기서 부스팅은 다중 클래스에 대해서도 적용된 AdaBoost.
제안 방법
- Ada boost.M1[15]으로 7개의 분류기를 생성시킨 앙상블 분류기, 배깅 기법으로 역시 7개의 분류기를 생성시킨 앙상블 분류기 그리고 2장에서 언급한 RBC를 비교 대상으로 하여 분류 정확도를 비교하였다. 본 논문에서 RBE로 학습하여 3레벨까지 데이터를 분할하여 7개의 분류기를 생성시켰기 때문에 공정한 비교를 위해 부스팅과 배징도 7개의 분류기를 생성하였다.
- 여기서 부스팅은 다중 클래스에 대해서도 적용된 AdaBoost.M1알고리즘을 사용하였으며 부스팅, 배깅 모두 7번의 반복 파라미터를 적용하여 7개의 분류기들을 생성하였다. 이는 지역 기반 분류기의 앙상블을 3 레벨까지 분할하여 7개의 분류기를 생성하였기 때문이다.
- M1[15]으로 7개의 분류기를 생성시킨 앙상블 분류기, 배깅 기법으로 역시 7개의 분류기를 생성시킨 앙상블 분류기 그리고 2장에서 언급한 RBC를 비교 대상으로 하여 분류 정확도를 비교하였다. 본 논문에서 RBE로 학습하여 3레벨까지 데이터를 분할하여 7개의 분류기를 생성시켰기 때문에 공정한 비교를 위해 부스팅과 배징도 7개의 분류기를 생성하였다.
- 본 논문에서 제시한 RBE가 학습 알고리즘에 독립적으로 작동하는 기법임을 보이기 위해 기본 학습 알고리즘으로서 나이브 베이즈 분류기뿐만 아니라, SVM을 구현한 SMO[12]와 C4.5[13]를 통한 결정트리를 사용하였다. 본 연구에서 SMO는 선형커널을 사용하였다.
- 본 논문에서는 RBE가 데이터 분할을 3단계까지만 진행하여 각 말단 노드의 깊이가 같은 3단계의 전 이진 트리(Complete Binary Tree)를 구성하도록 하였다. 이 트리는 총 7개의 분류기를 생성한다.
- 이렇게 이등분하여 나온 데이터에 위의 과정을 반복하여 분류기%, %을 생성해나간다. 본 논문에서는 지역 분할의 단계를 3회로 설정하여 총 7개의 분류기(q, ..., ^)를 생성하였다. 새로운 패턴이 들어올 때 클래스를 결정하기 위하여 그 패턴이 속한 지역에 해당하는 분류기에 가중치를 두어 투표한다.
- 5[13]를 통한 결정트리를 사용하였다. 본 연구에서 SMO는 선형커널을 사용하였다. UCI Machine Learning Repository[14]에 있는 실제 데이터를 사용하였으며 실험은 11개의 데이터 셋에서 수행하였고 10-fold cross validation으로 검증하였다.
- , ^)를 생성하였다. 새로운 패턴이 들어올 때 클래스를 결정하기 위하여 그 패턴이 속한 지역에 해당하는 분류기에 가중치를 두어 투표한다. 가중치를 두는 방법은 분류해야 할 인스턴스가 속하는 말단 노드와 그 직속 상위 노드들로만 투표를 한다.
- 여기서 이등분 하는 이유는 RBE의 목적이 앙상블 분류기를 생성하는 것이므로 한쪽에 학습 인스턴스가 몰리는 것을 방지하기 위함이다. 여기서 데이터를 이등분하기 위해 각 속성에 대하여 이등분 되는 값을 중심으로 나누어 엔트로피를 계산하여 그 속성의 정보획득(Information Gain)[11]을 구한다. RBE에서는 각 속성별로 정보획득이 가장 큰 속성을 선택하여 데이터를 이등분하므로 클래스가 한쪽으로 치우치는 효과를 보게 된다.
- 비교를 한 표이다. 정확도가 더 높은 곳에 기울임체로 표시하였고 그 차이가 두드러지게 RBE가 좋은 곳에는 O표시를 하였고 나쁜 곳에는 X표시를 하였다.
대상 데이터
- 본 연구에서 SMO는 선형커널을 사용하였다. UCI Machine Learning Repository[14]에 있는 실제 데이터를 사용하였으며 실험은 11개의 데이터 셋에서 수행하였고 10-fold cross validation으로 검증하였다.
이론/모형
- 기본 학습 알고리즘은 공개 데이터마이닝 소프트웨어인 Weka3[16]을 사용하였고 기타 앙상블 기법에 사용된 프로그램은 자체 구현하였다.
성능/효과
- 특히 일부 데이터에 대해서는 정확도의 차이가 두드러지게 성능이 좋았으며, 그 외에도 다른 앙상블 방법보다 크게 성능이 떨어지는 경우는 거의 없었다. C4.5를 기본 학습알고리즘으로 선택하였을 때는 부스팅과 배징의 앙상블 기법이 RBE보다 성능이 대체적으로 좋은 것으로 나타났다. 이는 단일 분류기와의 실험에서 살펴본 것처럼 RBE 도 정확도를 높였지만 부스팅과 배깅이 그보다 더 정확도를 높였기 때문에 이와 같은 결과가 나타난 것이다.
- 이는 단일 분류기와의 실험에서 살펴본 것처럼 RBE 도 정확도를 높였지만 부스팅과 배깅이 그보다 더 정확도를 높였기 때문에 이와 같은 결과가 나타난 것이다. 위의 실험 결과들을 종합하여 볼 때, 나이브 베이즈와 SVM과 같은 안정적인 알고리즘에서는 RBE가 성능이 더 좋았음을 알 수 있고 C4.5와 같은 불안정한 알고리즘에서는 기존의 앙상블 방법인 부스팅과 배깅이 더 좋다는 것을 알 수 있다.
- 앙상블 학습을 제시하였다. 이 방법은 기존의 앙상블 방법과 비교했을 때 안정적인 알고리즘(Stable Algorithm) 을 기본 학습기로 사용한 경우에 더 뛰어난 정확도를 보였다.
- 이제 RBC와의 비교를 살펴보면 표에서 보는 바와 같이 기본 학습 알고리즘과 상관없이 대부분의 데이터 셋에서 RBE가 정확도가 더 높았으며, 일부 데이터에 대해서는 주목할 만한 정확도 차이를 보였다.
후속연구
- 둘째, 각 지역에 따라 분포가 틀리지만 어떤 분류기가 그 지역에서 높은 정확도를 보이는지 알지 못한다. 예를 들어, 부스팅의 경우 선행되는 분류기가 잘못 분류하는 인스턴스에 대해 가중치를 두기 때문에 선행되는 분류기가 분류하지 못한 부분을 잘 분류하도록 학습된다.
- 이는 좋은 앙상블의 조건 중에 하나인 분류기 간에 서로 독립적으로 입력공간의 다른 곳에서 에러를 가져야 한다는 것과 관련되어 있다. 또한 데이터를 분할하여 학습을 하면 그 지역을 제외한 다른 데이터에 대해서는 성능이 떨어지기 때문에 그 분류기가 정확하게 분류할 수 있는 지역에만 투표를 함으로써 다른 앙상블 방법보다 더 좋을 것이라고 기대된다. 이는 또 다른 좋은 앙상블의 조건은 각 분류기는 정확해야 한다는 것과 관련되어 있다.
- 하지만 실제로 분류할 때 그 부분이 어딘지 알지 못한다. 만약, 각 분류기 별로 잘 분류하는 인스턴스가 어떠한 것인지 안다면 보다 정확하게 분류할 수 있을 것이다.
- 정보획득에 의해 속성을 선택하고 그 속성을 기준으로 데이터를 분할해 나가면서 데이터의 일부만 보고 학습을 하기 때문에 분류기의 다양성 측면에서 다른 앙상블 방법보다 더 좋을 것이라고 기대된다. 이는 좋은 앙상블의 조건 중에 하나인 분류기 간에 서로 독립적으로 입력공간의 다른 곳에서 에러를 가져야 한다는 것과 관련되어 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.