나이브 베이시안 알고리즘은 데이터 마이닝의 여러 분야에서 적용되고 있으며 좋은 성능을 보여주고 있다. 하지만 이 학습 방법은 모든 속성의 가중치가 동일하다는 가정을 하고 있으며 이러한 가정으로 인하여 가끔 정확도가 떨어지는 현상이 발생한다. 이러한 문제를 보완하기 위하여 나이브 베이시안에서 속성의 가중치를 조절하는 다수의 연구가 제안되어 이러한 단점을 보완하고 있다. 본 연구에서는 나이브 베이시안 학습에서 기존의 속성에 가중치를 부여하는 방식에서 한걸음 나아가 속성의 값에 가중치를 부여하는 새로운 방식을 연구하였다. 이러한 속성값의 가중치를 계산하기 위하여 점진적 하강(gradient descent) 방법을 이용하여 가중치를 계산하는 방식을 제안하였다. 제안된 알고리즘은 다수의 데이터를 이용하여 속성 가중치 방식과 비교하였고 대부분의 경우에 더 좋은 성능을 제공함을 알 수 있었다.
나이브 베이시안 알고리즘은 데이터 마이닝의 여러 분야에서 적용되고 있으며 좋은 성능을 보여주고 있다. 하지만 이 학습 방법은 모든 속성의 가중치가 동일하다는 가정을 하고 있으며 이러한 가정으로 인하여 가끔 정확도가 떨어지는 현상이 발생한다. 이러한 문제를 보완하기 위하여 나이브 베이시안에서 속성의 가중치를 조절하는 다수의 연구가 제안되어 이러한 단점을 보완하고 있다. 본 연구에서는 나이브 베이시안 학습에서 기존의 속성에 가중치를 부여하는 방식에서 한걸음 나아가 속성의 값에 가중치를 부여하는 새로운 방식을 연구하였다. 이러한 속성값의 가중치를 계산하기 위하여 점진적 하강(gradient descent) 방법을 이용하여 가중치를 계산하는 방식을 제안하였다. 제안된 알고리즘은 다수의 데이터를 이용하여 속성 가중치 방식과 비교하였고 대부분의 경우에 더 좋은 성능을 제공함을 알 수 있었다.
Naive Bayesian learning has been widely used in many data mining applications, and it performs surprisingly well on many applications. However, due to the assumption that all attributes are equally important in naive Bayesian learning, the posterior probabilities estimated by naive Bayesian are some...
Naive Bayesian learning has been widely used in many data mining applications, and it performs surprisingly well on many applications. However, due to the assumption that all attributes are equally important in naive Bayesian learning, the posterior probabilities estimated by naive Bayesian are sometimes poor. In this paper, we propose more fine-grained weighting methods, called value weighting, in the context of naive Bayesian learning. While the current weighting methods assign a weight to each attribute, we assign a weight to each attribute value. We investigate how the proposed value weighting effects the performance of naive Bayesian learning. We develop new methods, using gradient descent method, for both value weighting and feature weighting in the context of naive Bayesian. The performance of the proposed methods has been compared with the attribute weighting method and general Naive bayesian, and the value weighting method showed better in most cases.
Naive Bayesian learning has been widely used in many data mining applications, and it performs surprisingly well on many applications. However, due to the assumption that all attributes are equally important in naive Bayesian learning, the posterior probabilities estimated by naive Bayesian are sometimes poor. In this paper, we propose more fine-grained weighting methods, called value weighting, in the context of naive Bayesian learning. While the current weighting methods assign a weight to each attribute, we assign a weight to each attribute value. We investigate how the proposed value weighting effects the performance of naive Bayesian learning. We develop new methods, using gradient descent method, for both value weighting and feature weighting in the context of naive Bayesian. The performance of the proposed methods has been compared with the attribute weighting method and general Naive bayesian, and the value weighting method showed better in most cases.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
하지만 기존의 방법들은 가중치 계산에서 속성별로 가중치를 부여하므로 이러한 현상을 표현할 수 있는 방법이 제한되고 있다. 따라서 이러한 문제점을 보완하기 위하여 본 연구는 속성의 값 별로 가중치를 계산하는 방법을 제시한다. 이와 같이 속성의 값에 대하여 가중치를 부여하게 되면 나이브 베이시안의 분류식은 다음과 같아진다.
따라서 속성 값의 가중치 계산 방법은 본 연구에서 새롭게 고안하여야 한다. 또한 속성값 가중치 계산 방법과 더불어 속성 가중치의 계산 방법도 같이 개발하여 두 방법 간의 성능을 비교하려 한다.
본 연구의 가중치 계산은 기존의 속성에 대하여 가중치를 부여하는 방식인데 반하여 본 연구는 속성의 값별로 별도의 가중치를 부여하는 새로운 방식이다. 본 논문에서는 이와 같은 속성값 가중치 방식을 위한 새로운 가중치 부여 방법을 제안하고 이를 기존의 속성 가중치 방식과 비교하여 서로의 성능을 비교하기로 한다. 나이브 베이시안에서 속성의 가중치를 부여하는 방법은 몇 가지 방법이 제안되어 있지만 속성값에 대한 가중치의 부여에 대한 방법은 아직 제안된 적이 없다.
본 논문에서는 이와 같은 속성에 가중치를 부여하는 방법을 좀 더 세분화 하여서 속성의 값마다 가중치를 부여하는 방법을 제안한다. (그림 1)은 나이브 베이시안에서 속성마다 가중치를 부여하는 것의 의미를 설명하고 있다.
하지만 지금까지 속성의 값 각각에 대하여 다른 기중치를 부여하려는 시도는 알려진것이 전혀 없다. 본 논문은 나이브 베이시안의 가중치 계산에서 새로운 시도를 하려한다.
앞 절에서는 점진적 하강방법을 이용한 속성 값의 가중치 계산 방법을 제시하였다. 본 논문의 주제가 속성에 가중치를 주는 방법과 속성의 값마다 다른 가중치를 주는 방법의 차이를 분석하는 것이 주된 목적이므로 본 절에서는 속성에 대한 가중치를 계산하는 방법을 제안한다. 앞 절의 속성 값 가중치 계산에서 사용한 방법과 동일한 방법을 이용하여 속성의 가중치를 계산하는 방법을 제시하고자 한다.
제안된 알고리즘은 다수의 데이터를 이용하여 속성 가중치 방식과 비교하였고 많은 경우에 더 좋은 성능을 제공함을 알 수 있었다. 본 연구는 나이브 베이시안의 가중치 부여에서 새로운 연구의 방향을 제시한다고 볼 수 있다. 추후연구로는 더욱 정밀한 속성값 가중치 계산 방법을 개발하여서 나이브 베이시안에 적용할 수 있는 기술을 개발할 계획이다.
본 연구에서는 나이브 베이시안 학습에서 기존의 속성에 가중치를 부여하는 방식에서 한 걸음 더 나아가 속성의 값에 가중치를 부여하는 새로운 방식을 연구하였다. 이러한 속성 값의 가중치를 계산하기 위하여 점진적 하강의 방법을 사용하여 가중치를 계산하는 방식을 제안하였다.
본 연구에서는 나이브 베이시안 환경에서 속성의 값에 대한 가중치를 계산하는 새로운 방식을 제안한다. 본 연구의 가중치 계산은 기존의 속성에 대하여 가중치를 부여하는 방식인데 반하여 본 연구는 속성의 값별로 별도의 가중치를 부여하는 새로운 방식이다.
본 연구에서는 래퍼 방법을 기준으로 속성 값의 가중치를 계산하는 방법을 제안하고자 한다. 구체적으로 래퍼 방법 중에서도 점진적 하강의 방법을 사용하여 가중치를 계산하는 방법을 제시한다.
의 값이 연속(continuous)이며 미분가능(differentiable)하여야 한다. 본 연구에서는 이 문제를 해결하기 위하여 우선 멀티클래스(multi-class)의 문제를 각 클래스 값의 이진클래스(binary class) 문제로 변환한다. 예를 들어서 원래의 데이터가 (a1,a2,⋯,an,cp) 의 형태로 표현되어 있다고 가정하자.
본 연구에서는 점진적 하강(gradient descent)의 방법을 이용하여 속성값의 가중치를 계산하고자 한다. 점진적 하강 방법은 기계학습 혹은 마이닝의 최적화 알고리즘 등에서 다양하에 적용되고 있다.
본 연구에서는 나이브 베이시안 환경에서 속성의 값에 대한 가중치를 계산하는 새로운 방식을 제안한다. 본 연구의 가중치 계산은 기존의 속성에 대하여 가중치를 부여하는 방식인데 반하여 본 연구는 속성의 값별로 별도의 가중치를 부여하는 새로운 방식이다. 본 논문에서는 이와 같은 속성값 가중치 방식을 위한 새로운 가중치 부여 방법을 제안하고 이를 기존의 속성 가중치 방식과 비교하여 서로의 성능을 비교하기로 한다.
본 논문의 주제가 속성에 가중치를 주는 방법과 속성의 값마다 다른 가중치를 주는 방법의 차이를 분석하는 것이 주된 목적이므로 본 절에서는 속성에 대한 가중치를 계산하는 방법을 제안한다. 앞 절의 속성 값 가중치 계산에서 사용한 방법과 동일한 방법을 이용하여 속성의 가중치를 계산하는 방법을 제시하고자 한다. 에러 함수는 속성값의 가중치 계산에서와 같은 함수를 사용한다.
Hall[7]은 결정트리를 이용한 나이브 베이시안에서의 가중치 계산 방법을 제안하였다. 이 방법은 우선 가지치기전의 결정트리를 생성하고 각 속성이 결정트리의 어느 레벨에서 나타나는지를 검사한다. 즉 상위 레벨에 나타나는 속성 일수록 중요도가 크다고 할 수 있으므로 해당 속성의 레벨을 기준으로 속성의 가중치를 계산한다.
따라서 각 속성의 값마다 같은 가중치를 부여하는 기존의 방법 보다는 서로 구분된 가중치를 부여하는 것이 더욱 정확한 학습을 가능하게 할 것이다. 이와 같은 이유로 본 연구에서는 각 속성의 값에 대하여 다른 속성 가중치를 부여하는 방법을 제안한다. 속성 전체에 같은 가중치를 부여하면 이러한 속성 값에 따른 영향을 탐지할 수 없으며 따라서 전체적인 성능에 영향을 미칠 수도 있다.
제안 방법
즉 상위 레벨에 나타나는 속성 일수록 중요도가 크다고 할 수 있으므로 해당 속성의 레벨을 기준으로 속성의 가중치를 계산한다. 결정 트리의 생성 시에 배깅(baggin) 방법을 이용하여 오차를 출이고 결정트리를 안정화 시켰으며 결정트리에 나타나지 않은 속성의 가중치는 0 으로 결정하였다. 이와 같은 방법으로 기존의 나이브 베이시안에 비하여 분류의 성능이 향상됨을 보였다.
데이터의 특징 혹은 경험적인 측정치에 의하여 결정되는 방법으로써 대부분 정보량, 정보획득비율 등의 특정치를 사용하여 속성의 가중치를 계산한다. 두 번째의 래퍼 방식은 가설을 기준으로 가중치를 계산하는 방식인데, 먼저 각 속성에 임의의 가중치를 부여하고 이러한 가중치를 사용하여 분류학습을 진행한다. 다음으로 분류학습의 성능을 기준으로 기준의 조정한 후에 다시 분류학습을 수행한다.
식은 아직 이러한 조건을 만족하지 못하며 따라서 점진적 하강의 방법을 적용할 수 없다. 따라서 본 연구에서는 위의 okl 값을 위한 근사함수를 사용하여 이 문제를 해결한다. okl의 값으로 시그모이드(sigmoid) 함수를 사용하면 okl의 특징과 거의 유사한 성질을 가지며 따라서 근사값으로 사용할 수 있다.
본 연구 알고리즘들의 성능을 평가하기 위하여 각 데이터에 대하여 기본 나이브 베이시안 방법(NB), 제5장의 속성 가중치 방법(WNB), 제4장의 속성 값 기반 가중치 방법(VWNB)을 독립적으로 수행하여서 성능을 비교하였다. η와 λ의 값은 각각 0.
이러한 속성 값의 가중치를 계산하기 위하여 점진적 하강의 방법을 사용하여 가중치를 계산하는 방식을 제안하였다. 아울러 속성의 가중치를 계산하는 방법도 동시에 제안하여 두 가지 방법을 비교할 수 있게 하였다. 제안된 알고리즘은 다수의 데이터를 이용하여 속성 가중치 방식과 비교하였고 많은 경우에 더 좋은 성능을 제공함을 알 수 있었다.
앞 절에서는 점진적 하강방법을 이용한 속성 값의 가중치 계산 방법을 제시하였다. 본 논문의 주제가 속성에 가중치를 주는 방법과 속성의 값마다 다른 가중치를 주는 방법의 차이를 분석하는 것이 주된 목적이므로 본 절에서는 속성에 대한 가중치를 계산하는 방법을 제안한다.
본 연구에서는 나이브 베이시안 학습에서 기존의 속성에 가중치를 부여하는 방식에서 한 걸음 더 나아가 속성의 값에 가중치를 부여하는 새로운 방식을 연구하였다. 이러한 속성 값의 가중치를 계산하기 위하여 점진적 하강의 방법을 사용하여 가중치를 계산하는 방식을 제안하였다. 아울러 속성의 가중치를 계산하는 방법도 동시에 제안하여 두 가지 방법을 비교할 수 있게 하였다.
각 데이터에 대하여 학습을 위하여 임의로 선택된 70% 를 학습데이터로 사용하고 나머지 30% 를 테스트 데이터로 사용하였다. 이와 같은 과정을 5회 반복하여 평균의 값을 데이터에 대한 알고리즘의 정확도로 계산하였다.
대상 데이터
여기서 L 은 목적속성의 값의 수를 의미라며 N 은 전체 데이터의 수를 의미한다. 각 데이터에 대하여 학습을 위하여 임의로 선택된 70% 를 학습데이터로 사용하고 나머지 30% 를 테스트 데이터로 사용하였다. 이와 같은 과정을 5회 반복하여 평균의 값을 데이터에 대한 알고리즘의 정확도로 계산하였다.
본 연구에서 제안한 속성값 가중치 기반의 나이브 베이시안의 성능을 속성 가중치의 나이브 베이시안의 성능과 비교하기 위하여 다수의 데이터를 이용하여 실험을 진행하였다. 본 연구에서는 UCI machine learning [12] 에서 7 개의 데이터를 사용하여 실험을 진행하였다.
본 연구에서 제안한 속성값 가중치 기반의 나이브 베이시안의 성능을 속성 가중치의 나이브 베이시안의 성능과 비교하기 위하여 다수의 데이터를 이용하여 실험을 진행하였다. 본 연구에서는 UCI machine learning [12] 에서 7 개의 데이터를 사용하여 실험을 진행하였다. <표 1> 은 본 실험에 사용된 데이터의 특징을 설명하고 있다.
이론/모형
이들 데이터는 속성들이 범주형의 속성들만을 포함하고 있어서 이산화(discretize)의 전처리 과정이 필요없는 장점이 있다. 속성 혹은 속성 값의 가중치를 계산할 때에는 라플라스 스무딩(Laplace smoothing) 의 방식으로 확률을 계산하였다. 이는 각 가중치에서 사용하는 확률을 계산할 때 분모가 0 이 되는 경우를 방지하기 위하여 사용하며 본 논문에서 사용하는 라플라스 스무딩 방법은 다음과 같다.
성능/효과
<표 2>에서 보는바와 같이 본 연구의 속성값 가중치 방법(VWNB)은 속성 가중치 방법(WNB)와 비교하여 7개의 데이터 중에서 4 개의 경우에 더욱 좋은 성능을 보이고 있다. 그리고 일반적인 나이브 베이시안 방법(NB)과 비교하여도 7개의 데이터 중에서 4개의 경우에 높은 정확도를 보이고 있다. 속성가중치 방법을 일반 나이브 베이시안 방법과 비교한 경우 3가지의 경우에 좋은 성능을 보이고 있다.
실험은 데이터의 샘플링을 바꾸면서 5 회 반복 수행하였고 알고리즘의 정확도들에 대한 평균과 범위를 에서 요약하고 있다.
<표 2>에서 보는바와 같이 본 연구의 속성값 가중치 방법(VWNB)은 속성 가중치 방법(WNB)와 비교하여 7개의 데이터 중에서 4 개의 경우에 더욱 좋은 성능을 보이고 있다. 그리고 일반적인 나이브 베이시안 방법(NB)과 비교하여도 7개의 데이터 중에서 4개의 경우에 높은 정확도를 보이고 있다.
결정 트리의 생성 시에 배깅(baggin) 방법을 이용하여 오차를 출이고 결정트리를 안정화 시켰으며 결정트리에 나타나지 않은 속성의 가중치는 0 으로 결정하였다. 이와 같은 방법으로 기존의 나이브 베이시안에 비하여 분류의 성능이 향상됨을 보였다.
아울러 속성의 가중치를 계산하는 방법도 동시에 제안하여 두 가지 방법을 비교할 수 있게 하였다. 제안된 알고리즘은 다수의 데이터를 이용하여 속성 가중치 방식과 비교하였고 많은 경우에 더 좋은 성능을 제공함을 알 수 있었다. 본 연구는 나이브 베이시안의 가중치 부여에서 새로운 연구의 방향을 제시한다고 볼 수 있다.
후속연구
속성값이 ‘male’의 경우에는 목적속성의 이전 값 분포와 많은 차이를 보이지만 속성값이 ‘female’의 경우에는 목적속성의 이전 값 분포와 많은 차이를 보이지 않는다. 따라서 각 속성의 값마다 같은 가중치를 부여하는 기존의 방법 보다는 서로 구분된 가중치를 부여하는 것이 더욱 정확한 학습을 가능하게 할 것이다. 이와 같은 이유로 본 연구에서는 각 속성의 값에 대하여 다른 속성 가중치를 부여하는 방법을 제안한다.
본 연구는 나이브 베이시안의 가중치 부여에서 새로운 연구의 방향을 제시한다고 볼 수 있다. 추후연구로는 더욱 정밀한 속성값 가중치 계산 방법을 개발하여서 나이브 베이시안에 적용할 수 있는 기술을 개발할 계획이다.
질의응답
핵심어
질문
논문에서 추출한 답변
속성의 가중치 계산은 속성 선택의 방법보다도 좀 더 유연하며 속성선택은 속성 가중치 방법의 일부분으로 간주할 수 있는 이유는 무엇인가?
속성의 가중치 계산은 속성의 가중치로써 0 과 1 사이의 실수를 부여함으로써 속성 선택의 방법보다도 좀 더 유연하며 속성선택은 속성 가중치 방법의 일부분으로 간주할 수 있다. 이러한 속성의 가중치 계산 방법은 속성에 대한 바이어스(bias)의 일종으로써 지금까지 대부분 근접이웃 알고리즘의 경우에 주로 사용되어 왔다[15].
나이브 베이시안 알고리즘의 단점 보완을 위한 방법에 대해 설명하시오.
하지만 이 학습 방법은 모든 속성의 가중치가 동일하다는 가정을 하고 있으며 이러한 가정으로 인하여 가끔 정확도가 떨어지는 현상이 발생한다. 이러한 문제를 보완하기 위하여 나이브 베이시안에서 속성의 가중치를 조절하는 다수의 연구가 제안되어 이러한 단점을 보완하고 있다. 본 연구에서는 나이브 베이시안 학습에서 기존의 속성에 가중치를 부여하는 방식에서 한걸음 나아가 속성의 값에 가중치를 부여하는 새로운 방식을 연구하였다.
나이브 베이시안 알고리즘의 단점은?
나이브 베이시안 알고리즘은 데이터 마이닝의 여러 분야에서 적용되고 있으며 좋은 성능을 보여주고 있다. 하지만 이 학습 방법은 모든 속성의 가중치가 동일하다는 가정을 하고 있으며 이러한 가정으로 인하여 가끔 정확도가 떨어지는 현상이 발생한다. 이러한 문제를 보완하기 위하여 나이브 베이시안에서 속성의 가중치를 조절하는 다수의 연구가 제안되어 이러한 단점을 보완하고 있다.
참고문헌 (16)
Claire Cardie and Nicholas Howe. Improving minority class
Peter Clark and Robin Boswell. Rule induction with CN2:
Thomas M. Cover and Joy A. Thomas. Elements of
Pedro Domingos and Michael Pazzani. On the optimality of
U. Fayyad and K. Irani. Multi-interval discretization of
Thomas Gartner and Peter A. Flach. Wbcsvm: Weighted
Mark Hall. A decision tree-based attribute weighting filter
P. Henrici. Two remarks of the kantorovich inequality.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.