본 논문에서는 베이지안 망을 기초로 불임환자의 임상 데이터에 대한 다양한 분석 실험을 전개하였다. 이 실험을 통해 임신여부에 영향을 주는 요인들간의 상호의존성을 분석해보고, 또 NBN, BAN, GBN 등 제약조건이 다른 다양한 유형의 베이지안 망 분류기들의 분류성능을 서로 비교해보았다. 그리고 우리는 이와 같은 실험을 통해 임신가능여부(Clin)에 직접적인 영향을 미치는 중요한 요인들로 증상(IND), 약물치료법(stimulation), 여성의 나이(FA), 미세조작 난자의 수(ICT), Wallace 사용여부(ETM) 등 5개의 특성들을 가려낼 수 있었고, 이 요인들간의 상호 의존성도 찾아낼 수 있었다. 또 서로 다른 유형의 베이지안 망 분류기들 중에서 요인들간의 상호의존관계를 허용하는 좀 더 일반적인 BAN과 GBN 등이 그렇지 못한 NBN에 비해 상대적으로 더 높은 분류 성능을 보여준다는 것을 확인하였다. 또 결정트리와 k-최근접 이웃과 같은 다른 분류기들과의 성능 비교를 통해, 임상 데이터의 특성상 확률적 표현과 추론에 기초한 베이지안 망 분류기들이 보다 높은 성능을 보여준다는 사실도 확인할 수 있었다. 또 본 논문에서는 클래스노드의 Markov blanket에 속한 특성들로 특성집합을 축소하는 것을 제안하고, 실험을 통해 이 특성 축소방법이 베이지안 망 분류기들의 성능을 높여 줄 수 있는지 알아보았다.
본 논문에서는 베이지안 망을 기초로 불임환자의 임상 데이터에 대한 다양한 분석 실험을 전개하였다. 이 실험을 통해 임신여부에 영향을 주는 요인들간의 상호의존성을 분석해보고, 또 NBN, BAN, GBN 등 제약조건이 다른 다양한 유형의 베이지안 망 분류기들의 분류성능을 서로 비교해보았다. 그리고 우리는 이와 같은 실험을 통해 임신가능여부(Clin)에 직접적인 영향을 미치는 중요한 요인들로 증상(IND), 약물치료법(stimulation), 여성의 나이(FA), 미세조작 난자의 수(ICT), Wallace 사용여부(ETM) 등 5개의 특성들을 가려낼 수 있었고, 이 요인들간의 상호 의존성도 찾아낼 수 있었다. 또 서로 다른 유형의 베이지안 망 분류기들 중에서 요인들간의 상호의존관계를 허용하는 좀 더 일반적인 BAN과 GBN 등이 그렇지 못한 NBN에 비해 상대적으로 더 높은 분류 성능을 보여준다는 것을 확인하였다. 또 결정트리와 k-최근접 이웃과 같은 다른 분류기들과의 성능 비교를 통해, 임상 데이터의 특성상 확률적 표현과 추론에 기초한 베이지안 망 분류기들이 보다 높은 성능을 보여준다는 사실도 확인할 수 있었다. 또 본 논문에서는 클래스 노드의 Markov blanket에 속한 특성들로 특성집합을 축소하는 것을 제안하고, 실험을 통해 이 특성 축소방법이 베이지안 망 분류기들의 성능을 높여 줄 수 있는지 알아보았다.
In this paper, we conducted various experiments with Bayesian networks in order to analyze clinical data of infertility patients. With these experiments, we tried to find out inter-dependencies among important factors playing the key role in clinical pregnancy, and to compare 3 different kinds of Ba...
In this paper, we conducted various experiments with Bayesian networks in order to analyze clinical data of infertility patients. With these experiments, we tried to find out inter-dependencies among important factors playing the key role in clinical pregnancy, and to compare 3 different kinds of Bayesian network classifiers (including NBN, BAN, GBN) in terms of classification performance. As a result of experiments, we found the fact that the most important features playing the key role in clinical pregnancy (Clin) are indication (IND), stimulation, age of female partner (FA), number of ova (ICT), and use of Wallace (ETM), and then discovered inter-dependencies among these features. And we made sure that BAN and GBN, which are more general Bayesian network classifiers permitting inter-dependencies among features, show higher performance than NBN. By comparing Bayesian classifiers based on probabilistic representation and reasoning with other classifiers such as decision trees and k-nearest neighbor methods, we found that the former show higher performance than the latter due to inherent characteristics of clinical domain. finally, we suggested a feature reduction method in which all features except only some ones within Markov blanket of the class node are removed, and investigated by experiments whether such feature reduction can increase the performance of Bayesian classifiers.
In this paper, we conducted various experiments with Bayesian networks in order to analyze clinical data of infertility patients. With these experiments, we tried to find out inter-dependencies among important factors playing the key role in clinical pregnancy, and to compare 3 different kinds of Bayesian network classifiers (including NBN, BAN, GBN) in terms of classification performance. As a result of experiments, we found the fact that the most important features playing the key role in clinical pregnancy (Clin) are indication (IND), stimulation, age of female partner (FA), number of ova (ICT), and use of Wallace (ETM), and then discovered inter-dependencies among these features. And we made sure that BAN and GBN, which are more general Bayesian network classifiers permitting inter-dependencies among features, show higher performance than NBN. By comparing Bayesian classifiers based on probabilistic representation and reasoning with other classifiers such as decision trees and k-nearest neighbor methods, we found that the former show higher performance than the latter due to inherent characteristics of clinical domain. finally, we suggested a feature reduction method in which all features except only some ones within Markov blanket of the class node are removed, and investigated by experiments whether such feature reduction can increase the performance of Bayesian classifiers.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 실험을 통해 베이지안 망에 드러난 임신여부에 영향을 주는 요인들간의 상호의존성을 분석해보고, 또 NBN, BAN, GBN등 제약조건이 다른 다양한 유형의 베이지안 망 분류기들의 분류성능을 서로 비교해본다. 그리고 또 결정트리와 k-최근접 이웃과 같은 다른 분류기들과의 분류 성능 비교를 통해 의료 임상데이터에 대해 베이지안 망 분류기들이 높은 성능을 보여줄 수 있는지도 분석해본다. 또 본 논문에서는 하나의 베이지안 망에서 클래스 노드의 Markov blanket에 속한 특성들로 특성집합을 축소하는 것이 베이지안 망 분류기들의 성능을 높여 줄 수 있는지를 실험을 통해 알아본다.
또 결정트리와 k-최근접 이웃과 같은 다른 분류기들과의 분류 성능 비교를 통해 의료 임상데이터의 특성상 속성들간의 관계에 대한 확률적 표현과 속성값에 대한 확률적 예측이 가능한 베이지안 망 분류기들이 보다 높은 성능을 보여준다는 사실도 확인할 수 있었다. 또 본 논문에서는 하나의 베이지안 망에서 클래스 노드의 Markov blanket에 속한 특성들로 특성 집합을 축소하는 것이 베이지안 망 분류기들의 성능을 높여줄 수 있는지를 알아보기 위한 실험을 전개하였고 이를 통해 NBN과 BAN의 경우 그 효과를 입증할 수 있었다. GBN의 경우는 예상외로 성능이 저하되는 결과를 보여주었으나 그 원인은 간접적 의존성을 갖는 요인들이라도 GBN에서는 분류 클래스를 별도로 두지 않기 때문에 특징축소가 전체의 정확도를 떨어뜨림을 확인할 수 있었다.
그리고 또 결정트리와 k-최근접 이웃과 같은 다른 분류기들과의 분류 성능 비교를 통해 의료 임상데이터에 대해 베이지안 망 분류기들이 높은 성능을 보여줄 수 있는지도 분석해본다. 또 본 논문에서는 하나의 베이지안 망에서 클래스 노드의 Markov blanket에 속한 특성들로 특성집합을 축소하는 것이 베이지안 망 분류기들의 성능을 높여 줄 수 있는지를 실험을 통해 알아본다.
본 논문에서는 베이지안 망을 기초로 산부인과 불임 환자의 임상 데이터에 대한 다양한 분석 실험을 전개하였다. 이 실험을 통해 베이지안 망에 드러난 임신여부에 영향을 주는 요인들간의 상호의존성을 분석해보았고, 또 NBN, BAN, GBN 등 제약조건이 다른 다양한 유형의 베이지안 망 분류기들의 분류성능을 서로 비교해보았다.
본 연구에서는 2년 동안 수집된 산부인과 불임 환자들에 대한 실제 임상 데이터로부터 불임과 관련된 요인들 간의 의존성을 표현하고 분석하는데 베이지안 망(Bayesian network)을 적용해보고자 한다. 일반적으로 베이지안 망은 잡음과 불확실성이 많은 영역 데이터로부터 분류에 영향을 미치는 속성들간의 상호의존성을 잘 표현하고 이것을 바탕으로 비교적 클래스를 정확하게 예측할 수 있는 견고한 확률적 도구로 알려져 있다.
본 연구에서는 앞서 전처리 작업을 통해 정제된 임신 관련 의료 임상 데이터집합에 대해, 베이지안 망을 기초로 다양한 분석 실험을 전개하였다. 특별히 의료 데이터집합에 대해 베이지안 망을 적용해보려는 이유는 이 영역 데이터가 갖는 몇 가지 특성 때문이다.
가설 설정
BAN은 이와 같은 시도의 하나로서, NBN과는 달리 속성노드들 간에도 상호의존성이 존재한다고 가정하고 이러한 속성 간 상호의존성을 하나의 일반 베이지안 망 형태로 표현 가능하도록 NBN을 확장한 것이다. 즉 BAN은 (그림 2)의 (b)와 같이 클래스 노드 c를 제외한 다른 모든 속성들 간의 상호의존성을 또 하나의 베이지안 망으로 표현할 수 있다.
생성한다. 본 연구에서 실험할 베이지안 망 분류기 유형은 NBN(Naive Bayesian Network), BAN(Bayesian Network Augmented Naive-Bayes), GBN(General Bayesian Network) 등으로 각 분류기가 내포하고 있는 가정과 제약이 분류성능에 미치는 효과를 보기 위함이다. 특히 이 중에서 특별한 제약 없이 변수들의 의존성을 가장 풍부하게 표현할 수 있는 GBN을 중심으로 클래스 노드인 Clin과 직접 연결 아크를 갖는 임신 요인들을 구해보고 또 이들간의 상호의존성을 분석해본다.
제안 방법
이용한다. node 수가 N 개일때 요구되는 time complexity가 O(N4)로서 node수에 따라 급격히 증가하게 되므로 본 논문에서는 node수를 줄이기 위하여 feature reduction을 함으로써 이를 효율적으로 적용할 수 있다. 알고리즘의 학습과정은 크게 3 단계로 이루어진다 : 초안 작성 단계(drafting phase) 단계, 아크 추가 단계(thickening phase), 아크 삭제 단계(thinning phase).
먼저 269개의 전체 실험 데이터집합을 244개의 훈련데이터와 25개의 테스트 데이터집합으로 나눈다. 그리고 훈련 데이터집합에 대해 각 베이지안 망 분류기들과 여타 분류기들을 학습한 뒤, 이 분류기들을 각각 훈련 데이터 집합과 테스트 데이터 집합으로 분류성능 테스트를 시행해본다. 끝으로 전체 실험 데이터 집합을 가지고 10회 교차 검정 방법(10-fold cross validation)으로 각 분류기의 평균 분류성능을 알아본다.
특징축소의 효과를 알아보기 위한 방법으로 특징 축소 이전의 NBN, BAN, GBN 등과 특징 축소 이후의 NBNSF, BANSF, GBNSF 등의 분류성능을 서로 비교해본다. 또 의료 영역 데이터에서의 베이지안 망 분류기의 강점을 확인하기 위하여 동일한 실험 데이터와 실험 조건 하에서 다른 대표적인 분류기인 결정트리와 k-최근접이웃 방법을 적용하고 분류성능을 비교해본다. 이를 위해 결정트리 학습 알고리즘으로는 성능이 비교적 우수한 C4.
베이지안 망은 조건부 확률 계산에 식 (1)과 같은 베이즈 정리(Bayesian Theorem)를 이용한다. 베이즈 정리는 관측된 데이터 D로부터 가설 h가 옳을 확률 P(h|D)을, 가설 h에 기초한 데이터 D의 조건부 확률 P(D|h)과 가설 h의 사전확률(prior probability) P(h)을 기초로 계산할 수 있는 방법을 제시한다[14, 23].
베이지안 망 분류기의 학습 효율과 분류성능을 높이기 위한 특성 축소의 한 방법으로서, 분류 클래스노드의 Markov blanket으로 특성을 축소하는 것이 얼마만큼 효과가 있는지 베이지안 망 분류기별로 분류성능을 비교해본다.
일반적으로 베이지안 망은 잡음과 불확실성이 많은 영역 데이터로부터 분류에 영향을 미치는 속성들간의 상호의존성을 잘 표현하고 이것을 바탕으로 비교적 클래스를 정확하게 예측할 수 있는 견고한 확률적 도구로 알려져 있다. 본 논문에서는 실험을 통해 베이지안 망에 드러난 임신여부에 영향을 주는 요인들간의 상호의존성을 분석해보고, 또 NBN, BAN, GBN등 제약조건이 다른 다양한 유형의 베이지안 망 분류기들의 분류성능을 서로 비교해본다. 그리고 또 결정트리와 k-최근접 이웃과 같은 다른 분류기들과의 분류 성능 비교를 통해 의료 임상데이터에 대해 베이지안 망 분류기들이 높은 성능을 보여줄 수 있는지도 분석해본다.
일반적으로 데이터 분석을 위한 전처리 작업으로는 이와 같은 차원 축소(dimension reduction) 외에도 필요한 경우 데이터 정제(cleaning), 변환(transformation), 이산화(discretization) 등이 적용될 수 있다. 본 연구를 위해 수집된 데이터의 경우에도 누락 항목 데이터와 잡음(noise)이 포함된 데이터들이 많아 이들을 처리하기 위한 데이터 정제작업이 수행되었다.
Pazzani의 연구[18]에서는 나이브 베이지안 망 분류기의 분류 성능을 높이기 위한 방법으로서, 특징 부분집합 선택뿐만 아니라 특징 융합(feature joining)도 적용해 보았다. 본 연구에서는 베이지안 망분류기의 성능을 높이기 위한 특징 부분집합 선택 방법으로 분류 클래스 노드의 Markov blanket에 속한 특징들을 선택하였다. 베이지안 망에서 한 노드의 Markov blanket은 그 노드의 부모 노드들과 자식 노드들, 그리고 자식 노드들의 또 다른 부모 노드들을 포함하는 노드들의 부분 집합이다.
의료 영역 데이터의 특성을 고려할때 베이지안 망 분류기가 어느 정도 효과가 있는지를 알아보기 위해 결정트리(decision tree), k-최근접이웃(k-nearest neighbors, k-NN) 등과 같은 대표적인 다른 분류기들과의 분류성능을 비교해본다.
이 실험을 통해 베이지안 망에 드러난 임신여부에 영향을 주는 요인들간의 상호의존성을 분석해보았고, 또 NBN, BAN, GBN 등 제약조건이 다른 다양한 유형의 베이지안 망 분류기들의 분류성능을 서로 비교해보았다. 그리고 우리는 이와 같은 실험을 통해 임신가능여부(Clin)에 보다 직접적으로 영향을 미치는 요인들로 증상(IND), 약물치료법(stimulation), 여성의 나이(FA), 미세조작 난자의 수(ICT), Wallace 사용 여부(ETM) 등 5개의 특성들을 가려낼 수 있었고, 이 요인들 간의 상호의존성도 찾아낼 수 있었다.
또 의료 영역 데이터에서의 베이지안 망 분류기의 강점을 확인하기 위하여 동일한 실험 데이터와 실험 조건 하에서 다른 대표적인 분류기인 결정트리와 k-최근접이웃 방법을 적용하고 분류성능을 비교해본다. 이를 위해 결정트리 학습 알고리즘으로는 성능이 비교적 우수한 C4.5를 적용하고, k-최근접이웃을 위해서는 실험을 통해 성능이 가장 좋은 k 값(k = 3)을 설정한다. 분류성능을 알아보기 위한 테스트방법은 3가지를 적용한다.
주어진 데이터로부터 베이지안 망을 학습시켜봄으로써, 베이지안 망에서 드러난 임신 요인들간의 상호의존성을 분석해보고 그 의미를 해석해본다.
주어진 의료 데이터집합으로부터 NBN, BAN, GBN 등 제약조건이 다른 다양한 유형의 베이지안 망 분류기들을 생성하고 이들이 이 의료영역 데이터에서 보여주는 분류성능을 서로 비교해본다.
특히 이 중에서 특별한 제약 없이 변수들의 의존성을 가장 풍부하게 표현할 수 있는 GBN을 중심으로 클래스 노드인 Clin과 직접 연결 아크를 갖는 임신 요인들을 구해보고 또 이들간의 상호의존성을 분석해본다. 특징 축소 실험을 위해서는 GBN 그래프상에서 분류 클래스 노드의 Markov blanket에 속한 특성들만을 골라낸 뒤, 이 특성들만을 포함하도록 실험 데이터를 축소하고 이 축소된 데이터로부터 다시 NBN, BAN, GBN 등을 학습해내었다. 이와 같이 축소된 특성 집합으로부터 얻어진 NBN, BAN, GBN을 각각 NBNSF(NBN with Selected Features), BANSF(BAN with Selected Features), GBNSF(GBN with Selected Features) 등으로 부른다.
이와 같이 축소된 특성 집합으로부터 얻어진 NBN, BAN, GBN을 각각 NBNSF(NBN with Selected Features), BANSF(BAN with Selected Features), GBNSF(GBN with Selected Features) 등으로 부른다. 특징축소의 효과를 알아보기 위한 방법으로 특징 축소 이전의 NBN, BAN, GBN 등과 특징 축소 이후의 NBNSF, BANSF, GBNSF 등의 분류성능을 서로 비교해본다. 또 의료 영역 데이터에서의 베이지안 망 분류기의 강점을 확인하기 위하여 동일한 실험 데이터와 실험 조건 하에서 다른 대표적인 분류기인 결정트리와 k-최근접이웃 방법을 적용하고 분류성능을 비교해본다.
본 연구에서 실험할 베이지안 망 분류기 유형은 NBN(Naive Bayesian Network), BAN(Bayesian Network Augmented Naive-Bayes), GBN(General Bayesian Network) 등으로 각 분류기가 내포하고 있는 가정과 제약이 분류성능에 미치는 효과를 보기 위함이다. 특히 이 중에서 특별한 제약 없이 변수들의 의존성을 가장 풍부하게 표현할 수 있는 GBN을 중심으로 클래스 노드인 Clin과 직접 연결 아크를 갖는 임신 요인들을 구해보고 또 이들간의 상호의존성을 분석해본다. 특징 축소 실험을 위해서는 GBN 그래프상에서 분류 클래스 노드의 Markov blanket에 속한 특성들만을 골라낸 뒤, 이 특성들만을 포함하도록 실험 데이터를 축소하고 이 축소된 데이터로부터 다시 NBN, BAN, GBN 등을 학습해내었다.
대상 데이터
그 결과 누락 데이터와 잡음이 많았던 일부 환자의 데이터는 제외하여 총 269개의 정제된 데이터를 얻었다. 또한 이렇게 정제된 의료 데이터 집합에는 정리되지 않은 약어 형태의 데이터 값과 더불어 연속 수치 데이터 값들을 많이 포함하고 있어 적절한 이산화작업이 필요하였다.
분류성능을 알아보기 위한 테스트방법은 3가지를 적용한다. 먼저 269개의 전체 실험 데이터집합을 244개의 훈련데이터와 25개의 테스트 데이터집합으로 나눈다. 그리고 훈련 데이터집합에 대해 각 베이지안 망 분류기들과 여타 분류기들을 학습한 뒤, 이 분류기들을 각각 훈련 데이터 집합과 테스트 데이터 집합으로 분류성능 테스트를 시행해본다.
다른 분류기와의 비교를 위해서는 Java로 구현된 Weka 패키지를 이용한다. 모든 실험은 Intel Pentium IH 700, 256M Memory 사양의 컴퓨터에서 진행하며 실험에 사용된 원시데이터는 Excell파일로 구성된 형태로서 그 일부는 (그림 3)과 같다.
본 연구에 이용할 실제 의료 임상 데이터의 수집을 위해 서울에 소재한 모 종합병원의 산부인과에 2년 동안 내원한 불임 환자의 검사기록과 시술기록, 그리고 시술 결과로 얻어진 임신성공여부가 담긴 데이터를 입수하였다. 수집된 원래 데이터 집합에는 약 400여명의 환자에 대하여 총 39개의 검사항목이 기록되어 있었으나 데이터 분석을 위한 전처리작업(preprocessing)을 통해 검사항목이 일부환자에게만 적용이 되어서 동일한 조건에서 비교할 수 없는 항목들과 임신과 관련성이 거의 없다고 전문가가 판단하는 항목 등을 제거하여, 실제 데이터 분석에 사용할 항목을 임신 여부를 나타내는 항목인 Clin을 포함해 <표 2>와 <표 3>에 열거된 것과 같이 총 9개로 줄였다.
데이터처리
그리고 훈련 데이터집합에 대해 각 베이지안 망 분류기들과 여타 분류기들을 학습한 뒤, 이 분류기들을 각각 훈련 데이터 집합과 테스트 데이터 집합으로 분류성능 테스트를 시행해본다. 끝으로 전체 실험 데이터 집합을 가지고 10회 교차 검정 방법(10-fold cross validation)으로 각 분류기의 평균 분류성능을 알아본다.
이론/모형
베이지안 망 학습을 위해서는 조건부 독립성 기반의 알고리즘인 Jie Cheng의 CBL 알고리즘과 그것을 구현한 BN PowerConstructor 1.0 프로그램[6]을 이용한다. 다른 분류기와의 비교를 위해서는 Java로 구현된 Weka 패키지를 이용한다.
2이다. 베이지안 망은 조건부 확률 계산에 식 (1)과 같은 베이즈 정리(Bayesian Theorem)를 이용한다. 베이즈 정리는 관측된 데이터 D로부터 가설 h가 옳을 확률 P(h|D)을, 가설 h에 기초한 데이터 D의 조건부 확률 P(D|h)과 가설 h의 사전확률(prior probability) P(h)을 기초로 계산할 수 있는 방법을 제시한다[14, 23].
본 논문에서 시행하는 의료 데이터마이닝을 위한 베이지안 망 학습에는 대표적인 조건부 독립성 기반 학습 알고리즘의 하나인 Jie Cheng의 CBL 알고리즘[4]을 이용한다. node 수가 N 개일때 요구되는 time complexity가 O(N4)로서 node수에 따라 급격히 증가하게 되므로 본 논문에서는 node수를 줄이기 위하여 feature reduction을 함으로써 이를 효율적으로 적용할 수 있다.
본 논문에서는 에서 열거한 FA, ICT, TO 등 3가지 항목에 대해서 이산화 작업을 하였으며, 적용된 이산화 방법은 Holtes 1R Discretizer방법이다.
성능/효과
3가지 서로 다른 유형의 베이지안 망 분류기들간의 분류성능을 비교해보면, NBN, BAN, GBN의 순으로 분류 성능이 증가하였다는 것을 알수 있다. 특히 요인들간의 자유로운 의존관계를 허용하는 BAN과 GBN이 그렇지 못한 NBN에 비해서 상당히 우수한 성능을 나타냄윽 알수 있다.
또 본 논문에서는 하나의 베이지안 망에서 클래스 노드의 Markov blanket에 속한 특성들로 특성 집합을 축소하는 것이 베이지안 망 분류기들의 성능을 높여줄 수 있는지를 알아보기 위한 실험을 전개하였고 이를 통해 NBN과 BAN의 경우 그 효과를 입증할 수 있었다. GBN의 경우는 예상외로 성능이 저하되는 결과를 보여주었으나 그 원인은 간접적 의존성을 갖는 요인들이라도 GBN에서는 분류 클래스를 별도로 두지 않기 때문에 특징축소가 전체의 정확도를 떨어뜨림을 확인할 수 있었다.
이 실험을 통해 베이지안 망에 드러난 임신여부에 영향을 주는 요인들간의 상호의존성을 분석해보았고, 또 NBN, BAN, GBN 등 제약조건이 다른 다양한 유형의 베이지안 망 분류기들의 분류성능을 서로 비교해보았다. 그리고 우리는 이와 같은 실험을 통해 임신가능여부(Clin)에 보다 직접적으로 영향을 미치는 요인들로 증상(IND), 약물치료법(stimulation), 여성의 나이(FA), 미세조작 난자의 수(ICT), Wallace 사용 여부(ETM) 등 5개의 특성들을 가려낼 수 있었고, 이 요인들 간의 상호의존성도 찾아낼 수 있었다. 또 본 논문에서는 실험을 통해 서로 다른 유형의 베이지안 망 분류기들 중에서 요인들 간의 상관관계를 더 자유롭게 표현할 수 있는 BAN과 GBN들이 그렇지 못한 NBN에 비해 상대적으로 더 높은 분류 성능을 보여준다는 것을 확인하였다.
특성 축소 이전의 NBN과 BAN에 비해 각각 특성 축소 이후의 NBNSF와 BANSF의 분류 성능이 모두 증가되었음을 알수 있다. 그리고 전체적으로 특성축소를 한 BANSF가 다른 모든 분류기들에 비해 가장 높은 성능을 보였다. 이것은 클래스 노드의 Markov blanket으로 특성집합을 축소하는 것이 이 의료 영역 데이터 집합에서는 상당한 효과가 있었음을 보여주는 것이다.
또 본 논문에서는 실험을 통해 서로 다른 유형의 베이지안 망 분류기들 중에서 요인들 간의 상관관계를 더 자유롭게 표현할 수 있는 BAN과 GBN들이 그렇지 못한 NBN에 비해 상대적으로 더 높은 분류 성능을 보여준다는 것을 확인하였다. 또 결정트리와 k-최근접 이웃과 같은 다른 분류기들과의 분류 성능 비교를 통해 의료 임상데이터의 특성상 속성들간의 관계에 대한 확률적 표현과 속성값에 대한 확률적 예측이 가능한 베이지안 망 분류기들이 보다 높은 성능을 보여준다는 사실도 확인할 수 있었다. 또 본 논문에서는 하나의 베이지안 망에서 클래스 노드의 Markov blanket에 속한 특성들로 특성 집합을 축소하는 것이 베이지안 망 분류기들의 성능을 높여줄 수 있는지를 알아보기 위한 실험을 전개하였고 이를 통해 NBN과 BAN의 경우 그 효과를 입증할 수 있었다.
예상한 대로 동일 분류기에 대해 테스트 데이터집합에서의 분류정확도보다 직접 훈련에 사용된 훈련 데이터집합에서의 분류 정확도가 예외 없이 모든 경우 더 높게 나타났고, 10회 교차검증의 분류 정확도는 훈련 데이터집합의 경우보다는 낮으나 테스트 데이터의 경우보다는 약간 높은 성능을 보여주었다. 또 베이지안 망 분류기는 그 유형에 상관없이 모든 경우 결정트리와 k-근접 이웃방법에 비해 높은 분류 정확도를 보여주었다. 이것은 당초 의료 영역 데이터 특성을 고려할 때 베이지안 망 분류기가 다른 분류기보다 우수한 성능을 보이리라고 기대했던 것과 일치한 결과로 해석할 수 있다.
그리고 우리는 이와 같은 실험을 통해 임신가능여부(Clin)에 보다 직접적으로 영향을 미치는 요인들로 증상(IND), 약물치료법(stimulation), 여성의 나이(FA), 미세조작 난자의 수(ICT), Wallace 사용 여부(ETM) 등 5개의 특성들을 가려낼 수 있었고, 이 요인들 간의 상호의존성도 찾아낼 수 있었다. 또 본 논문에서는 실험을 통해 서로 다른 유형의 베이지안 망 분류기들 중에서 요인들 간의 상관관계를 더 자유롭게 표현할 수 있는 BAN과 GBN들이 그렇지 못한 NBN에 비해 상대적으로 더 높은 분류 성능을 보여준다는 것을 확인하였다. 또 결정트리와 k-최근접 이웃과 같은 다른 분류기들과의 분류 성능 비교를 통해 의료 임상데이터의 특성상 속성들간의 관계에 대한 확률적 표현과 속성값에 대한 확률적 예측이 가능한 베이지안 망 분류기들이 보다 높은 성능을 보여준다는 사실도 확인할 수 있었다.
수집된 원래 데이터 집합에는 약 400여명의 환자에 대하여 총 39개의 검사항목이 기록되어 있었으나 데이터 분석을 위한 전처리작업(preprocessing)을 통해 검사항목이 일부환자에게만 적용이 되어서 동일한 조건에서 비교할 수 없는 항목들과 임신과 관련성이 거의 없다고 전문가가 판단하는 항목 등을 제거하여, 실제 데이터 분석에 사용할 항목을 임신 여부를 나타내는 항목인 Clin을 포함해 와 에 열거된 것과 같이 총 9개로 줄였다.
이는 여성의 나이(FA)와 약물치료법(stimulation)에 따른 임상적 임신여부(Clin)를 조건부 확률로 나타내고 있다. <표4>에서 보면 가임에 미치는 항목으로 여성의 나이가 20~34세인 경우 임신이 성공할 확률이 높으며, 그 중 약물 치료법(stimulation)이 Long Protocol인 경우와 Clomiphene인 경우 가장 높았으며, 여성의 나이(FA)가 M(34~40)인 경우에는 약물치료법(stimulation)이 Short Protocol일때 가장 높은 확률을 나타냄을 알 수 있다.
여기서 우리는 Wallace사용여부(ETM)에 관계없이 총이식 수정란수(TO)가 Normal(l~5개) 또는 SHIGH(6~10개)일 경우 임신할 확률이 높았으며 수정란수가 없거나 HIGH(10개 이상)인 경우에는 극히 임신할 확률이 낮음을 알수 있었다.
5 결정트리(decision tree), k-최근접 이웃(k-nearest neighbors, k~NN) 방법들과 본 연구의 관심대상인 3가지' 베이지안 망 분류기 NBN, BAN, GBN 등을 각각 동일한 훈련 데이터집합(244개)과 테스트 데이터집합(25개)에 대해 측정한 분류 정확도와, 또한 마지막으로 이 두 데이터집합을 합하여 전체 실험데이터에 대해 10회 교차 검증(10-fold cross validation)[14]을 시행하면서 측정한 평균 분류 정확도를 보여주고 있다. 예상한 대로 동일 분류기에 대해 테스트 데이터집합에서의 분류정확도보다 직접 훈련에 사용된 훈련 데이터집합에서의 분류 정확도가 예외 없이 모든 경우 더 높게 나타났고, 10회 교차검증의 분류 정확도는 훈련 데이터집합의 경우보다는 낮으나 테스트 데이터의 경우보다는 약간 높은 성능을 보여주었다. 또 베이지안 망 분류기는 그 유형에 상관없이 모든 경우 결정트리와 k-근접 이웃방법에 비해 높은 분류 정확도를 보여주었다.
나타나 있다. 특성 축소 이전의 NBN과 BAN에 비해 각각 특성 축소 이후의 NBNSF와 BANSF의 분류 성능이 모두 증가되었음을 알수 있다. 그리고 전체적으로 특성축소를 한 BANSF가 다른 모든 분류기들에 비해 가장 높은 성능을 보였다.
참고문헌 (23)
대한산부인과학회, 부인과학(개정판), 도서출판 칼빈서적, 1991
정혁, '불임, 무엇이 문제인가 - 그 원인과 치료', 우리출판사, 1997
Bouckaert, R., 'Bayesian Belief Networks : From Construction to Inference,' Doctoral Dissertation, University of Utrecht, The Netherlands, 1995
Cheng, J., Bell, D. A. and Liu, W., 'An Algorithm for Bayesian Belief Network Construction from Data,' Proceedings of AI & STAT-97, Florida, pp.83-90, 1997
Cheng, J. and Greiner, R., 'Learning Bayesian Belief Network Classifiers : Algorithms and System,' Proceedings of the fourteenth Canadian conference on artificial intelligence, 2001
Dougherty, J., Kohavi, R., and Sahami, M., 'Supervised and Unsupervised Discretization of Continuous Features,' Proceedings of ICML-95, pp.194-202, 1995
Friedman, N., 'Learning Bayesian Networks in the Presence of Missing Values and Hidden Variables,' Proceedings of ICML-97, pp.125-133, 1997
Friedman, N., Linial, M., Nachman, I., Peter, D., 'Using Bayesian networks to Analyze Expression Data,' Journal of Computational Biology, 2000
Gorrill, Marsha-J. ; Kaplan, Paul-F. ; Patton, Phillip-E. ; Burry, Kenneth-A., 'Initial Experience with Extended Culture and Blastocyst Transfer of Aryopreserved Embryos,' American Journal of Obstetric & Gynecology, Vol.180, No.6, 1999
Heckerman, D., 'A Tutorial on Learning Bayesian Networks,' Technical Report MSR-TR-95-06, Microsoft Research, 1995
Heckerman, D., Meek, C. and Cooper, G., 'A Bayesian Approach to Causal Discovery,' Technical Report MSR-TR-97-05, Microsoft Research, 1997
Jensen, F. V., An Introduction to Bayesian Networks, New York : Springer-Verlag, 1996
Jiawei Han, Micheline Kamber, Data Mining : Concepts and Techniques, Morgan Kaufmanm. 2001
Kevin Patrick Merphy, 'A Brief Introduction to Graphical Models and Bayesian Networks,' Technical Report, Department of Computer Science, UC Berkley, 2001
Kohavi, R. and John G., 'Wrappers for Feature Subset Selection,' Artificial Intelligence, Special Issue on Relevance, Vol.97, No.1-2, pp.273-324, 1997
Langley, P. and Sage, S., 'Induction of Selective Bayesian Classifiers,' Proceedings of UAI-94, 1994
Pazzani, M. J., 'Searching for Dependencies in Bayesian Classifiers,' Proceedings of AI & STAT-95, 1995
Pearl, J., Probabilistic Reasoning in Intelligent Systems, Morgan Kaufmanm, 1988
Provan, G. M. and Singh, M., 'Learning Bayesian Networks Using Feature Selection,' Learning from Data, Lecture Notes in Statistics, Berlin : Springer-Verlag, Vol.112, pp. 291-300, 1996
Singh, M., 'Learning Bayesian Networks from Incomplete Data,' Proceedings of AAAI-97, The MIT Press, pp.534-539, 1997
Sprites, P., Gleymour, C, and Sceines, R., Causation, Prediction, and Search, New York : Springer-Verlag, 1993
Tom M. Mitchael, Machine Learning, McGrow-Hill, 1997
※ AI-Helper는 부적절한 답변을 할 수 있습니다.