[논문]신경망의 민감도 분석을 이용한 귀납적 학습기법의 변수 부분집합 선정

강부식; 박상찬

[국내논문] 신경망의 민감도 분석을 이용한 귀납적 학습기법의 변수 부분집합 선정
Feature Subset Selection in the Induction Algorithm using Sensitivity Analysis of Neural Networks 원문보기

한국 지능정보시스템학회논문지 = Journal of intelligent information systems, v.7 no.2, 2001년, pp.51 - 63

강부식 (목원대학교 경영정보학과) , 박상찬 (한국과학기술원 산업공학과)

초록
AI-Helper

데이터로부터 학습하여 룰을 추출하는 귀납적 학습기법은 데이터 마이닝의 주요 도구 중 하나이다. 귀납적 학습 기법은 불필요한 변수나 잡음이 섞인 변수를 포함하여 학습하는 경우 생성된 룰의 예측 성능이 떨어지고 불필요하게 룰이 복잡하게 구성될 수 있다. 따라서 귀납적 학습 기법의 예측력을 높이고 룰의 구성도 간단하게 할 수 있는 주요 변수 부분집합을 선정하는 방안이 필요하다. 귀납적 학습에서 예측력을 높이기 위해 많이 사용되는 부분집합 선정을 위한 포장 기법은 최적의 부분집합을 찾기 위해 전체 부분집합을 탐색한다. 이때 전체 변수의 수가 많아지면 부분집합의 탐색 공간이 너무 커져서 탐색하기 어려운 문제가 된다. 본 연구에서는 포장 기법에 신경망 민감도 분석을 결합한 귀납적 학습 기법의 변수 부분집합 선정 방안을 제시한다. 먼저, 신경망의 민감도 분석 기법을 이용하여 전체 변수를 중요도 순으로 순서화 한다. 다음에 순서화된 정보를 이용하여 귀납적 학습 기법의 예측력을 높일 수 있는 부분집합을 찾아 나간다. 제안된 방법을 세 데이터 셋에 적용한 결과 일정한 반복 회수 이내에 예측력이 향상된 부분집합을 얻을 수 있음을 볼 수 있다.

Abstract ▼ AI-Helper

In supervised machine learning, an induction algorithm, which is able to extract rules from data with learning capability, provides a useful tool for data mining. Practical induction algorithms are known to degrade in prediction accuracy and generate complex rules unnecessarily when trained on data containing superfluous features. Thus it needs feature subset selection for better performance of them. In feature subset selection on the induction algorithm, wrapper method is repeatedly run it on the dataset using various feature subsets. But it is impractical to search the whole space exhaustively unless the features are small. This study proposes a heuristic method that uses sensitivity analysis of neural networks to the wrapper method for generating rules with higher possible accuracy. First it gives priority to all features using sensitivity analysis of neural networks. And it uses the wrapper method that searches the ordered feature space. In experiments to three datasets, we show that the suggested method is capable of selecting a feature subset that improves the performance of the induction algorithm within certain iteration.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러나 고려 해야 할 변수의 수가 많아지면 부분집합의 탐색 공간이 너무 커져서 풀기 어려운 문제가 된다. 본 연구에서는 귀납적 학습의 성능을 향상시키는 변수 부분집합을 선정하는데 있어 일정한 반복 회수 이내에 선정할 수 있도록 하기 위한 휴리스 틱 방법을 제안한다. 이 방안에서는 탐색 공간을 줄이기 위해 변수들 중에서 탐색할 순서를 미리 결정하고 이 순서에 따라 부분집합을 탐색하는 방안을 제시한다.
본 연구에서는 귀납적 학습의 성능을 향상시키는 변수 부분집합을 선정하는데 있어 일정한 반복 회수 이내에 선정할 수 있도록 하기 위한 휴리스 틱 방법을 제안한다. 이 방안에서는 탐색 공간을 줄이기 위해 변수들 중에서 탐색할 순서를 미리 결정하고 이 순서에 따라 부분집합을 탐색하는 방안을 제시한다. 변수들의 탐색 순서는 클래스 를 판별하는 변수의 영향도에 따라 순서를 정하는 데, 판별 문제에 효과적인 기법 중의 하나인 신경망을 이용하여 변수들의 중요도를 결정하게 된다.
세 가지 방법 중에서 이 논문에서는 변수 부분 집합 선정 기법에 대해 관심이 있으며 많은 응용 분야에서 판별 예측에 견고한 특성을 나타내는 C₄.5의 예측력을 높이기 위한 부분집합 선정 기 법에 대해 살펴본다. 부분집합 선정 알고리즘은 크게 2가지로 나누어 지는데 기계학습 기법의 적용 이전의 전처리 작업으로 주요 부분집합을 선 정하느냐 아니면 기계학습 기법과 결합된 형태에서 주요 변수 부분집합을 선정하느냐에 따라[그림 1>과 같이 필터(句ter) 기법과 포장(wrapper) 기법으로 구분한다(Kohavi and John, 1998).
5에 적용하 면 원래의 전체 변수를 가지고 생성한 의사결정 나무에 비해 간단한 의사결정나무를 구성할 수 있음을 필터 기법으로 보여 주었다. 본 연구에서는 C₄₅의 예측력을 높이는 부분집합의 선정을 위한 포장 기법에서 포장 기법 사용 시의 탐색 공간을 줄이기 위한 방안으로 신경망의 민감도 분석을 이용하는 방법에 대해 살펴보고자 한다.
따라서 결과를 판 별하는데 필요한 변수들만을 선정하여 귀납적 학 습 기법의 예측력을 높이는 것이 필요하다. 이 연구에서는 신경망을 이용하여 C₄.5의 예측력을 높이기 위한 포장 기법에 대해 살펴보았다. 일반적인 포장 기법의 경우 전체 변수들의 모든 부분 집합을 탐색하게 되면 많은 탐색 시간이 걸림에 따라 현실적으로 적용하는데 어려움이 있다.
본 연구에서는 Kamin의 개념을 이용하여 주요 변수의 영향도를 결정하고자 한다. 다만 에러 함수의 민감도 대신 출력 값의 민감도를 사용한다.

제안 방법

민감도 방법 중 가장 많이 언급되고 있는 방법 중의 하나가 Kamin(1990)의 방법이다. Kamine 신경망의 노드들을 연결하고 있는 가중치를 제거 할 경우의 에러 함수의 민감도를 계산한다. 신경 망을 학습한 후에 각 가중치를 제거할 경우의 에 러 함수의 값과 제거하지 않을 경우의 에러 함수 값의 차이를 이용하여 각 가중치의 민감도를 계 산한다.
Kamine 신경망의 노드들을 연결하고 있는 가중치를 제거 할 경우의 에러 함수의 민감도를 계산한다. 신경 망을 학습한 후에 각 가중치를 제거할 경우의 에 러 함수의 값과 제거하지 않을 경우의 에러 함수 값의 차이를 이용하여 각 가중치의 민감도를 계 산한다. 일정 기준 이하의 먼감도를 가진 가중치 를 제거하고 학습을 다시 하여 이전 신경망의 성 능과 비교하여 일정 기준을 만족하면 계속 가중 치를 제거해 나가는 작업을 반복한다.
따라서 탐색 공간을 줄이면서 효과적으로 탐색하기 위한 방법이 필요하다. 이 절에서는 신경망의 민감도 분석을 이용하여 각 변수들의 중요도를 찾고 중요도의 순서에 따라 탐색함으로써 일정한 반복 회수 이내에 탐색이 끝나도록 하는 휴리스틱 방법([그림 3] 참조)에 대해 제안한다.
5가 실제 데이터 베이스에 좋은 성능을 보이는 알고리즘으로 일반적으로 변수 부분집합 선정으로 성능을 개선 하는 것이 어렵다고 기대되기 때문이다(Kohavi and John, 1998). 따라서 제안된 포장 기법에서의 기계학습 기법도 C₄.5를 사용하여 변수 부분집합 을 선정하기로 한다. 또한 입력 변수의 중요도를 이용하여 변수 부분집합을 선택하기 위해 다음 2 가지의 선택 조건을 채택한다.
4절에서 제시한 휴리스틱 포장 기법의 검증을 위해 캘리포니아 대학의 기계학습 데이터 레파지 토리(Merz and Murphy, 1996) 중에서에 보인 것처럼 세 데이터 셋에 대해 적용을 해 보 았다.
5의 경우 입력 변수가 명목 값이거나 혹은 수치 값인 경우 그리고 결측 치가 있는 경우에도 처리 가능하나 신경망의 경우 입력 변수의 값이 수치 값으로 이루어져야 한다. 따라서 모든 입력 변수가 y, n값을 갖는 Vote 데이터 셋의 경우 y 는 1, ne 0, 결측 치는 05로 하여 신경망을 학습 하였다. 신경망의 학습에서 입력 노드 수는 입력 변수의 수만큼 출력 노드는 클래스 변수의 수만 큼 구성하고 은닉 노드의 수는 시험 데이터에 대한 에러율이 일정 기준보다 적은 최소의 노드 수 를 갖도록 학습하였다.
따라서 모든 입력 변수가 y, n값을 갖는 Vote 데이터 셋의 경우 y 는 1, ne 0, 결측 치는 05로 하여 신경망을 학습 하였다. 신경망의 학습에서 입력 노드 수는 입력 변수의 수만큼 출력 노드는 클래스 변수의 수만 큼 구성하고 은닉 노드의 수는 시험 데이터에 대한 에러율이 일정 기준보다 적은 최소의 노드 수 를 갖도록 학습하였다. 에러율의 일정 기준은 큰 네트웍을 가진 신경망의 예측율로 설정하였고, 이 예측율보다 떨어지지 않으면서 은닉 노드의 수를 최소로 갖는 네트웍을 가지고 학습하였다.
신경망의 학습에서 입력 노드 수는 입력 변수의 수만큼 출력 노드는 클래스 변수의 수만 큼 구성하고 은닉 노드의 수는 시험 데이터에 대한 에러율이 일정 기준보다 적은 최소의 노드 수 를 갖도록 학습하였다. 에러율의 일정 기준은 큰 네트웍을 가진 신경망의 예측율로 설정하였고, 이 예측율보다 떨어지지 않으면서 은닉 노드의 수를 최소로 갖는 네트웍을 가지고 학습하였다. 실험 결과는<표 2>와 같다.

대상 데이터

4절에서 제시한 휴리스틱 포장 기법의 검증을 위해 캘리포니아 대학의 기계학습 데이터 레파지 토리(Merz and Murphy, 1996) 중에서<표 1>에 보인 것처럼 세 데이터 셋에 대해 적용을 해 보 았다. 각 데이터 셋은 클래스 변수가 비슷하게 분포되도록 고려하면서 전체 데이터의 처음 인스 턴스부터 차례로 3개의 부분 데이터 셋 묶음으로 구분하고 이 중 두 묶음은 학습 데이터로 한 묶음 은 시험 데이터로 사용하였다. 각 묶음이 한 번 씩 시험 데이터가 되도록 3-겹 교차 검증(3-fold cross validation)을 하여 실험을 하였다.

데이터처리

각 데이터 셋은 클래스 변수가 비슷하게 분포되도록 고려하면서 전체 데이터의 처음 인스 턴스부터 차례로 3개의 부분 데이터 셋 묶음으로 구분하고 이 중 두 묶음은 학습 데이터로 한 묶음 은 시험 데이터로 사용하였다. 각 묶음이 한 번 씩 시험 데이터가 되도록 3-겹 교차 검증(3-fold cross validation)을 하여 실험을 하였다.

성능/효과

따라서 복잡한 신경망의 에러 함수(목적 함수) 대신 목적 값을 이용한 민감도 분석이 효 율적임을 제시했다. 또한 에러 함수의 민감도는 에러 함수와 신경망의 최적화 알고리즘에 의존적 이지만 출력 값의 민감도는 에러 함수와 최적화 알고리즘에 독립적임으로 신경망의 어느 알고리 즘에나 적용 가능함을 보였다.
Wine 데이터 셋에서 전체 변수 13개를 가지고 C₄.5를 적용한 결과 3겹 교차의 평균 에러율은 16.27%이였고, 생성된 의사결정나무에서 생성된 률을 구성하는 변수는 4개로 나타났다. 휴리스틱 포장 기법에서 변수의 민감도에 따라 C₄₅을 적 용해 본 결과 룰을 구성하는 변수의 개수는 3.
27%이였고, 생성된 의사결정나무에서 생성된 률을 구성하는 변수는 4개로 나타났다. 휴리스틱 포장 기법에서 변수의 민감도에 따라 C₄₅을 적 용해 본 결과 룰을 구성하는 변수의 개수는 3.67개로 비슷했으나 에러율은 1233%로 예측율이 향상된 결과를 나타냈다. Ionosphere 데이터 셋 의 경우 에러율은 12.
67로 줄어 들었다. 휴리스틱 포장 기법을 적용한 결과 를을 구성하는 변수의 수가 줄고 C₄.5의 시험 데이터 에 대한 예측 성능이 높아지는 것을 알 수 있다
일반적인 포장 기법의 경우 전체 변수들의 모든 부분 집합을 탐색하게 되면 많은 탐색 시간이 걸림에 따라 현실적으로 적용하는데 어려움이 있다. 이 연구에서는 신경망의 민감도에 대한 연구를 적용하여 포장 기법에서 탐색할 공간을 줄이면서 C₄.5의 예측력을 높일 수 있는 방안을 제시하였 다’ 제안된 휴리스틱 포장 기법을 3개의 데이터 셋에 적용해 본 결과 C₄.5의 예측력이 높아지고 룰을 구성하는 변수의 수도 줄었다. 즉 탐색 공 간의 복잡도를。(国阳)으로 줄이면서 C₄.
5의 예측력이 높아지고 룰을 구성하는 변수의 수도 줄었다. 즉 탐색 공 간의 복잡도를。(国阳)으로 줄이면서 C₄.5의 수 행 성능을 높이는 변수 부분집합을 추출할 수 있음을 실험에서 보여주고 있다.

후속연구

그러나 제안된 기법이 일반화되기 위해서는 더 많은 다양한 형태의 데이터 셋에 대한 실험을 통한 일반화가 필요하리라 생각한다. 그리고 선 정된 부분집합이 최적 부분집합과 어느 정도의 차이가 있는 지도 밝혀야 한다.
다만 많은 데이터 셋이 복 잡한 연관 관계에 의해 서로 얽혀 있는 경우에도 신경망의 학습 기능으로 입력 변수들의 중요도 를 쉽게 계산할 수 있는 점과 신경망의 중요 주 제 중 하나인 주요 변수 선정 기법은 귀납적 학 습의 변수 부분집합 선정에도 도움이 될 수 있을 것이다. 따라서 제안된 방법처럼 신경망의 민감 도 분석 같은 주요 변수 선정 방안과 귀납적 학 습 기법의 변수 부분집합 선정을 위한 포장 기법 의 연결은 데이터 마이닝을 위한 전처리 작업에 적절히 적용될 경우 예측력 높은 지식을 추출하 는데 있어 유용하게 기여할 것으로 기대된다.

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증