[논문]랜덤 탐색과 유전 알고리즘 탐색을 이용한 효율적 기계학습 방법 연구

이경태; 권영근

문제 정의

본 논문에서는 최적의 알고리즘 조합을 찾기 위한 두 가지 방법 GA와 RS를 각각 구현하여 문제특성에 대한 사전 정보가 없는 상황에서 단일 기계학습 모델을 이용한 탐색 대비 GA와 RS 기반 탐색방법의 성능을 비교하는 실험을 진행하였으며, 데이터의 종류에 따라 최적의 기계학습 모델의 종류가 다를 수 있음을 확인하였다. 또한 이를 위해 여러 종류의 기계학습 모델을 고려하여 알고리즘 조합을 탐색하는 방법의 필요성을 제시한다.
본 논문은 문제특성에 대한 사전정보가 없는 상황에서 단일 기계학습 모델 대비 GA와 RS 기반 탐색 방법의 성능을 비교하는 실험을 진행하였다. RF는 대부분의 데이터에 대해서 안정적인 성능을 보였지만 QFT 데이터에 대한 결과와 같이 성능이 좋지 못한 경우도 있기 때문에, 최적의 알고리즘 조합을 찾기 위해서는 여러 알고리즘을 고려해야한다.

제안 방법

Rebalancing 과정은 Classification 문제에 대해서만 고려되면, 가장 적은 종류의 데이터와 가장 많은 종류의 데이터의 비율이 최소 75%를 만족하도록 파라미터를 조정하였다. ML 과정은 Multi Layer Perceptron(MLP), K-Nearest Neighbor(KNN), Support Vector Machines(SVM), Decision Tree(DT), Random Forest(RF) 모델을 사용하였다.
각 기계학습 모델(MLP, KNN, SVM, DT, RF)별로 탐색시도만큼 DR, DS, FC, FS 각 단계에 적용할 알고리즘을 임의 로 선택한 조합을 생성한다.
<표 2>은 실험에 사용된 각 Dataset의 이름, Input의 개수, Output의 개수, 문제유형을 보인다. 각 데이터의 전체 샘플을 3:1:1의 비율로 Train Set, Validation Set, Test Set을 구성하였다.
RS는 5가지의 알고리즘에 대해 1000개의 알고리즘 조합을 생성한다. 마지막으로 앞의 두 방법과의 성능 비교를 위해 제시된 5가지의 각 알고리즘별로 RS를 진행하여 각각 1000개의 조합을 생성한다. 평가지표는 mse를 사용하였다.
<그림 1>은 구현한 GA의 의사 코드를 나타낸다. 본 논문에서는 기존의 일반적인 GA와 다르게 유력한 기계학습 모델의 집중적인 탐색을 유도하기 위해 하위 성능의 두 그룹사이의 T-Test 결과를 바탕으로 최하위 ML 그룹을 진화 대상에서 제외하는 방법을 적용하였다,
본 논문에서는 최적의 알고리즘 조합을 찾기 위한 두 가지 방법 GA와 RS를 각각 구현하여 문제특성에 대한 사전 정보가 없는 상황에서 단일 기계학습 모델을 이용한 탐색 대비 GA와 RS 기반 탐색방법의 성능을 비교하는 실험을 진행하였으며, 데이터의 종류에 따라 최적의 기계학습 모델의 종류가 다를 수 있음을 확인하였다. 또한 이를 위해 여러 종류의 기계학습 모델을 고려하여 알고리즘 조합을 탐색하는 방법의 필요성을 제시한다.

대상 데이터

실험에 사용 된 GA는 초기화 과정에서 에 제시된 5가지의 ML방법에 대해 50개의 초기 해를 생성하며, 950세대 진화를 한다.
실험에서 사용된 데이터는 모두 UCI Machine Learning Repository에서 제공하는 데이터를 활용하였다. <표 2>은 실험에 사용된 각 Dataset의 이름, Input의 개수, Output의 개수, 문제유형을 보인다.

데이터처리

GA 대비 각 방법의 성능 비교를 위해 Test Set 결과(mse)에서 GA의 결과를 나눈 값을 성능 비율로 사용하였다. <그림 2>는 각 방법의 전체 데이터에 대한 평균 mse 비율을 나타낸 것이며, <표 3>은 각 데이터에 대한 결과의 Top 3를 나타낸 것이다.
초기화 과정에서는 RS로 임의의 알고리즘 조합을 생성하며, 진화과정 중 자손을 생성하기 전에 각 M ML 그룹의 평균 mean squared error(mse)를 기준으로 값이 큰 두 그룹에 대해 T-Test를 진행하며, 이때 p-value 값이 0.05 이하의 값을 만족하면 가장 값이 큰 ML 그룹을 진화 대상에서 제외하게 된다. 자손을 생성하는 과정에서는 두 개의 부모 해를 선택하며, 이때 두 해 중에서 mse 값이 더 작은 해를 s1, 다른 하나를 s2로 사용한다.

이론/모형

Rebalancing 과정은 Classification 문제에 대해서만 고려되면, 가장 적은 종류의 데이터와 가장 많은 종류의 데이터의 비율이 최소 75%를 만족하도록 파라미터를 조정하였다. ML 과정은 Multi Layer Perceptron(MLP), K-Nearest Neighbor(KNN), Support Vector Machines(SVM), Decision Tree(DT), Random Forest(RF) 모델을 사용하였다.
마지막으로 앞의 두 방법과의 성능 비교를 위해 제시된 5가지의 각 알고리즘별로 RS를 진행하여 각각 1000개의 조합을 생성한다. 평가지표는 mse를 사용하였다. 앞의 과정은 각 데이터에 대해 21회씩 진행하였다.

성능/효과

평균 mse 비율에서 가장 낮은 값을 나타내는 RF는 WIL, ASN, QFT 데이터를 제외한 모든 경우에서 가장 mse 값이 나타났고, QFT 데이터에서만 TOP 3 내에 포함되지 못하였다. 최적의 조합을 찾기 위해 다양한 종류의 ML을 고려했던 RS와 GA는 평균 mse 비율에서 두 번째로 낮은 mse를 보였으며, 마찬가지로 전체 데이터에서 TOP 3 내에 6번씩 포함되었고, 특히 QFT 데이터에서는 GA가 가장 낮은 mse를 보였다. 평균 mse 비율에서 상대적으로 좋지 못한 결과가 나왔던 SVM(GA대비 평균 28% 높은 mse)과 MLP(GA대비 평균 19% 높은 mse)는 WIL과 ASN에 대해서는 각각 TOP 1의 결과가 나타났다.
평균 mse 비율에서 가장 낮은 값을 나타내는 RF는 WIL, ASN, QFT 데이터를 제외한 모든 경우에서 가장 mse 값이 나타났고, QFT 데이터에서만 TOP 3 내에 포함되지 못하였다. 최적의 조합을 찾기 위해 다양한 종류의 ML을 고려했던 RS와 GA는 평균 mse 비율에서 두 번째로 낮은 mse를 보였으며, 마찬가지로 전체 데이터에서 TOP 3 내에 6번씩 포함되었고, 특히 QFT 데이터에서는 GA가 가장 낮은 mse를 보였다.
최적의 조합을 찾기 위해 다양한 종류의 ML을 고려했던 RS와 GA는 평균 mse 비율에서 두 번째로 낮은 mse를 보였으며, 마찬가지로 전체 데이터에서 TOP 3 내에 6번씩 포함되었고, 특히 QFT 데이터에서는 GA가 가장 낮은 mse를 보였다. 평균 mse 비율에서 상대적으로 좋지 못한 결과가 나왔던 SVM(GA대비 평균 28% 높은 mse)과 MLP(GA대비 평균 19% 높은 mse)는 WIL과 ASN에 대해서는 각각 TOP 1의 결과가 나타났다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

랜덤 탐색과 유전 알고리즘 탐색을 이용한 효율적 기계학습 방법 연구
A Study on Efficient Machine Learning Method Using Random Search and Genetic Algorithm Search 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

랜덤 탐색과 유전 알고리즘 탐색을 이용한 효율적 기계학습 방법 연구 A Study on Efficient Machine Learning Method Using Random Search and Genetic Algorithm Search 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

랜덤 탐색과 유전 알고리즘 탐색을 이용한 효율적 기계학습 방법 연구
A Study on Efficient Machine Learning Method Using Random Search and Genetic Algorithm Search 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper