선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 3가지 종류의 다항식을 이용하여 회귀 다항식 기반 예측 모델을 설계한다. 회귀 다항식 예측 모델을 설계하기 위한 목적함수는 식 (2.
- 본 논문에서는 예측 모델 및 패턴 분류기의 구조를 단순화 하여 과적합 문제를 해결하기 위하여 단순한 구조를 가진 회귀 다항식 기반 예측 모델 및 패턴 분류기를 제안한다.
제안 방법
- 이와 같은 일반화 성능저하의 원인이 되는 과적합 (over-fitting) 문제를 해결하기 위하여 단순한 구조를 가진 예측 모델 및 패턴 분류기 설계 방법을 제안한다. 본 논문에서 제안된 주성분 분석기반 회귀 다항식 예측 모델 및 패턴 분류 기의 예측 성능 및 일반화 패턴 분류성능을 평가하기 위하여 benchmark 데이터의 일종인 여러 개의 머신러닝 데이터 집합들을 이용한다.
- 비정형 데이터의 경우, 데이터의 차원이 매우 큰 경우가 대부분이며, 데이터의 차원이 매우 큰 경우, 이를 이용하여 설계되고 구축된 예측 모델 및 패턴 분류기의 성능이 우수하지 않은 단점을 가지고 있다[5]. 본 논문에서는 이와 같은 차원이 큰 데이터를 처리하기 위하여, 차원 축소 알고리즘인 주성분 분석법을 이용하여 데이터의 차원을 축소한다. 주성분 분석법을 적용하여 축소된 입력데이터를 이용하여 예측 모델 및 패턴 분류기를 설계하기 위하여, 예측 모델 및 패턴 분류기 로 단순한 구조를 가진 회귀 다항식을 이용한다.
- 본 논문에서는 주성분 분석법을 이용하여 입력공간의 차원을 축소시키고, 우수한 특징 벡터를 추출하여 입력변수로 사용하는 회귀다항식 기반 예측 모델과 패턴 분류기를 설계하였다. 회귀 다항식 기반 모델과 패턴 분류기의 파라미터를 추정하기 위하여, 최소자승법과 비선형 최소자승법을 각각 회귀 다항식 기반 모델 과 패턴 분류기 계수 추정에 적용하였다.
- 회귀 다항식을 기반으로 한 예측 모델은 미리 획득된 데이터들로부터 의미 있는 다항식을 추출하고 추출된 다항식을 이용하여 새롭게 주어진 입력데이터와 연관성이 높은 출력데이터를 예측하는 모델이다. 이러한 모델을 설계하기 위하여, 주어진 데이터를 기반으로 다항식 회귀분석을 하고 회귀다항식의 계수를 추정한다. 다항 식의 계수를 추정하기 위한 알고리즘으로 일반적으로 사용되는 최소 자승법 (least square estimation)을 적용한다.
- 일반 적으로 예측 모델 및 패턴 분류기의 구조가 복잡하면 복잡할수록 모델 및 분류기의 일반화 성(혹은 예측 성능)이 저하 된다는 특성을 보인다. 이와 같은 일반화 성능저하의 원인이 되는 과적합 (over-fitting) 문제를 해결하기 위하여 단순한 구조를 가진 예측 모델 및 패턴 분류기 설계 방법을 제안한다. 본 논문에서 제안된 주성분 분석기반 회귀 다항식 예측 모델 및 패턴 분류 기의 예측 성능 및 일반화 패턴 분류성능을 평가하기 위하여 benchmark 데이터의 일종인 여러 개의 머신러닝 데이터 집합들을 이용한다.
- 회귀 다항식 기반 모델과 패턴 분류기의 파라미터를 추정하기 위하여, 최소자승법과 비선형 최소자승법을 각각 회귀 다항식 기반 모델 과 패턴 분류기 계수 추정에 적용하였다. 제안된 모델 및 패턴 분류기의 성능을 평가하기 위하여 여러개의 기계학습 데이터 집합을 사용하여 실험을 진행하였다. Regression 문제의 경우 Autompg데이터의 경우 주 성분 분석을 통해 얻은 6개의 특징을 적용하여 모델의 출력을 얻을 경우 가장 우수한 성능을 보였다.
- 회귀 다항식기 패턴 분류기를 설계하기 위해서 앞장 에서 설명한 3가지 구조를 가진 다항식을 사용하였다. 본 논문에서 사용된 패턴 분류 문제는 가장 기본적인 패턴 분류 문제인 2진 분류 문제이다.
대상 데이터
- 회귀 다항식기 패턴 분류기를 설계하기 위해서 앞장 에서 설명한 3가지 구조를 가진 다항식을 사용하였다. 본 논문에서 사용된 패턴 분류 문제는 가장 기본적인 패턴 분류 문제인 2진 분류 문제이다. 2진 분류 문제에 서 사용되어진 회귀 다항식 패턴분류기는 확률 기반 모델로서 아래와 같은 출력 값을 가진다.
- 제안된 회귀 다항식 예측 모델 및 패턴 분류기의 예측 성능과 패턴 분류기의 일반화 성능을 테스트하기 위하여 3개의 regression 문제에 관련된 머신러닝 데이터 와 5개의 classification 문제 관련 머신러닝 데이터를 사용하였다. 제안된 모델의 예측 성능 및 회귀 다항식 기반 패턴 분류기의 성능 검증을 위해 사용된 데이터는 UCI machine learning repository에서 다운로드하여 사용하였고 제안된 패턴 분류기의 성능 평가를 위하여 10-fold 교차 확인 방법을 통해 검증하였다[8].
데이터처리
- 고차원 데이터 패턴들을 분석하여 저차원의 데이터로 만들고 우수한 특징벡터들을 추출하기 위하여 주성분 분석을 사용한다. 주성분 분석법은 머신러닝, 패턴 인식 등 다양한 분야에서 대표적으로 쓰이는 특징 추출 알고리즘이다[6, 7].
- 제안된 회귀 다항식 예측 모델 및 패턴 분류기의 예측 성능과 패턴 분류기의 일반화 성능을 테스트하기 위하여 3개의 regression 문제에 관련된 머신러닝 데이터 와 5개의 classification 문제 관련 머신러닝 데이터를 사용하였다. 제안된 모델의 예측 성능 및 회귀 다항식 기반 패턴 분류기의 성능 검증을 위해 사용된 데이터는 UCI machine learning repository에서 다운로드하여 사용하였고 제안된 패턴 분류기의 성능 평가를 위하여 10-fold 교차 확인 방법을 통해 검증하였다[8]. 표 2는 제안된 모델과 패턴 분류기의 설계에 필요한 파라미터를 나타낸다.
- 제안된 회귀다항식 기반 패턴 분류기의 성능을 평가하기 위하여 분류율을 사용하였다.
이론/모형
- 이러한 모델을 설계하기 위하여, 주어진 데이터를 기반으로 다항식 회귀분석을 하고 회귀다항식의 계수를 추정한다. 다항 식의 계수를 추정하기 위한 알고리즘으로 일반적으로 사용되는 최소 자승법 (least square estimation)을 적용한다. 표 1은 본 논문에서 사용되는 다항식의 형태를 나타낸다.
- 본 연구에서는 비용함수로 크로스 엔트로피 함수를 사용함으로써 연결가중치의 학습을 위해 뉴턴법 (Newton’s method)을 이용한 비선형 최소자승법을 적용하게 되었다[8].
- 제안된 모델의 성능을 평가하기 위하여 Root Mean Square Error (RMSE)를 평가지수로 사용하였다. 사용된 RMSE는 (2-19)와 같다.
- 주성분 분석법을 적용하여 축소된 입력데이터를 이용하여 예측 모델 및 패턴 분류기를 설계하기 위하여, 예측 모델 및 패턴 분류기 로 단순한 구조를 가진 회귀 다항식을 이용한다.
- 본 논문에서는 주성분 분석법을 이용하여 입력공간의 차원을 축소시키고, 우수한 특징 벡터를 추출하여 입력변수로 사용하는 회귀다항식 기반 예측 모델과 패턴 분류기를 설계하였다. 회귀 다항식 기반 모델과 패턴 분류기의 파라미터를 추정하기 위하여, 최소자승법과 비선형 최소자승법을 각각 회귀 다항식 기반 모델 과 패턴 분류기 계수 추정에 적용하였다. 제안된 모델 및 패턴 분류기의 성능을 평가하기 위하여 여러개의 기계학습 데이터 집합을 사용하여 실험을 진행하였다.
성능/효과
- Red wine 데이터의 경우에는 총 11개의 특징들 중에서 9 개의 특징을 사용할 경우가 가장 우수 하였다. 데이터 분류 문제의 경우, German과 Heart 데이터의 경우, 전체 입력 데이터를 사용하여 데이터를 분류한 결과 보다 주성분 분석으로 얻은 일부 특징을 이용하는 것이 우수한 결과를 보임을 알 수 있었다. 위에 열거한 실험결과를 통해 주성분 분석법을 이용하여 획득한 특징벡터를 입력으로 사용할 경우 우수한 모델링 성능 및 패턴 분류 성능을 확인 할 수 있었다.
- 데이터 분류 문제의 경우, German과 Heart 데이터의 경우, 전체 입력 데이터를 사용하여 데이터를 분류한 결과 보다 주성분 분석으로 얻은 일부 특징을 이용하는 것이 우수한 결과를 보임을 알 수 있었다. 위에 열거한 실험결과를 통해 주성분 분석법을 이용하여 획득한 특징벡터를 입력으로 사용할 경우 우수한 모델링 성능 및 패턴 분류 성능을 확인 할 수 있었다.
- 표 4의 실험 결과로부터 Regression 문제의 경우 Boston Housing 데이터를 제외하고 나머지 2개의 데이터는 주성분 분석법을 적용한 모델이 우수한 성능을 보임을 알 수 있다. Boston Housing 데이터의 경우 선택된 feature의 수가 11개이고 후반부 구조의 차수가 2일 때 테스트 데이터에 대한 예측 성능이 3.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.