선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 테스트 셋으로는 2가지 종류의 데이터 셋이 사용되었는데 하나는 제안한 알고리즘의 작동을 검토해 보기 위한 목적으로, 다른 하나는 정확한 평가를 위한 목적으로 고안되었다. 첫 번째 테스트 데이터 셋 은 자신의 고유한 ID를 갖고 있는 25개의 데이터들로 이루어졌다(그림 4의【LEFT] 참조).
제안 방법
- 본 연구에서는 clustering을 통하여 서브 학습 데이터 셋 을 구성하고 각 cluster의 중심과 주어진 입력 벡터와의 거리를 네 트워크 결합의 가중치 계산에. 반영하는 방법을 제안하였다. 제안된 방법은 기존 관찰학습의 가상데이터 생성과정과 recall 과정에 구현되었다.
- 본 연구에서는 K-means clustering을 이용하여 초기 학습 데이터 셋을 여러 개의 서브 학습 데이터 셋으로 분할한 후, 이를 각 구성 네트워크에 상호 배제적으로 분담 학습시킴으로써 전문화된 네트워크들의 결합에 의한 앙상블 학습 방법을 제안하였다. 제안된 알고리즘의 네트워크 결합 방법은 제시된 입력 벡터와 각 서브 학습 데이터 셋간의 거리를 반영한 가중 평균을 통해 이루어진다.
- 전문화(specialization)된 네트워크들 윤 앙상블 알고리즘의 학습 성능을 보다 많이 개선시킬 수 있다. 본 연구에서는 clustering을 통하여 서브 학습 데이터 셋 을 구성하고 각 cluster의 중심과 주어진 입력 벡터와의 거리를 네 트워크 결합의 가중치 계산에. 반영하는 방법을 제안하였다.
- 본 연구의 주된 아이디어는 앙상블 네트워크의 각 구성 멤버를 전 문화(specialization) 시키고 이를 네트워크의 결과 결합에 이용하는 것으로서 다음의 두 단계로 이루어진다.
- 반영하는 방법을 제안하였다. 제안된 방법은 기존 관찰학습의 가상데이터 생성과정과 recall 과정에 구현되었다.
- 제안된 알고리즘(0LA8)은 우선:y=sin(2*]+3必)+£, £〜M0, 0.05〃) 로 정의된 인공함수 추정 문제에 적용되었다. 각각의 입력 벡터 *는 4개의 gaussian 분포 MCy, 0.
- <그림5> 제안된 알고리즘은 각 cluster 외 중심 부근(7, 9, 10, 13)에 서서 다른 알고리즘에 비해 상대적으로 상당히 정확한 추정치를 산출한다.
- 본 연구에서는 K-means clustering을 이용하여 초기 학습 데이터 셋을 여러 개의 서브 학습 데이터 셋으로 분할한 후, 이를 각 구성 네트워크에 상호 배제적으로 분담 학습시킴으로써 전문화된 네트워크들의 결합에 의한 앙상블 학습 방법을 제안하였다. 제안된 알고리즘의 네트워크 결합 방법은 제시된 입력 벡터와 각 서브 학습 데이터 셋간의 거리를 반영한 가중 평균을 통해 이루어진다.
대상 데이터
- <그림 4> [LEFT] 4개의 gausslan으로부터 생성된 인공데이터와 25개의 테스트 데이터, [RIGHT] 25개 테스트 입력에 대한 추정 결과.
- 5)}). 각 cluster마다 80개의 데이터를 생성하고 구성 네트워크의 수는 4로 설정하였으므로 총 320개의 데이터가 실험에 사용되었다(그림4 참조). 4개의 2-5T MLP 네트워크들은 Levenberg-Maquardt 알고리즘으로 5 epoch 동안 훈련되었다.
- 다른 하나의 테스트 데이터 셋은 400개의 데이터들로 구성되었다. 표1은 50회의 반복실험에 대한 결과를 MSE에 대한 평균과 편차로 요 약한 것이다.
- Generation의 수는 4회로 설정되었으며 각 generation마다 80개의 가상데이터가 생성되어 80개의 원래 학습데이 터와 합쳐졌다. 단, 매 generation마다 이전 generation에서 생성되었던 가상데이터는 제거되었으므로 각 네트워크는 160개의 학습데이 터 셋으로 훈련되었다. 이 실험에서는 학습 데이터를 인위적인 cluster 중심으로부터 발생시켰으므로 별도의 데이터 셋 분할 작업은 수행되지 않았다.
- 테스트 셋으로는 2가지 종류의 데이터 셋이 사용되었는데 하나는 제안한 알고리즘의 작동을 검토해 보기 위한 목적으로, 다른 하나는 정확한 평가를 위한 목적으로 고안되었다. 첫 번째 테스트 데이터 셋 은 자신의 고유한 ID를 갖고 있는 25개의 데이터들로 이루어졌다(그림 4의【LEFT] 참조). 그림4의【RI 애 T]에 표시된 mesh는 인공함수의 표면이고 사각 점들은 25개 테스트 데이터들이 입력되었을 때 제안된 알고리즘에 의해 추정된 값들이다.
이론/모형
- 각 cluster마다 80개의 데이터를 생성하고 구성 네트워크의 수는 4로 설정하였으므로 총 320개의 데이터가 실험에 사용되었다(그림4 참조). 4개의 2-5T MLP 네트워크들은 Levenberg-Maquardt 알고리즘으로 5 epoch 동안 훈련되었다. Generation의 수는 4회로 설정되었으며 각 generation마다 80개의 가상데이터가 생성되어 80개의 원래 학습데이 터와 합쳐졌다.
- 제안된 알고리즘은 실제 예측 문제에도 적용되었다: Boston Housing [9], 0zone[10]. 데이터 셋은 /f-means clustering을 이용하여 각각 10개, 9개의 서브 데이터 셋으로 분할되었다.
- 각 네트워크의 신뢰도는 서브 데이터 셋의 중심 즉, 각 시uster 중심과 제시된 입력 벡터 /의 거리에 반 비례하게끔 설정된다. 학습 데이터 셋에 대한 확률 밀도 함수(PDF)의 추정은, 대개의 경우 이에 대한 통계적 사전 정보가 주어지지 않으므 로, 본 연구에서는 mixture gaussian kernel을 이용하였다[6][7][8],
성능/효과
- 표1은 50회의 반복실험에 대한 결과를 MSE에 대한 평균과 편차로 요 약한 것이다. MSE의 평균만 올 고려해 보면 기존의 관찰학습(0LA-25) 이 가장 좋은 성능을 보이나 구성 네트워크의 수를 함께 고려한다면 제안된 알고리즘이 훨씬 적은 수(4 networks)의 네트워크로 이와 유사한 정확도를 보임을 알 수 있다. 앙상블 학습은 여러 개의 네트워크를 훈련시켜야 하는 부담을 안고 있고 이는 구성 네트워크의 수와 말접한 관계를 가지므로, 제안된 알고리즘이 초기에 clustering을 수행해야 함에도 불구하고 효율적인 방법임을 알 수 있다.
- MSE의 평균만 올 고려해 보면 기존의 관찰학습(0LA-25) 이 가장 좋은 성능을 보이나 구성 네트워크의 수를 함께 고려한다면 제안된 알고리즘이 훨씬 적은 수(4 networks)의 네트워크로 이와 유사한 정확도를 보임을 알 수 있다. 앙상블 학습은 여러 개의 네트워크를 훈련시켜야 하는 부담을 안고 있고 이는 구성 네트워크의 수와 말접한 관계를 가지므로, 제안된 알고리즘이 초기에 clustering을 수행해야 함에도 불구하고 효율적인 방법임을 알 수 있다. Bagging은 체안된 알고리즘 네트워크 수의 약 4배가량의 구성 네트워크를 가진 후에야 유사한 성능을 보였다.
- 표1의 마지막 행은 제안된 알고리즘과 다른 알고리즘과의 MSE에 대한 단 측 T-test 결과를 p-vahie로 기록한 것이다. 유의수준 올 5%로 한다면 제안된 알고리즘은 0LA-4 및 bagging-4, boosting보다 우수함이 검증된 것이다.
- 그림 5는 25개 테스트 데이터의 입력과 추정된 값들을 일련의 테스트 번호대로 정렬하고 제안된 알고리즘과 bagging, boosting의 결과를 나타낸 것이다. 제안된 알고리즘은 각 cluster의 중심에 해당하는 테스트 데이터의 입력에 대해서 (7, 9, 17, 19) 상대적으로 높은 정확도를 보여준다는 점이 특징적이다. 이는 해당 cluster를 학습한 네트워크의 결과가 네트워크 결합 시 가장 비중 있게 반영되었기 때문이다,
- 제안된 알고리즘은 인공함수 추정 및 실제 문제에 대한 bagging 및 boosting과의 비교 실험에 의하여, 보다 적은 수의 구성 네트워크로 동일 내지보다 나은 성능을 나타냄이 실험적으로 검중되었다.
후속연구
- 그러나 본 연구의 보다 일반화된 타당성을 검증받기 위해서는, 여러 실제 문제에 대한 확장 실험 이 후행되어져야 한다. 또한, 알고리즘의 세부적인 측면으로는, 이 ustering이외의 다양한 분할 방법을 통한 서브 학습 데이터 셋의 구성과 보다 정교한 계산방법에 의한 네트워크 결합 가중치 설정 등이 연구 주제로 남아 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.