선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 이를 극복하면서 다양한 신경망올 생 성하기 위해 종분화 방식을 도입한다. 중분화는 유전자 알고리즘에서 비숫한 해를 가지는 개체를 모아 종을 이 루도록 하기 위하여 적합도가 특정 개체에 쏠리는 것을 방지함으로써 다양한 해를 찾도록 한다.
제안 방법
- Opitz와 Shavlike 다중 신경망의 결합에 진화 알고 리즘을 적용한 ADDEMUP 알고리즘을 제안했다[3]. ADDEMUPe 신경망들 각각이 좋은 성능을 보이면서 상호 보완되도록 신경망 결합을 구축호｝는 알고리즘이다.
- 적합도 공유는 적합도가 집중된 개체의 적합도를 줄 이고 그 주위의 개제들과 적합도를 공유해서 유진자 알 고리즘의 탐색 반경을 넒힌다. 결과적으로 탐색하지 않 았던 영역을 탐색해서 다양한 해를 찾도록 한다.
- 일정한 차이가 나는 다중해 姦 가지는 경우 그 거리를 공유 반경으로 정했을 때 가장 효과적인 적합도 공유를 할 수 있다. 공유 반경을 설 정하기 위해서 초기 신경망 집단내외 모든 개체간의 유 사도를 계산 한 후 평균값을 구하여 이등분 한 후 이용 한다.
- 중분화는 유전자 알고리즘에서 비숫한 해를 가지는 개체를 모아 종을 이 루도록 하기 위하여 적합도가 특정 개체에 쏠리는 것을 방지함으로써 다양한 해를 찾도록 한다. 또한 종분화된 다양한 신경망을 여러가지 방법으로 결합하여 그 우수 성올 입층하도록 한다.
- 신경망 인코딩은 유전자 알 고리즘에서 개체를 표현하는데 일반적으로 사용하는 이 진 표현, 트리, 링크트 리스트, 행렬 등의 낭법이 있다. 본 논문에서는 간단하면서도 진화 연산지를 적용하기 쉬운 행렬올 사용한다. A'개의 노드를 가진 신경망은 N XN 크기의 정방행렬에 연결 정보와 가중치를 표시해 서 인코딩한다.
- 본 논문에서는 신경망의 친화에 종분화를 적용해서 다양한 신경망들로 구성된 다중 신경망을 구축하고 유용성 욜 보이기 위해 다양한 결합 방법욜 이용하였다. 신경망 의 종분화를 위하여 적합도 공유 방법을 이용했으며, 각 신경망의 유사도를 비교히-기 위해서 출력값의 평균을 이 용했다.
- 본 논문에서는 신경망의 친화에 종분화를 적용해서 다양한 신경망들로 구성된 다중 신경망을 구축하고 유용성 욜 보이기 위해 다양한 결합 방법욜 이용하였다. 신경망 의 종분화를 위하여 적합도 공유 방법을 이용했으며, 각 신경망의 유사도를 비교히-기 위해서 출력값의 평균을 이 용했다. 종분화된 신경망의 경우 평균적인 신경망의 인 식률이 종분화하지 않은 경우보다 낮았으나, 이들을 결 합함으로써 더 높은 인식률욜 얻을 수 있었다.
- 신경망외 적함도로 검중 데이타의 인식률을 사용하였다. 적합도 공유를 석용하는데 있어서 문제가 되는 것은 개체간의 유사성을 어떻게 비교할 것인가와 공유 반경 #를 어떻게 정하는가이다.
- 평균 방법을 旦안한 것으로, 각 신경망의 인식률 값을 이용해서 각 신경망마다 가중치를 부여한 후, 출력값에 가중치를 곱해서 평균을 구한다. 신경망의 인식률이 높 을수록 더 높은 가중치를 부쪄하기 위해 신경방의 오류 율을 이용해서 가중치를 결정하였다. 신경망 i의 오류윤 이 瓦 일 때 가중치 山는 다음과 같이 구한다.
- 실험을 통해 신경망의 증분화를 분석하고 결합의 성능을 기존 연구 결과들과 비교해 보았다. 실험믈 위하여 UCI의 벤치마크 데이타 중에서 호주 신용카드 승인 (Australian Credit Approval) 데이타를 사용했다、'ㅜ', '-' 두 클래스를 가진 문제로 총 데이타 수는 690개이며 각 데이타는 14개외 속성을 가지고 있다.
- Harp 등은 학습 알고리츰의 인자를 결정하는데 진화 적 접근 방식은 이용했다［6］. 역전파 알고리즘의 인자를 신경망 구조 정보와 함께 염색체로 표현하고 이를 진화 시켰다. 이 방법은 신경망의 학습 인자 정보와 신경망 구조 정보간외 상호 작용을 통헤 보다 근본적으로 역전 파 알고리즘과 진화 알고리즘을 결합하였다.
- 유전자 알고리즘을 사용해서 새로운 신경망을 생성하고 그 신경망의 적합도를 인식률과 다양성으로 평가해서 신경망 집단에 포함할지를 결정한다. 즉 신경망 집단에 새로이 추가할 신경망은 높은 인식률올 가지면서 기존의 신경망 집단과는 다른 기능올 갖도록 한다.
- 단 일 연결 클러스터링은 전체 집단 중메서 가장 유사한 개 체부터 하나의 클러스터로 묶어나가는 전형적인 계품적 쿌러△터렁 기법이다. 이 문석법욜 적용해서 종을 니•누 기 위한 계통도(dendrogram)를 그렸다. 그림 6은 단일 연결 믈미스터링을 척용했을 때 언을 수 있는 신경망 칩 단의 계통도 예률 보여준다.
- 역전파 알고리즘의 인자를 신경망 구조 정보와 함께 염색체로 표현하고 이를 진화 시켰다. 이 방법은 신경망의 학습 인자 정보와 신경망 구조 정보간외 상호 작용을 통헤 보다 근본적으로 역전 파 알고리즘과 진화 알고리즘을 결합하였다.
- 각 종의 대표 신경망은 종을 이루는 신경망 중에서 가장 성능이 좋은 신경망으旦 선택했다. 최적화된 종 의 수를 결정하기 위해서 유사도 레벨별로 종의 개수를 변화시켜가변서 결과를 뽑고 그 줌에서 가장 좋은 성능을 보이는 경우를 최종 종의 수로 결정하였다.
- 평균 방법을 旦안한 것으로, 각 신경망의 인식률 값을 이용해서 각 신경망마다 가중치를 부여한 후, 출력값에 가중치를 곱해서 평균을 구한다. 신경망의 인식률이 높 을수록 더 높은 가중치를 부쪄하기 위해 신경방의 오류 율을 이용해서 가중치를 결정하였다.
- EPNele 교차연산을 사용하지 않고 신경망의 구조와 가중치 값을 변경시키는 다섯 가지 돌연변이 연 산자를 사용한다. 혼합 학습, 노드 삭제, 연결 삭제, 연결 추가 그리고 노드 추가의 다섯 가지 연산자를 통해 신경 망의 기능적인 진화를 유도한다. 따라서 부모 세대가 확 습한 기능적인 정보를 자식 세대에까지 최대한 보존시키 도록 한다.
대상 데이터
- 각 세대의 신경망 수는 20개이고 총 200세대를 친화 시켰다. 각 신경망은 초기 5개의 은닉 노드를 까진 전방 향 신경망이고 학숩은 역천파 알고리즘올 사용하였다.
- 실험을 통해 신경망의 증분화를 분석하고 결합의 성능을 기존 연구 결과들과 비교해 보았다. 실험믈 위하여 UCI의 벤치마크 데이타 중에서 호주 신용카드 승인 (Australian Credit Approval) 데이타를 사용했다、'ㅜ', '-' 두 클래스를 가진 문제로 총 데이타 수는 690개이며 각 데이타는 14개외 속성을 가지고 있다. 총 데이타 중 307개는 383개는 클래스이다.
- 실험믈 위하여 UCI의 벤치마크 데이타 중에서 호주 신용카드 승인 (Australian Credit Approval) 데이타를 사용했다、'ㅜ', '-' 두 클래스를 가진 문제로 총 데이타 수는 690개이며 각 데이타는 14개외 속성을 가지고 있다. 총 데이타 중 307개는 383개는 클래스이다. 학습 데이타, 검종 데이타, 테스트 데이타는 각각 346개, 172개, 172개씩 사용하였다.
- 각 신경망은 초기 5개의 은닉 노드를 까진 전방 향 신경망이고 학숩은 역천파 알고리즘올 사용하였다. 학슴률은 0.1 이며 학습 데이타는 최초 부분 학습시 400 회, 부분 학습시 200회, 최종 학습시에 1000회씩 사용하 몄다. 교차 연산은 0.
- 총 데이타 중 307개는 383개는 클래스이다. 학습 데이타, 검종 데이타, 테스트 데이타는 각각 346개, 172개, 172개씩 사용하였다.
이론/모형
- Yao와 Liu는 EPNet이라는 진화 신경망을 저)안하였다. EPNete Fogel 이 제안한 진화 프로그래밍 (evolutionary programming)을 이용해서 신경망을 결정 한다［9］. EPNele 교차연산을 사용하지 않고 신경망의 구조와 가중치 값을 변경시키는 다섯 가지 돌연변이 연 산자를 사용한다.
- 각 세대의 신경망 수는 20개이고 총 200세대를 친화 시켰다. 각 신경망은 초기 5개의 은닉 노드를 까진 전방 향 신경망이고 학숩은 역천파 알고리즘올 사용하였다. 학슴률은 0.
- 종분화퇸 신경망은 유사한 득징올 가친 신경망들이 하나의 종으로 모며있으므로 결합시에 각 종을 대표하는 신경망을 선택해서 이들의 결과를 결합한다. 신경망 집 단에서 종을 구분하기 위해서 단일 연결 률러스터링 (single linkage clustering) 분석법을 사용했다[15]. 단 일 연결 클러스터링은 전체 집단 중메서 가장 유사한 개 체부터 하나의 클러스터로 묶어나가는 전형적인 계품적 쿌러△터렁 기법이다.
- 신경망 집단의 결과를 결합하기 위해 추상 레벨에서 는 투표 방법과 게이팀 방법을 사웅하였고, 순위 레벨에 서는 Borda 함수와 Condorect 함수를 사용하였다. 측정 치 레벨에 속하는 방법으루는 평균 방법과 가중 평균 방법을 사용하였다.
- 신경망 집단의 결과를 결합하기 위해 추상 레벨에서 는 투표 방법과 게이팀 방법을 사웅하였고, 순위 레벨에 서는 Borda 함수와 Condorect 함수를 사용하였다. 측정 치 레벨에 속하는 방법으루는 평균 방법과 가중 평균 방법을 사용하였다.
성능/효과
- 8273메 비해 더 나믄 성능을 보였다. 그러나, 표 2, 3, 4메서 볼 수 있듯이 전체 신경망을 평균 방법으로 결합한 경우 기폰 방식과 종분화 방식은 비 숫한 결과를 보였으나, 종으룬부터 대표 신경망을 선택 해서 결합한 경우는 전체적으로 향상된 결과를 보였다. 종분화를 하지 않은 경우 결합믈 통해서는 거의 성능 향 상을 얻지 못했다.
- 마지막 세대 신경망 집단의 인식률을 비교해보면 종분화를 사용하지 않은 기존 방식의 경우 학숩, 검증, 그리고 테스토 데이타에 대해서 각각 0.9116, 0.8415, 0.84Q1의 인식률로 좀분화를 사용했을 때의 0.9042, 0.8381, 그리고 0.8273메 비해 더 나믄 성능을 보였다. 그러나, 표 2, 3, 4메서 볼 수 있듯이 전체 신경망을 평균 방법으로 결합한 경우 기폰 방식과 종분화 방식은 비 숫한 결과를 보였으나, 종으룬부터 대표 신경망을 선택 해서 결합한 경우는 전체적으로 향상된 결과를 보였다.
- 표 5는 Borda 결합 방식을 사용한 종분화 신경망의 결과와 다른 연구 결과［16］ 의 오류율을 비교한 값이다. 제 시한 결합 방법 중에서는 Borda 함수와 투표 방식으로 결합한 경우가 상대적으로 기각률이 높긴하였지만 가장 좋은 결과를 보였으며, 기존 연구 결과보다 낮은 오류율 올 보였다. 표 6은 각 결합방법별로 총 10회의 실험에 대한 평균 기각률을 정리헤 놓은 것이다.
- 신경망 의 종분화를 위하여 적합도 공유 방법을 이용했으며, 각 신경망의 유사도를 비교히-기 위해서 출력값의 평균을 이 용했다. 종분화된 신경망의 경우 평균적인 신경망의 인 식률이 종분화하지 않은 경우보다 낮았으나, 이들을 결 합함으로써 더 높은 인식률욜 얻을 수 있었다. 종분화된 신경망의 결합은 주상 레벨, 순위 레벨, 그리고 측정치 레벨의 다양한 방법을 적용해 보았으며, 그 중에서 Borda 결합이 가장 낮은 오류율을 보였디•.
후속연구
- Yao와 Liu는 EPNet의 마지막 세대 신경망을 투표, 순위 기반 선형 결합 그리고 RLS 알고리즘을 이용한 선형 결합 방법을 이용해서 결합하였다[14]. 최고 성능 의 단일 신경망보다 더 좋은 성능을 얻을 수 있었지만, 간단한 결합 방법만을 사용하였고 집단내의 모든 신령 망을 결합에 사용하였다는 한계가 있다.
- 종분화된 신경망의 결합은 주상 레벨, 순위 레벨, 그리고 측정치 레벨의 다양한 방법을 적용해 보았으며, 그 중에서 Borda 결합이 가장 낮은 오류율을 보였디•. 향후 연구에서는 신경망 간의 유사도에 대한 연구를 보충하고 종분 화된 신경망에 대한 깊이 있는 분석을 시도할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.