초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문에서 소개하는 알고리즘을 은닉층의 뉴런의 수를 학습하는 동안 동적으로 변화시켜 역전파 알고리즘의 단점인 Local maxima를 탈출하고 또한 은닉층의 뉴런의 수를 결정하는 과정을 없애기 위해 연구되었다. 본 알고리즘의 성능을 평가하기 위해 두 가지 실험에 적용하였는데 첫번째는 Exclusive-OR 문제이고 두번째는 7$\times$8 한글 자음과 모음의 폰트 학습에 적용하였다. 이 실험의 결과로 네트웍이 local maxima에 빠져드는 확률이 줄어드는 것을 알 수 있었고 학습속도 또한 일반적인 역전파 알고리즘보다 빠른 것으로 증명되었다.

본 논문에서 소개하는 알고리즘을 은닉층의 뉴런의 수를 학습하는 동안 동적으로 변화시켜 역전파 알고리즘의 단점인 Local maxima를 탈출하고 또한 은닉층의 뉴런의 수를 결정하는 과정을 없애기 위해 연구되었다. 본 알고리즘의 성능을 평가하기 위해 두 가지 실험에 적용하였는데 첫번째는 Exclusive-OR 문제이고 두번째는 7$\times$8 한글 자음과 모음의 폰트 학습에 적용하였다. 이 실험의 결과로 네트웍이 local maxima에 빠져드는 확률이 줄어드는 것을 알 수 있었고 학습속도 또한 일반적인 역전파 알고리즘보다 빠른 것으로 증명되었다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• Local maxima 란 연결 강도의 공간에서 오차와의 관계에서 표현할 수 있는데 그림 1에서 보는 바와 같이 연결 강도가 변경되다가 W2, W3에서 더 이상 변경할 수 없게 되는 상태이다. 본 논문에서 이러한 Local maxima를 효과적으로 탈출하기 위해 제안하였다.
• 본 논문에서는 은닉충의 뉴런의 개수를 변경시키는 역전파 알고리즘에 대해서 소개하였다. Local maxima 에 빠졌을 때 은닉층에 새로운 유닛을 추가하고 연결 강 도로 랜덤 한 값을 주면 Local maxima에서 탈출할 수 있었다.
• 본 알고리즘이 Local maxima에서 효과적으로 잘 벗 어 났는가 하는 것을 일반적인 알고리즘의 결과와 본 알고리즘의 결과를 비교해보고 판단할 수 있었다. 일반적인 알고리즘은 10번 중에 2-3회 정도는 수렴하지 못 하였지만 본 알고리즘은 거의 모든 학습에서 수렴하였다.
• [2] 또한 최적의 은닉 충의 뉴런의 개수를 이론적으로 결정할 수 없기 때문에 많은 시행착오를 거쳐서 가장 적절한 수를 선택하는 것이 일반적이다. 이러한 문제를 해결하기 위해서 본 논문에서는 역전파 알고리즘의 학습 과정에서 은닉 충의 뉴런의 개수를 동적으로 변화 시켜 보았는데 Local maxima 에 빠졌다고 판단되면 은닉층 뉴런의 개수를 중가시켜 Local maxima를 탈출 할 수 있게 유도하고 또한 그 과정에서 최적의 은닉 충의 뉴런의 개수를 결정할 수 있도록 구성해보았다. 이 알고리즘의 성능을 검사하기 위해 두 가지 경우의 문제에 적용시켜보았는데, 첫 번째로 Exclusive-OR 문제에 적용하였고 두 번째로 7x8의 한글 자모음 폰트의 학습에 적용시켜 보았다.

제안 방법

• 본 알고리즘의 실험을 위해서 두 가지의 문제를 결정하였다. 간단한 문제로는 XOR 문제이고 좀 더 복잡한 문제로 7x8 한글 자모음 폰트의 학습 문제로 결정하였다. 입력 충과과 은닉층 사이의 활성화 함수에는 다음과 같은 식을 사용하였다.
• 위의 그림에서 알 수 있듯이 작은 네트웍을 구성하려고 할 때는 은닉 충의 초기 뉴런의 개수를 작게 설정하는 것이 좋다. 또한 뉴런을 감소시키는 과정에서 제거하는 순서에 관해서 실험해 보았는데 최초의 뉴런과 차례로 더해진 뉴런에 순서를 붙여서 제거해 보았다. 먼저 최초의 뉴런을 삭제 하였을 때는 네트웍이 수렴하지 못하는 것을 알 수 있었다.
• 001로 설정하였고 최대 학습 횟수는 10000번으로 설정하였다. 매 100회마다 E를 검사하여 뉴런의 주가 여부를 결정하였다.
• 네트웍 이 Local maxima에 빠졌다는 것을 정확히 판단해 내기는 어렵다. 여기에서 오류 E를 가지고 판단하는데 매 100 회의 연결 강도를 조정 한 후 E를 검사하여 만약에 E의 차이가 1% 미만이라면 Local maxima에 빠진 것으로 판단하고 은닉 충의 유닛을 추가한다. 만약에 E가 1% 이상 감소하였다면 그다음 100회를 시행한 후 다시 검사한다.
• 이러한 문제를 해결하기 위해서 본 논문에서는 역전파 알고리즘의 학습 과정에서 은닉 충의 뉴런의 개수를 동적으로 변화 시켜 보았는데 Local maxima 에 빠졌다고 판단되면 은닉층 뉴런의 개수를 중가시켜 Local maxima를 탈출 할 수 있게 유도하고 또한 그 과정에서 최적의 은닉 충의 뉴런의 개수를 결정할 수 있도록 구성해보았다. 이 알고리즘의 성능을 검사하기 위해 두 가지 경우의 문제에 적용시켜보았는데, 첫 번째로 Exclusive-OR 문제에 적용하였고 두 번째로 7x8의 한글 자모음 폰트의 학습에 적용시켜 보았다.
• 초기의 연결 강도는-1에서 1까지의 랜덤한 수로 하였다. 첫째로, 초기의 뉴런의 수와 마지막 학습이 끝났을 때의 뉴런의 수를 비교해 보았다. 이 실험을 위해서 네트웍의 초기 뉴런의 수를 1, 2, 3, 5, 10개로 해서 각각 10번씩의 실험을 하여 평균을 구해 보았는데 결과는 그림 4와 같다.

이론/모형

• 은닉 충과 출력 중 사이에는 항등함수 (identity function)을 사용하였다.

성능/효과

• 추가되는 뉴런에 연결 강도를 0으로 설정하였을 때는 대부분의 학습이 수렴하였는데 수렴되지 않은 것을 살펴보면 변화의 폭이 작아서 계속 뉴런이 추가가 되는 경우였다. 그래서 연결 강도를 랜덤한 값으로 설정하였더니, E가 급격히 증가하였지만 조정이 빨리 되어지는 것을 확인할 수 있었다. 이 학습에서 최종 은닉 충의 수는 대략 6~7개였다.
• 제안된 알고리즘의 핵심요지는 네트웍 이 Local maxima 에 빠졌다고 판단되었을 경우 은닉 충의 뉴런의 개수를 추가해서 연결 강도를 더 갱신할 수 있는 조건을 만들어 준다.
• 그리고 마지막에 추가된 뉴런부터 삭제를 해보니 네트 웍이 수렴하였다. 추가된 뉴런들은 순서에 관계없이 제거하여도 네트웍이 수렴하였으나 처 초의 뉴런을 제거 시에는 수렴하지 않는 것을 학인 할 수 있었다.

후속연구

• 우리는 앞으로 이 알고리즘을 음성인식 분야로 확대적용해 볼 계획이다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기