초록 ▼

신경망에 있어서 일반화에 관한 연구는 전산학습이론, 통계학, 통계물리학 등의 분야에서 매우 중요하게 취급되어온 문제이다. 여기서 중심이 되는 문제는 얼마나 많은 양의 예제를 통하여 학습시켜야 신경망이 원하는 범위내로 오차를 줄일 수 있는가 하는 문제로서, 오차를 예제의 갯수와 관련하여 그린 곡선을 학습곡선이라고 부른다. 그러나 여태까지의 연구는 주로 하나의 출력단위를 갖는 신경망, 특히 이분법 문제를 배우는 신경망의 학습 곡선에 관한 것이었다. 본 연구에서는 문자인식등의 응용에서 흔히 쓰이는 여러개의 출력 노드를 갖는 신경망의

신경망에 있어서 일반화에 관한 연구는 전산학습이론, 통계학, 통계물리학 등의 분야에서 매우 중요하게 취급되어온 문제이다. 여기서 중심이 되는 문제는 얼마나 많은 양의 예제를 통하여 학습시켜야 신경망이 원하는 범위내로 오차를 줄일 수 있는가 하는 문제로서, 오차를 예제의 갯수와 관련하여 그린 곡선을 학습곡선이라고 부른다. 그러나 여태까지의 연구는 주로 하나의 출력단위를 갖는 신경망, 특히 이분법 문제를 배우는 신경망의 학습 곡선에 관한 것이었다. 본 연구에서는 문자인식등의 응용에서 흔히 쓰이는 여러개의 출력 노드를 갖는 신경망의 일반화에 대하여 통계물리학을 적용하여 이론적으로 연구하였다. 우리는 각층간의 모든 노드들이 전부 이진 가중치로 연결된 이층으로 된 신경망에 대하여 연구하였다. 하나의 출력을 가진 신경망에서와 마찬가지로 이 신경망의 학습은 순열대칭상(permutation symmetric phase)와 순열비디칭상(permutation symmetry breaking phase)간의 상전이로 특징지어진다. 이 상전이는 학습곡선이 불연속적인 행태를 보이게 하는 원인이 된다. PS상에서의 학습곡선은 출력단위의 갯수에 관계없이 같으나 상전이점, 즉 학습오차가 갑자기 작아지는 임계치의 예제의 갯수는 출력단위의 갯수에 반비례하여 줄어듬을 보였다. 통계물리학의 복제방법을 통하여 계산한 이론적 결과는 몬테칼로시뮬레이션의 결과와 잘 일치하였다. 본 연구결과는 예전의 일반화에 대한 이론적 연구결과가 단지 매우 간단한 신경망에 대해서만 적용가능했던데 비해 보다 실제적인 신경망에도 적용될 수 있음을 보여준 것으로서 여러 응용분야에서 신경망의 설계에 지침으로 사용될 수 있을 것이다.

Abstract ▼

Learning from examples in layered neural networks has been a common interest of statistical mechanics and other related areas such as computer science and mathematical statistics for the last few years. However, most of the studies of generalization have concerned leaning of a network with a singl

Learning from examples in layered neural networks has been a common interest of statistical mechanics and other related areas such as computer science and mathematical statistics for the last few years. However, most of the studies of generalization have concerned leaning of a network with a single output node. Specially, theoretical studies are concentrated on learning of a dichotomy rule. On the other hand, neural networks used for real world applications such as classification tasks usually need multiple output nodes. We study generalization in a fully connected two-layer neural network with multiple output nodes. Similarly to the learning of fully connected committee machine, the learning is characterized by a discontinuous phase transition between the permutation symmetric phase and the permutation symmetry breaking phase. We find that the learning curve in the permutation symmetric phase is universal, irrespective of the number of the output nodes. The first order phase transition point, i.e. the critical number of examples required for perfect learning, is inversely proportional to the number of the outputs. The replica calculation shows a good agreement with the Monte Carlo simulation. Understanding the effect of multiple output in a multi-layer perceptron would be a meaningful step which extends the relevance of the theory form the toy models to more realistic neural networks. It can reduce the gap between the theories and practces. It can be used as a guide rule for disigning a neural network for various applications.