선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 그리고 이미 학습된 특정 신경망만을 대상으로 분석하기 보다는 동일한 문제에 대해 서로 다른 가중치들로 초기화를 통해 학습된 일련의 다층 퍼셉트론 신경망들의 모임 (ensemble)을 대상으로 한다. 기존의 대부분 연구들이 분석 대상 모델을 너무 간략화하였거나 비현실적인 가정을 한 반면 본 논문에서는 어떠한 비현실적인 가정도 하지 않고 실제 가장 많이 사용되는 실용적인 모델에 대하여 분석한다. 그리고 이러한 분석 결과로부터 양자화로 인한 출력 왜곡을 줄일 수 있는 방안에 대한 고찰을 하고 시계열 데 이터에 대한 실험을 통하여 그 결과를 확인한다.
- 이러한 결과는 Xie와 Jabri九 주장한 신경망 출력 왜곡에 대해 가중치의 영향이 크다는 사실과 일치한다. 또한 선택적 증식 방법을 통하여 Stevenson 과 Widrow가 주장한 뉴런당가중치 수와 계증당 뉴런의 수가 신경망 출력 왜곡과는 무관하다는 사실과도 일치하는 것이다. 실험 결과는 이러한 방법들을 통해 실제로 뉴런 출력 및 가중치 값의 양자화로 인한 출력층 뉴런의 출력 왜곡을 상당히 줄일 수 있음을 명확히 보여 주었다.
- 먼저 입력 데이터의 정규화가 가중치 및 뉴런 출력의 양 자화에 미치는 영향을 알아보기 위한 실험을 하였다.[표 1]은 정규화하지 않은 원래의 데이터를 사용하여 학습한 신 경망과 정규화한 데이터를 사용하여 학습한 신경망에 대해 가중치 양자화 정밀도에 따른 출력 왜곡을 보여준다.
- 본 논문에서는 다층 퍼셉트론 신경망에서 뉴런 출력과 가중치의 양자화로 인하여 발생하는 출력층 뉴런에서의 출력 왜곡에 대한 통계적인 특성을 뉴런의 비선형 전달 함수에 대한 이차 근사까지 이용함으로써 보다 자세히 분석한다. 그리고 이미 학습된 특정 신경망만을 대상으로 분석하기 보다는 동일한 문제에 대해 서로 다른 가중치들로 초기화를 통해 학습된 일련의 다층 퍼셉트론 신경망들의 모임 (ensemble)을 대상으로 한다.
- 이것은 신경망의 출력층 뉴런 출력에서 이미 학습된 출력에 비해 왜곡을 야기한다. 본 논문에서는 이러한 신경망의 출력 왜곡을 자세하게 분석하였다. 그리고 분석 결과를 토대로 신경망의 출력 왜곡을 줄일 수 있는 한 방법으로 입력 벡터의 정규화와 학습을 통하여 신경망이 작은 가중치 값을 갖는 해를 선택할 것을 제시하였고 학습 후 선택적 증식변환을 수행하专 것이 필요하다는 것을 알았다.
- 이제까지 뉴런 출력과 가중치들의 양자화에 따른 임의의 은닉층 뉴런에서의 출력 왜곡에 대해 자세히 분석하였다. 여기서는 이러한 분석 결과를 토대로 신경망의 출력층 뉴런들의 출력 왜곡에 영향을 미치는 주요 요인들을 점검해 보고, 그 영향을 감소시킬 수 있는 방법에 대하여 고찰해 본다.
- 이 분석 결과를 이용하여 가중치 에러에 대한 출력층 뉴런에서의 잡음대 신호비를 유도하였다. 이러한 유도 결과를 이용하여 대상 신경망의 허용 잡음대 신호비가 주어지면 이를 만족하는 가중치의 정밀도를 계산할 수 있는 방법을 제시하였다. Choi와 Choi[기는 입력 또는 가중치의 잡음을 백색 잡음으로 가정하고 이들이 각각 덧셈 적인 또는 곱 셈적인 잡음인 경우에 대해 출력층 뉴런에서의 출력 민감도를 다음과 같이 정의하고 이를 유도하였다.
- 첫째, 입력 제곱들의 합을 줄이기 위해서는 각 입력 벡터 요소들이 가능하면 작은 값일수록 좋다. 이에 대한 방안으로는 입력 벡터들을 정규화하는 것이다. 정규화된 입력 벡터들은 원래의 입력 벡터들이 가지고 있는 정보들을 전혀 손상하지 않을 뿐 아니라, 학습할 때에도 시간이 덜 걸리는 것으로 알려져 있다.
- 이제까지 많은 연구자들이 각각 서로 다른 뉴런 모델과 여러 가지 가정을 함으로써 신경망 구성요소에 대한 잡음이나 양자화로 인한 신경망 출력에 미치는 영향을 분석하려고 시도하였다. Stevenson과 WidrowU]는 기하학적인 분석 방법을 사용하여 입력 패턴과 가중치의 값들의 분포를 단순히 일양 분포로 가정하고 가중치의 작은 잡음에 대한 출력층 뉴런에서의 출력 민감도를 분석하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.