선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 Mnist 데이터를 사용하고 교차 엔트로피를 이용한 분석을 하였으며 훈련데이터의 개수와 데이터 훈련 횟수에 따라 변화되는 신뢰도 값을 측정하여 Overfitting이 일어나는 값을 도출하였다. 그리고 이에 따른 향후 보완 방향을 제시한다.
- 손실 함수의 종류로는 평균 제곱 오차와 교차 엔트로피 오차, 미니배치 학습이 존재한다. 본 논문에서는 Saito(2017) 에서의 방식과 동일하게 분석하고자 하는 데이터의 신뢰도를 교차 엔트로피 오차를 이용하여 분석하였다. 교차 엔트로피 오차의 수식은 다음과 같다.
- 정답레이블은 정답일 경우 원소의 값이 1, 오답일 경우 0을 취하고 있는 원-핫코딩 표기법을 사용한다(Saito, 2017). 본 논문에서는 이와 같은 교차 엔트로피 오차 방법을 Python으로 구현하여 신뢰도 분석 실험을 진행하고, Overfitting 발생을 검출하여 최적의 학습 데이터 환경을 제안하고자 한다.
제안 방법
- Overfitting이 발생한 시점을 분석하기 위해 훈련 데이터 신뢰도(tr, training data - reliability), 테스트 데이터 신뢰도 (tt, test data - reliability)를 나누어 신뢰도 변화를 측정하였다. 하지만 0~9의 10개로 구성된 mnist data의 특성상 훈련 데이터 신뢰도와 테스트 데이터 신뢰도의 차이를 명확히 나타내기 위하여 두 수치의 오차를 Overfitting 발생 지표로 표현하였고 이는 Figure 6과 같다.
- 본 논문에서 제안한 훈련 횟수에 따른 신뢰도 실험을 하기 위해 텐서플로우(tensorflow)에서 제공하는 mnist.train 데이터를 통해 학습하고 mnist test 데이터를 통해 신뢰도를 확인하였다. 신뢰도 확인을 위하여 이미지를 분류하기 위한 분석모델로 텐서플로우에서 제공하는 tf.
- 본 논문에서는 Mnist 데이터를 사용하고 교차 엔트로피를 이용한 분석을 하였으며 훈련데이터의 개수와 데이터 훈련 횟수에 따라 변화되는 신뢰도 값을 측정하여 Overfitting이 일어나는 값을 도출하였다. 그리고 이에 따른 향후 보완 방향을 제시한다.
- 훈련 횟수에 따른 신뢰도 분석 실험과 같이 먼저 데이터 개수를 인덱스로 변환하였고, 이는 위 Figure 5와 같다. 실험을 위하여 훈련 횟수에 따른 신뢰도 분석 실험과 같이 mnist data set을 이용하여 각각 훈련횟수 1100횟수기준, 150회 기준에서 데이터 개수에 따른 신뢰도 변화를 실험하였고 결과는 아래와 같다.
- 하지만 Overfitting은 기존의 학습에 너무 익숙해진 ‘과도학습’ 문제로 실험 데이터에 대한 신뢰도 값이 훈련 데이터의 신뢰도보다 낮게 되는 문제가 발생한다. 어떠한 알고리즘이나 함수를 이용하던, 데이터 개수와 학습횟수는 어느 조건에서든 필요하며, 때문에 데이터 개수와 학습횟수를 중점으로 연구를 진행하게 되었다. 본 논문에서는 MNIST 데이터 셋을 이용하여 훈련 횟수에 따라 최적의 신뢰도 값을 찾아낼 수 있었으며, 이는 훈련횟수 1121회에서 신뢰도 92.
- 또한, 기계학습의 효율을 평가하기 위한 손실 모델로 Cross entropy 함수를 이용하였으며, 경사 하강법으로 손실함수 값을 최소화하기 위해 GradientDescentOptimize 알고리즘을 적용해가면서 backpropagation을 통해 weight와 bias를 업데이트하였다. 이에 따라 correctprediction에 기댓값과 정답이 동일한지를 확인하며 평균을 내 출력을 하였고 Accuracy에 테스트 데이터를 입력하여 확인한다.
- 일반적인 지도학습 과정은 Figure 2와 같이 먼저 학습하고자 하는 데이터를 준비하고 이후 데이터를 가지고 학습을 수행한다. 이후 학습 중인 모델이 overfitting이나 under-fitting 인지를 검증한 후, 최적의 적합(generalized-fitting) 구간을 찾아 최종 학습모델을 정한다. 일련의 학습 과정을 모두 완료한 후 시험 데이터를 통해 최종 학습 모델의 성능을 평가한다(Kim et al.
- 총 55,000개의 학습데이터와, 5,000개의 확인용 데이터, 10,000개의 테스트용 데이터를 기준으로 위와 같은 과정을 통해 훈련횟수에 따른 신뢰도 값을 분석 하였으며, 실험에 앞서 위 Figure 3과 같이 훈련 횟수는 인덱스로 변환하여 실험을 진행하였다.
대상 데이터
- 일반적으로 이들 훈련 이미지를 사용하여 모델을 학습하고, 학습한 모델로 시험 이미지들을 얼마나 정확하게 분류하는지 평가한다. MNIST의 이미지 데이터는 28X28 크기의 회색조 이미지(1채널)이며, 각 픽셀은 0~255까지의 값을 취한다. 각 이미지에는 또한 ‘7’, ‘2’, ‘1’ 과같이 그 이미지가 실제 의미하는 숫자가 레이블로 데이터가 구성된다(Saito, 2017).
- 운영체제는 64bit 윈도우 10 PRO 버전을 사용한다. 본 논문에서 실험데이터는 MNIST 데이터로 기계학습 분야에서 자주 쓰이는 데이터 셋이며, 간단한 실험부터 논문으로 발표되는 연구까지 다양한 곳에서 이용한다. 손 글씨(숫자) 이미지로 구성된 컴퓨터 비전 데이터 셋으로 훈련 이미지 60,000장, 시험 이미지 10,000장으로 구성된다[Table 1].
- 본 논문에서 실험데이터는 MNIST 데이터로 기계학습 분야에서 자주 쓰이는 데이터 셋이며, 간단한 실험부터 논문으로 발표되는 연구까지 다양한 곳에서 이용한다. 손 글씨(숫자) 이미지로 구성된 컴퓨터 비전 데이터 셋으로 훈련 이미지 60,000장, 시험 이미지 10,000장으로 구성된다[Table 1]. 일반적으로 이들 훈련 이미지를 사용하여 모델을 학습하고, 학습한 모델로 시험 이미지들을 얼마나 정확하게 분류하는지 평가한다.
- 실험 환경으로 Intel(R) Core(TM) I5-4200u 1.60ghz(4CPUs)~2.3ghz의 CPU와 13z940FI의 메인보드, DDR3 4GB RAM과 128GB SSD로 구성된다. 운영체제는 64bit 윈도우 10 PRO 버전을 사용한다.
이론/모형
- softmax라는 함수를 통하여 소프트맥스 회기분석(softmax regression) 기법을 사용하였다. 또한, 기계학습의 효율을 평가하기 위한 손실 모델로 Cross entropy 함수를 이용하였으며, 경사 하강법으로 손실함수 값을 최소화하기 위해 GradientDescentOptimize 알고리즘을 적용해가면서 backpropagation을 통해 weight와 bias를 업데이트하였다. 이에 따라 correctprediction에 기댓값과 정답이 동일한지를 확인하며 평균을 내 출력을 하였고 Accuracy에 테스트 데이터를 입력하여 확인한다.
- train 데이터를 통해 학습하고 mnist test 데이터를 통해 신뢰도를 확인하였다. 신뢰도 확인을 위하여 이미지를 분류하기 위한 분석모델로 텐서플로우에서 제공하는 tf.nn.softmax라는 함수를 통하여 소프트맥스 회기분석(softmax regression) 기법을 사용하였다. 또한, 기계학습의 효율을 평가하기 위한 손실 모델로 Cross entropy 함수를 이용하였으며, 경사 하강법으로 손실함수 값을 최소화하기 위해 GradientDescentOptimize 알고리즘을 적용해가면서 backpropagation을 통해 weight와 bias를 업데이트하였다.
- 상기 Fomula 1은 Cross Entropy 수식으로 신경망의 출력 즉, 추정 값을 나타내며 정답 레이블을 나타낸다. 정답레이블은 정답일 경우 원소의 값이 1, 오답일 경우 0을 취하고 있는 원-핫코딩 표기법을 사용한다(Saito, 2017). 본 논문에서는 이와 같은 교차 엔트로피 오차 방법을 Python으로 구현하여 신뢰도 분석 실험을 진행하고, Overfitting 발생을 검출하여 최적의 학습 데이터 환경을 제안하고자 한다.
성능/효과
- 하지만 0~9의 10개로 구성된 mnist data의 특성상 훈련 데이터 신뢰도와 테스트 데이터 신뢰도의 차이를 명확히 나타내기 위하여 두 수치의 오차를 Overfitting 발생 지표로 표현하였고 이는 Figure 6과 같다. Overfitting은 훈련 데이터 신뢰도 수치가 테스트 데이터 신뢰도 수치보다 클 경우 발생하기 때문에 음수를 나타낼 경우 Overfitting이 발생한 것을 확인하였고, 양수를 나타낼 경우 Overfitting이 발생하지 않는 generalized-fitting 구간을 확인하였다. 이 때 x축은 훈련 횟수의 인덱스를 나타내며 실제 훈련 횟수와 인덱스의 관계는 Figure 4와 같다.
- 어떠한 알고리즘이나 함수를 이용하던, 데이터 개수와 학습횟수는 어느 조건에서든 필요하며, 때문에 데이터 개수와 학습횟수를 중점으로 연구를 진행하게 되었다. 본 논문에서는 MNIST 데이터 셋을 이용하여 훈련 횟수에 따라 최적의 신뢰도 값을 찾아낼 수 있었으며, 이는 훈련횟수 1121회에서 신뢰도 92.5%로 가장 높았고, Overfitting이 일어나지 않는 최적의 신뢰도 값은 훈련횟수 1110회에서 92.1%였다. 훈련데이터 횟수에 변화가 있을 경우 훈련 횟수 1110회 기준에서 1~10개의 데이터로 훈련하였을 때 Overfitting이 검출되었고 11개의 데이터부터 Overfitting이 검출되지 않았으며, 훈련 횟수가 150회 기준으로 실험한 결과 1~8개의 데이터로부터 Overfitting이 검출되었고 그 이후엔 검출되지 않았다.
- 훈련 횟수가 1110회 기준인 Figure 8과 150회 기준인 Figure 9를 비교 분석한 결과 1110회에서는 인덱스 값 8(8개) 이전에 Overfitting이 검출되었고 150회에서는 인덱스값 9(9개) 이전에 Overfitting이 검출되었다. 상기와 같이 비슷한 시점에서 Overfitting이 검출된 것을 확인하였고, 본 논문에서는 훈련 데이터 개수 차이에 따라 신뢰도 값은 차이가 나지만 Overfitting이 일어나는 시점이 비슷하다는 것을 확인하였다.
- 훈련데이터 횟수에 변화가 있을 경우 훈련 횟수 1110회 기준에서 1~10개의 데이터로 훈련하였을 때 Overfitting이 검출되었고 11개의 데이터부터 Overfitting이 검출되지 않았으며, 훈련 횟수가 150회 기준으로 실험한 결과 1~8개의 데이터로부터 Overfitting이 검출되었고 그 이후엔 검출되지 않았다. 이를 통해, 1110회 기준 8개, 150회 기준 9개의 유사한 시점에서 Overfitting이 검출된 것을 확인하였고 훈련 데이터 개수에 따라 신뢰도 값은 차이가 나지만 유사한 시점에서 Overfitting이 검출되는 것을 확인하였다. 추후 연구에서는 1,110회 훈련 기준 데이터 개수 8개에서 Overfitting이 검출되었지만 데이터 개수 9개에서 Overfitting이 발생하였고 데이터 개수 10개부터 Overfitting이 발생하지 않은 점을 해결할 것이며, 컴파일 속도를 향상시켜 55,000개의 전체적인 데이터 개수에 따른 신뢰도 값을 찾아 세부적인 신뢰도 분석 실험을 진행하고, 훈련횟수와 개수가 아닌 신뢰도를 향상하기 위해 존재하는 다양한 방법 고려하는 실험을 병행할 것이다.
- Figure 4와 Figure 5를 분석하면 인덱스값 21(1,121회) 기준에서 가장 높은 신뢰도가 도출되었다. 하지만 동일 구간에서 Overfitting이 발생하는 것을 확인하였으며 Overfitting이 전혀 발생하지 않는 선에서 최적의 신뢰도는 인덱스값 11(1,110회) 기준에서 0.921709 정도의 신뢰도가 도출되었다.
- 1%였다. 훈련데이터 횟수에 변화가 있을 경우 훈련 횟수 1110회 기준에서 1~10개의 데이터로 훈련하였을 때 Overfitting이 검출되었고 11개의 데이터부터 Overfitting이 검출되지 않았으며, 훈련 횟수가 150회 기준으로 실험한 결과 1~8개의 데이터로부터 Overfitting이 검출되었고 그 이후엔 검출되지 않았다. 이를 통해, 1110회 기준 8개, 150회 기준 9개의 유사한 시점에서 Overfitting이 검출된 것을 확인하였고 훈련 데이터 개수에 따라 신뢰도 값은 차이가 나지만 유사한 시점에서 Overfitting이 검출되는 것을 확인하였다.
후속연구
- 기계학습에서의 결정경계(decision boundary)가 완벽하게 구분하지 못하여 잘못 분류된 데이터가 생긴다. 그러면 결정경계를 직선으로 나타내지 않고 모든 데이터를 완벽하게 구분할 수 있도록 곡선으로 나타내면 더 좋은 시스템이 될 것이다. 하지만 이때 기계학습의 과도학습(overfitting) 문제가 발생한다.
- 이를 통해, 1110회 기준 8개, 150회 기준 9개의 유사한 시점에서 Overfitting이 검출된 것을 확인하였고 훈련 데이터 개수에 따라 신뢰도 값은 차이가 나지만 유사한 시점에서 Overfitting이 검출되는 것을 확인하였다. 추후 연구에서는 1,110회 훈련 기준 데이터 개수 8개에서 Overfitting이 검출되었지만 데이터 개수 9개에서 Overfitting이 발생하였고 데이터 개수 10개부터 Overfitting이 발생하지 않은 점을 해결할 것이며, 컴파일 속도를 향상시켜 55,000개의 전체적인 데이터 개수에 따른 신뢰도 값을 찾아 세부적인 신뢰도 분석 실험을 진행하고, 훈련횟수와 개수가 아닌 신뢰도를 향상하기 위해 존재하는 다양한 방법 고려하는 실험을 병행할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.