[논문]가변 람다값을 이용한 EWC에서의 치명적 망각현상 개선

박성현; 강석훈

doi:10.6109/jkiice.2021.25.1.27

가변 람다값을 이용한 EWC에서의 치명적 망각현상 개선
Improvement of Catastrophic Forgetting using variable Lambda value in EWC 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.25 no.1, 2021년, pp.27 - 35

박성현 (Department of Embedded Systems Engineering, Incheon National University) , 강석훈 (Department of Embedded Systems Engineering, Incheon National University)

초록
AI-Helper

본 논문에서는 인공 신경망이 과거 학습 데이터의 정보를 망각하는 치명적 망각(Catastrophic Forgetting) 현상을 개선하기 위해, 학습할 데이터에 따라서 가변적으로 정규화 강도를 조절하는 방법을 제안한다. 이를 위하여 과거에 학습된 데이터와 현재 학습할 데이터들의 관계를 측정하는 방법을 사용하였다. 성능 평가를 위해 MNIST, EMNIST 데이터를 사용하였다. 3가지 시나리오에서 실험한 결과, 같은 도메인을 갖는 데이터의 경우, 이전 태스크의 정확도가 0.1~3%, 다른 도메인을 갖는 데이터의 경우 이전 태스크(Task)의 정확도가 10~13% 향상 시킬 수 있었다. 이는 본 논문의 방법으로, 도메인이 다른 경우, 망각률이 줄어든 것을 의미한다. 다양한 도메인을 가진 데이터를 연속적으로 학습할 경우, 이전 태스크들의 정확도가 모두 50% 이상을 달성하였고 평균 정확도가 약 7% 향상되었다.

Abstract ▼ AI-Helper

This paper proposes a method to mitigate the Catastrophic Forgetting phenomenon in which artificial neural networks forget information on previous data. This method adjusts the Regularization strength by measuring the relationship between previous data and present data. MNIST and EMNIST data were used for performance evaluation and experimented in three scenarios. The experiment results showed a 0.1~3% improvement in the accuracy of the previous task for the same domain data and a 10~13% improvement in the accuracy of the previous task for different domain data. When continuously learning data with various domains, the accuracy of all previous tasks achieved more than 50% and the average accuracy improved by about 7%. This result shows that neural network learning can be properly performed in a CL environment in which data of different domains are successively entered by the method of this paper.

주제어

표/그림 (19)

그림 Fig. 1 Average Accuracy by Domain Type
그림 Fig. 2 Accuracy by Task Learning epoch Ratio
표 Table. 1 Average Accuracy
그림 Fig. 3 Accuracy difference according toλ (Mnist - Emnist (lowercase))
표 Table. 2 Accuracy of Task A
표 Table. 3 Accuracy difference
그림 Fig. 4 Standard deviation of λ according to number of samples
표 Table. 4 Standard deviation of λ
표 Table. 5 1st, 2nd Experimental Scenario
표 Table. 6 3rd Experimental Scenario
그림 Fig. 5 Same Domain Experiment Results
표 Table. 7 Calculation of λ for Same Domain Experiment
표 Table. 8 Final Accuracy of Same Domain Experiment
그림 Fig. 6 Different Domain Experiment Results
그림 Fig. 7 Continuous Different Domain Experiment Results
표 Table. 9 Calculation of λ for Different Domain Experiment
표 Table. 10 Final Accuracy of Different Domain Experiment
표 Table. 11 Calculation of λ for Continuous Different Domain Experiment
표 Table. 12 Final Accuracy of Continuous Different Domain Experiment

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

만약 이 현상을 완화시키기 위해, 단순하게 정규화 강도를 높게 설정한다면 학습 시간의 증가와 오차값의 발산과 같은 문제점이 발생할 수 있다. 따라서 본 논문에서는 새로 들어오는 데이터와 과거 학습한 데이터의 관계를 파악하는 방법을 사용하여 망각의 위험도를 측정하고, 정규화 강도를 학습할 데이터에 따라서 가변적으로 조절하는 방법을 제안하였다. 이 방법을 사용하여 3가지 시나리오(같은 도메인, 다른 도메인, 연속적인 다른 도메인)에서 실험한 결과, 같은 도메인을 갖는 데이터의 경우에는, 이전 태스크의 정확도가 약 0.
만약 현재 데이터의 출력층의 분포와 과거 데이터의 출력층의 분포가 서로 비슷하다면 오류의 역전파를 통해 과거 데이터에 최적화된 매개변수 분포를 변화시킬 확률이 높을 것이고, 이때 변화되는 크기는 오류의 크기와 비례하므로 정확도를 오류 값으로 사용하여 위험도를 계산한다. 본 논문에서는 계산된 위험도 값을 지표로 사용하여 EWC의 Loss 함수에서 를 고정된 값이 아닌 데이터 망각 위험도에 따라 가변적인 값을 갖도록 수정하여 구현하는 방법을 제시한다.
일반적으로 SIT 방법이 학습하기 더 어렵다. 본 논문에서는 실제 CL 환경에서 인공지능 에이전트가 현재까지 학습한 모든 데이터를 구분할 수 있는 통합된 지식을 갖기를 원하므로, 태스크마다 독립된 구분 능력을 갖추는 MT 방법보다 모든 태스크를 구분할 수 있는 SIT 방법을 목표로 한다.
이 현상을 통해 과거 학습한 데이터를 고려하는 기존 방법들에 현재 학습할 데이터를 고려하는 방법을 추가하여 학습한다면 더 좋은 결과를 얻을 수 있을 것이다. 본 논문에서는 이를 구현하기 위해 과거 학습데이터와 현재 학습 데이터의 관계를 파악하는 방법을 활용하여 망각현상의 위험도를 계산하고, 이를 EWC 방법에 추가하여 치명적 망각현상을 완화하는 방법을 제안한다.

제안 방법

CWR과 마찬가지로 SIT에서의 NC(New Classes)와 NIC(New Instances and Classes) 업데이트 시나리오에서 작동할 수 있다. 각 태스크를 학습할 때 공유 매개변수를 고정하는 것이 아닌 SI를 사용하여 매개변수의 중요도를 계산하고 공유매개변수를 학습한다. 새로운 클래스에 대한 출력 계층의 가중치 학습은 CWR과 같이 출력 계층의 가중치를 TW, CW로 따로 두어 각 태스크를 학습할 때 TW를 사용해 학습한 후, CW에 복사하는 방식을 사용한다.
5의 값을 가질 경우 는 약 30의 값을 갖는다. 망각 위험도 계산에 필요한 상관 계수와 정확도를 계산할 때 각 학습 데이터에서 일정 표본을 추출하여 계산한다. 이때 계산 값의 변동을 최소화하기 위해 최적의 표본 개수를 1000개로 설정하였다.
본 논문에서는 모든 태스크에서 학습할 데이터의 클래스가 같지만 상반된 특징을 갖는 데이터들이 들어오는 환경에서 실험을 진행하며, SIT의 NI 방법을 기준으로 학습을 진행한다.
각 태스크를 학습할 때 공유 매개변수를 고정하는 것이 아닌 SI를 사용하여 매개변수의 중요도를 계산하고 공유매개변수를 학습한다. 새로운 클래스에 대한 출력 계층의 가중치 학습은 CWR과 같이 출력 계층의 가중치를 TW, CW로 따로 두어 각 태스크를 학습할 때 TW를 사용해 학습한 후, CW에 복사하는 방식을 사용한다.
접근법이다. 이전 태스크 데이터로 학습이 완료된 모델이, 새로운 태스크 데이터로 학습을 수행하기 전, 새로운 데이터의 출력을 구한 뒤 이를 목푯값(target) 으로 설정하여 비용함수에 추가하고, 학습을 수행한다. 비용함수는 아래와 같은 식으로 정의된다.
실험을 수행하였다. 첫 번째 실험은 같은 도메인을 갖는 데이터들이 들어올 경우, 두 번째 실험은 다른 도메인을 갖는 데이터들이 들어올 경우, 세 번째 실험은 다른 도메인을 갖는 데이터들이 연속으로 들어올 경우를 고려하여 실험을 구성하였다.
다음 실험은 각 태스크 데이터의 학습 횟수에 따라서 나타나는 망각 정도를 측정하기 위해 이전에 실험한 같은 도메인 데이터, 다른 도메인 데이터 중 하나의 조합을 각각 선택하여 학습 반복 비율을 다르게 설정하고 정확도를 측정한 결과이다. 총 2000번의 학습을 4등분 하여 각 태스크에 할당하였다(Task A를 500, 1000, 1500번 Task B 를 1500, 1000, 500번 학습하였다).

대상 데이터

다음은 같은 환경에서 추가로 EWC를 적용한 모델을 사용하여 비교 실험한 결과이다. EWC의 정규화 강도는 15로 설정하였고(수식 (1)의 ) Mnist[10], Emnist[11] 데이터를 사용하여 실험을 수행하였다.
측정한 그래프이다. Same Domain은 같은 도메인을 갖는 Mnist와 Emnist의 숫자 데이터를 사용하였고 Different Domain은 다른 도메인을 갖는 Mnist의 숫자 데이터와 Emnist의 영문자 데이터를 사용하였다. 점선은 EWC를 적용하지 않고 stochastic gradient descent (SGD)를 사용한 기본 딥러닝 네트워크의 평균 정확도, 실선은 EWC를 적용한 네트워크의 평균 정확도이다.
본 논문에서는 Mnist, Emnist 데이터 외에 Permuted Mnist 데이터를 추가하여 실험에 활용하였다. Permuted Mnist 데이터는 EWC 논문에서 사용한 실험 데이터 중 하나로 Mnist 이미지를 픽셀 단위로 뒤섞어 새로운 학습 데이터를 만든 것이다.
사용한 모델은 Stochastic Gradient Descent(SGD)이며, 학습하는 일반적인 딥러닝 모델(Vanilla SGD)과, EWC 를 사용한 모델을 사용하였다. 신경망 구조는 784, 50, 10개의 노드로 구성된 구조를 사용하였고, 고정된 값을 가지는 EWC 모델의 는 15로 설정하였다. 이는 실험에서 최적의 결과를 보인 값이다.
망각 위험도 계산에 필요한 상관 계수와 정확도를 계산할 때 각 학습 데이터에서 일정 표본을 추출하여 계산한다. 이때 계산 값의 변동을 최소화하기 위해 최적의 표본 개수를 1000개로 설정하였다. 하지만 우리가 계산할 값은 가 커질수록 의 변동에 민감하게 반응하므로 표본을 추출할 때 상관 계수와 정확도의 차이가 매우 작아야 한다.

데이터처리

하지만 우리가 계산할 값은 가 커질수록 의 변동에 민감하게 반응하므로 표본을 추출할 때 상관 계수와 정확도의 차이가 매우 작아야 한다. 따라서 를 계산하기 위한 적절한 표본의 개수를 정하기 위해 다양한 데이터들의 조합에서 다양한 표본의 개수로 값의 표준편차를 계산하였고 결과는 그림4 및 표 4와 같다.

이론/모형

효율적일 것이다. 각 데이터 사이의 관계를 측정하기 위해 출력층의 분포와 정확도의 차이를 계산하여 치명적인 망각에 대한 위험도로 사용하는 방법을 사용한다. 만약 현재 데이터의 출력층의 분포와 과거 데이터의 출력층의 분포가 서로 비슷하다면 오류의 역전파를 통해 과거 데이터에 최적화된 매개변수 분포를 변화시킬 확률이 높을 것이고, 이때 변화되는 크기는 오류의 크기와 비례하므로 정확도를 오류 값으로 사용하여 위험도를 계산한다.
즉, 어떠한 매개 변수가 이전 학습 데이터와 상관도가 높다면 이 매개변수의 변화에 높은 제약이 주어지게 되므로 변화를 억제할 수 있다. 본 논문에서는 _을 계산할 때 피셔 정보 행렬 (Fisher information matrix)을 사용한다.
설정하였다. 사용한 모델은 Stochastic Gradient Descent(SGD)이며, 학습하는 일반적인 딥러닝 모델(Vanilla SGD)과, EWC 를 사용한 모델을 사용하였다. 신경망 구조는 784, 50, 10개의 노드로 구성된 구조를 사용하였고, 고정된 값을 가지는 EWC 모델의 는 15로 설정하였다.

성능/효과

본 논문의 방법으로 를 계산하였을 때 값은 다른 실험들과 비교하여 낮은 값으로 계산되는데 이는 앞서 실험했던 결과와 같이 동일한 도메인을 갖는 데이터들은 분포 상관 계수와 정확도의 차이가 상대적으로 낮게 나오는 경향이 있기 때문이다. 계산된 값을 적용하여 Task B 학습을 수행할 경우 기존 EWC 방법보다 Task A의 정확도가 약 0.01~1% 향상되었다. 하지만 큰 성능 차이는 보이지 않는데 이는 기본 EWC 방법이 일반적으로 같은 도메인 데이터에 대해 좋은 성능을 보이는 특성을 가지기 때문이다.
이 결과는 본 논문의 방식으로 도메인이 다른 데이터들이 연속으로 들어오는 CL 환경에서 신경망의 학습이 적절하게 이루어질 수 있음을 알려 준다. 과거 학습 데이터만 고려하는 기존의 EWC 방법의 경우, 임의의 정규화 강도를 설정, 반복하여 최적의 값을 계산하는 방법을 사용해야 했지만, 본 논문에서 제안한 방식을 이용하면, 학습 데이터 사이의 관계를 고려하여 가변적으로 정규화 강도를 설정할 수 있고, 이를 이용하여 인공 신경망이 CL 환경에서 망각현상을 억제하면서 다양한 데이터를 빠르게 학습하고 적응할 수 있게 된다.
다른 도메인 데이터가 연속으로 들어오는 경우 평균 최종 정확도가 기본 EWC 방법보다 약 7% 향상되었고, Task A의 정확도가 약 21% 향상되었다. 이 외에도 모든 태스크의 정확도가 50% 이상의 값으로 다른 방법들보다 전체적으로 향상된 모습을 보인다.
다른 도메인을 갖는 데이터의 경우 이전 태스크의 정확도가 최대 24% 향상되었으며, 이는 이전에 학습한 데이터와 현재 학습할 데이터의 관계를 파악하여 치명적인 망각을 일으킬 확률이 높은 데이터에 대해 정규화 강도를 높여 학습하는 방법이 효과적임을 알려준다. 마지막으로 실제 환경에서 신경망 모델이 학습을 진행할 때 마주할 수 있는 환경으로, 다양한 도메인을 가진 데이터들을 연속적으로 학습할 경우 이전 태스크들의 정확도가 모두 50% 이상을 보였고, 평균 정확도가 약 7% 향상되었다. 이 결과는 본 논문의 방식으로 도메인이 다른 데이터들이 연속으로 들어오는 CL 환경에서 신경망의 학습이 적절하게 이루어질 수 있음을 알려 준다.
계산된 값의 경우, 같은 도메인을 갖는 데이터보다 훨씬 큰 값으로 설정된 것을 볼 수 있는데 이는 유사한 형태의 데이터를 사용하여 분포 상관 계수는 크게 나오지만, 도메인이 다르므로 정확도가 매우 낮게 나오기 때문이다. 본 논문에서 제안하는 방법을 적용하여 실험한 경우, 기존 EWC 방법보다 Task A의 정확도가 약 4~24% 향상되었다. 이 결과는 그림 6 및 표 9, 표 10에 보인다.
마지막으로 실제 환경에서 신경망 모델이 학습을 진행할 때 마주할 수 있는 환경으로, 다양한 도메인을 가진 데이터들을 연속적으로 학습할 경우 이전 태스크들의 정확도가 모두 50% 이상을 보였고, 평균 정확도가 약 7% 향상되었다. 이 결과는 본 논문의 방식으로 도메인이 다른 데이터들이 연속으로 들어오는 CL 환경에서 신경망의 학습이 적절하게 이루어질 수 있음을 알려 준다. 과거 학습 데이터만 고려하는 기존의 EWC 방법의 경우, 임의의 정규화 강도를 설정, 반복하여 최적의 값을 계산하는 방법을 사용해야 했지만, 본 논문에서 제안한 방식을 이용하면, 학습 데이터 사이의 관계를 고려하여 가변적으로 정규화 강도를 설정할 수 있고, 이를 이용하여 인공 신경망이 CL 환경에서 망각현상을 억제하면서 다양한 데이터를 빠르게 학습하고 적응할 수 있게 된다.
따라서 본 논문에서는 새로 들어오는 데이터와 과거 학습한 데이터의 관계를 파악하는 방법을 사용하여 망각의 위험도를 측정하고, 정규화 강도를 학습할 데이터에 따라서 가변적으로 조절하는 방법을 제안하였다. 이 방법을 사용하여 3가지 시나리오(같은 도메인, 다른 도메인, 연속적인 다른 도메인)에서 실험한 결과, 같은 도메인을 갖는 데이터의 경우에는, 이전 태스크의 정확도가 약 0.1~3% 향상되었지만 큰 성능 차이는 보이지 않았다. 이는 기존 EWC 방법이 NI 학습에서 뛰어난 성능을 보였듯이, 본 논문의 방식도 같은 도메인 데이터를 학습할 때 기본적으로 좋은 성능을 보이기 때문이다.

후속연구

이 지점을 넘어 학습하게 된다면 신경망의 평균 정확도가 더 상승하지 않고 하락하는 형태를 가질 것이다. 이 현상을 막기 위해 Task B의 학습 비율을 적절하게 조절한다면 Task A 데이터의 망각을 최소화하며 최대의 평균 정확도를 유지할 수 있을 것이다. 다음 실험은 각 태스크 데이터의 학습 횟수에 따라서 나타나는 망각 정도를 측정하기 위해 이전에 실험한 같은 도메인 데이터, 다른 도메인 데이터 중 하나의 조합을 각각 선택하여 학습 반복 비율을 다르게 설정하고 정확도를 측정한 결과이다.
이러한 접근법들은 모두 좋은 성능을 보이지만, 새로운 데이터가 현재 학습 데이터의 도메인이 과거 학습 데이터와 다른 도메인을 갖는다면 (즉, 현재 학습 데이터의 특징이 과거 학습 데이터와 다를 경우), 성능이 떨어지는 현상을 보인다[7]. 이 현상을 통해 과거 학습한 데이터를 고려하는 기존 방법들에 현재 학습할 데이터를 고려하는 방법을 추가하여 학습한다면 더 좋은 결과를 얻을 수 있을 것이다. 본 논문에서는 이를 구현하기 위해 과거 학습데이터와 현재 학습 데이터의 관계를 파악하는 방법을 활용하여 망각현상의 위험도를 계산하고, 이를 EWC 방법에 추가하여 치명적 망각현상을 완화하는 방법을 제안한다.

참고문헌 (13)

R. M. French, "Catastrophic forgetting in connectionist networks," Trends in cognitive sciences, vol. 3, no. 4, pp. 128-135, Apr. 1999.

상세보기
I. J. Goodfellow, M. Mirza, D. Xiao, A. Courville, and Y. Bengio, "An empirical investigation of catastrophic forgetting in gradient-based neural networks," arXiv preprint arXiv: 1312.6211, 2013.
G. I. Parisi, R. Kemker, J. L.Part, C. Kanan, and S. Wermter, "Continual lifelong learning with neural networks: A review," Neural Networks, 2019.
J. Kirkpatrick, R. Pascanu, N. Rabinowitz, J. Veness, G. Desjardins, A. A. Rusu, K. Milan, J. Quan, T. Ramalho, A. Grabska-Barwinska, D. Hassabis, C. Clopath, D. Kumaran, and R. Hadsell, "Overcoming catastrophic forgetting in neural networks," Proceedings of the national academy of sciences, vol. 114, no. 13, pp. 3521-3526, 2017.

상세보기
Z. Li and D. Hoiem, "Learning without forgetting," IEEE transactions on pattern analysis and machine intelligence, vol. 40, no. 12, pp. 2935-2947, 2017.

상세보기
F. Zenke, B. Poole, and S. Ganguli, "Continual learning through synaptic intelligence," In: Proceedings of the 34th International Conference on Machine Learning, Volume 70, pp. 3987-3995, 2017.
Y. Hsu, Y. Liu, A. Ramasamy, and Z. Kira, "Re-evaluating continual learning scenarios: A categorization and case for strong baselines," arXiv preprint, arXiv:1810.12488, 2018.
D. Maltoni and V. Lomonaco, "Continuous learning in single-incremental-task scenarios," Neural Networks, vol. 116, pp. 56-73, 2019.

상세보기
V. Lomonaco and D. Maltoni, "Core50: a new dataset and benchmark for continuous object recognition," arXiv preprint arXiv:1705.03550, 2017.
Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, "Gradient-based learning applied to document recognition," Proceedings of the IEEE, vol. 86, no. 11, pp. 2278-2324, Nov. 1998.

상세보기
G. Cohen, S. Afshar, J. Tapson, and A. Schaik, "EMNIST: Extending MNIST to handwritten letters," In: 2017 International Joint Conference on Neural Networks (IJCNN). IEEE, pp. 2921-2926, 2017.
R. Kemker, M. McClure, A. Abitino, T. Hayes, and C. Kanan, "Measuring catastrophic forgetting in neural networks," In: Thirty-second AAAI conference on artificial intelligence, 2018.
S. J. Park, S. M. Choi, H. J. Lee, and J. B. Kim, "Spatial analysis using R based Deep Learning," In Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, ISSN:2383-5281, vol. 6, no. 4, pp. 1-8, 2016.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증