초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

최적화를 위해 제안된 많은 방법들 중에서, 불편추정량 기울기벡터를 사용하는 미니배치 확률적 경사하강법은 기계학습에서 사용되는 대표적인 최적화 알고리즘이다. 최근 방대한 데이터셋의 축적과 함께, 이러한 확률적 ...

최적화를 위해 제안된 많은 방법들 중에서, 불편추정량 기울기벡터를 사용하는 미니배치 확률적 경사하강법은 기계학습에서 사용되는 대표적인 최적화 알고리즘이다. 최근 방대한 데이터셋의 축적과 함께, 이러한 확률적 경사하강법의 장점은 더욱 부각되었고 확률적 경사하강법 기반의 많은 변형이 생겨났다. 그러한 알고리즘들 중에서, 우리는 표집법에서 생겨난 편향추정량 기울기벡터를 사용하는 순서화 확률적 경사하강법에 대해 해석한다. 우리는 특히 아직 해석되지 않은 순서화 확률적 경사하강법의 좋은 성능을 갖도록 최적화에 도움을 주는 관성을 적용하는 것에 초점을 둔다. 인상적인 경험적 성공에도 불구하고 관성이 적용된 확률적 경사하강법은 관성의 역할에 대한 이론적인 이해가 수렴분석의 관점에서 명확하지 않았다. 우리는 미분불능 최적화가 필요한 관성이 적용된 순서화 확률적 경사하강법의 수렴분석 결과를 제시한다. 그리고 우리는 합성곱 신경망 모델로 실험을 하여 최적화의 관점에서도 계산효율의 관점에서도 좋은 결과를 확인할 수 있었다.

Abstract ▼ AI-Helper

Among many proposed first-order methods in optimization, the (mini-batch) Stochastic Gradient Descent(SGD) method using an unbiased gradient estimator is a representative optimization algorithm used in machine learning. With the recent accumulation of massive amounts of datasets, advantages of SGD h...

Among many proposed first-order methods in optimization, the (mini-batch) Stochastic Gradient Descent(SGD) method using an unbiased gradient estimator is a representative optimization algorithm used in machine learning. With the recent accumulation of massive amounts of datasets, advantages of SGD have become increasingly prominent and there have been many variants of SGD-based. Among these variants, we analyze the Ordered SGD(OSGD) which using biased gradient estimator derived from sampling method. We focus on how the momentum improves optimization performance in OSGD which is not analyzed yet. Despite remarkable empirical success with the addition of momentum, the theoretical understanding the role of Momentum of SGD is poor in terms of convergence analysis. So we propose a convergence analysis result of OSGD with momentum(OSGDM) which requires a non-smooth optimization. And we experimented on convolutional neural network models and found good performance in terms of minimization and computational efficiency.

주제어