최소 단어 이상 선택하여야 합니다.
최대 10 단어까지만 선택 가능합니다.
다음과 같은 기능을 한번의 로그인으로 사용 할 수 있습니다.
NTIS 바로가기응용통계연구 = The Korean journal of applied statistics, v.32 no.5, 2019년, pp.693 - 702
김민종 (중앙대학교 응용통계학과) , 조성철 (중앙대학교 응용통계학과) , 정혜린 (중앙대학교 응용통계학과) , 이영섭 (동국대학교 통계학과) , 임창원 (중앙대학교 응용통계학과)
Deep learning has gained popularity for the classification and prediction task. Neural network layers become deeper as more data becomes available. Saturation is the phenomenon that the gradient of an activation function gets closer to 0 and can happen when the value of weight is too big. Increased ...
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
핵심어 | 질문 | 논문에서 추출한 답변 |
---|---|---|
Layer-sequentialunit-variance란 무엇인가? | 초기값 설정이란 딥러닝 모델에서 가중치를 학습시킬 때 처음 들어가는 가중치 값을 말하며 최근까지도 활발한 연구가 진행되고 있다(Sutskever 등, 2013; Mishkin과 Matas, 2015; Hayou 등, 2015; Humbrid 등, 2018; Hanin과 Rolnick, 2018). Mishkin과 Matas (2015)은 정형화된 매트릭스로 각 층의 가중치를 초기화한 후 첫 번째 층부터 마지막 층의 출력 분산을 동일하게 표준화한 방법인 Layer-sequentialunit-variance (LSUV)를 제안했다. Krahenbuhl 등 (2015)은 K-means 방법과 PCA 방법에 기반하여 데이터에 의존하는 초기값 설정을 통해 폭발(exploding)과 경사감소 소멸(vanishing gradient)을 피하며 모든 유닛이 비슷한 속도에서 학습할 수 있는 초기값 설정 방법을 제안하였다. | |
딥러닝에서 포화현상 문제를 해결하기 위한 방법은? | 이런 포화현상 문제를 해결하기 위해 Glorot과 Bengio (2010)과 He 등 (2015) 층과 층 사이에 데이터가 다양하게 흘러야 효율적인 신경망학습이 가능하고 주장했다. 데이터가 다양하게 흐르기 위해서는 각 층의 출력에 대한 분산과 입력에 대한 분산이 동일해야 한다고 제안했다. Glorot과 Bengio (2010)과 He 등 (2015)는 각 층별 활성화 값의 분산이 같다고 가정해 초기값을 설정하였다. | |
딥러닝 층이 깊어지면 어떻게 되는가? | 오늘날 과학기술의 발달로 대용량의 데이터들이 급격하게 증가하면서 딥러닝(deep learning)의 구조 역시 점점 더 복잡하고 깊은 층으로 만들어지고 있다. 딥러닝 층이 깊어지면서 학습 속도가 느려지거나 도중에 학습이 되지 않는 포화 현상(saturation)이 자주 발생하기 시작했다. 초기값 설정이란 딥러닝 모델에서 가중치를 학습시킬 때 처음 들어가는 가중치 값을 말하며 최근까지도 활발한 연구가 진행되고 있다(Sutskever 등, 2013; Mishkin과 Matas, 2015; Hayou 등, 2015; Humbrid 등, 2018; Hanin과 Rolnick, 2018). |
Clevert, D. A., Unterthiner, T., and Hochreiter, S. (2015). Fast and accurate deep network learning by exponential linear units (elus). arXiv preprint arXiv:1511.07289
Glorot, X. and Bengio, Y. (2010). Understanding the difficulty of training deep feedforward neural networks. In Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics (pp. 249-256).
Goodfellow, I. J., Vinyals, O., and Saxe, A. M. (2014). Qualitatively characterizing neural network optimization problems. arXiv preprint arXiv:1412.6544.
Hanin, B. and Rolnick, D. (2018). How to start training: The effect of initialization and architecture. In Advances in Neural Information Processing Systems (pp. 571-581).
He, K., Zhang, X., Ren, S., and Sun, J. (2015). Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In Proceedings of the IEEE International Conference on Computer Vision (pp. 1026-1034).
Humbird, K. D., Peterson, J. L., and McClarren, R. G. (2018). Deep neural network initialization with decision trees, EEE Transactions on Neural Networks and Learning Systems, 30, 1286-1295.
Hayou, S., Doucet, A., and Rousseau, J. (2018). On the selection of initialization and activation function for deep neural networks. arXiv preprint arXiv:1805.08266.
Krahenbuhl, P., Doersch, C., Donahue, J., and Darrell, T. (2015). Data-dependent initializations of convolutional neural networks. arXiv preprint arXiv:1511.06856.
Krizhevsky, A. and Hinton, G. (2009). Learning Multiple Layers of Features from Tiny Images (Vol. 1, No. 4, p. 7) Technical report, University of Toronto.
LeCun, Y., Bottou, L., Orr, G., and Muller, K. (1998a). Efficient backprop in neural networks: Tricks of the trade (Orr, G. and Muller, K., eds.), Lecture Notes in Computer Science, 1524(98), 111.
LeCun, Y., Cortes, C., and Burges, C. J. (1998b). The MNIST Database of Handwritten Digits.
Mishkin, D. and Matas, J. (2015). All you need is a good init. arXiv preprint arXiv:1511.06422.
Sutskever, I., Martens, J., Dahl, G., and Hinton, G. (2013). On the importance of initialization and momentum in deep learning, In International Conference on Machine Learning (pp. 1139-1147).
*원문 PDF 파일 및 링크정보가 존재하지 않을 경우 KISTI DDS 시스템에서 제공하는 원문복사서비스를 사용할 수 있습니다.
오픈액세스 학술지에 출판된 논문
※ AI-Helper는 부적절한 답변을 할 수 있습니다.