$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

인공지능 기계학습 방법 비교와 학습을 통한 디지털 신호변화
Digital signal change through artificial intelligence machine learning method comparison and learning 원문보기

디지털융복합연구 = Journal of digital convergence, v.17 no.10, 2019년, pp.251 - 258  

이덕균 (대구대학교 인문교양대학) ,  박지은 (대구대학교 인문교양대학)

초록
AI-Helper 아이콘AI-Helper

앞으로의 시대는 인공지능을 이용한 다양한 분야에 다양한 제품이2 생성될 것이다. 이러한 시대에 인공지능의 학습 방법의 동작 원리를 알고 이를 정확하게 활용하는 것은 상당히 중요한 문제이다. 이 논문은 지금까지 알려진 인공지능 학습 방법을 소개한다. 인공지능의 학습은 수학의 고정점 반복 방법(fixed point iteration method)을 기반으로 하고 있다. 이 방법을 기반으로 수렴 속도를 조절한 GD(Gradient Descent) 방법, 그리고 쌓여가는 양을 누적하는 Momentum 방법, 마지막으로 이러한 방법을 적절히 혼합한 Adam(Adaptive Moment Estimation) 방법 등이 있다. 이 논문에서는 각 방법의 장단점을 설명한다. 특히, Adam 방법은 조정 능력을 포함하고 있어 기계학습의 강도를 조정할 수 있다. 그리고 이러한 방법들이 디지털 신호에 어떠한 영향을 미치는 지에 대하여 분석한다. 이러한 디지털 신호의 학습과정에서의 변화는 앞으로 인공지능을 이용한 작업 및 연구를 수행함에 있어 정확한 활용과 정확한 판단의 기준이 될 것이다.

Abstract ▼ AI-Helper 아이콘AI-Helper

In the future, various products are created in various fields using artificial intelligence. In this age, it is a very important problem to know the operation principle of artificial intelligence learning method and to use it correctly. This paper introduces artificial intelligence learning methods ...

주제어

#기계학습   #인공지능   #디지털 신호   #최적화   #방법  

표/그림 (16)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 우선은 비용 함수를 정의하는 것이다. 다양한 문제에 따른 다양한 비용함수가 정의 되는데 여기서는 가장 기본이 되는 Convex 함수의 기본을 가지고 논의하고자 한다. 이는 data로부터 참값의 차이로 만들어진다.
  • 하지만 기계학습에서 최적화 하는 비용함수는 일반적으로 convex 함수가 아니 다. 따라서 이번 실험에서는 non-convex 함수에서 각 방법들의 성능을 비교하고자 한다. 이번 실험에서는 2개의 극솟값을 갖는 1변수 함수를 이용하여 각 방법들의 성능을 비교한다.
  • 이러한 방법들의 변화는 비용함수의 변화를 유도하며 이를 극복하기 위한 또 다른 비용함수의 최적화 방법을 필요로 하게 된다. 이 논문에 서는 기존 학습의 방법이 디지털 신호에 미치는 변화에 대하여 논의하였다. 비용함수의 디지털화를 통한 적용을 연구하면 그에 변화하는 비용함수의 최적화에 적합한 비용함수 계산방법이 필요하다 하겠다.
  • 비용함수의 디지털화를 통한 적용을 연구하면 그에 변화하는 비용함수의 최적화에 적합한 비용함수 계산방법이 필요하다 하겠다. 이 논문에서 설명한 기초적인 방법을 기반으로 변화하는 비용함수의 최적화를 발전시키고 연구가 이루어 질 것이다. 이 연구의 후속으로 변화하는 비용함수의 최적화에 관한 연구도 수행 중에 있다.
  • 이 논문에서는 인공지능의 학습 방법인 비용함수의 최적화방법에 관한 설명과 정수화 되어 들어오는 디지털 신호의 학습과정에서의 변화를 설명한다. 우선은 디지털 화(정수화) 된 Data값의 입력으로부터(학습하고자 하는 Data) 학습의 결과로 얻고자 하는 결과를 우리는 결정 할 수 있다.
  • 이 실험은 비용함수에 관한 것으로 비용함수는 convex 의 성질을 가지고 있다고 가정했으나, data의 복잡성과 layer의 수 등에 따라 non- convex의 성질이 나타난다. 이를 학습 방법이 해결할 수 있는 지에 대한 실험을 하고자 한다. 기계학습에서 이용되는 GD 방법은 convex 함수의 최적화 용도로 만들어졌으며 Momentum과 Adam은 GD를 기반으로 한 방법들이다.
  • 즉 참과 거짓을 구분하는 경우에 대한 실험을 하고자 한다. 즉 이진 분류를 통하여 각 방법들의 성능을 비교하고자 한다. 어떤 대상을 두 종류로 분류하는 것은 기계 학습의 큰 분야 중 하나인 분류 문제의 가장 기본적인 경우이다.

가설 설정

  • layer의 수에 따른 변화를 보기 위함으로 3-layer의 경우를 가정했으며 row의 개수는 1로 한 경우에 한하여 실험한다. row의 개수도 학습에 영향을 미치나 이것을 layer의 변화에 비하여 적으므로 무시하기로 한다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
인공지능의 학습방법은 무엇인가? 인공지능의 학습방법은 많은 data로부터 이 data를 이용하여 비용함수(Cost function)을 만들고 이를 최적화하는 방법으로 학습이 이루어진다. 여기서 인공지능 학습에 있어 해결해야 하는 문제가 발생한다.
Adam 방법의 장점은 무엇인가? 기존 기계학습 방법의 문제점은 학습의 어려움에 따라 학습의 강도 조절을 하지 못하는 것이었다. 그러나 Adam 방법은 학습의 어려움에 따라 학습 강도를 조정할 수 있는 능력을 포함하고 있다. 이 방법이 가장 널리 사용되고 있으며, 상당부분 효과적인 방법으로 잘 알려진 방법이다.
Momentum방법의 문제점은 무엇인가? 이후에 널리 상용되는 방법 중의 하나인 Momentum방법에 대하여 설명할 것이다. 그러나 이 방법은 여러 가지 이로운 점이 있으나, 변수의 변화가 심하고 해의 수렴성면에 있어 안정적이지 못한 부분이 있다. 이러한 문제점을 극복하고자 개발된 방법이 Adam(Adaptive Moment Estimation) 방법이다[18].
질의응답 정보가 도움이 되었나요?

참고문헌 (19)

  1. G. D. Kim & Y. H. Kim. (2017). A Survey on Oil Spill and Weather Forecast Using Machine Learning Based on Neural Networks and Statistical Methods. Journal of the Korea Convergence Society, 8(10), 1-8. 

  2. J. Ku. (2017). A Study on the Machine Learning Model for Product Faulty Prediction in Internet of Things Environment. Journal of Convergence for Information Technology, 7(1), 5-60. 

  3. Y. Jeong. (2018). Machine Learning Based Domain Classification for Korean Dialog System. Journal of Convergence for Information Technology, 9(8), 1-8. 

  4. Y. Namgoong, C. O. Kim & C. J. Lee. (2019). A machine learning model for the derivation of major molecular descriptor using candidate drug information of diabetes treatment. Journal of the Korea Convergence Society, 10(3), 23-30. 

  5. L. Deng, J. Li, J. Huang, K. Yao, D. Yu, F. Seide, M. L. Seltzer, G. Zweig, X. He, J. Williams, Y. Gong & A. Acero. (2013). Recent advances in deep learning for speech research at microsoft. ICASSP. 

  6. A. Graves. (2013). Generating sequences with recurrent neural networks. arXiv preprint arXiv:1308.0850. 

  7. A. Graves, A. Mohamed & G. Hinton. (2013). Speech recognition with deep recurrent neural networks. In Acoustics, Speech and Signal Processing(ICASSP), 2013 International Conference, 6645-6649 

  8. G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever & R. R. Salakhutdinov. (2012). Improving neural networks by preventing co-adaptation of feature detectors. arXiv preprint arXiv:1207.0580 

  9. T. Tieleman & G. E. Hinton. (2013). Lecture 6.5-RMSProp, COURSERA: Neural Networks for Machine Learning. Technical report. 

  10. J. Dean, G. Corrado, R. Monga, K. Chen, M. Devin, Q. Le, M. Mao, M. Ranzato, A. Senior, P. Tucker, K. Yang & A. Y. Ng. (2012). Large scale distributed deep networks. in NIPS. 

  11. N. Jaitly, P. Nguyen, A. Senior & V. Vanhoucke. (2012). Application of pretrained deep neural networks to large vocabulary speech recognition. in Interspeech. 

  12. S. Amari. (1998). Natural gradient works efficiently in learning. Neural computation, 10(2), 251-276. 

    상세보기 crossref

  13. J. Duchi, E. Hazan & Y. Singer. (2011). Adaptive subgradient methods for online learning and stochastic optimization. The Journal of Machine Learning Research, 12, 2121-2159. 

  14. G. Hinton, L. Deng, D. Yu, G. E. Dahl, A. Mohamed, N. Jaitly, A. Senior, V. Vanhoucke, P. Nguyen & T. N. Sainath. (2016). Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups. Signal Processing Magazine, 29(6), 82-97. 

  15. A. Krizhevsky, I. Sutskever & G. E. Hinton. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, 1097-1105. 

  16. R. Pascanu & Y. Bengio. (2013). Revisiting natural gradient for deep networks. arXiv preprint arXiv:1301.3584. 

  17. I. Sutskever, J. Martens, G. Dahl & G. E. Hinton. (2013). On the importance of initialization and momentum in deep learning. In Proceedings of the 30th International Conference on Machine Learning(ICML-13), 1139-1147. 

  18. E. Moulines & F. R. Bach. (2015). ADAM: A method for stochastic optimization. The 3rd International Conference for Learning Representations, San Diego. 

  19. Y. Bengio, P. Simard & P. Frasconi. (1994). Learning long-term dependencies with gradient is difficult. IEEE Transaction on neural networks, 5(2), 157-166. 

    상세보기 crossref

저자의 다른 논문 :

LOADING...

관련 콘텐츠

오픈액세스(OA) 유형

BRONZE

출판사/학술단체 등이 한시적으로 특별한 프로모션 또는 일정기간 경과 후 접근을 허용하여, 출판사/학술단체 등의 사이트에서 이용 가능한 논문

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로