$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

순환 신경망의 구조와 필기체 인식 원문보기

정보과학회지 = Communications of the Korean Institute of Information Scientists and Engineers, v.33 no.9, 2015년, pp.42 - 48  

윤현구 (서울대학교) ,  정동석 (서울대학교) ,  정교민 (서울대학교)

초록이 없습니다.

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 필기체 인식이 있다. LSTM-RNN구조를 사용하여 필기체 인식의 성능을 획기적으로 향상시킨 Alex Graves의 연구사례를 바탕으로 RN4이 순차적 입력을 가지는 데이터를 어떻게 처리하는지 알아본다.[16]
  • 지금까지 RNN과 LSTM의 구조와 학습 알고리즘을 살펴보고, 필기체 인식의 연구사례를 통해 시간성을 가지는 데이터를 어떻게 학습시키는지 알아보았다. 요약하자면, RNNe 기존의 neural network 모델에서 시간성을 분명하게 추가한 모델이며, 이에 따라 생기는 recurrent weight들 때문에 Back-Propagation 알고리즘을 바로 적용할 수 없지만, 모델을 time-step에 따라 풀어내는 트릭을 사용한 Back-Propagation Through Time 알고리즘을 적용하여 학습시킨다.
  • Time-step에 따라 풀어낸 모델은 필연적으로 심층 학습 구조를 가지게 되며 다른 많은 심층 학습 구조와 같이 vanishing gradient problem이 발생하기 때문에 이를 막기 위해 LSTM을 노드의 활성화 함수로 사용한다. 필기체 인식을 통해 알아본 활용 예에서는 Sayre의 딜레마라고 알려진 연속적인 시간성을 가지는 데이터를 합성할 때 나타나는 어려움과 그 해결방법에 대해서 살펴보았다.

가설 설정

  • 흰 노드는 정보 0을 갖고 있으며 검정 노드는 정보 1을 갖고 있는 것을 나타내고 있다. time step 1에서 1의 정보가 입력으로 들어오고 이 정보가 모두 hidden node로 전달되었으며 나머지 time step의 입력으로는 0 이 들어왔다고 가정하자. 必”와 %는 [0, 1] 사이의 값을 가지기 때문에 time step 이 지날수록 hidden layer 의 state 값은 점점 작아지다가 결국 time step 6에서는 state 값이 0에 수렴한다.
  • <그림 7>은 hidden node에 gate믈이 추가된 형태의 RNW이다. 이 gate들은 gate로 들어오는 정보와 나가는 정보의 양을 결정하는데, gate가 열려있는 'O' 상태는 모든 정보가 들어오거나 나가고, gate가 닫혀있는 '㊀' 상태는 어떤 정보도 들어오거나 나갈 수 없다고 가정한다. 따라서<그림 7>의 time step 1에서 input에 정보 1이 들어오면, hidden 노드 역시 열려있는 gate를 통해서 1의 정보를 가지게 된다.
본문요약 정보가 도움이 되었나요?

참고문헌 (23)

  1. Bishop, Christopher M. Pattern recognition and machine learning. springer, 2006. 

  2. Stam, Cornelis J., and Jaap C. Reijneveld. "Graph theoretical analysis of complex networks in the brain." Nonlinear biomedical physics 1.1 (2007): 3. 

    상세보기 crossref

  3. Siegelmann, Hava T., and Eduardo D. Sontag. "Turing computability with neural nets." Applied Mathematics Letters 4.6 (1991): 77-80. 

    상세보기

  4. Sutskever, Ilya, Oriol Vinyals, and Quoc VV Le. "Sequence to sequence learning with neural networks." Advances in neural information processing systems. 2014. 

  5. Hagan, Martin T., and Mohammad B. Menhaj. "Training feedforward networks with the Marquardt algorithm." Neural Networks, IEEE Transactions on 5.6 (1994): 989-993. 

    상세보기 crossref

  6. Paul J Werbos. Backpropagation through time: what it does and how to do it. Proceedings of the IEEE, 78(10):1550-1560, 1990. 

    상세보기 crossref

  7. Williams, Ronald J., and David Zipser. "A learning algorithm for continually running fully recurrent neural networks." Neural computation 1.2 (1989): 270-280. 

    상세보기 crossref

  8. Nair, Vinod, and Geoffrey E. Hinton. "Rectified linear units improve restricted boltzmann machines." Proceedings of the 27th International Conference on Machine Learning (ICML- 10). 2010. 

  9. Bengio, Yoshua, Nicolas Boulanger-Lewandowski, and Razvan Pascanu. "Advances in optimizing recurrent networks." Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on. IEEE, 2013. 

  10. Graves, Alex. Supervised sequence labelling with recurrent neural networks. Vol. 385. Heidelberg: Springer, 2012. 

  11. Cajal, Santiago Ry, Pedro Pasik, and Tauba Pasik. Texture of the Nervous System of Man and the Vertebrates: I. Vol. 1. Springer Science & Business Media, 1999. 

  12. Wikipedia. Rectifier (neural network) - Wikipedia, the free encyclopedia, 2015. [Online; accessed 22-July- 2015] 

  13. Hochreiter, Sepp, and Jurgen Schmidhuber. "Long short-tenn memory." Neural computation 9.8 (1997): 1735-1780. 

    상세보기 crossref

  14. Graves, Alan, Abdel-rahman Mohamed, and Geoffrey Hinton. "Speech recognition with deep recurrent neural networks." Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on. IEEE, 2013. 

  15. Gers, Felix A., Nicol N. Schraudolph, and Jurgen Schmidhuber. "Learning precise timing with LSTM recurrent networks." The Journal of Machine Learning Research 3 (2003): 115-143. 

  16. A. Graves, M. Liwicki, S. Fernandez, R. Bertolanli, H. Bunke, and J. Schmidhuber. "A novel connectionst system for unconstrained handwriting recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 31 Issue 5, May 2009 pp. 855-868. 

    상세보기 crossref

  17. Kenneth M. Sayre, "Machine Recognition of Handwritten Words: A Project Report, " Pattern Recognition, Pergamon Press, Vol. 5, 1973, pp. 213-228. 

    상세보기 crossref

  18. A. Graves, S. Fernandez, F. Gomez, I. Schmidhuber. "Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks", ICML 2006, Pittsburgh, USA, pp. 369-376. 

  19. Zaremba, Wojciech, and Ilya Sutskever. "Learning to execute." arXiv preprint arXiv:1410.4615 (2014). 

  20. Chung, Junyoung, et al. "Empirical evaluation of gated recurrent neural networks on sequence modeling." arXiv preprint arXiv:1412.3555 (2014). 

  21. Junyoung Chung, Caglar Gulcehre, Kyunghyun Cho, Yoshua Bengio "Gated Feedback Recurrent Neural Networks", ICML2015, Lille, France, pp. 2067 - 2075. 

  22. https://en.wikipedia.org/wiki/Sigmoid_function 

  23. http://www.cs.toronto.edu/-graves/handwriting.html 

저자의 다른 논문 :

관련 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로