최소 단어 이상 선택하여야 합니다.
최대 10 단어까지만 선택 가능합니다.
다음과 같은 기능을 한번의 로그인으로 사용 할 수 있습니다.
NTIS 바로가기방송과 미디어 = Broadcasting and media magazine, v.22 no.1, 2017년, pp.47 - 58
이영한 (KETI)
초록이 없습니다.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
핵심어 | 질문 | 논문에서 추출한 답변 |
---|---|---|
기본 RNN의 내부 구조는? | 기본 RNN의 내부 구조는 <그림 3>와 같은 형태로 되어 있다. 즉, 상위 layer로 전달되는 출력을 다음 시간대에서 입력과 동시에 받아 처리하는 구조이다. RNN 구조는 Long-term dependencies 측면에서 이론상으로는 시간상 멀리 떨어진 내용도 잘 모델링 할 수 있어야 하지만 실제로는 오래된 과거 내용은 처리하지 못하여 성능이 떨어진다는 단점이 있다. | |
뉴럴 네트워크가 침체기를 맞이한 이유는? | 특히 backpropagation이 제안된 이후에 multilayer perceptron에 대한 훈련이 가능해지면서 뉴럴 네트워크는 큰 관심을 받았다. 하지만 layer를 쌓을수록 성능이 향상되기보다 local minima에 빠져 성능이 오히려 낮아지는 경우가 보고되면서 한동안 뉴럴 네트워크는 침체기를 맞이하였다. 하지만 2006년 layer를 쌓더라도 local minima에 빠지지 않고 성능이 향상될 수 있는 DBN, RBM 개념을 시작으로 다계층 구조에서도 훈련이 가능한 방법들이 소개되면서 다시 뉴럴 네트워크가 주목 받기 시작했다[1-3]. | |
다시 뉴럴 네트워크가 주목 받기 시작한 이유는? | 하지만 layer를 쌓을수록 성능이 향상되기보다 local minima에 빠져 성능이 오히려 낮아지는 경우가 보고되면서 한동안 뉴럴 네트워크는 침체기를 맞이하였다. 하지만 2006년 layer를 쌓더라도 local minima에 빠지지 않고 성능이 향상될 수 있는 DBN, RBM 개념을 시작으로 다계층 구조에서도 훈련이 가능한 방법들이 소개되면서 다시 뉴럴 네트워크가 주목 받기 시작했다[1-3]. 특히 그 시작은 음성인식이었다[4]. |
Hinton, Geoffrey E. et al. "Reducing the dimensionality of data with neural networks." Science, (2006)
Hinton, Geoffrey E., Simon Osindero, and Yee-Whye Teh. "A fast learning algorithm for deep belief nets." Neural computation 18.7 (2006): 1527-1554.
Bengio, Yoshua, et al. "Greedy layer-wise training of deep networks." Advances in neural information processing systems 19 (2007): 153.
Hinton, Geoffrey, et al. "Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups." IEEE Signal Processing Magazine 29.6 (2012): 82-97.
Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. (2012).
Donahue, Jeffrey, et al. "Long-term recurrent convolutional networks for visual recognition and description." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. (2015).
Dahl, George E., et al. "Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition." IEEE Transactions on Audio, Speech, and Language Processing 20.1 (2012): 30-42.
Understanding LSTM Networks, http://colah.github.io/posts/2015-08-Understanding-LSTMs/
The Unreasonable Effectiveness of Recurrent Neural Networks, http://karpathy.github.io/2015/05/21/rnn-effectiveness/
Schuster, Mike, and Kuldip K. Paliwal. "Bidirectional recurrent neural networks." IEEE Transactions on Signal Processing, IEEE, (1997)
Mikolov, Tomas, et al. "Strategies for training large scale neural network language models." Automatic Speech Recognition and Understanding (ASRU), 2011 IEEE Workshop on. IEEE, (2011).
Graves, Alex, Abdel-rahman Mohamed, and Geoffrey Hinton. "Speech recognition with deep recurrent neural networks." 2013 IEEE international conference on acoustics, speech and signal processing. IEEE, (2013).
Hannun, Awni, et al. "Deep speech: Scaling up end-to-end speech recognition." arXiv preprint arXiv:1412.5567(2014).
Amodei, Dario, et al. "Deep speech 2: End-to-end speech recognition in English and mandarin." arXiv preprint arXiv:1512.02595(2015).
A.W. Black, H. Zen, K. Tokuda, "Statistical parametric speech synthesis." 2007 IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, (2007).
Speech Synthesis, http://slideplayer.com/slide/3148265/
http://www.slideshare.net/danilosoba1/statistical-parametric-speech-synthesis-heiga-zen
Zen, Heiga, Andrew Senior, and Mike Schuster. "Statistical parametric speech synthesis using deep neural networks." 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, (2013).
van den Oord, Aaron, et al. "Wavenet: A generative model for raw audio." arXiv preprint arXiv:1609.03499(2016)
Soroush Mehri, et al. " SampleRNN: An Unconditional End-to-End Neural Audio Generation Model." https://openreview.net/forum?idSkxKPDv5, under review on ICLR 2017.
Southall, Carl, Ryan Stables, and Jason Hockman. "AUTOMATIC DRUM TRANSCRIPTION USING BI-DIRECTIONAL RECURRENT NEURAL NETWORKS." Proceedings of the International Society for Music Information Retrieval Conference (ISMIR). (2016).
Vogl, Richard, Matthias Dorfer, and Peter Knees. "RECURRENT NEURAL NETWORKS FOR DRUM TRANSCRIPTION." Proceedings of the International Society for Music Information Retrieval Conference (ISMIR). (2016).
Choi, Keunwoo, George Fazekas, and Mark Sandler. "Automatic tagging using deep convolutional neural networks." Proceedings of the International Society for Music Information Retrieval Conference (ISMIR). (2016).
Schluter, Jan, Karen Ullrich, and Thomas Grill. "Structural segmentation with convolutional neural networks mirex submission." 10th running of the Music Information Retrieval Evaluation eXchange (MIREX 2014) (2014).
Schluter, Jan. "Learning to pinpoint singing voice from weakly labeled examples." Proceedings of the International Society for Music Information Retrieval Conference (ISMIR). (2016).
Leimeister, Matthias. "Feature learning for classifying drum components from nonnegative matrix factorization." Audio Engineering Society Convention 138. Audio Engineering Society, (2015).
※ AI-Helper는 부적절한 답변을 할 수 있습니다.