$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

딥 러닝을 위한 HW 시스템 및 SW 라이브러리 원문보기

정보과학회지 = Communications of the Korean Institute of Information Scientists and Engineers, v.34 no.9 = no.328, 2016년, pp.10 - 20  

정우근 (서울대학교) ,  김정욱 (서울대학교) ,  다오탄뚜안 (서울대학교) ,  박정호 (서울대학교) ,  박지영 (서울대학교) ,  신재호 (서울대학교) ,  정재훈 (서울대학교) ,  조강원 (서울대학교) ,  김희훈 (서울대학교) ,  남형욱 (서울대학교) ,  이재진 (서울대학교)

초록이 없습니다.

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 특히 단일 GPU, 다중 GPU 사용 시 현재 어느 정도까지 최적화가 진행되었는지 실험을 통해 파악한다. 그리고 각 라이브러리가 클러스터, 타 가속기 등을 지원할 계획이 있는지에 대해 간략하게 소개한다.
  • 입력 데이터는 임의로 생성한 이미지 데이터를 사용하였다. 본 실험의 목적은 인공 신경망의 정확도(accuracy)를 보고자 하는 것이 아니라 라이브러리의 성능 및 GPU 활용 정도를 분석하는 것이기 때문에, 임의로 생성한 데이터를 사용하여도 별다른 문제가 없다. 학습 기 법은 SGD를 사용하였으며, 실험에 따라 한 번에 256, 512, 1024개씩 이미지를 배치(batch)로 학습시킨다.
  • 본고는 널리 사용되는 딥 러닝 라이브러리들을 중심으로 GPU 지원 현황에 대해 분석한다. 특히 단일 GPU, 다중 GPU 사용 시 현재 어느 정도까지 최적화가 진행되었는지 실험을 통해 파악한다.
  • 본고는 딥 러닝에 사용되는 HW 시스템의 현 동향을 파악하고 현재 널리 사용되고 있는 SW 라이브러리들의 장단점 및 한계를 확인한다. 또 앞으로 딥 러닝 라이브러리들이 중점을 두어야 할 지원 사항을 살펴본다.
  • 본고는 딥 러닝을 위한 HW 시스템과 SW 라이브러리의 동향을 알아보았고, 이들의 문제점 및 이를 해결하기 위한 연구 방향을 도출하였다. 딥 러닝의 정확도를 높이기 위해 점차 높은 성능의 HW 시스템을 필요로 하는 추세이며, NVIDIA GPU를 사용한 딥 러닝이 현재 큰 성공을 거두고 있다.
  • 딥 러닝의 정확도를 높이기 위해 점차 높은 성능의 HW 시스템을 필요로 하는 추세이며, NVIDIA GPU를 사용한 딥 러닝이 현재 큰 성공을 거두고 있다. 전력 효율을 높이기 위해 새로운 구조의 가속기가 연구.개발되고 있으며, 성능을 더욱 높이기 위해 여러 개의 가속기를 장착하거나 클러스터를 구성하여 딥 러닝을 수행하는 연구가 진행되고 있다.
본문요약 정보가 도움이 되었나요?

참고문헌 (48)

  1. Rivera, J., "Gartner Reveals Top Predictions for IT Organizations and Users for 2014 and Beyond," Gartner, 2013. http://www.gartner.com/newsroom/id/2603215 

  2. Woods, V., "Gartner Identifies the Top 10 Strategic Technology Trends for 2016," Gartner, 2015. http://www.gartner.com/newsroom/id/3143521 

  3. Google Scholar. https://scholar.google.com/ 

  4. McCulloch, W. S. and Pitts, W., "A logical calculus of the ideas immanent in nervous activity," Bulletin of Mathematical Biophysics, vol. 5, no. 4, pp. 115-133, 1943. 

    상세보기 crossref

  5. LeCun, Y., Boser, B., Denker, J. S., Henderson, D., Howard, R. E., Hubbard, W., and Jackel, L. D., "Backpropagation applied to handwritten zip code recognition," Neural Computation, vol. 1, no. 4, pp. 541-551, 1989. 

    상세보기 crossref

  6. Birdsall, J. W., "The Sun Hardware Reference," 1995. http://www.sunhelp.org/faq/sunrefl.html 

  7. "NVIDIA Tesla P100," NVIDIA Whitepaper, 2016. https://images.nvidia.com/content/pdf/tesla/whitepaper/pascal-architecture-whitepaper.pdf 

  8. Min, S., Lee, B., and Yoon, S., "Deep Learning in Bioinformatics," arXiv preprint arXiv:1603.06430, 2016. 

  9. Fehrer, R. and Feuerriegel, S., "Improving Decision Analytics with Deep Learning: The Case of Financial Disclosures," arXiv preprint arXiv:1508.01993, 2015. 

  10. Jia, Y., Shelhamer, E., Donahue, J., Karayev, S., Long, J., Girshick, R., Guadarrama, S., and Darrell, T., "Caffe: Convolutional Architecture for Fast Feature Embedding," Proceedings of the 22nd ACM International Conference on Multimedia, pp. 675-678, 2014. 

  11. Abadi, M. et al., "TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems," arXiv preprint arXiv:1603.04467, 2016 

  12. Bergstra, J., Bastien, F., Breuleux, O., Lamblin, P., Pascanu, R., Delalleau, O., Desjardins, G., Warde-Farley, D., Goodfellow, I., Bergeron, A., and Bengio, Y., "Theano: Deep Learning on GPUs with Python," Journal of Machine Learning Research, vol. 1, pp. 1-48, 2011. 

  13. Torch: A scientific computing framework for LuaJIT. http://torch.ch/ 

  14. ImageNet. http://image-net.org/ 

  15. Chetlur, S., Woolley, C., Vandermersch, P., Cohen, J., and Tran, J., "cuDNN: Efficient Primitives for Deep Learning," arXiv preprint arXiv:1410.0759, 2014. 

  16. Mathieu, M., Mikael H., and LeCun, Y., "Fast Training of Convolutional Networks through FFTs," arXiv preprint arXiv:1312.5851, 2013. 

  17. Jouppi, N., "Google supercharges machine learning tasks with TPU custom chip," Google Cloud Platform Blog, 2016. https://cloudplatform.googleblog.com/2016/05/Google-supercharges-machine-learning-tasks-with-custom-chip.html 

  18. Chen, Y., Luo, T., Liu, S., Zhang, S., He, L., Wang, J., Li, L., Chen, T., Xu, Z., Sun, N., and Temam, O., "DaDianNao: A Machine-Learning Supercomputer," Proceedings of the 47th Annual IEEE/ACM International Symposium on Microarchitecture, pp. 609-622, 2014. 

  19. Lacey, G., Taylor, G. W., and Areibi, S., "Deep Learning on FPGAs: Past, Present, and Future," arXiv preprint arXiv: 1602.04283, 2016. 

  20. Ovtcharov, K., Ruwase, O., Fowers, J., Strauss, K., and Chung, E., "Accelerating Deep Convolutional Neural Networks Using Specialized Hardware," Microsoft Research Whitepaper, 2015. https://www.microsoft.com/en-us/research/publication/accelerating-deep-convolutional-neural-networks-using-specalized-hardware/ 

  21. Dean, J., Corrado, G. S., Monga, R., Chen, K., Devin, M., Le, Q. V., Mao, M. Z., Ranzato, M., Senior, A., Tucker, P., Yang, K., and Ng, A. Y. "Large Scale Distributed Deep Networks," Advances in Neural Information Processing Systems, vol. 25, pp. 1232-1240, 2012. 

  22. Tallada, M. G., "Coarse Grain Parallelization of Deep Neural Networks," Proceedings of the 21st ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming, Article no. 1, 2016. 

  23. Wu, R., Yan, S., Shan, Y., Dang, Q., and Sun, G. "Deep Image: Scaling up Image Recognition," arXiv preprint arXiv: 1501.02876, 2015. 

  24. Adhikari, R., "Google, Movidius to Bring Deep Learning to Mobile Devices," Tech News World, 2016. http://www.technewsworld.com/story/83052.html 

  25. Qualcomm Zeroth Platform. https://www.qualcomm.com/invention/cognitive-technologies/zeroth 

  26. "GPU-Based Deep Learning Inference: A Performance and Power Analysis," NVIDIA Whitepaper, 2015. https://www.nvidia.com/content/tegra!embedded-systems/pdf/jetson_tx1_whitepaper.pdf 

  27. Han, S., Liu, X., Mao, H., Pu, J., Pedram, A., Horowitz, M. A., and Dally, W. J., "EIE: Efficient Inference Engine on Compressed Deep Neural Network," arXiv preprint arXiv:1602.01528, 2016. 

  28. Reagen, B., Whatmough, P., Adolf, R., Rama, S., Lee, H., Lee, S. K., Hernandez-Lobato, J. M., Wei, G.-Y, and Brooks, D., "Minerva: Enabling Low-Power, Highly-Accurate Deep Nerual Network Accelerators," Proceedings of the 43rd International Symposium on Computer Architecture, 2016. 

  29. LiKamWa, R., Hou, Y, Gao, J., Polansky, M., and Zhong, L., "RedEye: Analog ConvNet Image Sensor Architecture for Continuous Mobile Vision," Proceedings of the 43rd International Symposium on Computer Architecture, 2016. 

  30. Caffe tutorial. http://caffe.berkeleyvision.org/tutorial/layers.html 

  31. Krizhevsky, A., Sutskever, I., and Hinton, G. E., "ImageNet Classification with Deep Convolutional Neural Networks," Advances in Neural Information Processing Systems, 2012. 

  32. Lavin, A. and Gray, S., "Fast Algorithms for Convolutional Neural Networks," arXiv preprint arXiv: 1509.09308, 2015. 

  33. Smith, C., Nguyen, C. and De. U., "Distributed Tensor Flow: Scaling Google's Deep Learning Library on Spark," ARIMO, 2016. https://mimo.com/machine-learning/deepleaming/2016/arimo-distributed-tensorflow-on-spark/ 

  34. Vishnu, A., Siegel, C., and Daily, J., "Distributed TensorFlow with MPI," arXiv preprint arXiv: 1603.02339, 2016. 

  35. Multi node caffe. https://github.com/BVLC/caffe/pull/3441 

  36. Elephas: Distributed Deep learning with Keras & Spark. https://github.com/maxpumperla/elephas/ 

  37. IPC. https://github.com/twitter/torch-ipc 

  38. DistLearn. https://github.com/twitter/torch-distlearn 

  39. Using the GPU - Theano 0.8.2 documentation. http://deeplearning.net/software/theano/tutorial/using_gpu.html 

  40. cltorch. https://github.com/hughperkins/cltorch 

  41. OpenCL Caffe. https://github.com/BVLC/caffe/tree/opencl 

  42. tensorflow-opencl. https://github.com/benoitsteiner/tensorflow-opencl 

  43. OpenCL. https://www.khronos.org/opencl/ 

  44. Song, F. and Dongarra, J. "A Scalable Framework for Heterogeneous GPU-Based Clusters," Proceedings of the twenty-fourth annual ACM symposium on parallelism in algorithms and architectures, pp. 91-100, 2012. 

  45. Dean, J. and Ghemawat, S. "Map Reduce: Simplified Data Processing on Large Clusters," Communications of the ACM, vol 51, no. 1, pp.107-113, 2008. 

    상세보기

  46. Petitet, A., Whaley, R. C., Dongarra, J., and Cleary, A., "HPL - A Portable Implementation of the High-Performance Linpack Benchmark for Distributed Memory Computers," 2016. http://www.netlib.org/benchmark/hpl 

  47. Kim, J., Jo, G., Jung, J., Kim, J., and Lee, J., "A Distributed OpenCL Framework using Redundant Computation and Data Replication," Proceedings of the 37th ACM SIGPLAN Conference on Programming Language Design and Implementation, pp. 553-569, 2016. 

  48. Kim, J., Seo, S., Lee, J., Nah, J., Jo, G., and Lee, J., "SnuCL: An OpenCL Framework for Heterogeneous CPU/GPU Clusters," Proceedings of the 26th ACM International Conference on Supercomputing, pp. 341-351, 2012. 

저자의 다른 논문 :

관련 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로