[논문]컨볼루션 신경망의 최신 연구 동향

최기환

컨볼루션 신경망의 최신 연구 동향 원문보기

정보과학회지 = Communications of the Korean Institute of Information Scientists and Engineers, v.36 no.2 = no.345, 2018년, pp.25 - 31

최기환 (한국과학기술연구원)

초록이 없습니다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 기고에서는 컨볼루션 신경망의 최근 연구 동향과 그 응용 분야들을 리뷰하고 심층적으로 논의하고자 한다. 본 기고의 2절에서는 컨볼루션 신경망과 관련된 다양한 연구동향에 대해 논하고 3절에서는 컨볼루션 신경망의 빠른처리에 대한 연구동향 대해 소개한다.
비약적인 발전을 이루어내고 있다. 본 논문에서는 CNN의 다양한 분야에서의 최신 응용 연구를 소개하였다. CNN은 영상분류, 계층적 분류, 객체인식, 의미론적 영상분할, 그리고 영상-언어 인식 분야에서 다양흐]■게 응용되고 있다.
그 예로 선구적인 연구였던 LeNet-5[3, 4] 의 구조를 살펴보면 그림 2에서와 같이 convolution layer, pooling layer, fully-connected layer 등 세가지 종류의 컴포넌트들로 이루어져 있다. 이 절에서는 이러한 기본구조를 갖는 컨볼루션 신경망들이 영상분류 (image classification), 객체인식(object detection), 의미론적 영역분할(semantic segmentation), 그리고 영상인식과 관련된 다양한 분야에 응용되어 축적된 최신 연구 결과들을 살펴본다.

제안 방법

비슷한 방법으로 하부 카테고리의 세부적인 특징 (fine-grained fbature)를 찾아내는 트리구조도 제안되었다 [16, 17], Yan이 제안한 계층적 딥러닝 네트워크(hierarchical deep CNN: HD-CNN)는 영상분류 작업을 두 스텝으로 나누었다[18]. 우선 분류 난이도가 낮은 대강의 카테고리로 영상을 분류하고 다시 난이도 높은 세부분류 작업을 수행하였다. 이러한 coarse-to-fine 구조로 합리적인 네트워크 복잡도 증가를 감수하여 더 높은 정확도를 얻을 수 있었다.
Sermant 등이 제안한 OverFeat는영상 피라미드를 CNN을 이용하여 특징점을 추출하는 방식으로 객체의 위치를 인식하는 방식을 제안하였다 [30], 반면에 R-CN₃은 별도의 객체영역 제안 알고리듬은 selective search를 이용하여 제안된 영역들을 CNN을 사용하여 각각 영상분류를 하는 방식이다[32]. 이 두가지 방식을 절충하여 SPPNet과 Fast R-CNN은 우선 영상을 CNN 입력으로 넣어 얻어낸 특징맵 상에서 다시 selective search에서 얻어진 영역을 추출하여 영상 피라미드를 이용해 균일한 크기로 바꾸고 fully-connected lay er 를 통과하는 방식을 제안하였다 [33, 34]. 이렇게 하위 특징맵을 공유하여 계산 속도 측면에서 큰 향상이 있었으며 다시 selective search를 학습 가능한 네트워크인 region proposal network (RPN) 으로 대체하여 효율성을 높인 Faster R-CNN이 제안되었다 [35].
그 중 선구적 인 CNN 연구로 Krizhevsky 등이 제 안한 AlexNet[6]을들 수 있는데 LeNet-5를 기본구조로 더 많은 컨볼루션층을 배열하여 더 깊은 네트워크를 구현하였다. 제안된 AlexNet은 2012년 실시된 ImageNet 영상분류 챌린지에서 다른 알고리듬들을 큰 격차로 제치고 가장 높은 인식률을 보였으며 향후 VGGNet [7], GoogLeNet [8], ResNet , [9] DenseNet [10] 등과 같은 CNN 기반 알고리듬 연구개발의 시초가 되었다.

성능/효과

우선 분류 난이도가 낮은 대강의 카테고리로 영상을 분류하고 다시 난이도 높은 세부분류 작업을 수행하였다. 이러한 coarse-to-fine 구조로 합리적인 네트워크 복잡도 증가를 감수하여 더 높은 정확도를 얻을 수 있었다.

후속연구

CNN이 벤치마크에서 높은 정확성을 보여주고 있지만 이러한 높은 성능이 어떻게 얻어질 수 있는지 뒷받침하는 이론연구는 아직 미흡하다. 본 논문을 통해 CNN에 대한 이해를 높이고 여러 연구 분야에서 CNN이 더 활발하고 효과적으로 응용될 수 있기를 기대한다.

참고문헌 (52)

D. H. Hubel, T. N. Wiesel, Receptive fields and functional architecture of monkey striate cortex, The Journal of physiology(1968), pp. 215-243.
K. Fukushima, S. Miyake, Neocognitron: A selforganizing neural network model for a mechanism of visual pattern recognition, in: Competition and cooperation in neural nets, 1982, pp. 267-285.
Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel, Handwritten digit recognition with a back-propagation network, in: Proceedings of the Advances in Neural Information Processing Systems (NIPS), 1989, pp. 396-404.
Y. LeCun, L. Bottou, Y. Bengio, P. Haffner, Gradientbased learning applied to document recognition, Proceedings of IEEE 86 (11) (1998), pp. 2278-2324.
O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, et al.,ImageNet large scale visual recognition challenge, International Journal of Computer Vision (IJCV) 115 (3) (2015), pp. 211-252.

상세보기
A. Krizhevsky, I. Sutskever, and G. E. Hinton, ImageNet classification with deep convolutional neural networks. In NIPS, pp. 1106-1114, 2012.
K. Simonyan, A. Zisserman, Very deep convolutional networks for large-scale image recognition, in: Proceedings of the International Conference on Learning Representations (ICLR), 2015.
C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich, Going deeper with convolutions, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp. 1-9.
K. He, X. Zhang, S. Ren, J. Sun, Deep residual learning for image recognition, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 770-778.
G. Huang, Z. Liu, and K. Q. Weinberger. Densely connected convolutional networks. arXiv preprint arXiv:1608.06993, 2016.
M. Egmont-Petersen, D. de Ridder, H. Handels, Image processing with neural networks a review, Pattern recognition35 (10) (2002), pp. 2279-2301.

상세보기
K. Nogueira, O. A. Penatti, J. A. dos Santos, Towards better exploiting convolutional neural networks for remote sensing scene classification, Pattern Recognition 61 (2017), pp. 539-556.

상세보기
Z. Zuo, G. Wang, B. Shuai, L. Zhao, Q. Yang, Exemplar based deep discriminative and shareable feature learning for scene image classification, Pattern Recognition 48 (10) (2015), pp. 3004-3015.

상세보기
A. T. Lopes, E. de Aguiar, A. F. De Souza, T. Oliveira-Santos, Facial expression recognition with convolutional neural networks: Coping with few data and the training sample order, Pattern Recognition 61 (2017), pp. 610-628.

상세보기
N. Srivastava, R. R. Salakhutdinov, Discriminative transfer learning with tree-based priors, in: Proceedings of the Advances in Neural Information Processing Systems (NIPS), 2013, pp. 2094-2102.
Z. Wang, X. Wang, G. Wang, Learning fine-grained features via a cnn tree for large-scale classification, CoRRabs/1511.04534.
T. Xiao, J. Zhang, K. Yang, Y. Peng, Z. Zhang, Error-driven incremental learning in deep convolutional neural network for large-scale image classification, in: Proceedings of the ACM Multimedia Conference, 2014, pp. 177-186.
Z. Yan, V. Jagadeesh, D. DeCoste, W. Di, R. Piramuthu, Hd-cnn: Hierarchical deep convolutional neural network for image classification, in: Proceedings of the International Conference on Computer Vision (ICCV), pp. 2740-2748.
T. Berg, J. Liu, S. W. Lee, M. L. Alexander, D. W. Jacobs, P. N. Belhumeur, Birdsnap: Large-scale fine-grained visual categorization of birds, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2014, pp. 2019-2026.
A. Khosla, N. Jayadevaprakash, B. Yao, F.-F. Li, Novel dataset for fine-grained image categorization: Stanford dogs, in:Proceedings of the IEEE International Conference on Computer Vision (CVPR Workshops, Vol. 2, 2011.
L. Yang, P. Luo, C. C. Loy, X. Tang, A large-scale car dataset for fine-grained categorization and verification, in:Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp. 3973- 3981.
M. Minervini, A. Fischbach, H. Scharr, S. A. Tsaftaris, Finely-grained annotated datasets for image-based plant phenotyping, Pattern recognition letters 81 (2016), pp. 80-89.

상세보기
G.-S. Xie, X.-Y. Zhang, W. Yang, M.-L. Xu, S. Yan, C.-L. Liu, Lg-cnn: From local parts to global discrimination forfine-grained recognition, Pattern Recognition 71 (2017), pp. 118-131.

상세보기
S. Branson, G. Van Horn, P. Perona, S. Belongie, Improved bird species recognition using pose normalized deep convolutional nets, in: Proceedings of the British Machine Vision Conference (BMVC), 2014.
R. Girshick, F. Iandola, T. Darrell, J. Malik, Deformable part models are convolutional neural networks, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp. 437-446.
S. J. Nowlan, J. C. Platt, A convolutional neural network hand tracker, in: Proceedings of the Advances in Neural Information Processing Systems (NIPS), 1994, pp. 901- 908.
R. Vaillant, C. Monrocq, Y. Le Cun, Original approach for the localisation of objects in images, IEE Proceedings- Vision, Image and Signal Processing 141 (4) (1994) 245- 250.

상세보기
M. Everingham, S. A. Eslami, L. Van Gool, C. K. Williams, J. Winn, A. Zisserman, The pascal visual object classes challenge: A retrospective, International Journal of Computer Vision (IJCV) 111 (1) (2015), pp. 98-136.

상세보기
T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar, C. L. Zitnick, Microsoft coco: Common objects in context, in: Proceedings of the European Conference on Computer Vision (ECCV), 2014, pp. 740-755.
P. Sermanet, D. Eigen, X. Zhang, M. Mathieu, R. Fergus, Y. LeCun, Overfeat: Integrated recognition, localization and detection using convolutional networks.
L. Gomez, D. Karatzas, Text proposals: a text-specific selective search algorithm for word spotting in the wild, Pattern Recognition 70 (2017), pp. 60-74.

상세보기
R. Girshick, J. Donahue, T. Darrell, J. Malik, Rich feature hierarchies for accurate object detection and semantic segmentation, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014, pp. 580, pp. 587.
K. He, X. Zhang, S. Ren, J. Sun, Spatial pyramid pooling in deep convolutional networks for visual recognition, IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 37 (9) (2015), pp. 1904-1916.

상세보기
R. Girshick, Fast R-CNN, CoRR, abs/1504.08083, 2015.
S. Ren, K. He, R. Girshick, J. Sun, Faster R-CNN: Towards real-time object detection with region proposal networks, IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 39 (6) (2017), pp. 1137-1149.

상세보기
J. Redmon, S. Divvala, R. Girshick, A. Farhadi, You only look once: Unified, real-time object detection, in: Proceedingso f the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 779-788.
W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, Ssd: Single shot multibox detector, in: Proceedings of the European Conference on Computer Vision (ECCV), 2016, pp. 21-37.
Fu, C. Y., Liu, W., Ranga, A., Tyagi, A., Berg, A. C. (2017). DSSD: Deconvolutional Single Shot Detector. arXiv preprint arXiv:1701.06659.
Shrivastava A, Sukthankar R, Malik J, Gupta A. Beyond Skip Connections: Top-Down Modulation for Object Detection. arXiv preprint arXiv:1612.06851. 2016.
J. Redmon and A. Farhadi. YOLO9000: Better, faster,stronger. In CVPR, 2017.
K.-S. Fu, J. Mui, A survey on image segmentation, Pattern recognition 13 (1) (1981), pp. 3-16.

상세보기
Q. Zhou, B. Zheng, W. Zhu, L. J. Latecki, Multi-scale context for scene labeling via flexible segmentation graph, Pattern Recognition 59 (2016), pp. 312-324.

상세보기
F. Liu, G. Lin, C. Shen, CRF learning with cnn features for image segmentation, Pattern Recognition 48 (10) (2015), pp. 2983-2992.

상세보기
S. Bu, P. Han, Z. Liu, J. Han, Scene parsing using inference embedded deep networks, Pattern Recognition 59 (2016), pp. 188-198.

상세보기
B. Peng, L. Zhang, D. Zhang, A survey of graph theoretical approaches to image segmentation, Pattern Recognition 46 (3) (2013), pp. 1020-1038.

상세보기
J. Long, E. Shelhamer, T. Darrell, Fully convolutional networks for semantic segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 39 (4) (2017), pp. 640-651.

상세보기
L.-C. Chen, G. Papandreou, I. Kokkinos, K. Murphy, A. L. Yuille, Semantic image segmentation with deep convolutional nets and fully connected crfs, in: Proceedings of the International Conference on Learning Representations (ICLR), 2015.
K. He, G. Gkioxari, P. Dollar, and R. Girshick. Mask R-CNN. In ICCV, 2017.
A. Frome, G. S. Corrado, J. Shlens, S. Bengio, J. Dean,T. Mikolov, et al. Devise: A deep visual-semantic embedding model. In NIPS, 2013.
A. Karpathy, A. Joulin, and L. Fei-Fei. Deep fragment embeddingsfor bidirectional image sentence mapping. arXiv preprint arXiv:1406.5679, 2014.
J. Johnson, B. Hariharan, L. van der Maaten, L. Fei-Fei, C. L.Zitnick, and R. Girshick. CLEVR: A diagnostic dataset for compositional language and elementary visual reasoning. In CVPR, 2017.
J. Johnson, B. Hariharan, L. van der Maaten, J. Hoffman, L. Fei-Fei, C. L. Zitnick, and R. Girshick.Inferring and executing programs for visual reasoning. Technical report, Stanford, 2017.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증