[논문]딥러닝 기반 비디오 분석 기술

김지섭; 남장군; 장병탁

딥러닝 기반 비디오 분석 기술 원문보기

정보과학회지 = Communications of the Korean Institute of Information Scientists and Engineers, v.33 no.9, 2015년, pp.21 - 31

김지섭 (서울대학교) , 남장군 (서울대학교) , 장병탁 (서울대학교)

초록이 없습니다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

데이터의 복잡도에 비례하게 데이터수가 많이 필요한데 반해 ImageNet 데이터셋 정도의 대규모 데이터셋은아직 구축된 바가 없고, 데이터의 종류도 사람의 동작 인식을 제외하면 전무한 수준이다. 다만 간단한 테스트를 위한 벤치마크 데이터셋들은 꾸준히 발전되어왔는데, 여기서는 비교적 많은 논문에서 실험되고 비교되는 데이터셋들을 소개한다.
본 논문에서는 다양한 딥러닝 기반 비디오 특징 학습 모델에 대하여 정리하였다. 모델은 크게 3차원 컨볼루션 신경망 기반 감독 학습 모델과 무감독 학습기반 모델로 나뉘며, 무감독 모델은 다시 얕은 특징추출 알고리즘기반 컨볼루션 신경망 모델과, 순환적 신경망 모델로 나뉜다.

가설 설정

느린 특징 분석은 시계열 데이터를 모델링하는 방법 중 하나로 어떠한 데이터에서 보다 상위의 추상적인 특징은 하위의 상세 특징에 비해 느리게 변한다는 가정을 토대로 한다. 예를 들어 사람이 걷고 있는 비디오 클립이 있을 때 각 픽셀 값은 굉장히 빠른 속도로 변하지만 팔을 흔드는 것이나 걷는 행위 자체와 같은 추상적인 특징은 느린 속도로 변화한다.

제안 방법

데이터 합성을 통한 데이터셋 확장과 자세-위치 통합인식기의 도입을 통한 성능 향상을 각각 확인하기 위해세 가지 실험 세팅에서 학습과 테스트를 진행하였다. 첫 번째 세팅에서는 데이터셋 확장과 통합인식기를 모두 사용하지 않고 실험을 진행 하였고, 두 번째 세팅에서는 확장된 데이터셋을 사용하여 실험을 진행하였다 세 번째 세팅에서는 데이터셋 확장은 사용하지 않고, 인식모델을 통합인식기로 하여 실험을 진행하였다.
첫 번째 특징은 ImageNet, KTH와 같은 정제된 데이터를 사용하지 않고 직접 수집한 데이터를 사용하였으며 레이블링에 드는 시간과 노력을 완화시키기 위하여 데이터셋을 자동으로 확장하는 방법을 사용했다는 것이다. 두 번째 특징은 자세, 위치 그리고 행동 인식 문제가 서로 연관이 있음에 주목하여 시너지를 낼 수 있도록 하나의 통합 모델을 개발했다는 것이다.
인식 모델을 제안 하였다(그림 11). 먼저 이미지가 입력되면 자세 및 위치 인식기는 약한 예측(mak Prediction) 을 수행하여 각각의 레이블을 예측한다. 위치 인식기로 예측된 위치 정보는 이미지 내에 사람이 어디에 위치하고있는지를 알려주는 정보이므로 모델에 해당 부분을 강조하도록 하향식(RpDown) 피드백을 주게 된다.
무감독 학습 모델은 레이블로부터 직접적인 감독을 받는 대신 낮은 차원, 희소성, 직교성, 느린 변화 속도 등 제한된 조건하에서 원래의 데이터를 나타낼 수 있는 표현(Representation)을 학습한다. 학습된 표현은 데이터를 함축적으로 나타내게 되므로 유용한 특징으로 사용된다.
가진 특징들이 추출된다. 보다 높은 인식 성능을 위해 마지막으로 이들 특징들 간의 연관성을 일반적인 신경망으로 모델링하여 최종 인식 결과를 출력한다(그림 2).
본 논문에서는 이러한 딥러닝 기반 비디오 특징 학습 모델들을 정리하고 각 모델의 아이디어와 장단점을 비교 분석한다. 2장에서는 비디오 데이터 분석의 중요성에 대해 설명하고 많은 비디오 딥러닝 모델의 기초가 되는 컨볼루션 신경망 모델에 대해 알아본다.
데이터에 대해 레이블 정보를 필요로 한다. 본 연구에서는 대규모 데이터 레이블링에 드는 노력을 완화시키기 위해 거실 환경 에서 직접 수집하고 레이블링한 적은 양의 데이터에 조금씩 변형을 가해 새로운 데이터를 합성하는 방법을 사용하였다. 이 방법은 같은 수의 데이터를 직접 모으는 것에 비해 다양성이나 정확성이 떨어지지만 손쉽게 많은 데이터를 얻을 수 있다는 장점이 있다.
따라서 자세 인식을 통해 알아낸 서기, 앉기, 눕기 등의 정보를 동작 인식기와 결합하면 보다 정확한 인식 결과를 도출할 수 있다. 제안하는 모델에서는 앙상블 방법을 사용하여 ar gm axAction aP (P ose) + (1 - a) P (Acti on) 과 같은 방식으로 동작 인식 결과를 개선한다.
진행하였다. 첫 번째 세팅에서는 데이터셋 확장과 통합인식기를 모두 사용하지 않고 실험을 진행 하였고, 두 번째 세팅에서는 확장된 데이터셋을 사용하여 실험을 진행하였다 세 번째 세팅에서는 데이터셋 확장은 사용하지 않고, 인식모델을 통합인식기로 하여 실험을 진행하였다. 각 세팅에서 학습 후 테스트 정확도를 뽑은 결과는 표 1과 같다.
이 연구는 앞서 소개한 연구들과 비교하여 두 가지 큰 특징이 있다. 첫 번째 특징은 ImageNet, KTH와 같은 정제된 데이터를 사용하지 않고 직접 수집한 데이터를 사용하였으며 레이블링에 드는 시간과 노력을 완화시키기 위하여 데이터셋을 자동으로 확장하는 방법을 사용했다는 것이다. 두 번째 특징은 자세, 위치 그리고 행동 인식 문제가 서로 연관이 있음에 주목하여 시너지를 낼 수 있도록 하나의 통합 모델을 개발했다는 것이다.

성능/효과

먼저 KTH 데이터셋의 성능 결과를 비교해보면 기존의 특징 추출 방법 대비 딥러닝 기반 특징 추출 방법이 약간의 우위를 나타내는 것을 볼 수 있다. 한편 Hollywood 및 UCF-Sports 데이터에서는 딥러닝 모델의 성능 우위가 보다 두드러지는데, 이는 이들 데이터셋이 KTH 데이터셋에 비해 보다 다양한 데이터를 포함하고 있는 것 때문으로 분석해볼 수 있다.
모델은 크게 3차원 컨볼루션 신경망 기반 감독 학습 모델과 무감독 학습기반 모델로 나뉘며, 무감독 모델은 다시 얕은 특징추출 알고리즘기반 컨볼루션 신경망 모델과, 순환적 신경망 모델로 나뉜다. 벤치마크 데이터를 통한 성능 비교에서 딥러닝 모델을 통해 학습한 특징이 기존의 사람이 디자인한 특징에 비해 우위를 보이는 것을 볼 수 있었다. 이러한 경향은 UCF-101과 같이 최근 구축된 대규모 데이터에서 더욱 부각될 것으로 예상된다.
이 방법은 같은 수의 데이터를 직접 모으는 것에 비해 다양성이나 정확성이 떨어지지만 손쉽게 많은 데이터를 얻을 수 있다는 장점이 있다. 새로운 데이터는 기존의 이미지에 다양한 조명 및 배경을 합성하여 생성되었으며, 이 방법을 통해 학습 데이터의 규모를 60배로 확장하였다(그림 10).
55%로, 데이터셋 확장 방법을 통해 약 9% 정 도의 성능향상을 달성할 수 있었다. 세 번째 세팅에서 테스트정확도는 95.50% 로 데이터셋 확장을 사용하지 않았음에도 자세-위치 인식 결과의 유기적인 공유를 통해 약 10% 정도의 높은 성능 향상을 달성할 수 있음을 볼 수 있었다.
첫 번째 세팅으로 진행한 실험에서 테스트 정확도는 85.87%를 기록하였다 두 번째 세팅에서 테스트 정확도는 94.55%로, 데이터셋 확장 방법을 통해 약 9% 정 도의 성능향상을 달성할 수 있었다. 세 번째 세팅에서 테스트정확도는 95.
단일 프레임의 경우 일반적인 2차원컨볼루션 신경망과 같으며 시계열 정보가 반영되지 않은 세팅이다 후반 융합의 경우 먼저 공간적 연관성에 주목하여 상세한 패턴들을 찾은 후 마지막에 시간적 연관성을 모델링하는 세팅이며, 전반 융합은 반대로 초기에 시간적 연관성을 모델링하고 이후에 공간적 패턴을 찾는 세팅이다 마지막으로 느린 융합은 후반 융합과 전반 융합의 중간적인 세팅으로 적절한 비율로 시공간적 패턴을 동시에 모델링한다. 해당 논문에서는 실험을 통해 위의 네 가지 세팅 중 느린 융합이 가장 성능이 좋다는 결론을 도출하였다.

후속연구

Baccouche 등은 이러한 비효율성에 따른 문제점에도 불구하고 미가공 데이터만으로 학습을 진행하여 보다 좋은 성능을 도출하였다[1]. 다만, 이 모델에서 제시하는 성능은 인식결과들 사이의 시간적 연 관성을 다시 순환 신경망의 일종인 장단기 기억 모델(Long Short-Term Memory; LSTM)을 이용해 학습 및 추론한 결과로 일대일로 비교하기엔 무리가 있다.
또한, 무감독 학습 모델이 감독 학습 모델에 비해서 크게 뒤떨어지지 않는 성능을 보이는 것을 통해, 무감독 학습 모델들의 가능성을 예측 해볼 수 있다. 특히 동영상 데이터의 경우 대규모의 레이블링 작업이 어려운 만큼 무감독 학습 모델을 사용하는 것이 상대적으로 큰 장점을 가지고 있으며, 사람이 일상생활에서 시각 자극을 학습하는 형태가 무감독 비디오 학습이므로 앞으로의 활발한 연구가 예상된다.

참고문헌 (39)

Moez Baccouche, Franck Mamalet, Christian Wolf, Christophe Garcia, and Atilla Baskurt. Sequential deep learning for human action recognition. In Human Behavior Understanding, pages 29-39. Springer, 2011.
John L Barron, David J Fleet, and Steven S Beauchemin. Performance of optical flow techniques. International journal of computer vision, 12(1 ):43-77, 1994.

상세보기
Moshe Blank, Lena Gorelick, Eli Shechtman, Michal Irani, and Ronen Basri. Actions as space-time shapes. In The Tenth IEEE International Conference on Computer Vision (ICCV'05), pages 1395-1402, 2005.
Xianjie Chen and Alan L Yuille. Articulated pose estimation by a graphical model with image dependent pairwise relations. In Advances in Neural Information Processing Systems, pages 1736-1744, 2014.
Navneet Dalal and Bill Triggs. Histograms of oriented gradients for human detection. In Computer Vision and Pattern Recognition, 2005. CVPR 2005. Computer Society Conference on, volume 1, pages 886-893. IEEE, 2005.
David Eigen, Christian Puhrsch, and Rob Fergus. Depth map prediction from a single image using a multi-scale deep network. In Advances in Neural Information Processing Systems, pages 2366-2374, 2014.
Sepp Hochreiter and Jurgen Schmidhuber. Long short-term memory. Neural computation, 9(8): 1735-1780, 1997.

상세보기
Junlin Hu, Jiwen Lu, and Yap-Peng Tan. Discriminative deep metric learning for face verification in the wild. In Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, pages 1875-1882. IEEE, 2014.
Shuiwang Ji, Wei Xu, Ming Yang, and Kai Yu. 3d convolutional neural networks for human action recognition. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 35(1):221-231, 2013.

상세보기
Andrej Karpathy, George Toderici, Sachin Shetty, Tommy Leung, Rahul Sukthankar, and Li Fei-Fei. Large-scale video classification with convolutional neural networks. In Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, pages 1725-1732. IEEE, 2014.
Ho-Joon Kim, Joseph S Lee, and Hyun-Seung Yang. Human action recogni-tion usmg a modified convolutional neural network. In Advances in Neural Networks - ISNN 2007, pages 715-723. Springer, 2007.
Alexander Klaser, Marcin Marszalek, and Cordelia Schmid. A spatio-temporal descriptor based on 3d-gradients. In BMVC 2008-19th British Machine Vision Conference, pages 275-1. British Machine Vision Association, 2008.
Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. Imagenet clas- sification with deep convolutional neural networks. In Advances in neural information processing systems, pages 1097-1105, 2012.
H. Kuehne, H. Jhuang, E. Garrote, T. Poggio, and T. Serre. HMDB: a large video database for human motion recognition. In Proceedings of the International Conference on Computer Vision (ICCV), 2011.
Ivan Laptev and Tony Lindeberg. On space-time interest points. Interna- tional Journal of Computer Vision, 64(2-3): 107-123, 2005.

상세보기
Ivan Laptev, Marcin Marszalek, Cordelia Schmid, and Benjamin Rozenfeld. Learning realistic human actions from movies. In Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on, pages 1-8. IEEE, 2008.
Quoc V Le, Will Y Zou, Serena Y Yeung, and Andrew Y Ng. Learning hierarchical invariant spatio-temporal features for action recognition with independent subspace analysis. In Computer Vision and Pattern Recogni- tion (CVPR), 2011 IEEE Conference on, pages 3361-3368. IEEE, 2011.
Yann LeCun, Leon Bottou, Yoshua Bengio, and Patrick Haffner. Gradient- based learning applied to document recognition. Proceedings of the IEEE, 86(11):2278-2324, 1998.

상세보기
David G Lowe. Distinctive image features from scale-invariant keypoints. International journal of computer vision, 60(2):91-110, 2004.

상세보기
Tomas Pfister, Karen Simonyan, James Charles, and Andrew Zisserman. Deep convolutional neural networks for efficient pose estimation in gesture videos. In Computer Vision-ACCV 2014, pages 538-552. Springer, 2015.
Marc'Aurelio Ranzato, Arthur Szlam, Joan Bruna, Michael Mathieu, Ro-nan Collobert, and Sumit Chopra. Video (language) modeling: a baseline for generative models of natural videos. CoRR, abs/1412.6604, 2014.
MarcAurelio Ranzato, Arthur Szlam, Joan Bruna, Michael Mathieu, Ronan Collobert, and Sumit Chopra. Video (language) modeling: a baseline for generative models of natural videos. arXiv preprint arXiv:1412.6604, 2014.
Mikel D Rodriguez, Javed Ahmed, and Mubarak Shah. Action mach a spatio-temporal maximum average correlation height filter for action recog- nition. In Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on, pages 1-8. IEEE, 2008.
Christian Schuldt, Ivan Laptev, and Barbara Caputo. Recognizing human actions: a local svm approach. In Pattern Recognition, 2004. ICPR 2004. of the 17th International Conference on, volume 3, pages 32-36. IEEE, 2004.
Pierre Sermanet, David Eigen, Xiang Zhang, Michael Mathieu, Rob Fer-gus, and Yann LeCun. Overfeat: Integrated recognition, localization and detection using convolutional networks. arXiv preprint arXiv: 1312.6229, 2013.
Karen Simonyan and Andrew Zisserman. Two-stream convolutional net- works for action recognition in videos. In Advances in Neural Information Processing Systems, pages 568-576, 2014.
Khurram Soomro, Amir Roshan Zamir, and Mubarak Shah. Ucf101: A dataset of 101 human actions classes from videos in the wild. arXiv preprint arXiv: 1212.0402, 2012.
Nitish Srivastava, Elman Mansimov, and Ruslan Salakhutdinov. Unsu-pervised learning of video representations using Istms. arXiv preprint arXiv: 1502.04681, 2015.
Lin Sun, Kui Jia, Tsung-Han Chan, Yuqiang Fang, Gang Wang, and Shuicheng Yan. Dl-sfa: Deeply-learned slow feature analysis for action recognition. In Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, pages 2625-2632. IEEE, 2014.
Yi Sun, Yuheng Chen, Xiaogang Wang, and Xiaoou Tang. Deep learn-ing face representation by joint identification-verification. In Advances in Neural Information Processing Systems, pages 1988-1996, 2014.
Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, and Andrew Ra-binovich. Going deeper with convolutions. arXiv preprint arXiv: 1409.4842, 2014.
Yaniv Taigman, Ming Yang, Marc' Aurelio Ranzato, and Lars Wolf. Deep-face: Closing the gap to human-level performance in face verification. In Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, pages 1701-1708. IEEE, 2014.
Jonathan J Tompson, Arjun Jain, Yann LeCun, and Christoph Bregler. Joint training of a convolutional network and a graphical model for human pose estimation. In Advances in Neural Information Processing Systems, pages 1799-1807, 2014.
Alexander Toshev and Christian Szegedy. Deeppose: Human pose estima- tion via deep neural networks. In Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, pages 1653-1660. IEEE, 2014.
Heng Wang, Muhammad Muneeb Ullah, Alexander Klaser, Ivan Laptev, and Cordelia Schmid. Evaluation of local spatio-temporal features for ac- tion recognition. In BMVC 2009-British Machine Vision Conference, pages 124-1. BMVA Press, 2009.
Geert Willems, Tinne Tuytelaars, and Luc Van Gool. An efficient dense and scale-invariant spatio-temporal interest point detector. In Computer Vision-ECCV 2008, pages 650-663. Springer, 2008.
Bolei Zhou, Agata Lapedriza, Jianxiong Xiao, Antonio Torralba, and Aude Oliva. Learning deep features for scene recognition using places database. In Advances in Neural Information Processing Systems, pages 487-495, 2014.
WW Zhu, A Berndsen, EC Madsen, M Tan, IH Stairs, A Brazier, P Lazarus, R Lynch, P Scholz, K Stovall, et al. Searching for pulsars using image pattern recognition. The Astrophysical Journal, 781(2):117, 2014.

상세보기
김지섭, 김은솔, 유낭웅, 정문식, 최현수, 장병탁. Deep convolutional neural network을 이용한 2d 영상에서의 사람 자세, 행동 및 위치 통합 인식 시스템. In 2015 한국컴퓨터종합학술대회(KCC2015)논문집, pages 846-848. 한국정보과학회, 2015.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증