[논문]영상 폐색영역 검출 및 해결을 위한 딥러닝 알고리즘 적용 가능성 연구

배경호; 박홍기

doi:10.5762/kais.2019.20.11.305

영상 폐색영역 검출 및 해결을 위한 딥러닝 알고리즘 적용 가능성 연구
A Study on the Applicability of Deep Learning Algorithm for Detection and Resolving of Occlusion Area 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.20 no.11, 2019년, pp.305 - 313

배경호 ((주)신한항업 연구소) , 박홍기 (가천대학교 토목환경공학과)

초록
AI-Helper

최근 드론을 이용한 공간정보 구축이 활성화되면서 공간정보 산업발전에 많은 기여를 하고 있다. 하지만 드론 공간정보는 카메라의 중심투영에 의한 발생하는 폐색영역 뿐 아니라 가로수, 보행자, 현수막과 같은 적치물에 의한 폐색 영역이 필연적으로 발생한다. 이러한 폐색영역을 효율적으로 해결하기 위한 다양한 방안이 연구되고 있다. 본 연구에서는 폐색영역 해결을 위해 원초적인 재촬영이 아닌 딥러닝 알고리즘을 적용하기 위한 다양한 알고리즘별 조사 및 비교 연구를 수행하였다. 그 결과, 객체 검출 알고리즘인 HOG부터 기계학습 방법인 SVM, 딥러닝 방식인 DNN, CNN, RNN까지 다양한 모델들이 개발 및 적용되고 있으며, 이 중 영상의 분류, 검출에 가장 보편적이고 효율적인 알고리즘은 CNN 기법임을 확인하였다. 향후 AI 기반의 자동 객체 탐지와 분류는 공간정보 분야에서 각광받는 최신 과학기술이다. 이를 위해 다양한 알고리즘에 대한 검토와 적용은 중요하다. 따라서, 본 연구에서 제시하는 알고리즘별 적용 가능성은 자동으로 드론 영상의 폐색영역을 탐지하고 해결할 수 있어 공간정보 구축의 시간, 비용, 인력에 대한 효율성 향상에 기여할 것으로 판단된다.

Abstract ▼ AI-Helper

Recently, spatial information is being constructed actively based on the images obtained by drones. Because occlusion areas occur due to buildings as well as many obstacles, such as trees, pedestrians, and banners in the urban areas, an efficient way to resolve the problem is necessary. Instead of the traditional way, which replaces the occlusion area with other images obtained at different positions, various models based on deep learning were examined and compared. A comparison of a type of feature descriptor, HOG, to the machine learning-based SVM, deep learning-based DNN, CNN, and RNN showed that the CNN is used broadly to detect and classify objects. Until now, many studies have focused on the development and application of models so that it is impossible to select an optimal model. On the other hand, the upgrade of a deep learning-based detection and classification technique is expected because many researchers have attempted to upgrade the accuracy of the model as well as reduce the computation time. In that case, the procedures for generating spatial information will be changed to detect the occlusion area and replace it with simulated images automatically, and the efficiency of time, cost, and workforce will also be improved.

주제어

표/그림 (7)

그림 Fig. 1. Occlusion area at the point L1 and its recovery by images obtained by point L2
그림 Fig. 2. Occlusion area occurred in downtown area
그림 Fig. 3. Example of RBF SVM
그림 Fig. 4. Networks of ANN
그림 Fig. 5. Networks of DNN
그림 Fig. 6. Process of object detection
그림 Fig. 7. Concept of occlusion area detection and its recovery for the images obtained by drone

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 실감형 공간정보 구축에서 문제가 되는 폐색영역을 최소화할 수 있는 방안으로 최신 기술인 딥러닝 기술의 적용 가능성을 분석하였다.
이에 본 연구에서는 최신 기술인 딥러닝을 이용한 객체 학습화 및 패턴화를 실시하여 가로수, 현수막, 차량 등의 폐색을 유발하는 객체를 자동으로 탐지하고 이를 해결하기 위한 딥러닝 알고리즘 현황 분석[6-9]을 실시하였으며 최적의 폐색영역 해결 알고리즘을 제시하고자 하였다.

제안 방법

폐색을 유발하는 객체는 차량, 현수막, 사람 등과 같은 정형데이터와 구름, 그림자 등의 비정형데이터로 구분하여 학습데이터셋을 제작하여 DB로 관리한다. 검출된 폐색 영역을 대상으로 Inpainting 기술을 적용하여 폐색영역을 해결하고 보정한다.
6에 나타낸 객체 검출 작업의 흐름도에 나타낸다. 드론 혹은 모바일매핑시스템 등에서 구축된 영상을 대상으로 폐색영역 해결을 실시한다. 이를 위해 객체별 데이터셋을 사전에 제작하여 폐색을 유발하는 객체에 대한 검출 및 영역을 자동으로 지정하는 단계를 수행한다.
세부적으로 모의영상을 생성해 폐색영역을 해결함에 있어 딥러닝 기술의 적용 방안은 다음과 같다. 먼저, 다양한 형상으로부터 건물 가로수, 차, 신호등, 현수막과 같은 객체에 대한 학습을 실시한다. 이후 드론에서 획득한 영상에서 앞서 학습한 데이터를 사용해 건물을 비롯한 객체를 검출한 뒤 추출한 객체에 대한 폐색영역의 면적 및 비율을 계산해 모의영상을 생성한 뒤 마스킹하는 것이다.
적응형(adaptive)와 가속(boosting)이라는 의미의 조합으로 생성된 AdaBoost 알고리즘은 영상처리 분류에 사용되는 기계학습 알고리즘으로 Yoav Freund와 Robert Schapire에 의해 개발되었다. 영상에서 탐지하고자 하는 객체와 닮은 형상적 특징을 학습해 반복적으로 이용하는 방식으로 동일한 샘플로 반복 학습을 통해 가중치를 수정함으로써 분류 정확도를 높인다. 즉, 특징 선택과 관측값에 해당하는 오차율을 산출하고, 가중치를 수정하는 단계로 진행되며, 반복 시 추출되는 새로운 특징인 약한 분류기를 선형적으로 결합함으로써 강한 분류 기를 구성하게 된다[14].
드론 혹은 모바일매핑시스템 등에서 구축된 영상을 대상으로 폐색영역 해결을 실시한다. 이를 위해 객체별 데이터셋을 사전에 제작하여 폐색을 유발하는 객체에 대한 검출 및 영역을 자동으로 지정하는 단계를 수행한다. 폐색을 유발하는 객체는 차량, 현수막, 사람 등과 같은 정형데이터와 구름, 그림자 등의 비정형데이터로 구분하여 학습데이터셋을 제작하여 DB로 관리한다.
먼저, 다양한 형상으로부터 건물 가로수, 차, 신호등, 현수막과 같은 객체에 대한 학습을 실시한다. 이후 드론에서 획득한 영상에서 앞서 학습한 데이터를 사용해 건물을 비롯한 객체를 검출한 뒤 추출한 객체에 대한 폐색영역의 면적 및 비율을 계산해 모의영상을 생성한 뒤 마스킹하는 것이다. 이 때, 객체 탐지를 위한 모델은 미리 학습된 COCO 모델이 있으므로 해당 모델에 포함되지 않은 객체들 (예 : 현수막)을 선정해 추가 학습 후 활용하여야 한다.
SVM은 기계학습 알고리즘으로 패턴 인식, 자료 분석을 위한 모델이며, 분류와 회귀 분석에서 많이 사용된다. 확보된 데이터 군을 기반으로 새로운 자료가 어느 카테고리에 속할지 판단하는 선형분류모델을 생성하는 방식으로 카테고리가 다른 자료들을 가장 큰 마진(margin)으로 분리해내는 초평면(hyperplane)을 찾아 분류한다[16,17]. 문제는 카테고리가 분명하지 않은 자료들 또는 이상치들이 포함되었을 때 분리 정확도가 떨어진다는 점이다.

성능/효과

즉, 정확한 픽셀 위치를 추출하기 위해 CNN을 통과하면서 관심 위치 영역 위치에 생기는 소수점 오차를 2차원 선형 보간을 통해 감소시킴으로써 정확도를 높인다[32,33]. 국내에서는 건물 벽 폐색영역 추출 실험을 수행함에 있어 Fast R-CNN과 Mask R-CNN 간의 성능 분석을 실시한 바 있는데, 검출률은 차량과 사람에서 높게 나타났고, 정확도는 신호등, 차량, 사람, 가로수 등에서 80% 이상으로 높게 나타남을 확인했다. 또한, 이러한 결과를 바탕으로 폐색영역 탐지 및 자동적 폐색영역 처리가 가능하다는 결론을 내린 바 있다[34].
영상의 폐색영역을 해결하기 위한 가장 적합한 알고리즘은 영상의 여러 개층으로 구분하여 학습시키고 패턴화하는 CNN 기법이 가장 적합한 것으로 분석된다. 특히 R-CNN, Mask R-CNN은 영상 탐지 및 분류에 효율적이며 처리 속도 및 정확도 측면에서 더욱 효율적이다.

후속연구

이상의 다양한 학습기반 객체 탐지 알고리즘 중 영상의 학습을 위한 딥러닝 모델로 가장 널리 활용되는 것은 CNN이다. CNN은 기본적으로 광학영상을 학습시켜 딥러닝을 수행하기 위해 개발되었기 때문에 드론, UAV와 같은 다양한 항체에 탑재된 센서로부터 취득된 영상을 학습데이터로 사용한다면 도심지에서 폐색지역을 탐지 및 보완하는데 있어 활용할 수 있을 것으로 판단된다. 특히, 가장 최신 모델인 Mask R-CNN은 픽셀 레벨의 위치 정확도로 객체를 구분할 수 있는 수준이다.
향후 딥러닝 알고리즘 개발과 다양한 학습데이터셋이 구축된다면 폐색영역을 해결하기 위한 시간, 인력, 비용적인 측면에서의 효율성을 높일 수 있으며, 나아가 드론 영상의 활용도 향상도 기대할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	폐색영역은 무엇인가?	영상 기반의 공간정보 구축은 수치표고모델, 토지피복도 등으로 활용되며 변화탐지, 재해 모니터링 연구 등을 활용되어 핵심적인 공간정보 구축 방법이다. 하지만 이러한 영상은 카메라의 중심투영과 다양한 적치물로 인해 필연적으로 건물의 옆면이나 지붕에 의해 가려지거나 그림자, 가로수 등으로 인해 지표면에 화소값이 부여되지 않는 폐색영역이 발생한다는 점이다. 이러한 폐색영역은 영상에서 방사방향으로 멀어질수록 그 영향이 커지며, 고층건물이나 장애물이 다수 분포하는 도심지역에서 빈번히 발생한다.
	항공 및 위성영상을 대상으로 한 폐색영역 추출 및 보정을 위한 방법의 단점은?	기본적인 원리는 수치표고자료와 카메라의 외부표정요소를 계산해 건물 또는 장애물에 의한 폐색영역을 계산한 후 여러 방향에서 촬영한 영상을 사용해 해당 영역의 정보를 추출, 모자이킹하여 채우는 방식이다[1-5]. 그러나 다른 시점에서 촬영한 영상이라도 장애물이나 인접 건물에 2차로 가려져 적절한 대체 영역을 추출할 수 없어 재촬영을 하거나 대상 영역이 복잡해 수작업을 통해 세밀한 공정을 진행해야 하는 경우가 있어 시간, 인력, 비용적인 측면에서 효율성이 떨어진다는 단점이 있다.
	폐색영역이 번번히 발생하는 곳은?	하지만 이러한 영상은 카메라의 중심투영과 다양한 적치물로 인해 필연적으로 건물의 옆면이나 지붕에 의해 가려지거나 그림자, 가로수 등으로 인해 지표면에 화소값이 부여되지 않는 폐색영역이 발생한다는 점이다. 이러한 폐색영역은 영상에서 방사방향으로 멀어질수록 그 영향이 커지며, 고층건물이나 장애물이 다수 분포하는 도심지역에서 빈번히 발생한다. 최근 좁은 지역에서는 국가기본도, 대축척 수치지도 등 제작에 사용되는 전통적인 항공사진측량 방식의 시간적, 비용적 비효율성 때문에 드론, UAV, MMS 등을 이용한 측량이 도입 및 적용되고 있는데, 작업 상 많은 장점에도 불구하고 도심지역에서의 장애물에 인한 폐색영역 발생 문제가 여전히 해결되어야 하는 문제로 남아있다.

참고문헌 (36)

O. Kwon, Detection and Restoring the Occlusion Area for Generating Digital Orthoimage, Master's thesis, Seoul National University, Seoul, Korea, pp.13-16, 2000.
J. Yom,, D. Lee, D. Kim, "Automatic 3D building reconstruction by integration of digital map and stereo imagery for urban area", KSCE Journal of Civil Engineering, Vol.8, No.4, pp.443-449, July. 2004 DOI: https://doi.org/10.1007/bf02829168

상세보기
M. Seo, D. Y. Han, B. K. Lee, Y. I. Kim, "Detecting and restoring the occlusion area for generating the true orthoimage using IKONOS image". Korean Journal of Remote Sensing, Vol.22, No.2, pp131-139, Apr. 2006.
J. Youn, G. H. Kim, 2008, "Visible height based occlusion area detection in true orthophoto generation", Journal of the Korean Society of Civil Engineers D, Vol.28, No.3D, pp.417-422, May. 2008.
E. J. Yoo, D. Lee, "Detection and recovery of occlusion areas caused by building sidewalls and aerial photos", Proceedings of Korean Society of Surveying, Geodesy, Photogrammetry, and Cartography 2016, KSGPC, Suwon, Korea, pp.156-158, Apr. 2016.
S. Shim, C. Chun, S. Choi, S. Ruy, "Road Surface Damage Detection based on Object Recognition using Fast R-CNN", The Korean Institute of communications and Information Sciences, Vol.18. No.2, pp.104-113, Apr. 2019. DOI: https://doi.org/10.12815/kits.2019.18.2.104
H. C. Song, M. Kang, T. Kim, "Object Detection based on Mask R-CNN from Infrared Camera", Journal of Digital Contents Society, Vol.19, No.6, pp.1213-1218, June 2018. DOI: https://doi.org/10.9728/dcs.2018.19.6.1213

원문보기 상세보기
I. Choi, J. Seo, H. Park, "Object Recognition of Low Resolution Images based on Deep Learning", Proceeding of Korea Computer Congress 2017, KIISE, Jeju, Korea, pp.782-784, June 2017. DOI: https://doi.org/10.1109/access.2019.2941005
D. S. Jeong, H. Kim, J. Shin, J. Paik, "Deep Learning-Based Person Re-identification Using Semantic Segmentation", Proceeding of the Institute of Electronics and Information Engineers, IEIE, Incheon, Korea, pp.392-394, Nov. 2018,
A. Tang, K. Lu, Y. Wang, J. Huang, H. Li, "A real-time hand posture recognition system using deep neural networks". ACM Transactions on Intelligent Systems and Technology, Vol.6, No.2, p21, 2015. DOI: https://doi.org/10.1145/2735952
W. Ouyang, X., Wang, "Joint deep learning for pedestrian detection", Proceedings of the IEEE International Conference on Computer Vision. IEEE, NSW, Australia, pp.2056-2063, Dec. 2013. DOI: https://doi.org/10.1109/iccv.2013.257
N. Dalal, B. Triggs, "Histograms of oriented gradients for human detection", Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, IEEE, CA, USA, pp.1-9, June 2005. DOI: https://doi.org/10.1109/cvpr.2005.177
B. Kim, S. Oh, J. Kim, "Design of RBFNNs Pattern Classifier-based Two-dimensional Face Recognition System Using HOG and Adaboost Algorithm", Proceeding of the Korean Institute of Electrical Engineers, KIEE, Kosung, Korea, pp.77-78, Apr. 2015, DOI: https://doi.org/10.5370/kiee.2014.63.6.797
Y. Freund, R. E. Schapire, "A decision-theoretic generalization of on-line learning and an application to boosting", Journal of Computer and System Sciences, Vol.55, No.1, pp.119-139, 1997. DOI: https://doi.org/10.1006/jcss.1997.1504

상세보기
S. Kim, J. Park, J. Lee, "Monocular Image and AdaBoost Learning Based Nighttime Preceding Vehicle Detection for ADAS and Intelligent Headlamp System", Journal of Institute of Control, Robotics and Systems, Vol.23, No.10, pp.886-893, Oct. 2017. DOI: https://doi.org/10.5302/j.icros.2017.17.0134

상세보기
C. Cortes V, Vapnik, "Support-vector networks". Machine Learning, Vol.20, No.3, pp.273-297, July 1995.

상세보기
V. Vapnik, The nature of statistical learning theory, p.313, New York: Springer-Verlag New York, 2000, pp.123-167. DOI: https://doi.org/10.1007/978-1-4757-2440-0
X. Zhang, L. Li, D. Pi, "Toward Optimization of SVM Learning with RBF Kernel", Proceedings of International Technical Conference on Circuits Systems, Computers and Communications, ITC-CSCC, pp.437-440, July 2006.
M. Im, D. K. Yoon, B. Kim, "A study on Object Recognition Algorithm based on SVM Machine Learning Algorithm", Proceeding of Institute of Control, Robotics and Systems, ICROS, Kyeong-ju, Korea, pp.272-273, May 2019.
B. C. Kuo, H. H. Ho, C. Li, C. Jung, J. S. Taur, "A kernel-based feature selection method for SVM with RBF kernel for hyperspectral image classification", IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, Vol.7, No.1, pp.317-326, 2013. DOI: https://doi.org/10.1109/jstars.2013.2262926
P. P. Plehiers, S. H. Symoens, I. Amghizar, G. B. Marin, C. V. Stevens, K. M. Van, "Artificial Intelligence in Steam Cracking Modeling: A Deep Learning Algorithm for Detailed Effluent Prediction", Preprint version, July 2019. DOI: https://doi.org/10.1016/j.eng.2019.02.013
Neural Networks and Deep Learning, Available From: http://neuralnetworksanddeeplearning.com/chap5.html (accessed Sep. 27, 2019)
G. E. Hinton, R. R. Salakhutdinov. "Reducing the Dimensionality of Data with Neural Networks", Science, Vol.313, No.5786, PP.504-507, July 2006 DOI: https://doi.org/10.1126/science.1127647

상세보기
M. Oh, H. Choi, S. Kim, J. Jang, J. Jin, M. Cheon (2017). Analysis of social welfare and estimation model based on machine learning, Technical Report, Korea Institute for Health and Social Affairs, Korea, pp.54-84.
Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel, "Backpropagation Applied to Handwritten Zip Code Recognition", Neural Computation, Vol.1, No.4, pp.541-551, Mar. 1989. DOI: https://doi.org/10.1162/neco.1989.1.4.541

상세보기
A. Krizhevsky, I. Sutskever, G. E. Hinton. "Imagenet classification with deep convolutional neural networks". Proceedings of Advances in neural information processing systems, NIPS, NV, USA, pp.1097-1105, Dec. 2012. DOI: https://doi.org/10.1145/3065386
R. Girshick, J. Donahue, T. Darrell, J. Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation". Proceedings of the IEEE conference on computer vision and pattern recognition, IEEE, OH, USA, pp. 580-587. June 2014. DOI: https://doi.org/10.1109/cvpr.2014.81
J. R. Uijlings, K. E. Van De Sande, T. Gevers, A. W. Smeulders. "Selective search for object recognition". International journal of computer vision, Vol.104, No.2, pp.154-171, Apr. 2013. DOI: https://doi.org/10.1007/s11263-013-0620-5

상세보기
R. Girshick, "Fast r-cnn", Proceedings of the IEEE international conference on computer vision, IEEE, Santiago, Chile, pp. 1440-1448, Dec. 2015. DOI: https://doi.org/10.1109/iccv.2015.169
S. Ren, K. He, R. Girshick, J. Sun, "Faster r-cnn: Towards real-time object detection with region proposal networks". Proceedings of Advances in neural information processing systems, NeurIPS, Montreal, Canada, pp.91-99, Dec. 2015. DOI: https://doi.org/10.1109/tpami.2016.2577031
Kakao, Available From: https://brunch.co.kr/@kakao-it/66 (accessed Sep. 27, 2019)
K. He, G. Gkioxari, P. Dollar, R. Girshick, "Mask r-cnn", Proceedings of the IEEE international conference on computer vision, IEEE, Venice, Italy, pp.2980-2988, Oct. 2017. DOI: https://doi.org/10.1109/iccv.2017.322
K. Zhao, J. Kang, J. Jung, G. Sohn. "Building Extraction from Satellite Images Using Mask R-CNN with Building Boundary Regularization", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, IEEE, CA, USA, pp.247-251, June 2018. DOI: https://doi.org/10.1109/cvprw.2018.00045
H. J. Kim, J. M. Lee, K. H. Bae, Y. D. Eo, "Application Research on Obstruction Area Detection of Building Wall using R-CNN Technique", Journal of Cadastre & Land InformatiX, Vol.48, No.2, pp.213-225, Dec. 2016. DOI: https://doi.org/10.22640/LXSIRI.2018.48.2.213
A. Sperduti, A. Starita, "Supervised neural networks for the classification of structures", IEEE Transactions on Neural Networks, Vol.8, No.3, pp.714-735, May 1997. DOI: https://doi.org/10.1109/72.572108

상세보기
P. Frasconi, M. Gori, A. Sperduti, "A general framework for adaptive processing of data structures", IEEE Transactions on Neural Networks. Vol.9, No.5, pp.768-786, Sep. 1998. DOI: https://doi.org/10.1109/72.712151

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증