[논문]효율적인 비정형 도로영역 인식을 위한 Semantic segmentation 기반 심층 신경망 구조

박세진; 한정훈; 문영식

doi:10.6109/jkiice.2020.24.11.1437

효율적인 비정형 도로영역 인식을 위한 Semantic segmentation 기반 심층 신경망 구조
Efficient Deep Neural Network Architecture based on Semantic Segmentation for Paved Road Detection 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.24 no.11, 2020년, pp.1437 - 1444

박세진 (Department of Computer Science and Engineering, Hanyang University) , 한정훈 (Department of Computer Science and Engineering, Hanyang University) , 문영식 (Department of Computer Science and Engineering, Hanyang University)

초록
AI-Helper

컴퓨터 비전 시스템의 발달로 보안, 생체인식, 의료영상, 자율주행 등의 분야에 많은 발전이 있었다. 자율주행 분야에서는 특히 딥러닝을 이용한 객체인식, 탐지 기법이 주로 사용되는데, 자동차가 갈 수 있는 영역을 판단하기 위한 도로영역 인식이 특히 중요한 문제이다. 도로 영역은 일반적인 객체탐지에서 활용되는 사각영역인식과는 달리 비정형적인 형태를 띠므로, ROI 기반의 객체인식 구조는 적용할 수 없다. 본 논문에서는 Semantic segmentation 기법을 사용한 비정형적인 도로영역 인식에 맞는 심층 신경망 구조를 제안한다. 또한 도로영역에 특화된 네트워크 구조인 Multi-scale semantic segmentation 기법을 사용하여 성능이 개선됨을 입증하였다.

Abstract ▼ AI-Helper

With the development of computer vision systems, many advances have been made in the fields of surveillance, biometrics, medical imaging, and autonomous driving. In the field of autonomous driving, in particular, the object detection technique using deep learning are widely used, and the paved road detection is a particularly crucial problem. Unlike the ROI detection algorithm used in general object detection, the structure of paved road in the image is heterogeneous, so the ROI-based object recognition architecture is not available. In this paper, we propose a deep neural network architecture for atypical paved road detection using Semantic segmentation network. In addition, we introduce the multi-scale semantic segmentation network, which is a network architecture specialized to the paved road detection. We demonstrate that the performance is significantly improved by the proposed method.

주제어

표/그림 (7)

그림 Fig. 1 Schematic diagram of algorithm
그림 Fig. 2 Architecture of semantic segmentation network for paved road detection
그림 Fig. 3 Illustration of Deconvnet and U-Net architecture
그림 Fig. 4 Illustration of data augmentation
그림 Fig. 5 Inference result of proposed method (left) groundtruth (right) method output
표 Table. 1 Performance comparison with conventional semantic segmentation network
표 Table. 2 Performance improvement by including proposed features

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

비교하였다. 또한, 추가적으로 Loss function 의 차이에 대한 성능 개선도 실험으로 보였다. 표 2에 실험에 사용된 여러가지 기법들의 적용에 따른 성능 변화를 보였다.
본 논문에서는 Semantic segmentation 기법을 사용한 비정형적이고, 다양한 크기의 영역을 동시에 가지는 도로 영역 인식에 맞는 심층 신경망 구조를 제안한다. 또한 도로 영역에 특화된 네트워크 구조인 Multi-scale semantic segmentation 모델을 사용하여 성능이 개선됨을 입증하였다.
본 논문에서는 심층신경망을 사용하여 자동차 전방 카메라에서 수집된 영상에서 도로영역을 효율적으로 인식하는 방법을 제안하였다. 자동차 전방 카메라 영상의 특수성을 이용하여 심층신경망의 입력이 Multi-scale 영상 형태를 가지는 구조를 제안하였고, 이를 학습하기 위한 손실함수와 네트워크 구조를 제안하였다.

제안 방법

Semantic segmentation의 성능개선을 위해 기존에 제안된 Focal loss 와 Dice loss 등을 사용하여 추가적인 실험을 진행하였다. Focal loss는 상대적으로 영역구분이 쉬운 픽셀들에 대한 loss 값을 저감시키는 함수 수식 1을 사용하여, 네트웍이 어려운 샘플에 더 집중하도록 만들었다. 수식 1에서  는 네트웍의 출력,  는 정답 레이블, 는 balancing factor를 의미한다.
서로 다른 크기의 입력 영상을 합성하기 위해 더 큰 해상도의 영상에 convolution 계층과 pooling 계층을 순차적으로 적용하여 작은 크기의 영상으로 만들면서, 큰 해상도 영상의 특징을 추출하는 역할을 수행하도록 하였다. Pooling 계층의 출력을 작은 해상도 영상의 입력과 채널별로 연결 (concatenation) 함으로써 두 해상도의 영상을 합성할 수 있고, 이후 다시 convolution layer 를 연속적으로 배치함으로써, 두 개의 입력에 단일 CNN 을 적용하는 효과를 내도록 하였다. 이러한 방식을 통해, 멀리 있는 객체는 크기가 작아 세밀한 영상 정보가 부족하므로 원본 해상도를 그대로 사용하여 인식해야 하지만, 가까이 있는 객체는 상대적으로 정보가 많아 해상도를 줄여서 작은 크기의 영상으로 만들어도 정보손실이 덜 하다는 사전지식을 하나의 단일 네트워크에 반영할 수 있다.
특정 객체가 존재하는 pixel에 mask를 적용한 class map을 정답 레이블로 하고, 최종 출력을 담당하는 convolution 계층에 Softmax 연산을 적용하며, Cross entropy loss 등을 loss function으로 사용한다. Semantic segmentation의 성능개선을 위해 기존에 제안된 Focal loss 와 Dice loss 등을 사용하여 추가적인 실험을 진행하였다. Focal loss는 상대적으로 영역구분이 쉬운 픽셀들에 대한 loss 값을 저감시키는 함수 수식 1을 사용하여, 네트웍이 어려운 샘플에 더 집중하도록 만들었다.
도로영역에 거리에 따라 다르게 존재하는 저해상도와 고해상도 영상을 동시에 활용하기 위하여, 제안된 Semantic segmentation network 은 두 가지 서로 다른 해상도의 영상을 동시에 입력으로 한다. 서로 다른 크기의 입력 영상을 합성하기 위해 더 큰 해상도의 영상에 convolution 계층과 pooling 계층을 순차적으로 적용하여 작은 크기의 영상으로 만들면서, 큰 해상도 영상의 특징을 추출하는 역할을 수행하도록 하였다.
[16]는 영상의 전반적인 컨텍스트 정보를 얻기 위해 하위층 네트워크와 상위층 네트워크가 대칭형태로 구성되어 있고, 상위층 네트워크에서 좀 더 정확한 위치 정확도를 가지도록 하기 위해 하위계층 네트워크의 데이터를 복사해서 붙여 넣는 구조 (그림 3의 (b))를 가지고 있다. 본 논문에서 제안된 방법에서는 [16]에서 제안된 바와 같이, 심층신경망의 층이 깊어질 때 학습의 성능이 떨어지는 문제를 극복하기 위하여 Skip connection 구조를 3, 7 번째 계층에 각각 적용하였다.
영상을 동시에 입력으로 한다. 서로 다른 크기의 입력 영상을 합성하기 위해 더 큰 해상도의 영상에 convolution 계층과 pooling 계층을 순차적으로 적용하여 작은 크기의 영상으로 만들면서, 큰 해상도 영상의 특징을 추출하는 역할을 수행하도록 하였다. Pooling 계층의 출력을 작은 해상도 영상의 입력과 채널별로 연결 (concatenation) 함으로써 두 해상도의 영상을 합성할 수 있고, 이후 다시 convolution layer 를 연속적으로 배치함으로써, 두 개의 입력에 단일 CNN 을 적용하는 효과를 내도록 하였다.
예측한다. 이후 미리 설정된 Bounding box 를 통해 객체의 정확한 위치와 크기를 파악한다. YOLO 모델은 전체 영상에서 한 번의 평가를 통해서 직접적으로 bounding box들을 예측하고, class의 확률을 계산하므로, 다른 실시간 탐지모델보다 높은 정확도를 보이고, Faster RCNN 과 같은 2단계 학습기법에 거의 근접한 성능을 보이면서도 155 fps의 빠른 수행 속도를 가진다는 것이 장점이다.
일반화 성능 개선을 위해서 입력영상을 다양한 전처리 기법을 사용하여 데이터 증강(Augmentation)을 수행하였다. 사용된 전처리 기법은 자르기, 크기조절, 회전, 색상 변형, 밝기 변형, 대비 변형, 좌우 대칭 등이다.
방법을 제안하였다. 자동차 전방 카메라 영상의 특수성을 이용하여 심층신경망의 입력이 Multi-scale 영상 형태를 가지는 구조를 제안하였고, 이를 학습하기 위한 손실함수와 네트워크 구조를 제안하였다. 제안된 방법은 Cityscape dataset을 이용하여 성능을 측정하고, 다른 방법들과의 비교를 통해 비교우위를 입증하였다.
제안된 방법은 Semantic segmentation network을 사용하여, 자동차 전방 카메라로부터 수집된 영상을 입력으로 받아 도로영역을 출력하는 구조를 가지고 있다. 제안된 방법의 알고리즘의 전체적인 구조는 그림 1 과 같으며, 입력영상, 데이터 증강, Semantic segmentation network, 출력, 정답영상으로 이루어져 있다.
제안된 방법의 알고리즘의 전체적인 구조는 그림 1 과 같으며, 입력영상, 데이터 증강, Semantic segmentation network, 출력, 정답영상으로 이루어져 있다.
기본적으로 제안된 네트워크 구조는 ResNet[16]과 U-Net[17]의 구조를 따른다. 즉, Skip connection 과 Lateral skip connection 구조를 채용하여 매우 깊은 구조의 네트웍 학습이 효과적으로 이루어지도록 하였다.

대상 데이터

Cityscape 데이터셋은 차량 전방에 설치된 카메라로 촬영된 2048×1024 해상도를 가지는 RGB 3채널로 이루어진 영상과 33개의 클래스로 분류된 Segmentation mask를 제공한다. 33개의 클래스 중 도로영역에 해당하는 데이터만을 정답 데이터로 사용하였다. 학습에 사용된 데이터 수는 2978개 이며, 검증에 사용된 데이터의 수는 503개 이다.
제안된 방법의 성능을 검증하기 위하여 Cityscape dataset [21]을 사용하였다. Cityscape 데이터셋은 차량 전방에 설치된 카메라로 촬영된 2048×1024 해상도를 가지는 RGB 3채널로 이루어진 영상과 33개의 클래스로 분류된 Segmentation mask를 제공한다.
33개의 클래스 중 도로영역에 해당하는 데이터만을 정답 데이터로 사용하였다. 학습에 사용된 데이터 수는 2978개 이며, 검증에 사용된 데이터의 수는 503개 이다. 성능측정을 위한 지표로는 IoU (Intersection over Union)을 사용하였다.

데이터처리

비교실험을 위하여 가장 기본이 되는 Deconvolutional neural network 와 최신의 Semantic segmentation 모델인 U-Net과 DeepLab V3를 사용하여 제안된 방법과 비교하였다. 표 1은 비교된 3개의 방식과 제안된 모델의 성능 통계인데, 제안된 방식이 IoU 0.
제안된 방법에 사용된 기법인 Multi-scale semantic segmentation 방법의 효과성을 검증하기 위하여, Multi- scale 입력이 있는 방법과 없는 방법의 성능 개선을 표 2 에 비교하였다. 또한, 추가적으로 Loss function 의 차이에 대한 성능 개선도 실험으로 보였다.
자동차 전방 카메라 영상의 특수성을 이용하여 심층신경망의 입력이 Multi-scale 영상 형태를 가지는 구조를 제안하였고, 이를 학습하기 위한 손실함수와 네트워크 구조를 제안하였다. 제안된 방법은 Cityscape dataset을 이용하여 성능을 측정하고, 다른 방법들과의 비교를 통해 비교우위를 입증하였다. 실험결과, 3가지 기존 심층신경망 구조에 비해 우월한 성능을 냄을 보였고, 논문에서 제시한 손실함수와 Multi-scale 영상 입력에 의한 성능 변화 효과성도 실험을 통해 입증하였다.

이론/모형

특히 FCN의 Up-samplinge 한 번의 양방향 선형보간연산을사용하여 해상도가 줄어든 영상을 원본영상으로 확대하는 방법을 사용한다. 그러나 결과의 정밀도가 떨어져 이를 보완하기 위해 여러 번의 Up-sampling 을 하면서 객체가 존재하는 위치를 학습하도록 파라미터를 가지는 전치 합성곱 (Transposed convolution) 연산을 사용한 Deconvolutional network이 사용된다. 그러한 네트웍형태에서는 작은 객체부터 큰 객체까지 다양한 크기의 객체 위치를 추적하기 위해 Up-sampling 이 여러 번 이루어지는 구조를 가지지만, 점진적으로 커지는 특징 때문에 매우 큰 객체와 작은 객체를 동시에 인식하기 어렵다는 단점이 있다.
제안된 Semantic segmentation network의 상세 구조는 그림 2 에 나타내었다. 기본적으로 제안된 네트워크 구조는 ResNet[16]과 U-Net[17]의 구조를 따른다. 즉, Skip connection 과 Lateral skip connection 구조를 채용하여 매우 깊은 구조의 네트웍 학습이 효과적으로 이루어지도록 하였다.
본 논문에서는 Deconvolutional network (Deconvnet) 의 형태를 기본 Segmentation network 구조로 사용하였다. Deconvnet 은 일반적인 CNN 이 pooling 계층을 통해 해상도를 절반씩 줄여나가기 때문에 마지막 convolution 계층의 출력이 원본 영상보다 작아진다는 문제를 극복하기 위해 Deconvolution을 사용한다.
학습에 사용된 데이터 수는 2978개 이며, 검증에 사용된 데이터의 수는 503개 이다. 성능측정을 위한 지표로는 IoU (Intersection over Union)을 사용하였다. IoU 는 정답 영역과 예측 영역의 겹쳐지는 비율로 계산되는 성능척도이며, 높은 값을 가질수록 높은 성능을 나타낸다.
심층신경망의 파라미터는 He initializer [18]로 초기화 하였다. 최적화 알고리즘으로 Adam optimizer [19] 를 사용하였고, 초기 학습률은 0.
연결하는 방식으로 구성된다. 이 방식에서는 하나의대상객체의 주변부에서 여러 개의 사각인식영역이 출력될 수 있는 문제를 극복하고자, Non-maximum suppression layer 를 사용하였다. RPN 과 RCN 으로 나누어진 2단계 학습기법을 사용하여 거짓양성 (False positive) 를 억제할 수 있다는 것이 장점이다.
하였다. 최적화 알고리즘으로 Adam optimizer [19] 를 사용하였고, 초기 학습률은 0.001을 사용하였다. 모든 계층에는 Batch normalization[20]이 사용되었고, 학습 단계에서 Dropout 은 최상단 5개 계층에 대해서 0.
통상적으로는 2를 사용) 최종출력이 원본 영상의 크기와 같아지도록 만들 수 있다. 특정 객체가 존재하는 pixel에 mask를 적용한 class map을 정답 레이블로 하고, 최종 출력을 담당하는 convolution 계층에 Softmax 연산을 적용하며, Cross entropy loss 등을 loss function으로 사용한다. Semantic segmentation의 성능개선을 위해 기존에 제안된 Focal loss 와 Dice loss 등을 사용하여 추가적인 실험을 진행하였다.

성능/효과

그림의 왼쪽은 정답 레이블을, 오른쪽은 인식된 결과 마스크를 나타낸다. Cityscape 데이터의 특성상 주로 포장된 도로에 대해서만 데이터가 수집되어 있으므로, 본 논문에서 제시된 결과도 포장도로에서 검증된 결과임을 명시한다.
또한 도로 영역에 특화된 네트워크 구조인 Multi-scale semantic segmentation 모델을 사용하여 성능이 개선됨을 입증하였다.
제안된 방법은 Cityscape dataset을 이용하여 성능을 측정하고, 다른 방법들과의 비교를 통해 비교우위를 입증하였다. 실험결과, 3가지 기존 심층신경망 구조에 비해 우월한 성능을 냄을 보였고, 논문에서 제시한 손실함수와 Multi-scale 영상 입력에 의한 성능 변화 효과성도 실험을 통해 입증하였다. 이는 제안된 도로영역 인식을 위한 효율적인 신경망 구조가 자율주행 등 도로영상을 이용한 도로영역인식 문제 해결에 도움이 될 수 있음을 시사한다.
표 2에 실험에 사용된 여러가지 기법들의 적용에 따른 성능 변화를 보였다. 실험에서 Multi-scale 입력을 가지며 Dice loss를 사용하였을 때 가장 높은 IoU 0.934 ± 0.031의 성능을 보였다. 그림 5는 본 논문에서 제안한 방법으로 인식된 결과이다.
비교실험을 위하여 가장 기본이 되는 Deconvolutional neural network 와 최신의 Semantic segmentation 모델인 U-Net과 DeepLab V3를 사용하여 제안된 방법과 비교하였다. 표 1은 비교된 3개의 방식과 제안된 모델의 성능 통계인데, 제안된 방식이 IoU 0.934 ± 0.031로 기존방법보다 우수한 성능을 보였다.

참고문헌 (21)

Z. Cai, Q. Fan, R. S. Feris, and N. Vasconcelos, "A unified multi-scale deep convolutional neural network for fast object detection," in European Conference on Computer Vision, pp. 354-370, 2016.
T. Bengio, A. Courville, and P. Vincent "Representation learning: A review and new perspectives," IEEE transactions on pattern analysis and machine intelligence, vol. 35, no. 8, pp. 1798-1828, 2013.

상세보기
X. Glorot, A. Bordes, and Y. Bengio, "Deep sparse rectifier neural networks," in Proceedings of the fourteenth international conference on artificial intelligence and statistics, pp. 315-323, 2011.
S. Ren, K. He, R. Girshick, and J. Sun, "Faster r-cnn: Towards real-time object detection with region proposal networks," in Advances in neural information processing systems, pp. 91-99, 2015.
J. Zhang and H.-H. Nagal, "Texture-based segmentation of road images," Proceedings of the Intelligent Vehicles Symposium, 1994.
S. Beucher and M. Bilodeau, "Road segmentation and obstacle detection by a fast watershed transformation," Proceedings of the Intelligent Vehicles '94 Symposium, 1994.
X. Yu, S. Beucher, and M. Bilodeau, "Road tracking, lane segmentation and obstacle recognition by mathematical morphology," Proceedings of the Intelligent Vehicles '92 Symposium, 1992.
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You only look once: Unified, real-time object detection," in Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 779-788, 2016.
J. Long, F. Shelhamer, and T. Darrell "Fully convolutional networks for semantic segmentation," in Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 3431-3440, 2015.
G. L. Oliveira, W. Burgard, and T. Brox, "Efficient deep models for monocular road segmentation," IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2016.
G. Mattyus, S. Wang, S. Fidler, and R. Urtasun, "Hd maps: Fine-grained road segmentation by parsing ground and aerial images," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3611-3619, 2016.
D. Levi, N. Garnett, E. Fetaya, and I. Herzlyia, "StixelNet: A Deep Convolutional Network for Obstacle Detection and Road Segmentation," in British Machine Vision Conference, pp. 109.1-109.12, 2015.
V. Badrinarayanan, A. Kendall, and R. Cipolla, R. "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation," IEEE Transactions on Pattern Analysis & Machine Intelligence, vol. 12, pp. 2481-2495, 2017.
L. C. Chen, G. Papandreou, F. Schroff, and H. Adam, "Rethinking atrous convolution for semantic image segmentation," CoRR, abs/1706.05587, 2017.
K. He, G. Gkioxari, P. Dollar, and R. Girshick, "Mask r-cnn.," in Proceedings of the IEEE international conference on computer vision, pp. 2961-2969, 2017.
K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," in Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016.
O. Ronneberger, P. Fischer, and T. Brox, "U-net: Convolutional networks for biomedical image segmentation," in International Conference on Medical image computing and computer-assisted intervention, pp. 234-241, 2015.
K. He, X. Zhang, X. Ren, and J. Sun, "Delving deep into rectifiers: Surpassing human-level performance on imagenet classification," in Proceedings of the IEEE international conference on computer vision, pp. 1026-1034, 2015.
D. P. Kingma and J. Ba "Adam: A Method for Stochastic Optimization," International Conference on Learning Representations (ICLR), pp. 13-24, 2015.
S. Ioffe and C. Szegedy, "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shif," in International Conference on Machine Learning, pp. 448-456, 2015.
M. Cordts, M., Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, and B. Schiele, "The cityscapes dataset for semantic urban scene understanding," in Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 3213-3223, 2016.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증