[논문]Real-time Segmentation of Black Ice Region in Infrared Road Images

Li, Yu-Jie; Kang, Sun-Kyoung; Jung, Sung-Tae

doi:10.9708/jksci.2022.27.02.033

Real-time Segmentation of Black Ice Region in Infrared Road Images 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.27 no.2, 2022년, pp.33 - 42

Li, Yu-Jie (School of Compute Science, Weifang University of Science and Technology, Dept. of Computer and Software Engineering, Wonkwang University) , Kang, Sun-Kyoung (Dept. of Computer and Software Engineering, Wonkwang University) , Jung, Sung-Tae (Dept. of Computer and Software Engineering, Wonkwang University)

초록
AI-Helper

본 논문에서는 운전자한테 실시간으로 블랙 아이스 경고를 보내기 위해서 도로 영상에서 블랙 아이스 영역 분할을 위한 다중 척도 팽창 컨볼루션 특징 융합에 기반한 딥러닝 모델을 제안한다. 제안한 다중척도 팽창 컨볼루션 특징 융합 네트워크는 인코더 블록에 서로 다른 팽창 비율 컨볼루션을 병렬로 추가하고, 서로 다른 해상도 특징 맵에서 서로 다른 팽창 비율을 설정하고, 다중 단계 특징 정보가 함께 융합된다. 다중 척도 팽창 컨볼루션 특징 융합은 수용 영역을 확장함과 동시에 공간의 세부 정보를 잘 보존하고 팽창 컨볼루션의 효과성을 높임으로써 기존 모델보다 성능을 향상시킨다. 실험 결과를 통해 본 논문 제안한 네트워크 모델은 병렬 평창 컨볼루션 수가 증가함에 따라 성능이 향상되는 것을 알 수 있었다. 제안한 방법의 mIoU 값은 96.46%로 U-Net, FCN, PSPNet, ENet, LinkNet 등 기존 네트워크보다 높았다. 그리고 파라미터는 1,858K개로, 기존 LinkNet모델보다 6배로 축소하였다. Jetson Nano에서 실험 결과 보면, 제안한 방법의 FPS는 3.63로 실시간으로 블랙 아이스 영역을 실시간으로 분할 할 수 있었다.

Abstract ▼ AI-Helper

In this paper, we proposed a deep learning model based on multi-scale dilated convolution feature fusion for the segmentation of black ice region in road image to send black ice warning to drivers in real time. In the proposed multi-scale dilated convolution feature fusion network, different dilated ratio convolutions are connected in parallel in the encoder blocks, and different dilated ratios are used in different resolution feature maps, and multi-layer feature information are fused together. The multi-scale dilated convolution feature fusion improves the performance by diversifying and expending the receptive field of the network and by preserving detailed space information and enhancing the effectiveness of diated convolutions. The performance of the proposed network model was gradually improved with the increase of the number of dilated convolution branch. The mIoU value of the proposed method is 96.46%, which was higher than the existing networks such as U-Net, FCN, PSPNet, ENet, LinkNet. The parameter was 1,858K, which was 6 times smaller than the existing LinkNet model. From the experimental results of Jetson Nano, the FPS of the proposed method was 3.63, which can realize segmentation of black ice field in real time.

주제어

표/그림 (15)

그림 Fig. 1. Black Ice Road
그림 Fig. 2. The Module of Black Ice Semantic Segmentation Network Training
그림 Fig. 3. The Module of Black Ice Semantic Segmentation and Warning
표 Table 1. Experimental Comparison of Segmentation Accuracy for Classical Network Models
그림 Fig. 4. The Proposed Network Architecture
그림 Fig. 5. Dilated Convolution
그림 Fig. 6. Encoder-block（j）
그림 Fig. 7. Decoder_block(j)
표 Table 2. Channel sizes of Input and output feature maps of Decoder Block
그림 Fig. 8. The Environment of Taking Images of Infrared Road Black Ice Experiment
그림 Fig. 9. The Samples of Asphalt Road(Left) and Cement Road(Right)
그림 Fig. 10. Examples of Infrared Road Black Ice Image in Different Cases
표 Table 3. The Number of Infrared Black Ice Road Image
표 Table 4. Experimental Results for Black Ice Dataset
표 Table 5. Experimental Results on Jetson Nano

AI 본문요약
AI-Helper

가설 설정

2) 블랙 아이스의 심각 정도에 대해서는 판단할 수 없으며 블랙아이스의 유무만을 간단히 판단할 뿐 블랙 아이스 지역의 면적을 계량화하지 않다.

제안 방법

네트워크의 학습 과정에서는 매개 변수 초기화와 데이터 선택 등에서 무작위 선택을 사용하기 때문에 학습할 때마다 네트워크 매개 변수가 달라지고 네트워크 성능도 약간씩은 달라진다. 따라서 본 논문에서는 10번 학습과 테스트 과정을 반복하고 결과의 평균값을 사용함으로써 보다 안정적인 결과 값을 산출할 수 있도록 하였다.
또한 팽창 컨볼루션 병렬 연결에 따라 네트워크 크기가 커지는 것을 방지하기 위하여 인코더 블록 시작부에 입력 채널 크기를 먼저 2분의1로 축소한 다음에 컨볼루션 작업을 진행하였다. 다운샘플링으로 인한 열화 도로 이미지의 공간 세부 정보 손실을 방지하기 위하여 디코더에서 전치된 컨볼루션 및 인코더의 특징 맵과의 연결을 통하여 열화 도로 블랙 아이스 이미지를 블랙 아이스 영역의 정확한 분할을 가능하게 한다.
본 논문에서는 열화상 카메라를 사용하여 임베디드 에지 장치에서 블랙 아이스 영역을 실시간으로 정확하게 분할하는 것을 주요 문제로 삼고, 열화 도로 블랙 아이스 데이터셋을 구축하며, 딥러닝 방법을 사용하여 작은 크기의 블랙 아이스 분할 네트워크 모델을 만든 다음에 Jetson Nano 보드에서 블랙 아이스 분할 네트워크를 배치하여 실시간으로 이미지 수집하여 블랙 아이스 영역 분할해서 블랙 아이스 등급 경고 신호를 제공하도록 하였다.
그러나 다중 척도 정보는 경계가 모호한 상황을 해결하고 보다 강건한 추출 결과를 낳는 데 도움이 될 것이다. 특히 열화상 이미지는 가시광선 이미지에 비해 경계가 희미하고 명암대비가 약한 특징이 있기 때문에 본 논문에서 서로 다른 팽창 비율을 가진 여러 개의팽창 컨볼루션 레이어를 병렬로 연결하여 다중 척도 정보를 포착한다. 또한 인코더 블록의 단계별로 특징 맵의 크기가 작아질 때 팽창 비율도 함께 작아지게 하여 적절한 수용 영역이 유지되도록 한다.

대상 데이터

본 논문의 실험은 다음과 같은 플랫폼에서 진행하였다. 딥러닝 모델 학습에 사용한 운영체제는 Ubuntu18.04LTS 이고, GPU는 11GB의 메모리가 장착된 NVIDIA GeForce RTX2080ti이고 사용한 딥러닝 프레임 워크는 Keras 및 TensorFlow이다.
본 논문에서 제시한 네트워크의 디코더 부분은 전치된컨볼루션을 사용하여 특징 맵의 해상도를 36x48에서 576x768로 복원한다. 본 논문에서 사용하는 디코더 블록의 구조는 그림 7과 같다.
제안된 인코더 블록에서는 병렬 팽창 컨볼루션을 사용하여 특징을 직렬 연결하므로 병렬 레이어 수가 많으면 특징 맵의 차원이 너무 크고 연산 량이 증가하는 문제가 발생하므로 제안한 네트워크 구조는 계산 량을 줄이기 위해각 인코더 블록 시작 부분에 채널 크기를 절반으로 줄이는컨볼루션 레이어를 사용한다.

이론/모형

본 논문에서는 분할된 결과와 실제 값의 양자의 교집합과 병합의 비율로 정의되는 mIoU(Mean Intersection Over Union) 지표를 사용하여 블랙 아이스 영역 검출 정확도를 판단하였으며, 그 계산 공식은 다음 식 2와 같다.
실험에서 배치 크기는 8로, epoch는 100으로 설정하였다. 학습 과정에서 손실함수로 교차 엔트로피 손실을 사용하였으며, 최적화기로는 Adam 최적화기를 사용하였다. 네트워크의 학습 과정에서는 매개 변수 초기화와 데이터 선택 등에서 무작위 선택을 사용하기 때문에 학습할 때마다 네트워크 매개 변수가 달라지고 네트워크 성능도 약간씩은 달라진다.

성능/효과

Table 4의 블랙 아이스 영역 분할 결과를 보면, 본 논문에서 제안한 여러 가지 네트워크의 블랙 아이스 영역 분할 mIoU 값이 U-Net, FCN, PSPNet, ENet, LinkNet 등 기존의 영상 분할 모델 비하여 모두 향상된 것을 볼 수 있다. 또한 인코더 블록에서 병렬 컨볼루션의 수가 증가하여 수용 영역이 다양화될수록 mIoU 값이 향상되는 것을 볼 수 있으며 9개의 병렬 컨볼루션을 사용한 BINet_P9 네트워크의 mIoU 값이 96.
46%로 가장 높았다. 기존의 영상 분할 모델인 U-Net, FCN, PSPNet, ENet, LinkNet을 열화 도로 블랙 아이스 영상에 대해 학습한 모델에 비하여 본 논문에서 제안된 모델의 크기도 작고 성능도 우수하였으며, Jetson Nano 시스템에서 본 논문에서 제안된 모델은 블랙 아이스 영역을 분할 속도도 더 빠르다는 것을 확인할 수 있었다.
또한 팽창 컨볼루션 병렬 연결에 따라 네트워크 크기가 커지는 것을 방지하기 위하여 인코더 블록 시작부에 입력 채널 크기를 먼저 2분의1로 축소한 다음에 컨볼루션 작업을 진행하였다. 다운샘플링으로 인한 열화 도로 이미지의 공간 세부 정보 손실을 방지하기 위하여 디코더에서 전치된 컨볼루션 및 인코더의 특징 맵과의 연결을 통하여 열화 도로 블랙 아이스 이미지를 블랙 아이스 영역의 정확한 분할을 가능하게 한다.
Table 4의 블랙 아이스 영역 분할 결과를 보면, 본 논문에서 제안한 여러 가지 네트워크의 블랙 아이스 영역 분할 mIoU 값이 U-Net, FCN, PSPNet, ENet, LinkNet 등 기존의 영상 분할 모델 비하여 모두 향상된 것을 볼 수 있다. 또한 인코더 블록에서 병렬 컨볼루션의 수가 증가하여 수용 영역이 다양화될수록 mIoU 값이 향상되는 것을 볼 수 있으며 9개의 병렬 컨볼루션을 사용한 BINet_P9 네트워크의 mIoU 값이 96.46%로 최고 성능을 보였다. 네트워크의 파라미터 크기를 보면, BINet_P2는 492K에 불과하며, LinkNet의 11, 555K보다 23배로 축소할 뿐 아니라 mIoU 값도 향상되는 것을 알 수 있다.
본 논문에서 제안한 네트워크 모델과 고전적인 모델은 구축된 열화 도로 블랙 아이스 데이터 세트에서 평가 비교하고, 실험 결과를 통해 본 논문에서 제안한 네트워크는 병렬팽창 컨볼루션의 수가 증가하여 수용 영역이 다양화될수록 mIoU 값이 향상되는 것을 확인할 수 있으며 9개의 병렬 팽창 컨볼루션을 사용한 BINet_P9 네트워크가 mIoU 값이 96.46%로 가장 높았다. 기존의 영상 분할 모델인 U-Net, FCN, PSPNet, ENet, LinkNet을 열화 도로 블랙 아이스 영상에 대해 학습한 모델에 비하여 본 논문에서 제안된 모델의 크기도 작고 성능도 우수하였으며, Jetson Nano 시스템에서 본 논문에서 제안된 모델은 블랙 아이스 영역을 분할 속도도 더 빠르다는 것을 확인할 수 있었다.
본 논문에서 제안한 다중 척도 팽창 컨볼루션 특징 융합네트워크는 인코더 블록에 서로 다른 팽창 비율 컨볼루션을병렬로 추가함으로써 수용 영역을 확장함과 동시에 다층 특징 정보를 융합하여 공간의 세부 정보를 보존하고, 서로 다른 해상도 특징 맵에서 서로 다른 팽창 비율을 설정하는 방식을 사용하여 팽창 컨볼루션의 유효성을 보장하였다.

참고문헌 (23)

2021 Edition (Statistics for 2020) Traffic Accident Statistical Analysis Report, Road Traffic Authority(KoROAD).
G. Y. Park, S. H. Lee, E. J. Kim, and B. Y. Yun, "A Case Study on Meteorological Analysis of Freezing Rain and Black Ice Formation on the Load at Winter," Journal of Environmental Science International, Vol. 26, No. 7, pp. 827-836, Jun. 2017. DOI: 10.5322/JESI.2017.26.7.827

원문보기 상세보기
https://m.post.naver.com/viewer/postView.nhn?volumeNo30470274&memberNo652228
O. P. Ghim and T. F. Fwa, "Mechanistic Interpretation of Braking Distance Specifications and Pavement Friction Requirements," Journal of the Transportation Research Board, Vol 2155, pp.145-157, Jul. 2010. DOI:10.3141/2155-16.

상세보기
Korea Traffic Accident Analysis System [Internet]. Available: http://taas.koroad.or.kr/.
R. Omer, and L. Fu, "An Automatic Image Recognition System For Winter Road Surface Condition Classification," International IEEE Conference on Intelligent Transportation Systems. pp.1375-1379, Nov. 2010.
S. Y. Tan, J. F. Ge, L. Ye and K. Gui, "Road surface icing detecting system based on multiple sensor", Transducer and Microsystem Technologies, Vol. 35, No. 1, pp.107-109, Apr. 2016. DOI: 10.13873/J.1000-9787(2016)01-0107-03.
Q. Li, Y. W. Ji, and Z. P. Wang, "Design of Road Icing Detection System Based on Opencv+Python," Journal of Shaanxi University of Science & Technology(Natural Science Edition), Vol. 35, No. 2, pp. 158-164, Apr. 2017. DOI:10.19481/j.cnki.issn1000-5811.2017.02.030.
Y. E. Abdalla, M. T. Iqbal and M. Shehata, "Black Ice detection system using Kinect," 2017 IEEE 30th Canadian Conference on Electrical and Computer Engineering (CCECE), pp. 1-4, Aug. 2017. DOI: 10.1109/CCECE.2017.7946722.
H. Lee, K. Hwang, M. Kang, and J. Song, "Black ice Detection Using CNN for the Prevention of Accidents in Automated Vehicle," International Conference on Computational Science and Computational Intelligence (CSCI), pp. 1189-1192, Jun. 2020. DOI:10.3390/electronics9122178

상세보기
Y. C. Du, X. M. Zhang, C. L. Liu and X. Liu, "Visibility Analysis for Freeway Based on Comparison of Ordinary and Infrared Images," Journal of Transportation Systems Engineering and Information Technology, Vol.16 No.4, pp. 73-78, Aug. 2016. DOI:1009-6744(2016)04-0073-06.
J. Long, E. Shelhamer and T. Darrell, "Fully convolutional networks for semantic segmentation," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 3431-3440, Mar. 2015. DOI: 10.1109/CVPR.2015.7298965.
M. Everingham,, S.M.A. Eslami, L. Van Gool, et al. "The PASCAL Visual Object Classes Challenge: A Retrospective," International Journal of Computer Vision, Volume 111, pp. 98-136, Jan. 2015. DOI: 10.1007/s11263-014-0733-5.

상세보기
O. Ronneberger, P. Fischer, and T. Brox, "U-Net: Convolutional Networks for Biomedical Image Segmentation," International Conference on Medical Image Computing and Computer-Assisted Intervention(MICCAI), pp. 234-241, May. 2015. DOI: 10.1007/978-3-319-24574-4_28.
H. Zhao, J. Shi, X. Qi, X. Wang and J. Jia, "Pyramid Scene Parsing Network," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 6230-6239, Apr. 2017. DOI: 10.1109/CVPR.2017.660.
L. -C. Chen, G. Papandreou, I. Kokkinos, K. Murphy and A. L. Yuille, "DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 40, No. 4, pp. 834-848, Apr. 2018. DOI: 10.1109/TPAMI.2017.2699184.

상세보기
K. He, X. Zhang, S. Ren and J. Sun, "Deep Residual Learning for Image Recognition," 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, Dec. 2015. DOI: 10.1109/CVPR.2015.90.
L Chen, Y. Zhu, G. Papandreou, F. Schroff, and H. Adam, "Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation," European Conference on Computer Vision(ECCV), pp. 883-851, Feb. 2018. DOI: 10.1007/978-3-030-01234-2_49.
F. Chollet, "Xception: Deep Learning with Depthwise Separable Convolutions," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1800-1807. Apr. 2017. arXiv:1610.02357v3
F. Yu, and V. Koltun, "Multi-Scale Context Aggregation by Dilated Convolutions," ICLR, Nov. 2015. arXiv:1511.07122.
A. Paszke, A. Chaurasia, S. Kim, and E. Culurciello, "ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation," Jun. 2016. arXiv:1606.02147
A. Chaurasia and E. Culurciello, "LinkNet: Exploiting encoder representations for efficient semantic segmentation," IEEE Visual Communications and Image Processing, pp. 1-4, Dec. 2017. DOI: 10.1109/VCIP.2017.8305148
Y. J. Li, and S. K. Kang. "A Black Ice Recognition in Infrared Road Images Using Improved Lightweight Model Based on MobileNetV2," Journal of the Korea Institute of Information and Communication Engineering, Vol 25, No. 12, pp. 1835-1845. Dec. 2021. DOI: 10.6109/jkiice.2021.25.12.1835

원문보기 상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증