[논문]합성곱 신경망을 이용한 아스팔트 콘크리트 도로포장 표면균열 검출

최윤수; 김종호; 조현철; 이창준

doi:10.11112/jksmi.2019.23.6.38

합성곱 신경망을 이용한 아스팔트 콘크리트 도로포장 표면균열 검출
Asphalt Concrete Pavement Surface Crack Detection using Convolutional Neural Network 원문보기

한국구조물진단유지관리공학회 논문집 = Journal of the Korea Institute for Structural Maintenance and Inspection, v.23 no.6, 2019년, pp.38 - 44

최윤수 (충북대학교 건축공학과) , 김종호 ((주) 로드텍) , 조현철 (경북전문대학교 항공전자정비과) , 이창준 (충북대학교 건축공학과)

초록
AI-Helper

본 연구에서는 아스팔트 콘크리트 도로포장의 표면균열 검출을 위해 합성곱 신경망을 이용하였다. 합성곱 신경망의 학습에 사용되는 표면균열 이미지 데이터의 양에 따른 합성곱 신경망의 성능향상 정도를 평가하였다. 사용된 합성곱 신경망의 구조는 5개의 층으로 구성되어있으며, 3×3 크기의 convolution filter와 2×2 크기의 pooling kernel을 사용하였다. 합성곱 신경망의 학습을 위해서 도로노면 조사 장비를 통해 구축된 국내 도로포장 표면균열 이미지를 활용하였다. 표면균열 이미지 데이터를 학습한 합성곱 신경망 모델의 표면균열 검출 정확도, 정밀도, 재현율, 미검출율, 과검출율을 평가하였다. 가장 많은 양의 데이터를 학습한 합성곱 신경망 모델의 표면균열 검출 정확도, 정밀도, 재현율은 96.6% 이상, 미검출율, 과검출율은 3.4% 이하의 성능을 나타내었다.

Abstract ▼ AI-Helper

A Convolution Neural Network(CNN) model was utilized to detect surface cracks in asphalt concrete pavements. The CNN used for this study consists of five layers with 3×3 convolution filter and 2×2 pooling kernel. Pavement surface crack images collected by automated road surveying equipment was used for the training and testing of the CNN. The performance of the CNN was evaluated using the accuracy, precision, recall, missing rate, and over rate of the surface crack detection. The CNN trained with the largest amount of data shows more than 96.6% of the accuracy, precision, and recall as well as less than 3.4% of the missing rate and the over rate.

주제어

표/그림 (12)

그림 Fig. 1 Schematic of CNN(Convolutional Neural Network) architecture
그림 Fig. 2 Example of convolution
그림 Fig. 3 Example of Max Pooling
그림 Fig. 4 The Architecture of CNN used in this study
그림 Fig. 5 Sample of Training and Test Data
표 Table 1 Parameter of CNN used in this study
표 Table 2 Composition of training and test data
그림 Fig. 6 Comparison of Classification Detection Accuracy, Precision, Recall for Test Data according to composition of Training Data
그림 Fig. 7 Comparison of Classification Detection Missing rate, Over rate for Test Data according to composition of Training Data
그림 Fig. 8 Accuracy, recall, and precision for the same amount of training data
그림 Fig. 9 Missing rate, over rate for the same amount of training data
표 Table 3 Classification performance of test data of CNN model with increase of training data size

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러나 아스팔트 콘크리트 표면균열 이미지 데이터는 한정적이기 때문에 적절한 복잡도를 갖는 CNN 모형을 사용해야 한다. 따라서 본 연구에서는 확보된 이미지 데이터양에 적정한 복잡도를 가지는 CNN 모형을 구축하였으며, 학습 데이터양에 따른 성능향상 정도를 평가하고자 한다.

제안 방법

국내 아스팔트 콘크리트 도로포장에 대한 유지관리는 자동 포장상태 조사장비에 의해 수집되는 노면 영상을 분석하고, 결함정도를 파악하여 보수시기, 보수방법 등을 결정하게 된다. 도로포장 표면결함에 대한 분석은 조사된 노면 영상을 특정 크기의 격자 형태로 분할하여 육안점검을 통해 결함을 포함하는 격자를 판별하고, 결함 격자수를 전체 격자수로 나눈 값을 해당 노면 영역의 균열율로 판단한다.
국내 아스팔트 콘크리트 도로포장에 대한 유지관리는 자동 포장상태 조사장비에 의해 수집되는 노면 영상을 분석하고, 결함정도를 파악하여 보수시기, 보수방법 등을 결정하게 된다. 도로포장 표면결함에 대한 분석은 조사된 노면 영상을 특정 크기의 격자 형태로 분할하여 육안점검을 통해 결함을 포함하는 격자를 판별하고, 결함 격자수를 전체 격자수로 나눈 값을 해당 노면 영역의 균열율로 판단한다. 국내 아스팔트 콘크리트 도로포장 자동노면 조사장비의 예로 KRISS(Korea Roadway Infrastructure Survey System)는 3.
합성곱 신경망 모델의 layer 수만큼 Convolutional Layer와 Pooling 과정을 반복하여 특징 벡터를 도출한다. 도출된 특징 벡터를 FCNN(Fully-Connected Neural Network)의 입력값으로 활용하여 FCNN을 통해 초기 예측된 출력값을 산출한다. 최종적으로, 예측된 출력값과 실제 레이블 값의 차이를 통해 모델의 정확도를 측정하는 비용 함수(Loss Function)를 사용하여 loss값을 산출한다(Bengio et al.
이미지 변환의 방법에는 잘라내기, 회전, 뒤집기, 밀기, 크기변환 등이 있다. 본 연구에서 원본 데이터를 90도, 180도, 270도 회전시켜 데이터의 양을 증진시켰다.
본 연구에서는 합성곱 신경망의 학습에 사용되는 원본 학습 이미지 데이터양의 증진과 이미지 변환을 통해 학습 데이터의 양을 증진시켰을 때의 성능지표 변화를 확인하였다. 학습에 사용되는 데이터 양의 증진은 합성곱 신경망의 성능을 향상시키는 것을 확인하였다.
앞선 이론적 배경을 바탕으로 합성곱 신경망 모델을 구축하였으며, 학습 데이터의 양을 일정 크기(batch size)로 나누어 학습하는 Mini-batch(Keskar et al., 2016)와 배치 정규화(Batc- -h Normalization)(Loffe and Szegedy, 2015)를 적용하여 학습 성능 및 속도를 향상시켰다. 본 연구의 합성곱 신경망 모델에 적용한 Filter size, stride size, batch size 등을 Table 1에 정리하였으며, 학습 알고리즘은 경사하강법을 사용하였다.
따라서 정확한 분류 검출기의 성능에 대한 지표는 정확도를 더해 정밀도와 재현율이 활용된다(Powers 2011). 일반적으로 아스팔트 콘크리트 도로포장 표면결함은 불균등하게 균열이 분포되어있으므로 균열 검출 정확도와 정밀도, 재현율의 성능을 확인하였으며, 추가적으로 미검출율과 과검출율에 대한 성능을 확인하였다.
6m, 길이 10m에 해당하며, 학습 및 시험 데이터는 조사된 노면 영상 데이터를 폭 300mm, 길이 300mm의 크기로 분할한 300x300 픽셀의 이미지이다. 학습 및 시험 데이터의 구성은 표면균열 발생 여부에 따라 균열과 비균열 데이터로 나눠 구축하였다. Fig.
학습된 합성곱 신경망 모델의 성능평가는 시험 데이터에 대한 균열 검출 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), 미검출율(Missing Rate), 과검출율(Over Rate)을 산출을 통해 진행하였다.
합성곱 신경망 모델을 이용한 아스팔트 콘크리트 도로포장 표면균열 검출에 대한 실험은 각기 다른 학습 데이터 구성을 학습한 합성곱 신경망 모델을 통해 같은 시험 데이터에 대한 검출 성능평가를 수행하였다. 시험 데이터에 대한 성능 평가 결과는 Table 3과 같다.

대상 데이터

본 연구의 학습 데이터는 4개 지역의 국도 영상 데이터를 활용하였으며, 시험 데이터의 경우 학습 데이터에 포함되지 않은 1개 지역의 국도 영상 데이터를 활용하였다. KRISS 장비를 통해 조사된 노면 영상 데이터의 크기는 폭 3.6m, 길이 10m에 해당하며, 학습 및 시험 데이터는 조사된 노면 영상 데이터를 폭 300mm, 길이 300mm의 크기로 분할한 300x300 픽셀의 이미지이다. 학습 및 시험 데이터의 구성은 표면균열 발생 여부에 따라 균열과 비균열 데이터로 나눠 구축하였다.
, 2017; Gopalakrishnan, 2018). 대부분의 연구에서 십여개 미만의 신경망 층을 갖는 CNN 모델을 활용하였으며, 수천~수십만개 정도의 데이터를 학습에 사용하였다. 기존연구의 CNN 모델들은 복잡도에 비해 모델 학습 시 상대적으로 적은 양의 데이터를 사용하였기 때문에 충분한 성능 을 나타내지 못하는 것으로 보인다.
본 연구에서 학습 및 시험 데이터로 활용된 아스팔트 콘크리트 도로포장 영상 데이터는 국내 5개 지역의 국도에서 KRISS 장비를 통해 조사된 데이터이다. 학습 및 시험 데이터는 같은 모집단에서 7:3 혹은 8:2의 비율에 맞게 나누어 구축하는 것이 일반적이나, 본 연구의 학습 및 시험 데이터는 같은 모집단에서 구축하지 않았다.
본 연구에서는 학습 데이터의 양에 따른 합성곱 신경망 모델의 성능변화를 확인하기 위해 6개의 학습 데이터 세트를 구성하였다. 학습 데이터 및 시험 데이터 세트의 구성은 Table 2와 같다.
학습 및 시험 데이터는 같은 모집단에서 7:3 혹은 8:2의 비율에 맞게 나누어 구축하는 것이 일반적이나, 본 연구의 학습 및 시험 데이터는 같은 모집단에서 구축하지 않았다. 본 연구의 학습 데이터는 4개 지역의 국도 영상 데이터를 활용하였으며, 시험 데이터의 경우 학습 데이터에 포함되지 않은 1개 지역의 국도 영상 데이터를 활용하였다. KRISS 장비를 통해 조사된 노면 영상 데이터의 크기는 폭 3.

이론/모형

, 2016)와 배치 정규화(Batc- -h Normalization)(Loffe and Szegedy, 2015)를 적용하여 학습 성능 및 속도를 향상시켰다. 본 연구의 합성곱 신경망 모델에 적용한 Filter size, stride size, batch size 등을 Table 1에 정리하였으며, 학습 알고리즘은 경사하강법을 사용하였다. 모델의 구조는 Fig.

성능/효과

학습에 사용되는 데이터 양의 증진은 합성곱 신경망의 성능을 향상시키는 것을 확인하였다. 가장 많은 수의 데이터로 구축된 TA96000을 학습에 사용하였을 경우 합성곱 신경망의 표면균열 검출 정확도, 정밀도, 재현율은 96.6% 이상, 미검출율, 과검출율은 3.4% 이하의 우수한 성능을 나타내었다.
Table 3을 통해 알 수 있듯이 학습 데이터의 양이 증가됨에 따라 모든성능지표가 향상되는 것을 확인할 수 있다. 특히낮은 수치일수록 우수한 성능인 과검출율 및 미검출율의 감소 폭은 크게 발생하는 것을 확인할 수 있다. 예를 들어 T6000과 TA96000을 학습한 합성곱 신경망의 과검출율과 미검출율을 비교하였을 때 각각 약2배 및 4배 이상의 차이를 나타내는 것을 확인할 수 있다.
본 연구에서는 합성곱 신경망의 학습에 사용되는 원본 학습 이미지 데이터양의 증진과 이미지 변환을 통해 학습 데이터의 양을 증진시켰을 때의 성능지표 변화를 확인하였다. 학습에 사용되는 데이터 양의 증진은 합성곱 신경망의 성능을 향상시키는 것을 확인하였다. 가장 많은 수의 데이터로 구축된 TA96000을 학습에 사용하였을 경우 합성곱 신경망의 표면균열 검출 정확도, 정밀도, 재현율은 96.

후속연구

검출 성능 확인을 통해 아스팔트 콘크리트 도로포장 표면 균열 검출 방식에 있어 합성곱 신경망의 활용 가능성을 확인하였으며, 향후 아스팔트 콘크리트 도로포장의 표면결함종류에 따른 이미지 데이터를 확보하여 합성곱 신경망의 학습에 활용된다면, 표면결함의 종류에 따른 분류 또한 가능할 것으로 기대된다.
그림에서 볼 수 있듯이 원본 이미지 데이터 세트(T12000, T24000)와 이미지 변환방식을 사용하여 학습 데이터의 양을 증진시킨 데이터 세트(TA12000, TA24000)에 따른 합성곱 신경망 모델의 균열 검출 성능의 차이는 크게 발생되지 않음을 알 수 있다. 따라서 이미지 변환방식을 사용하여 데이터의 양을 증진시키는 방법은 합성곱 신경망 모델의 균열 검출 성능 향상을 위해 유용하게 사용될수 있다고 판단된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	합성곱 신경망의 구조는?	합성곱 신경망의 구조는 Fig. 1과 같이 크게 Convolution Layer와 Pooling 과정이 포함된 특징 학습 신경망 부분(Featu- -re Learning)과 레이블에 따른 분류를 수행하는 분류 신경망 (Classification) 부분으로 나뉜다(Wu 2017; Choi 2019).
	합성곱 신경망이란 무엇인가?	합성곱 신경망은 임의의 필터를 통해 영상 데이터에 대한 특징을 추출하여 동일한 레이블을 지닌 데이터들의 공통적인 특징에 대해 학습을 진행하는 인공신경망이다.
	본 연구로 확인된 이미지 변환방식에 따른 합성곱 신경망 모델의 검출 성능차이는?	합성곱 신경망 학습에 있어서 원본 이미지 데이터를 사용한 경우와 이미지 변환을 통해 동일한 양으로 구축한 데이터 세트를 사용한 경우 합성곱 신경망의 표면균열 검출 성능 차이가 크게 발생되지 않았다. 따라서 이미지 변환방식은 합성곱 신경망 모델의 성능향상을 위한 데이터양의 증진 방법으로 유용하게 사용할 수 있다.

참고문헌 (19)

Zhang, L.; Yang, F.; Zhang, Y.D.; Zhu, Y.J. (2016), Road crack detection using deep convolutional neural network, In Proceedings of the 2016 IEEE International Conference on Image Processing (ICIP), Phoenix, AZ, USA, 25--28 September 2016; pp. 3708-3712.
FENG, C.; Liu, M.-Y.; Kao, C.-C.; Lee, T.-Y. (2017), Deep Active Learning for Civil Infrastructure Defect Detection and Classification, International Workshop on Computing in Civil Engineering (IWCCE), pp. 298-306.
Eisenbatch, Markus, et al. (2017), How to get pavement distress detection ready for deep learning? A systematic approach, 2017 international joint conference on neural networks (IJCNN). IEEE, pp. 2039-2047.
Loffe, S.; Szegedy, C. (2015), Batch normalization: Acceleration deep network training by redusing internal covariate shift, arXiv preprint arXiv: 1502.03167.
Pauly, L.; Hogg, D.; Fuentes, R.; Peel, H. (2017), Deeper networks for pavement crack detection, In Proceedings of the 34th International Symposium on Automation and Robotics in Construction (ISARC). IAARC, pp. 479-485.
Wu, J. (2017), Introduction to convolutional neural networks. National Key Lab for Novel Software Technology, Nanjing University. China, 5-23.
Keskar, N. S.; Mudigere, D.; Nocedal, J.; Smelyanskiy, M.; Tang, P. T. P. (2016), On large-batch training for deep learning: Generalization gap and sharp minima, arXiv preprint arXiv; 1609.04836.
Ruder, S. (2016). An overview of gradient descent optimization algorithms, arXiv preprint arXiv: 16090.04747.
Gopalakrishnan, K. (2018). Deep Learning in Data-Driven Pavement Image Analysis and Automated Distress Detection: A Review. Data 3(3), 28.

상세보기
Kim, J. H.; Kim, J. R.; Moon, H. C. (2008), Development of Pavement Distress Survey System, Journal of Korean Society of Road Engineers (KSRE), pp. 475-484.
Choi, Y. S. (2019), Concrete Surface Defect Detection using Convolutional Neural Network, Department of Architectural Engineering Graduate School, Chungbuk National University.
Radford, A.; Metz, L.; Chintala, S. (2015), Unsupervised representation learning with deep convolutional generative adversarial networks, arXiv preprint arXiv:1511.06434.
Powers, D. M. (2011), Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation.
Bengio, Y.; Goodfellow, I. J.; Courville, A. (2015), Deep learning, book in preparation for mit press, Disponivel em http://www.iro.umontreal.ca/bengioy/dlbook.
Goodfellow, I.; Bengio, Y.; Courville, A. (2016), Deep learning, MIT press, pp. 321-362.
Hu, J.; Shen, L.; Sun, G.; (2018). Squeeze-and-excitation networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 7132-7141).
Rababaah, H.; Vrajitoru, D.; Wolfer, J. (2005), Asphalt pavement crack classification: a comparison of GA, MLP, and SOM, In Proceedings of Genetic and Evolutionary Computation Conference, Late-Breaking Paper.
Koch, C.; Brilakis, I; (2011), Pothole detection in asphalt pavement images, Advanced Engineering Informatics, 25(3), pp. 507-515.

상세보기
Sorncharean, S.; Phiphobmongkol, S. (2008), Crack detection on asphalt surface image using enhanced grid cell analysis, In 4th IEEE International Symposium on Electronic Design, Test and Applications (delta 2008), pp. 49-54.

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증