[논문]합성곱 신경망을 사용한 화물차의 차종분류

이동규

doi:10.22156/cs4smb.2018.8.6.375

합성곱 신경망을 사용한 화물차의 차종분류
Classification of Trucks using Convolutional Neural Network 원문보기

융합정보논문지 = Journal of Convergence for Information Technology, v.8 no.6, 2018년, pp.375 - 380

이동규 (신한대학교 IT융합공학부)

초록
AI-Helper

본 논문에서는 화물차 차종을 분류하기 위해서 특징추출단계 없이 입력영상으로부터 차종분류결과를 얻을 수 있는 합성곱 신경망을 사용한 분류방법을 제안한다. 차량의 위에서 촬영된 영상을 입력으로 사용하고 입력영상에 적합한 합성곱 신경망의 구조를 설계한다. 차종과 화물칸의 형태에 따라 차종을 자동 분류하기 위한 학습데이터를 생성하고 지도학습의 형태로 학습시키기 위해 분류된 영상과 올바른 출력결과를 제시하여 신경망의 가중치를 학습시킨다. 실제 영상을 입력하여 합성곱 신경망의 출력을 계산하였고 실제 차종과의 비교를 통해 분류 성능을 평가 하였다. 실험결과 화물의 차종과 적재함의 형태에 따라 90%이상의 정확도로 영상을 분류할 수 있었고, 적재불량 검사의 사전 분류에 활용될 수 있다.

Abstract ▼ AI-Helper

This paper proposes a classification method using the Convolutional Neural Network(CNN) which can obtain the type of trucks from the input image without the feature extraction step. To automatically classify vehicle images according to the type of truck cargo box, the top view images of the vehicle are used as input image and we design the structure of the CNN suitable for the input images. Learning images and correct output results is generated and the weights of neural network are obtained through the learning process. The actual image is input to the CNN and the output of the CNN is calculated. The classification performance is evaluated through comparison CNN output with actual vehicle types. Experimental results show that vehicle images could be classified with more than 90 percent accuracy according to the type of cargo box and this method can be used for pre-classification for inspecting loading defect.

주제어

표/그림 (7)

그림 Fig. 1. Convolution operation
그림 Fig. 2. 3x3 MaxPooling(stride=2, shadow region=pooling center)
그림 Fig. 3. Architecture of proposed CNN
그림 Fig. 4. the example of learning data (a) background, output=0 (b) car, output=1 (c) small truck, output=2 (d) large truck, output=3 (e) small van, output=4 (f) large van, output=5
표 Table 1. Classification category and learning data
그림 Fig. 5. (a) Input Image (b) Output value of softmax (c) 6 feature map of Conv1
표 Table 2. Classification result

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 고속도로 진입로에 설치된 카메라를 통해 차량의 윗부분에서 촬영된 차량 영상을 취득하고, 합성곱 신경망을 통해 차량의 검출과 차종의 구분, 화물칸의 모양과 형태를 분류함으로써 적재불량 대상차종을 자동 분류할 수 있는 알고리즘을 제시한다.

제안 방법

배경과 입력영상의 차이 값을 구할 필요가 없도록 하고 배경에 있는 에지나 물체 등의 특징 값은 차량의 분류에서 제외하기 위해 차량이 없는 배경영상을 하나의 출력 값으로 할당하였다. 주간의 배경과 야간의 배경의 변화를 반영할 수 있도록 하기 위해 다양한 조건에서의 배경영상을 사용하였다.
Table 2는 학습데이터로 학습한 필터와 가중치를 사용하여 실제 차량영상을 분류한 결과이다. 분류된 결과에 따라 입력영상을 저장하고, 육안으로 판정한 실제 차종과 비교하여 정상 분류된 결과를 구했다. 적재불량 검사에 포함되는 일반 화물차를 분류하는 것이 목표이므로 승용차, 소형트럭, 대형트럭, 소형탑차/특장차, 대형탑차/특장차 등으로 분류하였다.
분류된 결과에 따라 입력영상을 저장하고, 육안으로 판정한 실제 차종과 비교하여 정상 분류된 결과를 구했다. 적재불량 검사에 포함되는 일반 화물차를 분류하는 것이 목표이므로 승용차, 소형트럭, 대형트럭, 소형탑차/특장차, 대형탑차/특장차 등으로 분류하였다. 화물칸의 적재물이 보이는 차종과 보이지 않는 특수차량을 구분하도록 한 결과이다.
지도학습의 형태를 사용하여 최종출력과 정답을 비교하여 오차를 계산하고 역전파알고리즘(backpropagation)에 따라 전결합 층의 가중치와 합성곱 층의 필터계수를 갱신한다. 학습 결과의 검증을 위해 검증데이터를 생성하고 1회의 학습 후에 검증데이터에 대한 분류결과가 정답과 일치하는지를 확인하며 학습을 반복한다. 모든 학습데이터에 대한 가중치 갱신과정과 검증데이터에 대한 검증과정을 1 에포크(epoch)라고 하며, 학습과 검증과정을 반복하여 올바를 결과가 나오도록 100 에포크 동안 학습과정을 반복하였다.
차량의 크기와 적재함의 형태에 따라 Table 1과 같이 배경을 포함하여 차종과 적재함의 종류를 6범주로 분류하도록 하였고 학습데이터에 이와 같은 영상과 함께 올바른 차종 분류 결과를 출력 값으로 설정한다. 학습 후에 차량의 영상을 입력하고 출력 층의 소프트 맥스에서 차종과 적재함의 형태에 따라 분류된 확률을 계산한다. Fig.
합성곱 층과 풀링층을 여러 층 사용하여 영상의 특징을 추출하고 다층의전결합 층을 사용하여 차종과 적재함의 형태를 구분하였다. 학습과정에서 배경영상을 학습데이터로 사용함으로써 입력영상과 배경영상의 차영상을 구하지 않고 차량영상만을 입력으로 사용하여 특징을 추출할 수 있었고 화물칸의 형태를 분류할 수 있었다. 다양한 차종의 학습데이터를 수집하여 학습시키면 분류성능을 개선할 수 있을 것으로 판단된다.
학습용 데이터의 생성을 위해 배경을 포함한 6개 범주로 입력영상을 분류하고 각 범주별로 20장의 학습데이터를 선택하였으며 각 영상의 올바른 분류결과에 해당하는 출력값을 정답으로 정의하였다. 지도학습의 형태를 사용하여 최종출력과 정답을 비교하여 오차를 계산하고 역전파알고리즘(backpropagation)에 따라 전결합 층의 가중치와 합성곱 층의 필터계수를 갱신한다.
딥 러닝을 이용한 영상 처리 방법인 CNN은 영상 처리 분야에서 다른 기계학습 방법들보다 뛰어난 성능을 보이고 있으며, 차량의 영상을 입력으로 하여 적재함의 상태를 분류하기 위해 사용할 수 있었다. 합성곱 층과 풀링층을 여러 층 사용하여 영상의 특징을 추출하고 다층의전결합 층을 사용하여 차종과 적재함의 형태를 구분하였다. 학습과정에서 배경영상을 학습데이터로 사용함으로써 입력영상과 배경영상의 차영상을 구하지 않고 차량영상만을 입력으로 사용하여 특징을 추출할 수 있었고 화물칸의 형태를 분류할 수 있었다.

대상 데이터

고속도로의 진입로에 설치된 1280*1024의 해상도를 가지는 카메라로부터 화물칸이 보이도록 차량을 위에서 바라 본 영상을 촬영한다. 영상의 특정 지점에 차량이 나타나면 이때의 영상을 저장하고 이 영상 중에서 차량과 관계없는 영역을 제거하고 1180x612크기의 영상을 CNN의 입력으로 사용한다.
본 논문에서 사용한 CNN은 Fig. 3과 같은 구조이며, 반복되는 4개의 합성곱 층과 최대 풀링 층, 2개의 전결합 층으로 구성되어 있으며, 총 10개의 층으로 이루어져 있다. 적재함의 형태를 구분하는 것이 목적이므로 출력층은 소프트맥스 함수를 사용한다.
배경과 입력영상의 차이 값을 구할 필요가 없도록 하고 배경에 있는 에지나 물체 등의 특징 값은 차량의 분류에서 제외하기 위해 차량이 없는 배경영상을 하나의 출력 값으로 할당하였다. 주간의 배경과 야간의 배경의 변화를 반영할 수 있도록 하기 위해 다양한 조건에서의 배경영상을 사용하였다. 차량 검출을 위한 학습 데이터는 차량이 없는 배경영상 10장과 종별 차량영상 100장을 사용하였다.
주간의 배경과 야간의 배경의 변화를 반영할 수 있도록 하기 위해 다양한 조건에서의 배경영상을 사용하였다. 차량 검출을 위한 학습 데이터는 차량이 없는 배경영상 10장과 종별 차량영상 100장을 사용하였다.

이론/모형

학습용 데이터의 생성을 위해 배경을 포함한 6개 범주로 입력영상을 분류하고 각 범주별로 20장의 학습데이터를 선택하였으며 각 영상의 올바른 분류결과에 해당하는 출력값을 정답으로 정의하였다. 지도학습의 형태를 사용하여 최종출력과 정답을 비교하여 오차를 계산하고 역전파알고리즘(backpropagation)에 따라 전결합 층의 가중치와 합성곱 층의 필터계수를 갱신한다. 학습 결과의 검증을 위해 검증데이터를 생성하고 1회의 학습 후에 검증데이터에 대한 분류결과가 정답과 일치하는지를 확인하며 학습을 반복한다.

성능/효과

화물칸의 적재물이 보이는 차종과 보이지 않는 특수차량을 구분하도록 한 결과이다. 다양한 형태의 차량 영상에 적용한 결과 대형/소형, 일반화물차/특수화물차를 분류할 수 있었고, 학습데이터와 다른 형태의 차량영상에서도 효율적으로 분류할 수 있었다. 제안한 합성곱 신경망은 다양한 차종에 대해서도 90%이상의 분류 정확도를 얻을 수 있었다.
학습 결과의 검증을 위해 검증데이터를 생성하고 1회의 학습 후에 검증데이터에 대한 분류결과가 정답과 일치하는지를 확인하며 학습을 반복한다. 모든 학습데이터에 대한 가중치 갱신과정과 검증데이터에 대한 검증과정을 1 에포크(epoch)라고 하며, 학습과 검증과정을 반복하여 올바를 결과가 나오도록 100 에포크 동안 학습과정을 반복하였다.
분류오류가 난 영상은 야간이나 해가 질 때 조도의 변화가 발생하여 검지 위치에 오류가 발생한 경우로 차량의 위치가 지나지게 이동하거나 조명의 영향으로 적재함의 화물의 모양이 명확하지 않은 경우 오인식되는 결과를 얻을 수 있었다.
다양한 형태의 차량 영상에 적용한 결과 대형/소형, 일반화물차/특수화물차를 분류할 수 있었고, 학습데이터와 다른 형태의 차량영상에서도 효율적으로 분류할 수 있었다. 제안한 합성곱 신경망은 다양한 차종에 대해서도 90%이상의 분류 정확도를 얻을 수 있었다.

후속연구

학습과정에서 배경영상을 학습데이터로 사용함으로써 입력영상과 배경영상의 차영상을 구하지 않고 차량영상만을 입력으로 사용하여 특징을 추출할 수 있었고 화물칸의 형태를 분류할 수 있었다. 다양한 차종의 학습데이터를 수집하여 학습시키면 분류성능을 개선할 수 있을 것으로 판단된다. 차종의 분류결과는 적재불량차량을 단속하기 위한 사전 분류에 사용될 수 있으며, 화물의 적재상태를 분류하는 데 사용한다면 적재불량 차량의 자동분류에 활용할 수 있을 것이다.
다양한 차종의 학습데이터를 수집하여 학습시키면 분류성능을 개선할 수 있을 것으로 판단된다. 차종의 분류결과는 적재불량차량을 단속하기 위한 사전 분류에 사용될 수 있으며, 화물의 적재상태를 분류하는 데 사용한다면 적재불량 차량의 자동분류에 활용할 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	CNN은 어떤 구조를 가지고 있는가?	CNN은 학습과정을 통해 적절한 특징(feature)의 추출과 분류(classification)을 동시에 할 수 있는 구조를 가지고 있다[14]. CNN의 구조는 영상의 특징을 추출하기 위한 합성곱 네트워크와 추출된 특징을 분류하기 위한 전 연결 네트워크로 나눌 수 있다.
	대형화된 물류의 이동으로 인해 발생할 수 있는 문제는 무엇인가?	산업의 고도화와 함께 물류의 양과 크기도 증가 하고 있다. 그러나 대형화된 물류의 이동과 함께 화물차량의 적재불량으로 인한 도로면의 손상이나 낙하물로 인한 사고의 위험이 증가 하고 있다. 이를 방지하기 위해서는 적재불량 차량의 단속을 통해 사고를 예방하는 것이 중요하다.
	일반적인 영상분류 카메라로 화물차의 적재불량 단속 차종 분류 과정에서 어떤 어려움이 있는가?	추출된 특징값을 기준 값과 비교하여 입력 영상이 어떤 범주에 해당하는 지를 판정하는 방법을 사용한다[1-4]. 그러나 차종분류에서는 다양한 차종이 존재하고 각 차종의 모양과 크기가 일정하지 않기 때문에 적절한 특징과 판정 기준을 정하기 어렵다. 또한 대부분의 차종 분류는 차량의 전면이나 측면 영상을 사용하여 차량의 검출이나 차종을 분류를 하고 있다[5-12].

참고문헌 (15)

R. Girshick, J. Donahue, T. Darrell & J. Malik..(2014). Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation. Proceedings of CVPR 2014, 580-587.
G. S. Kim. (2002). Morphological Vehicle Classification Algorithm for Intelligent Transportation System. Journal of Korea Multimedia Society, 5(1), 10-17.
W. S. Shin & C. H. Lee. (2008). Efficient Learning and Classification for Vehicle Type using Moving Cast Shadow Elimination in Vehicle Surveillance Video. The KIPS Transactions, 15B(1), 1-8.
Q. Paul, J. H. Hyeon & S. W. Ha. (2017). A Study on Attitude Estimation of UAV Using Image Processing. Journal of Convergence for Information Technology, 7(5), 137-148.

원문보기 상세보기
H. Huttunen, F. S. Yancheshmeh & K. Chen. (2016). Car type recognition with Deep Neural Networks. Proceedings of the IEEE Intelligent Vehicles Symposium, 1016-1021. DOI : 10.1109/IVS.2016.7535529
Y. O. Adu-Gyamfi & A. Sharma. (2017). Automated Vehicle Recognition with Deep Convolutional Neural Networks. Transportation Research Record Journal of the Transportation Research Board, 2645, 113-122. DOI : 10.3141/2645-13

상세보기
J. C. Han, B. C. Koo & K. J. Cheoi. (2017). Obstacle Detection and Recognition System for Autonomous Driving Vehicle. Journal of Convergence for Information Technology, 7(6), 229-235.
B. Su, J. Shao, J. Zhou, X. Zhang, L. Mei & C. HuY. (2016). The Precise Vehicle Retrieval in Traffic Surveillance with Deep Convolutional Neural Netwoks. International Journal of Information and Electronics Engine, 6(3), 192-197.
Z. Dong, Y. Wu, M. Pei & Y. Jia. (2015). Vehicle Type Classification Using a Semisupervised Convolutional Neural Network. IEEE Transactions on Intelligent Transportation systems, 16(4), 2247-2256. DOI : 10.1109/TITS.2015.2402438

상세보기
P. K. Kim & K. T. Lim. (2017). Vehicle Type Classification Using Bagging and Convolutional Neural Network on Multi View Surveillance Image. IEEE Conference on CVPRW, 11(2), 41-46. DOI : 10.1109/CVPRW.2017.126
E. Rhee. (2017). Security Algorithm for Vehicle Type Recognition. Journal of Convergence for Information Technology, 7(2), 77-82.
W. K. Park, Y. Choi, H. K. KIM, G. S. Choi & H. Y. Jung. (2017). Night-time Vehicle Detection Method Using Convolutional Neural Network. The Korean Journal of IEMEK, 12(2), 113-120.
M. K. Kwon & H. S. Yang. (2017). A scene search method based on principal character identification using convolutional neural network. Journal of Convergence for Information Technology, 7(2), 31-36.
Peemen, Mesman, Bart, Corporaal & Henk.. (2011). Speed sign detection and recognition by convolutional neural networks. Proceedings of the 8th International Automotive Congress, 11(2), 162-170.
J. H. Ku. (2018). A Study on Adaptive Learning Model for Performance Improvement of Stream Analytics. Journal of Convergence for Information Technology, 8(1), 201-206.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증