[논문]CNN 기법을 활용한 운전자 시선 사각지대 보조 시스템 설계 및 구현 연구

임승철; 고재승

doi:10.7236/jiibc.2020.20.2.149

CNN 기법을 활용한 운전자 시선 사각지대 보조 시스템 설계 및 구현 연구
A Study on Design and Implementation of Driver's Blind Spot Assist System Using CNN Technique 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.20 no.2, 2020년, pp.149 - 155

초록
AI-Helper

한국도로교통공단은 교통사고분석시스템(TAAS)을 활용하여 2015년부터 발생한 교통사고 원인을 분석한 통계를 제공하고 있다. 교통사고 발생 주요 원인으로, 2018년 한해 전체 교통사고 발생원인 중 전방주시 부주의가 대부분의 원인임을 TAAS를 통해 발표했다. 교통사고 원인에 대한 통계자료의 세부항목으로 운전 중 스마트폰 사용, DMB 시청 등의 안전운전 불이행 51.2%와 안전거리 미확보 14%, 보행자 보호의무 위반 3.6% 등으로, 전체적으로 68.8%의 비율을 보여준다. 본 논문에서는 Deep Learning의 알고리듬 중 CNN(Convolutional Neural Network)를 활용하여 첨단 운전자 보조 시스템 ADAS(Advanced Driver Assistance Systems)을 개선한 시스템을 제안하고자 한다. 제안된 시스템은 영상처리에 주로 사용되는 Conv2D 기법을 사용하여 운전자의 얼굴과 눈동자의 조향을 분류하는 모델을 학습하고, 차량 전방에 부착된 카메라로 자동차의 주변 object를 인지 및 검출하여 주행환경을 인지한다. 그 후, 학습된 시선 조향모델과 주행환경 데이터를 사용하여 운전자의 시선과 주행환경에 따라, 위험요소를 3단계로 분류하고 검출하여 운전자의 전방 및 사각지대 보조한다.

Abstract ▼ AI-Helper

The Korea Highway Traffic Authority provides statistics that analyze the causes of traffic accidents that occurred since 2015 using the Traffic Accident Analysis System (TAAS). it was reported Through TAAS that the driver's forward carelessness was the main cause of traffic accidents in 2018. As statistics on the cause of traffic accidents, 51.2 percent used mobile phones and watched DMB while driving, 14 percent did not secure safe distance, and 3.6 percent violated their duty to protect pedestrians, representing a total of 68.8 percent. In this paper, we propose a system that has improved the advanced driver assistance system ADAS (Advanced Driver Assistance Systems) by utilizing CNN (Convolutional Neural Network) among the algorithms of Deep Learning. The proposed system learns a model that classifies the movement of the driver's face and eyes using Conv2D techniques which are mainly used for Image processing, while recognizing and detecting objects around the vehicle with cameras attached to the front of the vehicle to recognize the driving environment. Then, using the learned visual steering model and driving environment data, the hazard is classified and detected in three stages, depending on the driver's view and driving environment to assist the driver with the forward and blind spots.

주제어

표/그림 (10)

그림 그림 1. Haar-like feature 분류 과정 Fig. 1. Haar-like feature classification process
그림 그림 2. Conv1D와 Conv2D의 비교 Fig. 2. Comparing Conv1D and Conv2D
그림 그림 3. Conv2D,Haar Like, Haar Cascade 비교 Fig. 3. Comparing Conv2D, HaarLike and Haar Cascade
그림 그림 4. 학습 데이터 예시 사진 Fig. 4. Example Learning Data Photograph
표 표 1. 시선 조향 데이터 목록 Table 1. Eye Direction Data List
그림 그림 5. 제안하는 Conv2D 학습 결과(붉은 실선 : loss rate, 파란 실선 : accuracy) Fig. 5. Conv2D training result of the proposed method (Red solid: loss rate, Blue solid: accuracy)
그림 그림 6. 인천 국제도시 도로에서 오브젝트 감지 Fig. 6. Object Detection on Incheon International City Road
그림 그림 7. 운전자 시선 조향 추론 및 분류 결과 Fig. 7. Driver’s line of sight inference and classification results
그림 그림 8. 오브젝트 검출 및 사각지대 거리 측정 Fig. 8. Object detection and blind spot distance measurement
표 표 2. 운전자 안전도 분류 기준표 Table 2. Driver safety classification criteria table

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 제안하는 운전자 보조 시스템은 Perceptiontime, Identification time, Emotion time, Volitiontime 4가지의 과정을 딥러닝을 통해 자동화하여 제동 시 필요로 하는 시간을 감소하여 제동거리를 줄이는 것을 목표로 한다. 제동거리가 감소함에 따라 사고의 위험에대한 회피/방어 능력을 향상할 수 있을 것으로 기대된다.
학습된 모델로 운전자 시선 사각지대 보조 시스템의주 기능을 수행하고, 이를 보조하기 위한 기능을 Lidar로주변 장애물 간의 거리에 따라 위험단계를 3단계로 나타내어 운전자가 주시할 수 없는 사각지대와 사고 발생 위험요소를 단계별로 검출하여 운전자의 전방 및 사각지대를 보조함으로써, 자율주행시스템 기술 중 2단계 수준을고도화하는 것을 목표로 한다. 2장에서는 제안한 CNN인공신경망 모델로 사용자 시선 조향과 주위 위험요소에대한 강화학습을 수행한다.

제안 방법

01으로 설정하고 배치 사이즈(Batch size)는 350으로 설정한다. 또한 데이터시트에 사람의 종류가 많지 않아, 과적합 현상을 방지하기 위하여 반복 학습 횟수를 100번으로 설정하여 진행했다.
모의실험은 학습된 Conv2D 모델을 활용하여 운전자의 조향을 추론, 식별하고 운전자 조향 방향과 차량 주변위험요소 거리에 따라 단계별 보조 시스템 기능을 수행하는 과정을 서술한다.
얼굴 및 눈동자의 조향을 정확하게 검출하는 것은 운전자의 시선 사각지대를 판별하는 핵심 기능이라 할 수있다. 본 시스템에서 가장 알맞은 시선 조향 분류 알고리듬 모델 구현을 위해서 얼굴 인식에 주로 사용하는 기법들의 성능 비교를 수행한다.
본 연구에서는 차량의 전방과 계기판에 카메라를 설치하고 보조수단으로써 Lidar를 사용하여 이미지 분류 성능이 높은 CNN인공신경망 모델을 활용하여 운전자의시선 추적과 시선을 중심으로 운전자의 시선 조향을 학습하고, 전방의 장애물을 분류, 검출하여 주변 주행 상황을 학습한다.
컴퓨터는 사람처럼 객체의 형태를 추론하여 판별하지 못하기에, 객체를 추론하기 위하여 객체의 특징을 기록한 필터를 사용한다. 사람의 얼굴 위에 흑백의 사각형을 중첩한 후, 밝은 영역에 속한 픽셀값들의 평균에서 어두운 영역에 속한 픽셀값의 편차를 구하여 필터를 추출하고, 추출한 기존 필터와 새로 추출한 필터와의 비교를 통해 객체를 추론하는 필터를 생성한다. 이때, 다수의 유효하지 않은 필터가 생성되어 처리 속도를 저하하는 문제점이 있다.
장애물의 거리를 측정하기 위하여 Lidar와 초음파 센서를 사용하며, 장애물과의 거리에 따라 3단계로 분류하여 운전자의 전방 및 사각지대를 보조한다. 시스템의 핵심 기능인 운전자 시선 검출을 통한 시선 조향 분류 기능은 학습된 모델을 사용하여 분류한다.
운전자의 시선 조향, 사각지대에 존재하는 object의유형과 차량과 object와의 거리를 바탕으로 운전자 기준주행 시 안전도 평가를 진행한다. 이때, 사각지대에서 검출된 object 유형을 안전도 단계별 기능 1단계에서 활용한다.
위와 같이 설치된 2개의 카메라를 통해 입력된 영상데이터로, 실시간 운전자의 시선 조향을 추적하고, 운전자의 시선에 보이지 않는 차량 전방의 장애물을 탐지한다.
장애물의 거리를 측정하기 위하여 Lidar와 초음파 센서를 사용하며, 장애물과의 거리에 따라 3단계로 분류하여 운전자의 전방 및 사각지대를 보조한다. 시스템의 핵심 기능인 운전자 시선 검출을 통한 시선 조향 분류 기능은 학습된 모델을 사용하여 분류한다.
학습된 Conv2D 모델을 사용하여 임의의 운전자 정면 사진을 9가지 유형 중 하나로 분류한 뒤 Lidar로 측정한 거리값과 차량 전방 및 운전자 사각지대에서 검출한 오브젝트 유형을 사용하여 다음과 같이 운전자 주행안전도 점수(Rn)을 부여한다.

대상 데이터

각 기법 성능 실험 시 사용한 카메라는 L사의 C920카메라를 이용하였으며, 해상도는 640x480, FPS는 60,동영상 화소는 307,200, GPU 환경에서 데이터의 양에 따른 성능을 비교하는 사전 실험을 진행한다.
각 범주당 9,100장의 학습 이미지 데이터를 사용하며,총 81,900장의 이미지 데이터를 사용한다. 그림 4는 학습 이미지 데이터의 몇 가지 예시이다.
본 논문에서 제안하는 시선 조향 추적을 통한 시선 사각지대 보조 시스템은 운전자의 시선 추적을 위해 2개의카메라를 설치한다.
본 논문의 모의실험에서 사용한 컴퓨터는 중앙처리장치로 Inter i7-9700K 3.6GHz CPU를 사용하며, 주기억장치는 DDR4 32G, 그래픽카드는 GTX1080ti를 사용하여 진행했다.
그림 4는 학습 이미지 데이터의 몇 가지 예시이다. 이미지 데이터 중73,710장(90%)의 이미지를 학습데이터로 사용하고8,190장(10%)의 이미지를 테스트 데이터로 활용한다.
제안하는 시스템 구현을 위해 10명으로부터 9가지 조향을 수집하여 시선 조향 분류 기능 수행을 위한 데이터를 추출하여, 운전자의 시선 조향 추론을 위한 데이터로사용했다.

이론/모형

성능 비교를 위해 사용한 기법은 Haar-like feature,Haar Cascade Classifiers, Conv2D 3가지 기법을 사용한다.
이에, 본 시선 조향 분류기는 Haar 방식보다 정확도와 인식률이 개선된 Conv2D 모델^[8]을 사용한다.
차량 전방의 위험요소를 감지하기 위하여 Google 사의 Tensorflow를 기반으로 구축한 Tensorflow ObjectDetection API Open Source Framework에서 제공하는 ‘mask_rcnn_inception_v2_coco’ 모델을 사용했으며 본 논문에서는 글의 가독성을 위해서 위의 모델을OD (Object_Detection) 모델로 축약하여 표현한다.

성능/효과

그림 5의 빨간 실선은 손실율(loss Rate)로 학습 진행도중에 손실된 비율을 표현하며, 파란 실선은 테스트 데이터로 학습 모델을 사용했을 때 측정된 정확도 값이다.100회 반복 학습이 끝난 최종 손실율은 0.03064를 기록하고, 정확도는 98.72%를 기록했다.
Conv2D 기법은 최종 98.82%의 정확도의 얼굴 검출성능을 보여주었다. 또한 얼굴의 상, 하, 좌, 우 각도가 다르거나 얼굴의 크기가 영상 데이터에서도 준수하게 얼굴을 인식하는 결과를 보여주어 시선 조향을 분류하는 본 시스템에 적합하다고 판단했다.
82%의 정확도의 얼굴 검출성능을 보여주었다. 또한 얼굴의 상, 하, 좌, 우 각도가 다르거나 얼굴의 크기가 영상 데이터에서도 준수하게 얼굴을 인식하는 결과를 보여주어 시선 조향을 분류하는 본 시스템에 적합하다고 판단했다.
Haar-like Feature 기법은 객체 인식에 일반적으로 사용하는 기법이다. 실험 결과를 통해 얻은 최종 정확도는61.1%이다. 이미지에서 얼굴의 각도가 조금만 달라져도 얼굴을 인식하지 못하여 정확도가 낮은 문제점이 있다.
2%이다. 준수한 정확도 검출 성능을 보여주었으나, 정면의 얼굴만 인식하는 문제점이 있어, 9가지 조향을 분류하는 본 시스템에서는 적합하지 않았다.

후속연구

본 논문에서 제안하는 운전자 보조 시스템은 Perceptiontime, Identification time, Emotion time, Volitiontime 4가지의 과정을 딥러닝을 통해 자동화하여 제동 시 필요로 하는 시간을 감소하여 제동거리를 줄이는 것을 목표로 한다. 제동거리가 감소함에 따라 사고의 위험에대한 회피/방어 능력을 향상할 수 있을 것으로 기대된다.
향후 야간 주행 시 어두운 환경에서도 운전자의 시선방향을 식별할 수 있는 기술을^[11]활용하여 분류기의 성능을 개선하고, 리소스 요구량이 많은 영상 데이터에 대한 최적화 기술^[12]을 활용하여 기존 시스템보다 처리 속도가 향상된 ADAS 시스템 연구를 진행하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Conv는 어떤 과정으로 재학습하는가?	CNN의 모델의 한 종류인 Conv는 픽셀 값으로 구성된 학습 가능한 가중치와 바이어스 값으로 생성된 필터를 비선형 값으로 변형 후, 다음 Layer에 전달하여 재학습한다.
	CNN이란 무엇인가?	CNN은 기존 Neural Network 앞에 여러 계층의Convolution Layer을 이어붙인 기법이다.[7] ConvolutionLayer은 통해 입력받은 영상 데이터의 특징(Feature)을추출하고, 추출한 특징의 값을 비선형의 값으로 바꾸어주는 액티베이션 함수(Activiation Function)으로 구성된다.
	CNN은 어떻게 구성되는가?	CNN은 기존 Neural Network 앞에 여러 계층의Convolution Layer을 이어붙인 기법이다.[7] ConvolutionLayer은 통해 입력받은 영상 데이터의 특징(Feature)을추출하고, 추출한 특징의 값을 비선형의 값으로 바꾸어주는 액티베이션 함수(Activiation Function)으로 구성된다.

참고문헌 (12)

Hang-Gu Lee, "New industry for commercialization of autonomous vehicles Upbringing plan.", Ministry of Land, Infrastructure and Transport Institute for Industrial Economics and Trade, May 2018.
Joong-hyo Kim, "A Study on the Development of Self-driving AI Driving Capacity Evaluation Technique and Model.", Self-driving Research Bureau at the Korea Highway Traffic Science Institute, 2018.
Hansen, Dan Witzner, and Qiang Ji, "In the eye of the beholder: A survey of models for eyes and gaze.", IEEE Transactions on pattern analysis and machine intelligence, Vol. 32, No. 3, pp. 479-486, Mar 2010. DOI: https://doi.org/10.1109/tpami.2009.30
Menezes, Paulo, Jose Carlos Barreto, Jorge Dias, "Face tracking based on haar-like features and eigenfaces.", IFAC Proceedings Volumes, Vol. 37, No. 8, pp. 1-2, Jul 2004. DOI: https://doi.org/10.1016/s1474-6670(17)31993-6
Viola, Paul, Michael Jones, "Rapid object detection using a boosted cascade of simple features.", Proceedings of the 2001 IEEE computer society conference on computer vision and pattern recognition, Vol. 1, pp. 1-8, 2001. DOI: 10.1109/CVPR.2001.990517
Yoav Freund, Robert E Schapire, "A decision-theoretic generalization of on-line learning and an application to boosting.", Journal of Computer and System Sciences, vol. 55, no.1, pp. 119-139, Aug 1997. DOI: https://doi.org/10.1006/jcss.1997.1504

상세보기
Sven Behnke, "Related Work.", Lecture Notes in Computer Science, pp. 35-63, 2003. DOI: https://doi.org/10.1007/978-3-540-45169-3_3
Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks.", Communications of the ACM, vol. 60, no. 6, pp. 84-90, May 2017. DOI: https://doi.org/10.1145/3065386

상세보기
Srivastava, R. K., Greff, K., Schmidhuber, J, "Training Very Deep Networks.", Advances in neural information processing systems, pp. 2377-2385, 2015
K. He, X. Zhang, S. Ren, J. Sun "Deep Residual Learning for Image Recognition.", 2016 IEEE Conference on Computer Vision and Pattern Recognition, pp. 770-778, Jun 2016.
D. H. Kim, "Retinex-based Logarithm Transformation Method for Color Image Enhancement.", Journal of the Korea Academia-Industrial cooperation Society (JKAIS), Vol. 19, No. 5, pp. 9-15, 2018. DIO: http://dx.doi.org/10.5762/KAIS.2018.19.5.9
K. S. Bok, S. H. Yoo, D. J. Choi, J. S. Yoo. "In-Memory Caching for Improving Graph Query Processing.", Proceedings of The International Workshop on Future Technology FUTECH(KIIT), Vol. 3, No. 17 , pp. 63-71, 2019.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증