[논문]지능형 자동차를 위한 야간보행자 검출 기술

김성호

문제 정의

야간보행자 안전을 위한 현재 자동차 제조사에서 선택하고 있는 방식에 대해 현황 조사를 하였고, 주로 사용하고 있는 적외선 영상을 중심으로 보행자 검출 관련 기술 동향을 대해 소개하였다. 또한, 본 연구실에서 수행하고 있는 보행자 온도 기반 DB 구축, 온도 기반 보행자 검출 기술, 그리고 가시광 영상과 적외선 영상 융합을 통한 성능 향상 기술에 대해 소개하였다. 야간보행자 검출 기술은 전 세계적으로 연구를 집중하고 있는 분야이며, 다양한 환경에서 적외선 DB를 구축을 진행하고 있다.
이와 같이 야간 보행자를 위한 자동차 안전기술은 매우 중요하다. 본 논문에서는 자동차와 보행자와의 충돌을 최소화하기 위한 야간보행자 모니터링 기술에 대해 현재 기술 동향과 전망에 대해 소개한다.
야간보행자 안전을 위한 현재 자동차 제조사에서 선택하고 있는 방식에 대해 현황 조사를 하였고, 주로 사용하고 있는 적외선 영상을 중심으로 보행자 검출 관련 기술 동향을 대해 소개하였다. 또한, 본 연구실에서 수행하고 있는 보행자 온도 기반 DB 구축, 온도 기반 보행자 검출 기술, 그리고 가시광 영상과 적외선 영상 융합을 통한 성능 향상 기술에 대해 소개하였다.
하지만 단일 카메라만 사용하여 환경제약 없이 보행자를 검출하기에는 <그림 9>와 같이 한계점이 존재한다. 이를 보완하기 위해 본 논문에서는 CCD-IR 카메라를 융합하여 보행자를 검출 성능을 향상시킬 수 있는 연구에 대해 언급하도록 한다.

가설 설정

이때, IR 영상은 raw 정보가 내포된 grayscale 영상으로 FLIR 카메라 시스템 내부에서 영상의 온도 정보를 바탕으로 histogram equalization을 통해 자동으로 contrast가 재조정된다. 6월 DB 실험에서는 주야간 시골길에서의 거리 별, 동작 별 보행자 출현, 캠퍼스 내 실제 보행자 출현, 교통 상황에서 실제 보행자 출현 시나리오를 가정했다. 6월 DB 실험에서는 주야간 비디오 촬영을 1시간 24분 52초 수행했다.

제안 방법

DB 구축은 1년에 걸쳐 6회(3월, 5월, 6월, 7월, 11월,12월) 실시 되었으며, 는 6월에 구축한 DB 실험 결과로써 야간 IR/CCD 영상의 예를 보여준다.
그 이후 나이트 비전 시스템에 보행자 및 차량 검출 기술을 장착하여 와 같이 운전자에게 인식한 보행자 정보를 계기판을 통해 알려준다.
2007년 Jungling과 Arens는 컴퓨터비전에서 제안된 SURF 특징량과 implicit shape model (ISM)을 보행자 검출에 적용하였다^[14]. 머리, 어께, 팔, 무름, 발 등과 같이 특징점에 대해 보행자의 중심 좌표를 입력한 후, 실제 테스트 영상에서 보행자 중심에 대해 voting을 함으로써 검출 여부를 판단한다. 이 기법은 특징점 검출이 전제가 되기 때문에 복잡한 클러터환경이나, 대조비가 낮아 특징점이 약한 영상에서는 검출 성능이 떨어진다.
실험 장비는 <그림 4>와 같이 구성되었다. 실제 교통 상황에서의 데이터 취득을 위해 안전성과 차량 진동 영향을 고려하여 차량 지붕에 IR 카메라와 CCD 카메라를 설치했고, 두 카메라 사이의 이격 간격을 최소화했다.
이와 같이, 현재까지 제안된 적외선 보행자 검출 기법은 주로 가시광 기반 컴퓨터비전에서 제안된 기법을 재적용하거나 조금 수정하는 정도에 그치고 있다. 실제 보행자의 열 특성, 온도 특성과 같은 물리적 특성에 기초한 방법은 전무한 상태여서 영남대 김성호교수팀은 이러한 관점에서 보행자 DB를 구축하고 관련 보행자 특성 분석, 검출 방법을 제안하였다. 실험 장비는 <그림 4>와 같이 구성되었다.
간혹 나타나는 오검출은 다중센서 융합 또는 딥러닝 기술을 통해 제거할 수 있다. 이와 같이 보행자 검출 분야에서 사용하고 있는 적외선 데이터셋의 한계점을 극복하기 위해서 새로운 적외선 방사 분석온도 기반의 데이터셋을 제안했으며, 적외선 데이터의 환경 변화에 대한 취약점에 대응하기 위해 계절별로 여러 시나리오에서 데이터셋을 구축했다. 또한, 제안된 방사분석 온도 데이터셋을 이용하여 온도 기반으로 최적화된 보행자 검출 기법을 제안 및 성능 비교 평가를 통해 온도데이터가 기존 적외선 grayscale에 비해 성능 개선에 도움이 될 수 있음을 확인함과 동시에 적외선 데이터 프로세싱의 한계를 뛰어넘는 발판이 될 수 있음을 알 수 있다.
검출 성능 실험을 위해 주/야간의 실제 도로 위 보행자 영상을 획득한 다음 주간 25장, 야간 25장을 선별하여 총 50장의 테스트 이미지를 사용하였다. 주/야간의 전체적인 단일 영상과 융합 영상의 검출 성능 결과를 비교하였다. 또한 일반적인 DST와 제안된 방법의 DST 융합 검출 결과를 비교하였다.
다음으로 가설집합과 카메라의 가중치를 할당한다. 카메라의 가중치(Mass) 할당을 위해 CCD 영상의 상단 50 픽셀 정도의 intensity 값을 측정하여 주/야간을 분류한다. 주간에는 CCD 카메라에, 야간에는 IR 카메라에 상대적으로 높은 신뢰도를 할당하고, 세 번째 단계에서 추출된 보행자 검출 점수를 기반으로 멱집합 원소들에 가중치를 할당한다.

대상 데이터

보행자 Dataset은 CCD 이미지 1,180장, IR 이미지 2,216장을 수집하여 학습에 사용하였다. 검출 성능 실험을 위해 주/야간의 실제 도로 위 보행자 영상을 획득한 다음 주간 25장, 야간 25장을 선별하여 총 50장의 테스트 이미지를 사용하였다. 주/야간의 전체적인 단일 영상과 융합 영상의 검출 성능 결과를 비교하였다.
적외선 보행자 검출 성능 평가용 DB는 gray와 온도 데이터 모두 계절별로 학습용 보행자 샘플 1800개, 학습용 배경 샘플 9,000개, 학습용 배경 영상 50개, 템플릿 크기 28×52 이며, 전체 계절을 모두 포함하는 적외선 검출 성능평가용 DB는 gray와 온도 데이터 모두 학습용 보행자 샘플 7068개, 학습용 배경 샘플 38,010개, 학습용 배경 영상 226개, 템플릿 크기 28×52이다. 계절별 테스트 데이터는 5월, 6월, 7월 DB에서 학습용 데이터를 제외한 것 중 보행자가 출현하고 있는 영상을 사용했으며, 전체 계절 테스트 데이터는 5월, 6월, 7월의 테스트 데이터를 모두 포함하고 있다. Gray-ACF용 DB에서는 카메라에서 제공하는 온도 정보를 기반으로 contrast를 재조정해주는 histogram equalization 기능을 배제했다.
보행자 Dataset은 CCD 이미지 1,180장, IR 이미지 2,216장을 수집하여 학습에 사용하였다. 검출 성능 실험을 위해 주/야간의 실제 도로 위 보행자 영상을 획득한 다음 주간 25장, 야간 25장을 선별하여 총 50장의 테스트 이미지를 사용하였다.

데이터처리

주/야간의 전체적인 단일 영상과 융합 영상의 검출 성능 결과를 비교하였다. 또한 일반적인 DST와 제안된 방법의 DST 융합 검출 결과를 비교하였다. 단일 영상과 융합 영상의 검출 성능을 비교한 결과, <그림 11>과 같이 영상을 융합하여 사용하는 것이 최대 약 20%의 miss rate가 줄어드는 것을 확인할 수 있었다.
<그림 7>은 Gray-ACF와 TIR-ACF의 계절별 성능 평가를 비교한 것이다. 성능 비교에는 ROC (Receiver operating characteristic) curve를 사용했으며, 최종적인 검출 성능은 log-averaged miss rate를 사용했다. 적외선 보행자 검출 성능 평가용 DB는 gray와 온도 데이터 모두 계절별로 학습용 보행자 샘플 1800개, 학습용 배경 샘플 9,000개, 학습용 배경 영상 50개, 템플릿 크기 28×52 이며, 전체 계절을 모두 포함하는 적외선 검출 성능평가용 DB는 gray와 온도 데이터 모두 학습용 보행자 샘플 7068개, 학습용 배경 샘플 38,010개, 학습용 배경 영상 226개, 템플릿 크기 28×52이다.

이론/모형

주로 Viola 및 Jones가 2001년도에 제안한 Adaboost 조명 조건에 따른 야간보행자 모니터링 환경를 기반으로 CCD 영상에서 보행자 및 차량을 학습하여 sliding window 방식으로 검출한다. 특징량은 2005년 Dalal과 Triggs가 제안한 HOG 기법을 사용한다. EURONCAP에서 보행자 보호를 위해2016년부터 AEBS(advanced emergency break system) 평가 시, 보행자위치 검출을 5스타 요건으로 하기 때문에 보행자 및 차량 검출이 더욱 중요해지고 있다.

성능/효과

성능 비교 평가를 통해 5월 DB에서는 SNT-TIR-ACF가 grayACF에 비해 10% 성능 개선을 보이며 가장 성능이 높았고, 6월 DB에서는 NT-TIR-ACF가 gray-ACF에 비해 8% 성능 개선을 보이며 가장 성능이 높다는 것을 확인할 수 있었다. 7월 DB에서는 SNT-TIR-ACF가 grayACF에 비해 5% 성능 개선을 보이며 가장 성능이 높았지만, 7월 DB 특성 상 Contrast가 낮게 측정되므로 전체적으로 miss rate가 90% 이상으로 성능이 매우 안 좋은 것으로 확인되었다. 전체 계절 DB에서는 NT-TIR-ACF가 gray-ACF에 비해 11% 성능 개선을 보이며 가장 성능이 높다는 것을 확인할 수 있다.
전체 계절 DB에서는 NT-TIR-ACF가 gray-ACF에 비해 11% 성능 개선을 보이며 가장 성능이 높다는 것을 확인할 수 있다. 결과적으로 contrast에 민감한 적외선 grayscale 보다 가변성이 적은 적외선 온도 기반의 데이터를 사용하는 것이 야간 보행자 검출 성능을 개선할 수 있다는 것을 알 수 있다.
단일 영상과 융합 영상의 검출 성능을 비교한 결과, 과 같이 영상을 융합하여 사용하는 것이 최대 약 20%의 miss rate가 줄어드는 것을 확인할 수 있었다.
이와 같이 보행자 검출 분야에서 사용하고 있는 적외선 데이터셋의 한계점을 극복하기 위해서 새로운 적외선 방사 분석온도 기반의 데이터셋을 제안했으며, 적외선 데이터의 환경 변화에 대한 취약점에 대응하기 위해 계절별로 여러 시나리오에서 데이터셋을 구축했다. 또한, 제안된 방사분석 온도 데이터셋을 이용하여 온도 기반으로 최적화된 보행자 검출 기법을 제안 및 성능 비교 평가를 통해 온도데이터가 기존 적외선 grayscale에 비해 성능 개선에 도움이 될 수 있음을 확인함과 동시에 적외선 데이터 프로세싱의 한계를 뛰어넘는 발판이 될 수 있음을 알 수 있다.
Gray-ACF용 DB에서는 카메라에서 제공하는 온도 정보를 기반으로 contrast를 재조정해주는 histogram equalization 기능을 배제했다. 성능 비교 평가를 통해 5월 DB에서는 SNT-TIR-ACF가 grayACF에 비해 10% 성능 개선을 보이며 가장 성능이 높았고, 6월 DB에서는 NT-TIR-ACF가 gray-ACF에 비해 8% 성능 개선을 보이며 가장 성능이 높다는 것을 확인할 수 있었다. 7월 DB에서는 SNT-TIR-ACF가 grayACF에 비해 5% 성능 개선을 보이며 가장 성능이 높았지만, 7월 DB 특성 상 Contrast가 낮게 측정되므로 전체적으로 miss rate가 90% 이상으로 성능이 매우 안 좋은 것으로 확인되었다.
7월 DB에서는 SNT-TIR-ACF가 grayACF에 비해 5% 성능 개선을 보이며 가장 성능이 높았지만, 7월 DB 특성 상 Contrast가 낮게 측정되므로 전체적으로 miss rate가 90% 이상으로 성능이 매우 안 좋은 것으로 확인되었다. 전체 계절 DB에서는 NT-TIR-ACF가 gray-ACF에 비해 11% 성능 개선을 보이며 가장 성능이 높다는 것을 확인할 수 있다. 결과적으로 contrast에 민감한 적외선 grayscale 보다 가변성이 적은 적외선 온도 기반의 데이터를 사용하는 것이 야간 보행자 검출 성능을 개선할 수 있다는 것을 알 수 있다.
6월 DB 실험에서 야간 시골길, 캠퍼스, 교통 상황 CCD 영상에서는 차량, 가로등, 건물의 조명 등 때문에 근거리 보행자는 식별할 수 있었지만 거리가 멀어질수록 보행자를 잘 확인할 수 없었다. 하지만 IR 영상에서 거리가 멀어지더라도 보행자를 잘 확인할 수 있었으며, 보행자의 열 정보와 배경의 열 정보 차이가 비교적 드러나는 계절인 초여름에 실험을 수행하여 contrast가 드러났다.

후속연구

야간보행자 검출 기술은 전 세계적으로 연구를 집중하고 있는 분야이며, 다양한 환경에서 적외선 DB를 구축을 진행하고 있다. 특히, 최근에 급부상하고 있는 딥러닝 기술은 R-CNN, SSD (single shot detection), YOLO (you only look once)와 같으며, 이를 야간보행자 검출에 야간보행자 검출에 적용하면 더욱 우수한 성능이 나올 것으로 기대된다. 또한, 최근 NVIDIA에서 개발한 Jetson TX2보드의 보급으로 자동차 시장에 적용하기 위해 다양한 기관에서 투자 및 연구를 하고 있다.

핵심어	질문	논문에서 추출한 답변
	스마트카에 적용하기 위해 국내에서 개발된 가시광(CCD) 영상을 이용한 주간 카메라는 어떻게 보행자 및 차량을 검출하는가?	국내에서 스마트카를 위한 보행자 및 차량 검출은 주간 카메라인 가시광(CCD) 영상을 이용하여 개발하였다. 주로 Viola 및 Jones가 2001년도에 제안한 Adaboost 조명 조건에 따른 야간보행자 모니터링 환경 를 기반으로 CCD 영상에서 보행자 및 차량을 학습하여 sliding window 방식으로 검출한다. 특징량은 2005년 Dalal과 Triggs가 제안한 HOG 기법을 사용한다.
	야간 교통사고 발생의 직접적인 요인은 무엇이 있는가?	2015년 국내 주야별 교통사고 건수는 주간(06:00~18:00) 129,049건, 야간(18:00~06:00) 102,986건이며, 사망자 수는 주간 2,252명, 야간 2,369명이다. 야간에는 차량의 이동 량이 주간보다 상대적으로 적으나, 음주운전, 과속, 졸음운전, 시인성 약화 등 교통사고 발생의 직접적인 요인이 되는 것이 많으며, 이로 인하여 사망사고로 이어지는 큰 사고가 발생하는 비율이 높다.
	야간보행자 모니터링 기술이란 무엇인가?	모니터링은 관심 대상체를 검출하고 추적하여 중요한 정보를 획득하는 행위를 의미한다. 따라서 야간보행자 모니터링 기술은 다음 그림과 같이 햇빛이 없는 다양한 야간 조명 환경에서 도로 위(인도, 차도 포함)에 존재하는 모든 사람들을 검출하고 추적하여 차량과의 충돌 위험도를 인지하는 기술을 의미한다[4]. [그림 1]은 도로상에서 운전자가 기본적으로 볼 수 있는 영역(low-beam, high-beam)과 나이트비전(night vision)으로 볼 수 있는 영역을 거리별로 보여준다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

지능형 자동차를 위한 야간보행자 검출 기술 원문보기

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (17)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

지능형 자동차를 위한 야간보행자 검출 기술 원문보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (17)

이 논문을 인용한 문헌

저자의 다른 논문 :

김성호 (4)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

AI 본문요약
AI-Helper