[논문]선박의 안전운항을 위한 깊이정보 기반의 졸음 감지 시스템

하준; 양원재; 최현준

doi:10.7837/kosomes.2014.20.5.564

선박의 안전운항을 위한 깊이정보 기반의 졸음 감지 시스템
A Detection System of Drowsy Driving based on Depth Information for Ship Safety Navigation 원문보기

海洋環境安全學會誌 = Journal of the Korean society of marine environment & safety, v.20 no.5 = no.64, 2014년, pp.564 - 570

하준 (목포해양대학교 전자공학과) , 양원재 (목포해양대학교 해상운송시스템학부) , 최현준 (목포해양대학교 전자공학과)

초록
AI-Helper

본 논문에서는 컬러정보와 깊이정보를 사용하여 얼굴을 검출하고 추적한 후 항해사의 졸음을 탐지하는 방법을 제안한다. 이 방법은 얼굴검출 과정과 얼굴추적 과정으로 구성된다. 얼굴검출 과정에서는 기존의 방법 중 가장 좋은 성능을 보이는 Adaboost 알고리즘을 사용하며, Adaboost로 입력되는 영상의 영역을 사람이 존재하는 영역으로만 제한하여 얼굴을 검출한다. 얼굴검출 과정에서 얼굴이 검출되면 그것을 템플릿으로 하여 얼굴추적 과정이 수행된다. 제안한 방법의 성능을 평가하기 위하여 실험영상을 이용하여 실험을 수행하였다. 실험결과 제안한 졸음탐지 방법은 기존의 방법에 비해 약 23 %의 수행시간을 보였으며, 또한 졸음탐지 방법은 추적 시간과 추적 정확도에 있어서 상보적인 관계를 가지며, 특별한 경우를 제외한 모든 경우에서 약 1 %의 낮은 추적오차율을 보였다.

Abstract ▼ AI-Helper

This paper propose a method to detect and track a human face using depth information as well as color images for detection of drowsy driving. It consists of a face detection procedure and a face tracking procedure. The face detection procedure basically uses the Adaboost method which shows the best performance so far. But it restricts the area to be searched as the region where the face is highly possible to exist. The face detected in the detection procedure is used as the template to start the face tracking procedure. The experimental results showed that the proposed detection method takes only about 23 % of the execution time of the existing method. In all the cases except a special one, the tracking error ratio is as low as about 1 %.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 계산을 속도를 높이기 위하여 상관계수를 구하는 것이 아니라 SAD를 사용하여 템플릿의 움직임을 추정한다. 또한 거리에 따른 크기변화에 민감하다는 기존의 템플릿 매칭의 단점은 깊이 정보를 이용하여 템플릿을 확대 혹은 축소하여 템플릿 매칭을 수행하여 극복하도록 하였다.
본 논문에서는 연안항해시 졸음운전으로 인해 발생하는 해양 추돌사고를 방지하기 위한 항해사의 졸음탐지 시스템을 제안하였다. 이 시스템은 깊이정보와 RGB 컬러정보를 이용하여 항해사의 졸음을 탐지하는 기술을 기반으로 한다.
본 논문에서는 이와 같은 다중 이미지 센서로부터 획득된 RGB영상과, 깊이정보를 이용해 화면 내에서 실시간으로 항해사의 위치와 졸음 상황을 탐지하는 기술을 개발하였다. Fig.
본 논문에서는 최근 출시된 마이크로소프트사의 Kinect 카메라를 이용해 항해사의 정확한 움직임을 추적하는 기술을 개발하였다. 이 Kinect 카메라는 RGB 카메라와 IR 신호를 사용하는 깊이 센서의 다중 이미지 센서로 구성되어 있다.
, 2012). 본 논문에서는 컬러정보와 깊이정보를 사용하여 빠르고 정확하게 항해사의 얼굴을 검출한 후, 깊이정보를 이용하여 항해사의 졸음을 탐지하는 방법을 제안한다.

가설 설정

- 항해사의 움직임: 본 시스템의 특성 상 움직임 속도가 클수록 감지확률이 높다. 움직임 속도는 특정 거리를 점점 빠른 속도로 움직이면서 측정하였으며, 움직이는 시간은 카메라의 초점거리와 실제 움직이는 거리를 대비하여 프레임 간 거리를 측정하여 산정하였다.

제안 방법

구현한 시스템의 실제 동작여부와 성능을 시험하기 위해 선교의 환경과 유사하게 만들어진 목포해양대학교 Marine Simulation Center에서 실험을 수행하였다. Fig. 8과 같이 다중 이미지 센서 Kinect 카메라와 제어시스템을 조타석 상단에 설치하여 항해사의 졸음상황을 탐지하였다. 실험은 20대 후반, 신장 173 cm, 안경 미착용의 성인 남성을 대상으로 수행하였다.
또한 다중 이미지 센서는 RGB 색차정보와 깊이정보를 30 fps (0.03초)의 속도 차영상 및 누적덧셈을 수행하며, 움직임 추적은 매 4 프레임마다 수행한다. 즉, 매 프레임 차영상을 생성, 이를 x, y축으로 누적하고, 그 결과를 4 프레임 누적하여 화면 내에서 발생하는 움직임을 추적한다.
- 항해사의 움직임: 본 시스템의 특성 상 움직임 속도가 클수록 감지확률이 높다. 움직임 속도는 특정 거리를 점점 빠른 속도로 움직이면서 측정하였으며, 움직이는 시간은 카메라의 초점거리와 실제 움직이는 거리를 대비하여 프레임 간 거리를 측정하여 산정하였다.
본 논문에서는 연안항해시 졸음운전으로 인해 발생하는 해양 추돌사고를 방지하기 위한 항해사의 졸음탐지 시스템을 제안하였다. 이 시스템은 깊이정보와 RGB 컬러정보를 이용하여 항해사의 졸음을 탐지하는 기술을 기반으로 한다. 실험은 선교와 동일한 환경이 갖춰진 시뮬레이션 센터에서 수행하였고, 그 결과 주/야간 항해시에도 정상적으로 항해사의 졸음상황을 탐지해 내는 것을 확인하였다.
5에서는 다중 이미지 센서 카메라를 이용하여 항해사의 졸음상황을 실시간으로 탐지하기 위한 세부 알고리즘 순서도를 보이고 있다. 입력받은 RGB 영상을 이용해 실시간으로 차영상을 생성하고, 이 차영상을 이용해 Fig. 6에서 보이는 방법과 같이 x-축과, y-축에 대해 화소값들의 누적 값을 각각 구한다. 만약 항해사가 한 명인 경우에는 각 축에서 누적된 값과 깊이정보의 누적된 값으로 이전의 물체를 추적하지만, 항해사가 두 명 이상인 경우에는 깊이정보를 이용하여 카메라와 가까이 위치한 항해사에게 우선순위를 부여하여 정확한 좌표를 산출한다.
제안하는 방법은 얼굴 검출 과정과 졸음 탐지 과정의 두 과정으로 구성되어 있으며, 얼굴 검출 과정은 기본적으로 하나의 상황 혹은 장면(scene)의 초기에 한 번만 수행한다. 검출 과정에서 검출된 얼굴 부분은 졸음 탐지 과정에서 템플릿(template)으로 사용되며, 얼굴이 검출된 다음 프레임부터는 졸음 탐지 과정만을 수행된다.
하지만 고해상도 영상과 제한된 하드웨어를 사용하는 시스템의 경우에는 실시간으로 얼굴을 검출하는데 어려움이 있다. 제안하는 알고리즘은 이러한 문제점을 개선하기 위하여 전체영상에서 깊이정보와 컬러정보를 이용하여 불필요한 배경영역을 제거하고 얼굴 후보 영역을 검출하여 Adaboost에 입력으로 들어가는 영상영역을 제한하여 연산시간을 줄이도록 하였다. 얼굴 검출 과정은 Fig.
3에 나타내었다. 찾고자하는 대상의 특징을 가진 템플릿을 생성한 다음, 이 템플릿을 회선 마스크(Convolution Mask)로 사용하여 소스 영상의 모든 영역을 탐색하면서 템플릿 영상과 소스 영상의 픽셀의 매칭 정도를 파악하여 가장 높은 값을 갖는 부분을 찾는 것이다.

대상 데이터

구현한 시스템의 실제 동작여부와 성능을 시험하기 위해 선교의 환경과 유사하게 만들어진 목포해양대학교 Marine Simulation Center에서 실험을 수행하였다. Fig.
8과 같이 다중 이미지 센서 Kinect 카메라와 제어시스템을 조타석 상단에 설치하여 항해사의 졸음상황을 탐지하였다. 실험은 20대 후반, 신장 173 cm, 안경 미착용의 성인 남성을 대상으로 수행하였다.

이론/모형

본 논문에서는 얼굴검출 분야에서 많이 사용되는 외형 기반 방법 중 속도와 정확도면에서 매우 훌륭한 성능을 보이는 Viola와 Jones가 제안한 Adaboost 알고리즘을 사용한다. Viola와 Jones가 제안한 Adaboost 알고리즘은 유사-Harr 특성(Haar-like feature)을 적분 영상(Integral image)을 이용하여 빠르게 계산하여 얼굴을 검출한다(Papageorgiou et al.

성능/효과

- 조명조건에 따른 실험결과 ① 주간에 형광등 조명 ON, ②주간에 형광등 조명 OFF, ③ 야간에 형광등 조명 ON의 경우 모두 거의 동일한 실험결과를 보였으나, ④ 야간에 형광등 조명 OFF의 경우에는 RGB 영상의 식별 가능한 거리인 50 cm 이내에서만 감지가 가능함. 이 거리는 Kinect 카메라 자체의 신뢰성을 답보할 수 없는 위치이므로 이 조명환경에서는 이 시스템의 사용이 불가능함.
이 시스템은 깊이정보와 RGB 컬러정보를 이용하여 항해사의 졸음을 탐지하는 기술을 기반으로 한다. 실험은 선교와 동일한 환경이 갖춰진 시뮬레이션 센터에서 수행하였고, 그 결과 주/야간 항해시에도 정상적으로 항해사의 졸음상황을 탐지해 내는 것을 확인하였다. 다만, 외부 조명이 없는 경우에는 50 cm 이내에 있는 항해사의 얼굴만을 추적하여 졸음을 탐지할 수 있었다.
표에서 D는 깊이정보 카메라와 항해사 사이의 거리값을 의미한다. 앞서 기술한 바와 같이 야간에 조명을 차단한 상태에서는 50 cm 이내에서도 오차율 1 % 미만의 탐지 성능을 보이지만, 거리가 더 멀어지는 경우 탐지가 안 되는 것으로 확인되었다.

후속연구

본 시스템이 연안과 같이 복잡한 항로를 항해하는 선박의 해양 추돌사고를 방지하는데 도움이 되기를 기대해 본다.

질의응답

핵심어	질문	논문에서 추출한 답변
	항해사의 피로도를 유발하는 요인은 무엇인가?	장기 운항 중인 항해사의 피로도(Fatigue)는 일반적으로 승선중인 선종, 항로, 항해기간, 입출항 횟수, 정박기간의 불규칙성 등과 같이 다양한 피로유발 요인에 의해서 발생한다. 또한, 승선 중 직면하게 되는 장시간에 걸친 정신적, 육체적 노동으로 인하여 발생하는 수면부족과 스트레스, 정신적·육체적인 작업부하 등의 원인에 의해서 증가 또는 누적된다 (Yang, 2009; Yang, 2012).
	항해사의 피로도를 증가 또는 누적시키는 요인은 무엇인가?	장기 운항 중인 항해사의 피로도(Fatigue)는 일반적으로 승선중인 선종, 항로, 항해기간, 입출항 횟수, 정박기간의 불규칙성 등과 같이 다양한 피로유발 요인에 의해서 발생한다. 또한, 승선 중 직면하게 되는 장시간에 걸친 정신적, 육체적 노동으로 인하여 발생하는 수면부족과 스트레스, 정신적·육체적인 작업부하 등의 원인에 의해서 증가 또는 누적된다 (Yang, 2009; Yang, 2012).
	선박의 충돌과 좌초 등과 같은 매우 위험한 해양사고의 원인은 무엇인가?	이러한 이유에서 누적된 항해사의 피로도는 당직근무 중 안전운항에 필요한 업무수행능력을 저하시키고 상대선박과 긴박한 상황에서 저지르는 실수, 판단착오, 간과 등과 같은 인간과실(Human error)을 유발하여 선박의 충돌과 좌초 등과 같은 매우 위험한 해양사고를 수반할 가능성을 높게 하는 것이다(Yang, 2009; Yang, 2012).

참고문헌 (8)

Bae, Y. J., H. J. Choi, Y. H. Seo and D. W. Kim(2012), A Fast and Accurate Face Detection and Tracking Method by using Depth Information, The Journal of Korea Information and Communications Society, Vol. 37A, No. 7, pp. 586-599.
Ha, J. and H. J. Choi(2014), Robust Real-Time Face Detection, Workshop on Image Processing and Image Understanding, Vol. 1, p. 28.
Hong, S. H., S. Y. Yang and S. R. Lee(2014), The Implementation of BNWAS Based on TLC Using USN, The Journal of Korea navigation institute, Vol. 18, No. 2, pp. 128-133.

원문보기 상세보기
Lienhart, R. and J. Maydt(2002), An Extended Set of Haar-like Features for Rapid Object Detection, IEEE International Conference of Image Processing, Vol. 1, pp. 22-25.
Papageorgiou, C. P., M. Oren and T. Poggio(1998), A General Framework for Object Detection, IEEE International Conference of Computer Vision, pp. 555-562.
Yang, W. J.(2009), A Basic Study on the Fatigue Analysis Model for Marine Officers, Journal of the Korean Society of Marine Environment & Safety, Vol. 15, No. 3, pp. 217-222.
Yang, W. J.(2012), Analysis on the Results of Fatigue Survey for Marine Officerss, Journal of the Korean Society of Marine Environment & Safety, Vol. 18, No. 6, pp. 551-556.

원문보기 상세보기
Viola, P. and M. J. Jones(2004), Robust Real-Time Face Detection, Computer Vision, Vol. 52, No. 2, pp. 137-154.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증