[논문]자세인식과 졸음운전과의 상관관계에 대한 연구

장봉환; 박인호; 남현도; 김경호

doi:10.5370/kiee.2018.67.7.934

자세인식과 졸음운전과의 상관관계에 대한 연구
A Study on the Relationship between Posture Recognition and Drowsy Driving 원문보기

전기학회논문지 = The Transactions of the Korean Institute of Electrical Engineers, v.67 no.7, 2018년, pp.934 - 939

장봉환 (Dept. of Electrical and Electronic Engineering, Dankook University) , 박인호 (Dept. of Electrical and Electronic Engineering, Dankook University) , 남현도 (Dept. of Electrical and Electronic Engineering, Dankook University) , 김경호 (Dept. of Electrical and Electronic Engineering, Dankook University)

Abstract ▼ AI-Helper

Recently, there have been a lot of sleepy driving accidents. In this study, we conducted a preliminary study for detecting drowsiness using posture and image processing technology. We used pressure sensors to study posture. We also investigated the possibility of drowsy recognition using histogram. As a result of the experiment, it was possible to distinguish positions through pressure sensors. Also, it was confirmed that the drowsiness phenomenon can be distinguished by using the histogram.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 논문에서는 실제로 적용 가능한 졸음운전 방지시스템 구현을 목표를 달성하기 위한 사전연구로서 의자(방석)에 센서를 부착하여 평소의 안정 상태와 졸음시의 자세 상태를 비교하는 연구를 진행하였고, 얼굴인식을 이용한 영상처리 알고리즘을 구축하기 위한 사전 연구로 히스토그램을 이용하는 방법에 대한 연구를 진행하였다.
현재의 방식이 정확도가 가장 놓은 축에 속하고 있으나, 기존의 연구들은 눈이 완전히 닫혀 있을 경우와 아닐 경우만을 비교한 경우가 대다수였다. 본 연구는 눈이 완전히 폐쇄되지 않은 졸린 상태와 정상일 경우를 비교하고 그에 따른 히스토그램의 변화에 대한 연구를 진행하였다.
본 연구는 자세인식과 가벼운 영상처리 알고리즘으로 졸음을 인식하기 위한 사전연구로 자세에 대한 압력과 히스토그램을 이용하여 졸음을 인식하는 연구를 진행하였다. 실제적으로 졸음이 몰려 올 경우 몸이 기우는 것을 확인할 수 있었고, 이를 바탕으로 압력센서를 이용한 실험 결과 몸의 기울기에 따라 압력의 변화가 있는 것을 확인하였다.
본 연구에서는 위의 가설을 바탕으로 졸음을 판단하기 위한 사전연구로 방석에 압력센서를 부착하여 압력 분포를 측정하였다. 센서의 배치는 그림 6과 같이 하였고 각 센서 별로 중앙(E), 앞(B), 뒤(D), 오른쪽(A), 왼쪽(C)로 구분을 하였다.
졸음이 오는 상태의 영상을 촬영하기 위해서 본 논문에서는 정상 상태의 눈 사진과 졸음이 오는 상태에서의 눈 사진을 획득 하였다. 그 영상에 대해서 영상의 임계값을 40으로 하여 영상을 추출하였으며, 이를 통해 정상일 경우와 졸릴 경우를 비교하였다.

제안 방법

졸음이 오는 상태의 영상을 촬영하기 위해서 본 논문에서는 정상 상태의 눈 사진과 졸음이 오는 상태에서의 눈 사진을 획득 하였다. 그 영상에 대해서 영상의 임계값을 40으로 하여 영상을 추출하였으며, 이를 통해 정상일 경우와 졸릴 경우를 비교하였다. 그림 7은 정상일 경우와 졸릴 경우 눈의 사진이다.
눈을 통한 졸음을 판단하기 위한 실험 결과로 우선적으로 임계값을 40으로 지정했을 경우의 영상을 추출하였다. 그림 10의 경우 정상일 경우를 보여주는 그림이고, 그림 11은 졸린 상태의 경우를 보여준다.
본 연구에서는 압력센서를 이용하여 운전자의 자세를 추정하는 연구를 진행하기 위해서 그림8과 같은 사각형의 Forcesensing resistor의 가변저항성 센서를 이용하여 압력신호를 받았으며, STMicroelectronics의 Cortex-M3 MCU(출력전압~3.3V)를 이용하여 그림 9와 같이 설계하여 압력 신호에 대한 계산을 진행하였다.
영상을 이용한 졸음 인식을 위해 히스토그램을 이용하였다. 기존 영상처리 기술의 경우 알고리즘이 무거운 쪽에 속하여 실제 적용하는 부분에 있어 현실성이 떨어진다는 단점이 있었다.
자세 판단을 위해서 개인별 일반적으로 앉은 상태에 대한 압력을 측정하였고, 몸이 기울여졌을 경우의 압력을 측정하여 평상시의 상태와의 차이 값 비교를 통해 졸음이 오는 상태를 판단하였다.
졸음 자세를 확인하기 위해서 성인 남자 6명을 대상으로 평상 시 의자에 앉은 상태에서의 자세와 졸음이 오는 상태에서의 자세를 비교해 보았다. 그 결과 실험 대상자 모두 평상시 자세 대비 한쪽으로 몸이 쏠리는 것을 확인할 수 있었다.
졸음자세를 위해 총 10회 측정을 진행하였고, 그에 따른 결과는 다음 표와 같이 구할 수 있었다. 표 1의 경우 올바르게 앉아 있을 경우의 압력 분포이고 표 2는 앞으로 기울여 졌을 경우, 표 3은 오른쪽, 표 4는 왼쪽으로 기울여졌을 경우를 보여준다.
히스토그램을 이용한 눈에 대한 영상처리를 위해서 Intel(R) Core(TM) i5-6200 CPU와 NVIDA GeForce GTX950M이 적용 된 컴퓨터를 이용하여 MATLAB 프로그램으로 영상처리를 진행하였다.

이론/모형

기존 영상처리 기술의 경우 알고리즘이 무거운 쪽에 속하여 실제 적용하는 부분에 있어 현실성이 떨어진다는 단점이 있었다. 본 연구에서는 이러한 점을 극복 가능한 가벼운 알고리즘을 적용하기 위하여 히스토그램을 이용한 방법을 적용하였다. 히스토그램을 적용 가능성에 대해 확인을 위해 임계값을 40에 두고 영상처리 해본 결과 정상일 경우와 졸릴 경우 눈동자의 검은 부분과 흰 부분의 비율에 차이가 있는 것을 확인할 수 있었고, 이를 바탕으로 히스토그램을 추출 해본 결과, 정상일 경우와 졸릴 경우 히스토그램에서도 차이가 있는 것을 확인할 수 있었다.
영상처리를 이용한 방법으로는 Haar-like feature[9] 방법을 이용하였는데 이는 그림 5에서와 같은 특징들을 선택하고 특징값은 사각형 중 흰색 부분 픽셀들의 밝기 합에서 검은색 부분 픽셀들의 밝기 값의 차이로 계산된다. 이는 식 (1)과 같이 정의가 되며 이 값이 특징에 부여된 임계값의 차이에 따라 검출하는 물체를 추측하는 것이다.

성능/효과

표 1의 경우 올바르게 앉아 있을 경우의 압력 분포이고 표 2는 앞으로 기울여 졌을 경우, 표 3은 오른쪽, 표 4는 왼쪽으로 기울여졌을 경우를 보여준다. 각 표에 대한 분석을 해보았을 때 표 1에서 확인해 볼 수 있듯이 올바른 자세의 경우 압력분포가 전반적으로 비슷한 수치를 나타나는 것을 확인할 수 있었다. 하지만 표 2의 앞으로 쏠려 있을 경우의 수치를 확인해 본다면 B(앞)에 대한 수치가 타 수지에 비해 높게 나타는 것을 확인할 수 있었고, 상대적으로 D(뒤)의 값은 낮은 것으로 나타났다.
졸음 자세를 확인하기 위해서 성인 남자 6명을 대상으로 평상 시 의자에 앉은 상태에서의 자세와 졸음이 오는 상태에서의 자세를 비교해 보았다. 그 결과 실험 대상자 모두 평상시 자세 대비 한쪽으로 몸이 쏠리는 것을 확인할 수 있었다.
본 연구는 자세인식과 가벼운 영상처리 알고리즘으로 졸음을 인식하기 위한 사전연구로 자세에 대한 압력과 히스토그램을 이용하여 졸음을 인식하는 연구를 진행하였다. 실제적으로 졸음이 몰려 올 경우 몸이 기우는 것을 확인할 수 있었고, 이를 바탕으로 압력센서를 이용한 실험 결과 몸의 기울기에 따라 압력의 변화가 있는 것을 확인하였다. 특히 정상일 경우 전반적인 압력분포가 비슷하다는 것을 기준으로 기우는 방향에 따라 해당하는 압력 센서에 더 많은 수치가 올라가는 가는 것을 확인할 수 있었다.
히스토그램을 적용 가능성에 대해 확인을 위해 임계값을 40에 두고 영상처리 해본 결과 정상일 경우와 졸릴 경우 눈동자의 검은 부분과 흰 부분의 비율에 차이가 있는 것을 확인할 수 있었고, 이를 바탕으로 히스토그램을 추출 해본 결과, 정상일 경우와 졸릴 경우 히스토그램에서도 차이가 있는 것을 확인할 수 있었다. 이러한 실험 결과를 통해서 가장 기본적인 영상처리 기술로 졸음을 구분 할 수 있다는 것을 확인할 수 있었다.
육안으로도 확인이 가능 하듯이 정상일 경우와 졸릴 경우에 눈동자의 검은 부분과 흰 부분 구분에 있어서 큰 차이를 보이고 있다. 정상일 경우 눈동자와 흰 부분의 구분이 명확하지만 졸릴 경우에는 눈동자와 흰 부분의 구분이 불 명확 해지는 것을 확인할 수 있었다.
히스토그램을 통해 비교해 보면 그림 전체가 전반적으로 왼쪽으로 치우쳐있는 것으로 나타난다. 정상일 경우와 졸릴 경우를 비교해 본다면 100을 기준으로 정상일 경우 졸릴 경우에 비해 밝은 쪽으로 분포가 더 나타나는 것을 확인할 수 있었다.
실제적으로 졸음이 몰려 올 경우 몸이 기우는 것을 확인할 수 있었고, 이를 바탕으로 압력센서를 이용한 실험 결과 몸의 기울기에 따라 압력의 변화가 있는 것을 확인하였다. 특히 정상일 경우 전반적인 압력분포가 비슷하다는 것을 기준으로 기우는 방향에 따라 해당하는 압력 센서에 더 많은 수치가 올라가는 가는 것을 확인할 수 있었다. 이를 통해 기울기를 통해서 졸음 여부에 대한 확인이 가능하다는 것을 확인할 수 있었다.
표 3의 오른쪽으로 쏠려 있는 경우를 확인해 본다면 A(오른쪽)의 수치가 상대적으로 높게 나타나는 것을 확인할 수 있었고, 표4 왼쪽의 경우 C(왼쪽), D(뒤)의 수치가 상대적으로 높게 나오는 것을 확인할 수 있었다.
본 연구에서는 이러한 점을 극복 가능한 가벼운 알고리즘을 적용하기 위하여 히스토그램을 이용한 방법을 적용하였다. 히스토그램을 적용 가능성에 대해 확인을 위해 임계값을 40에 두고 영상처리 해본 결과 정상일 경우와 졸릴 경우 눈동자의 검은 부분과 흰 부분의 비율에 차이가 있는 것을 확인할 수 있었고, 이를 바탕으로 히스토그램을 추출 해본 결과, 정상일 경우와 졸릴 경우 히스토그램에서도 차이가 있는 것을 확인할 수 있었다. 이러한 실험 결과를 통해서 가장 기본적인 영상처리 기술로 졸음을 구분 할 수 있다는 것을 확인할 수 있었다.

후속연구

따라서 향후 연구로 현재의 컴퓨터 단에서 처리한 영상처리 기술을 MCU 단에서 가능하도록 하는 연구를 추가로 진행할 예정이며, 압력센서를 이용한 졸음 측정의 경우 현재는 일반 두터운 의자(방석)에서 진행을 하였지만 이를 운전석에 맞게 최적화 하는 연구를 진행할 예정이다. 최종적으로는 위의 두 기술을 하나로 묶어서 상호 보완 가능한 졸음운전 감지 시스템을 개발할 예정이다.
본 연구를 통해 경량화 알고리즘을 이용하여 졸음 판별이 가능하다는 것을 확인함으로서 기존에 제한이 많고 현실성이 많이 떨어지는 졸음운전 예방을 위한 기술의 현실화에 더 가까워 질 수 있을 것으로 예상이 된다. 하지만 본 연구는 졸음운전 감지 혹은 방지 시스템에 다가가기 위한 사전 연구로 진행이 되어 완성 된 기술에 다가가기에는 아직 현실성이 떨어진다.
따라서 향후 연구로 현재의 컴퓨터 단에서 처리한 영상처리 기술을 MCU 단에서 가능하도록 하는 연구를 추가로 진행할 예정이며, 압력센서를 이용한 졸음 측정의 경우 현재는 일반 두터운 의자(방석)에서 진행을 하였지만 이를 운전석에 맞게 최적화 하는 연구를 진행할 예정이다. 최종적으로는 위의 두 기술을 하나로 묶어서 상호 보완 가능한 졸음운전 감지 시스템을 개발할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	생체 신호를 이용한 연구는 어떤 신호가 많이 활용되고 있는가?	따라서 기존의 많은 연구들은 생체 신호를 이용한 연구와 자동차의 움직임을 이용하는 연구 그리고 영상처리 기술을 이용한 연구가 주로 이루어지고 있다. 생체 신호를 이용한 연구는 EEG (Electroencephalogram) 신호 또는 HRV (HeartRateVariability) 신호 등을 이용하여 심리적 상태를 측정하여 졸음을 측정하는 방법으로 현재 많이 활용되고 있다[3]. 자동차의 움직임의 경우 자동차의 속도와 바퀴의 회전각을 통해 졸음을 판단하는 방법[4]이나 졸음을 판단하기에는 정확도가 많이 부족한 편이다.
	운전 중 졸음이 올 때 나타나는 신체적 변화는?	운전 중 졸음이 오게 되면 눈의 깜박임 횟수가 늘어나게 되고, 외파와 심장박동, 호흡 등의 생체 신호의 변화가 일어난다. 따라서 기존의 많은 연구들은 생체 신호를 이용한 연구와 자동차의 움직임을 이용하는 연구 그리고 영상처리 기술을 이용한 연구가 주로 이루어지고 있다.
	압력센서를 이용해 정상일 경우와 비교해서 졸음 여부를 판단할 수 있는 이유는?	실제적으로 졸음이 몰려 올 경우 몸이 기우는 것을 확인할 수 있었고, 이를 바탕으로 압력센서를 이용한 실험 결과 몸의 기울기에 따라 압력의 변화가 있는 것을 확인하였다. 특히 정상일 경우 전반적인 압력분포가 비슷하다는 것을 기준으로 기우는 방향에 따라 해당하는 압력 센서에 더 많은 수치가 올라가는 가는 것을 확인할 수 있었다. 이를 통해 기울기를 통해서 졸음 여부에 대한 확인이 가능하다는 것을 확인할 수 있었다.

참고문헌 (10)

Ministry of Land Infrastructure and Transport Statistics System. http://stat.molit.go.kr
(TASS) Traffic Accident Analysis System. http://taas.koroad.or.kr
G. Li, B.L. Lee, and W.Y. Chung, "Smartwatch-Based Wearable EEG System for Driver Drowsiness Detection", Journal of IEEE Sensors, vol. 15, no. 12, pp. 7169-7180, 2015.

상세보기
Y. J. Kim, Y. M. Kim, and M. S. Hahn, "Detecting Driver Fatigue Based on the Driver's Response Pattern and the Font View Environment of an Automobile", Universal communication, 2008. ISUC'08. Second International Symposium on, pp. 237-240, 2008.
M. Omidyeganeh, A. Javadtalab, and S. Shirmohammadi, "Intelligent Driver Drowsiness Detection through Fusion of Yawning and Eye Closure", Proceeding of IEEE International Conference on Virtual Environments, Human-Computer Interfaces and Measurement Systems, pp. 1-6, 2011.
S. Abtahi, B. Hariri, and S. Shirmohammadi, "Driver Drowsiness Monitoring Based on Yawning Detection", IEEE International Instrumentation and Measurement Technology Conference (I2MTC), pp. 1-4, 2013.
Kim, M. S., Kim, Y. N., and Heo, Y. S., 2014, "Characteristics of Heart Rate Variability Derived from ECGduring the Driver's Wake and Sleep States", Transactions of KSAE, vol. 22, no. 3, pp. 136-142.

원문보기 상세보기
Hu. H., Park S. S., Lee Y. S., "Development of a Driver Status Monitoring System Using a Driving Simulator", Conference and Exhibition of KSAE, pp. 1986-1993, 2009
Do Re-mi "Drowsy prevention system using infrared ray camera", master thesis 2008.
A. Rahman, M. Sirshar, and A. Khan, "Real Time Drowsiness Detection using Eye Blink Monitoring", Proceeding of IEEE National Software Engineering Conference (NSEC), pp. 1-7, 2015.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증