[논문]자율차량 안전을 위한 긴급상황 알림 및 운전자 반응 확인 시스템 설계

손수락; 정이나

doi:10.17661/jkiiect.2021.14.2.134

자율차량 안전을 위한 긴급상황 알림 및 운전자 반응 확인 시스템 설계
A Design of the Emergency-notification and Driver-response Confirmation System(EDCS) for an autonomous vehicle safety 원문보기

한국정보전자통신기술학회논문지 = Journal of Korea institute of information, electronics, and communication technology, v.14 no.2, 2021년, pp.134 - 139

손수락 (Catholic Kwandong University, Department of Computer Engineering) , 정이나 (Catholic Kwandong University, Department of Software)

초록
AI-Helper

현재 자율주행차량 시장은 3레벨 자율주행차량을 상용화하고 있으나, 여전히 운전자의 주의를 필요로 한다. 3레벨 자율주행 이후 4레벨 자율주행차량에서 가장 주목되는 부분은 차량의 안정성이다. 3레벨과 다르게 4레벨 이후의 자율주행차량은 운전자의 부주의까지 포함하여 자율주행을 실시해야 하기 때문이다. 따라서 본 논문에서는 운전자가 부주의한 상황에서 긴급상황을 알리고 운전자의 반응을 인식하는 자율차량 안전을 위한 긴급상황 알림 및 운전자 반응 확인 시스템을 제안한다. 긴급상황 알림 및 운전자 반응 확인 시스템은 긴급상황 전달 모듈을 사용하여 긴급상황을 텍스트화하여 운전자에게 음성으로 전달하며 운전자 반응 확인 모듈을 사용하여 긴급상황에 대한 운전자의 반응을 인식하고 운전 권한을 운전자에게 넘길지 결정한다. 실험 결과, 긴급상황 전달 모듈의 HMM은 RNN보다 25%, LSTM보다 42.86% 빠른 속도로 음성을 학습했다. 운전자 반응 확인 모듈의 Tacotron2는 deep voice보다 약 20ms, deep mind 보다 약 50ms 더 빨리 텍스트를 음성으로 변환했다. 따라서 긴급상황 알림 및 운전자 반응 확인 시스템은 효율적으로 신경망 모델을 학습시키고, 실시간으로 운전자의 반응을 확인할 수 있다.

Abstract ▼ AI-Helper

Currently, the autonomous vehicle market is commercializing a level 3 autonomous vehicle, but it still requires the attention of the driver. After the level 3 autonomous driving, the most notable aspect of level 4 autonomous vehicles is vehicle stability. This is because, unlike Level 3, autonomous vehicles after level 4 must perform autonomous driving, including the driver's carelessness. Therefore, in this paper, we propose the Emergency-notification and Driver-response Confirmation System(EDCS) for an autonomousvehicle safety that notifies the driver of an emergency situation and recognizes the driver's reaction in a situation where the driver is careless. The EDCS uses the emergency situation delivery module to make the emergency situation to text and transmits it to the driver by voice, and the driver response confirmation module recognizes the driver's reaction to the emergency situation and gives the driver permission Decide whether to pass. As a result of the experiment, the HMM of the emergency delivery module learned speech at 25% faster than RNN and 42.86% faster than LSTM. The Tacotron2 of the driver's response confirmation module converted text to speech about 20ms faster than deep voice and 50ms faster than deep mind. Therefore, the emergency notification and driver response confirmation system can efficiently learn the neural network model and check the driver's response in real time.

주제어

표/그림 (6)

그림 그림 1. 음성 전달 및 인식 시스템의 전체 구성도 Fig. 1. Overall configuration diagram of the Emergency-notification and Driver-response Confirmation System (EDCS)
그림 그림 3. 운전자 반응 확인 모듈의 음성인식 신경망 Fig. 3. The voice recognition neural network of the driver response confirmation module
표 표 1. HMM, RNN, LSTM의 학습 시간 Table 1. Learning time for HMM, RNN, LSTM
그림 그림 4. HMM, RNN, LSTM의 학습 시간 Fig. 4. Learning time for HMM, RNN and LSTM
그림 그림 5. 타코트론2, 딥 보이스, 딥 마인드의 연산 시간 Fig. 5. Calculation time of the Tacotron 2, Deep Voice and Deep Mind
표 표 2. Tacotron2, deep voice, deep mind의 연산 시간 Table 2. calculation time of the Tacotron2, deep voice and deep mind

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

즉, 현재 자율주행 차량은 완벽히 안전하지 않지만, 운전자는 쉽게 부주의해질 수 있다는 뜻이다. 따라서 본 논문에서는 차량에서 긴급 상황이 발생하면 음성으로 운전자에게 알리고, 운전자의 반응에 따라 자율주행 지속 여부를 결정하는 자율차량 안전을 위한 긴급상황 알림 및 운전자 반응 확인 시스템을 설계한다. 본 논문에서 제시하는 긴급상황 알림 및 운전자 반응 확인 시스템은 주어진 긴급상황을 텍스트 문장으로 생성하고 TTS(Text to Speech)를 통해 음성으로 출력하는 긴급 상황 전달 모듈과 STT(Speech to Text)를 통해 운전자의 음성을 텍스트 문장으로 생성하여 운전자의 수동 주행 여부를 인식하는 운전자 반응 확인 모듈로 구성된다.
긴급상황 알림 및 운전자 반응 확인 시스템은 주어진 긴급상황을 텍스트 문장으로 생성하고 TTS(Text to Speech)를통해 음성으로 출력하는 긴급상황 전달 모듈과 STT(Speech to Text)를 통해 운전자의 음성을 텍스트 문장으로 생성하여 운전자의 수동 주행 여부를 인식하는 운전자 반응 확인 모듈로 구성되었다. 본 논문에서는 긴급상황 알림 및 운전자 반응 확인 시스템의 효율성을 검증하기 위해 서로 다른 음성인식 모델의 학습 시간을 비교하고, 서로 다른 TTS 모델의 연산 시간을 비교했다. 실험 결과, HMMe RNN보다 25% LSTM보다 42.
본 논문에서는 긴급상황을 텍스트 문장으로 생성하여 TTS를 통해 운전자에게 음성으로 긴급상황을 전달하고 운전자의 음성을 입력받아 자율주행 지속 여부를 결정하는 자율차량 안전을 위한 긴급상황 알림 및 운전자 반응 확인 시스템을 제안했다. 긴급상황 알림 및 운전자 반응 확인 시스템은 주어진 긴급상황을 텍스트 문장으로 생성하고 TTS(Text to Speech)를통해 음성으로 출력하는 긴급상황 전달 모듈과 STT(Speech to Text)를 통해 운전자의 음성을 텍스트 문장으로 생성하여 운전자의 수동 주행 여부를 인식하는 운전자 반응 확인 모듈로 구성되었다.
본 논문은 긴급상황 알림 및 운전자 반응 확인 시스템의 유효성을 판단하기 위하여 가상환경의 긴급상황 데이터를 사용하여 긴급상황 전달 모듈과 운전자 반응확인 모듈에 대한 실험을 진행했다. 긴급상황 전달 모듈의 경우 많은 긴급상황을 빠르게 학습하는지 검증하기 위하여 다른 음성인식 모델들을 동일 환경에서 학습 시켜 학습 시간을 비교하였다.

가설 설정

본 논문에서 는 생성된 텍스트 단어들의 집합을 의미하며,  집합 전체는 문장을 의미한다. 셋째, _는  집합에서 에서 로 이동할 확률을 나타내는 전이 확률 ∣을의미한다.

제안 방법

RNN과 LSTMe 기존 구조에 HMM의 입출력과 같은 노드를 설계하여 같은 테스트 데이터 세트를 입력했다[9, 10]. 테스트 데이터 세트의 문장을 500개부터 1, 300 개까지 증가시키면서 각 모델의 학습 시간이 측정되었다.
반응 확인 시스템을 제안했다. 긴급상황 알림 및 운전자 반응 확인 시스템은 주어진 긴급상황을 텍스트 문장으로 생성하고 TTS(Text to Speech)를통해 음성으로 출력하는 긴급상황 전달 모듈과 STT(Speech to Text)를 통해 운전자의 음성을 텍스트 문장으로 생성하여 운전자의 수동 주행 여부를 인식하는 운전자 반응 확인 모듈로 구성되었다. 본 논문에서는 긴급상황 알림 및 운전자 반응 확인 시스템의 효율성을 검증하기 위해 서로 다른 음성인식 모델의 학습 시간을 비교하고, 서로 다른 TTS 모델의 연산 시간을 비교했다.
모듈에 대한 실험을 진행했다. 긴급상황 전달 모듈의 경우 많은 긴급상황을 빠르게 학습하는지 검증하기 위하여 다른 음성인식 모델들을 동일 환경에서 학습 시켜 학습 시간을 비교하였다. 운전자 반응 확인 모듈의 경우 실시간성을 입증하기 위하여 다른 TTS 모델들과 동일 환경에서 연산 시간을 비교하였다.
따라서 본 논문에서는 차량에서 긴급 상황이 발생하면 음성으로 운전자에게 알리고, 운전자의 반응에 따라 자율주행 지속 여부를 결정하는 자율차량 안전을 위한 긴급상황 알림 및 운전자 반응 확인 시스템을 설계한다. 본 논문에서 제시하는 긴급상황 알림 및 운전자 반응 확인 시스템은 주어진 긴급상황을 텍스트 문장으로 생성하고 TTS(Text to Speech)를 통해 음성으로 출력하는 긴급 상황 전달 모듈과 STT(Speech to Text)를 통해 운전자의 음성을 텍스트 문장으로 생성하여 운전자의 수동 주행 여부를 인식하는 운전자 반응 확인 모듈로 구성된다. 본 논문의 2절은 해당 연구가 직, 간접적으로 영향을 받은 STT와 TTS에 대한 연구들을 소개하고, 3절은 본 논문에서 제안하는 긴급상황 알림 및 운전자 반응 확인 시스템에 대해 상세히 기술한다.
본 논문에서 제안하는 음성 전달 및 인식 시스템은 두 가지 모듈로 구성된다. 첫 번째 모듈인 긴급상황 전달 모듈은 긴급상황을 텍스트화하여 운전자에게 음성으로 전달한다.
온라인으로 추정하기 어려운 소스와 마이크 간의 전달함수 대신 상대적으로 추정이 용이한 기준 마이크와 다른 마이크 간의 상대전달함수를 조향 벡터로 이용함으로써, 원격장 모델의 조향 벡터를 이용한 빔형 성기에 비해 목적 음성 신호의 왜곡을 감소시킬 수 있는 준최적 빔형성 기법을 제안하였다[6].
긴급상황 전달 모듈의 경우 많은 긴급상황을 빠르게 학습하는지 검증하기 위하여 다른 음성인식 모델들을 동일 환경에서 학습 시켜 학습 시간을 비교하였다. 운전자 반응 확인 모듈의 경우 실시간성을 입증하기 위하여 다른 TTS 모델들과 동일 환경에서 연산 시간을 비교하였다. 실험에 사용된 모델들은 LJ Speech Dataset을 사용하여 학습되고 테스트되었다.
RNN과 LSTMe 기존 구조에 HMM의 입출력과 같은 노드를 설계하여 같은 테스트 데이터 세트를 입력했다[9, 10]. 테스트 데이터 세트의 문장을 500개부터 1, 300 개까지 증가시키면서 각 모델의 학습 시간이 측정되었다.
해당 연구는 어플리케이션이 한 화면으로만 구성되며 검은 바탕에 흰 글씨를 사용하여 필요한 정보만 띄움으로써 보기 쉽게 만들고, 사용법은 더욱 간단해진 버스 안내 어플리케이션을 제안했다. 또한 해당어플리케이션은 정보를 표시할 때 TTS를 사용하여 표시한 정보를 음성으로 안내한다[3].
제안한 가이드를 사용하면 엔진 제작사는 한국어 특성에 기반한 STT 변환을 수행할 수 있으며, 수요처에서는 더 정확한 평가를 수행할 수 있다. 해당 연구에서는 비교적 짧은 문장에 대한 테스트와 제한된 인력을 통한 평가를 수행했다. 또한 사투리나 외래어에 대한 충분히 고려되지 않았다[5].

대상 데이터

운전자 반응 확인 모듈의 경우 실시간성을 입증하기 위하여 다른 TTS 모델들과 동일 환경에서 연산 시간을 비교하였다. 실험에 사용된 모델들은 LJ Speech Dataset을 사용하여 학습되고 테스트되었다.

이론/모형

긴급상황전달 모듈은 Seq2Seq 모델을 통하여 긴급상황을 텍스트 문장으로 변환하고 Google의 타코트론2[7]를이용하여 긴급상황 텍스트를 음성으로 변환한다. 우선 긴급상황 전달 모듈은 BLEU Score (Bilingual Evaluation Understudy Score)를 사용하여 Seq2Seq 모델을 학습시킨다.
Seq2Seq 모델이 긴급상황을 텍스트 문장으로 생성하면, 긴급상황 전달 모듈의타코트론 2 모델[7]은 Seq2Seq 모델이 생성한 텍스트 문장을 음성으로 변환하여 운전자에게 전달한다. 이때, 생성된 문장을 음성으로 변환하기 위하여 긴급상황 전달 모듈은 LJ Speech Dataset[8]을 사용하여 타코트론 2 모델을 학습한다.

성능/효과

본 논문에서는 긴급상황 알림 및 운전자 반응 확인 시스템의 효율성을 검증하기 위해 서로 다른 음성인식 모델의 학습 시간을 비교하고, 서로 다른 TTS 모델의 연산 시간을 비교했다. 실험 결과, HMMe RNN보다 25% LSTM보다 42.86% 빠른 속도로 음성을 학습했고 Tacotron2는 deep voice보다 약 20ms, deep mind 보다 약 50ms 더 빨리 텍스트를 음성으로 변환했다. 그러나 실제 긴급상황이 아닌 가상환경에서 임의로 설정된 긴급상황이었으며, 긴급상황 알림 및 운전자 반응 확인 시스템은 스스로 긴급상황을 탐지할 수 없다.
제안한 가이드를 사용하면 엔진 제작사는 한국어 특성에 기반한 STT 변환을 수행할 수 있으며, 수요처에서는 더 정확한 평가를 수행할 수 있다. 해당 연구에서는 비교적 짧은 문장에 대한 테스트와 제한된 인력을 통한 평가를 수행했다.

후속연구

그러나 실제 긴급상황이 아닌 가상환경에서 임의로 설정된 긴급상황이었으며, 긴급상황 알림 및 운전자 반응 확인 시스템은 스스로 긴급상황을 탐지할 수 없다. 따라서 향후 차량 센서 데이터를 이용하여 긴급상황을 스스로 탐지하기 위한 연구가 진행되어야 하며, 해당 연구 이후 실제 차량에서 긴급상황을 탐지하고 음성으로 알림을 전달하는 실험이 이루어져야 할 것이다.

참고문헌 (12)

Tesla owner in Canada charged with 'sleeping' while driving over 90 mph, Andrew J. Hawkins, Available online: https://www.theverge.com/2020/9/18/21445168/tesla-driver-sleeping-police-charged-canada-autopilot
Ji Hoon Na, Jung Mo Sung, Yoon Gi Yang, "Low-cost implementation of text to speech(TTS) system for car navigation", Journal of the Acoustical Society of Korea 2000 Summer Conference, The Acoustical Society of Korea, Vol.19, No.1, pp. 141-144, 2000
Ji Young Yoon, Hyeon Ji Lee, Sung Soo Hwang, "Bus Arrival Guide Application for the Blind and Low Vision", PROCEEDINGS OF HCI KOREA 2018, The HCI Society of Korea, pp. 858-861, January, 2018
Jin Woo Choi, Gu Min Jeong, "Development of Walking Assist Smartphone Case for Blind People", The Journal of Korea Institute of Information, Electronics, and Communication Technology, Korea Information Electronic Communication Technology, Vol.8, No.3, pp. 239-242, 2015

원문보기 상세보기
So Yeon Min, Kwang Hyong Lee, Dong Seon Lee, Dong Yeop Ryu, "A Study on Quantitative Evaluation Method for STT Engine Accuracy based on Korean Characteristics", Journal of Korea Academia-Industrial cooperation Society, Korea Academy Industrial Cooperation Society, Vol.21, No.7, pp. 699-707, 2020

원문보기 상세보기
Chul Hee Han, Hong Goo Kang, Young Soo Hwang, Dae Hee Youn, "A Microphone Array Beamformer for the Performance Enhancement of Speech Recognizer in Car", The journal of the acoustical society of Korea, The acoustical society of Korea, Vol.24, No.7, pp.423-430, 2015
Yuxuan Wang, RJ Skerry-Ryan, Daisy Stanton, Yonghui Wu, Ron J. Weiss, Navdeep Jaitly, Zongheng Yang, Ying Xiao, Zhifeng Chen, Samy Bengio, Quoc Le, Yannis Agiomyrgiannakis, Rob Clark, Rif A. Saurous, "Tacotron: Towards End-to-End Speech Synthesis", Interspeech 2017, Stockholm, Sweden, August, 2017
The LJ Speech Dataset. Available online: https://keithito.com/LJ-Speech-Dataset/(2020-09-03).
Won-jun Yoo, "Introduction to natural language processing using deep learning", 2020
Understanding LSTM Networks, colah, Available online: http://colah.github.io/posts/2015-08-Understanding-LSTMs/
Miles Anderson, Yadong Wang, Francois Leo, Stephane Coen, Miro Erkintalo, Stuart Murdoch, "Super cavity solitons and the coexistence of multiple nonlinear states in a tristable passive Kerr resonator", Phys. Rev., Vol. 7, 2017
Jeff Donahue, Sander Dieleman, Mikolaj Binkowski, Erich Elsen, Karen Simonyan, "END-TO-END ADVERSARIAL TEXT-TO-SPEECH", DeepMind, 2020

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증