선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 구급 신고 전화 전사의 주요목적은 증상표현에 대해서 분석하기 위해서이다. 신고자의 증상 표현의 경우, 동일 증상에 대한 다양한 표현이 존재하고 다른 증상임에도 동일하거나 유사한 표현이 존재한다.
- 그러나 이들의 업무 수행에 필수적으로 활용하는 ‘긴급구조표준시스템’과 ‘수보 프로토콜’이 연계성을 갖지 못함으로써 수보업무의 효율성이 떨어지고 있다[10]. 따라서 수보요원의 업무를 효과적으로 지원하고 위기 상황 대응의 신속성과 정확성을 높이기 위한 기술 개발로 음성인식 기술을 수보요원 프로토콜에 적용해 보고자 한다.
- 먼저 현재 응급상황관제 시스템에 음성인식 기술을 적용 방법에 대해서 살펴본다. 그리고, 응급관제시스템의 대용량 음성인식기 개발에 대해서 살펴본다.
- 본 연구는 대화체 음성을 그 대상으로 하며, 인식된 텍스트를 기반으로 다양한 지식 정보를 추출하는 음성기술 서비스로 수보요원 도우미 역할을 한다. 자연어 대화체 음성을 인식하기 위해 대용량 음성인식기 모델 개발과 녹취록 분석에서 사용되는 후처리 기법이 접목되어 사용되고 응급상황관제시스템에 적용하기 위한 한국어 연속음성인식 시스템을 개발하였다.
- WordPiece Model은 모든 음절의 통계치를 기본으로 시작하여 음절을 붙여가는 방식인데 이 방법은 구글에서와 같이 대용량의 텍스트 말뭉치를 보유하고 있어야 의미 있는 인식단위가 추출되고 많은 계산량을 필요로 하기 때문에 실제 사용하기 어려움이 있다. 본 연구에서는 구글의 WordPiece Model과는 다르게 음절이 아닌 어절단위 Unigram과 Bigram 빈도수를 이용하여 긴어절을 분할하고자 한다.
- 본 연구에서는 대용량 음성 인식기를 개발하여 응급관제시스템에 적용함으로써, 수보 프로토콜과 신고 접수업무와의 연계성을 높여 수보업무의 효율성을 높이고자 시도하였다. 대용량음성 인식기를 위한 발음모델은 40만 어휘 크기로 사전을 구성하였으며, 음향모델은 DNN-HMM 형식으로 개발하였다.
제안 방법
- 핵심인식대상 추출을 위해서는 각 대상에 대한 템플릿을 구성하였다. 31가지 환자 주증상을 표현/의미하는 템플릿들은 구급 신고전화에서의 한국어 증상 표현연구[9] 의 증상별 언어표현을 기반으로 구성하였다. 어떤 증상의 언어표현이 여러 주증상 표현에 포함되면 여러 주증상이 검출될 수 있다.
- 실험을 위해 전사한 6,600건(신고접수)에서 구급활동일지와 국가응급환자진료정보망(NEDIS: National Emergency Department Information System) 정보를 연계해서 주증상과 구급환자분류가 확인된 68건을 추출하였다. 68건의 신고통화에 대해서 전사 수정작업을 하였다. 전사 수정작업은 개인정보는 삭제되었기 때문에 가상의 주소로 첨삭하여 실제 전사기반으로 자연스럽게 수정하는 작업과, 환자 정보를 자연스럽게 포함하도록 수정하는 작업을 병행했다.
- 구급 신고 전화에 응급출동 템플릿 구성은 핵심어 중심으로 템플릿을 구성하였다. 핵심어들은 상당히 위급상황을 나타내는 단어들로 다른 주증상이나 인적 사항 등을 알아볼 여유가 없이 핵심어가 검출이 되면 바로 응급출동 해야 한다.
- 전체 보유한 말뭉치에 대해서 Unigram과 Bigram의 빈도수를 분석해 보았다. 구해진 Unigram 23,604,725개 Bigram 242,864,185개로 인식 사전의 인식단위 후보로 모두 사용하기에 너무 많아 이를 효과적으로 줄이기 위해서 휴리스틱한 방법을 사용하였다.
- 그리고 연속음성인식 개발 툴로 Kaldi toolkit[3]을 사용하고, 서비스 처리를 위해 과 같은 서버-클라이언트 시스템을 구성하였다[1].
- 그리고, 응급관제시스템의 대용량 음성인식기 개발에 대해서 살펴본다. 대규모 말뭉치 어절 처리 방식, 음향모델, 언어모델, 후처리 방법을 기술하고, 마지막으로 응급상황관제시스템의 성능을 살펴볼 것이다.
- 본 연구에서는 대용량 음성 인식기를 개발하여 응급관제시스템에 적용함으로써, 수보 프로토콜과 신고 접수업무와의 연계성을 높여 수보업무의 효율성을 높이고자 시도하였다. 대용량음성 인식기를 위한 발음모델은 40만 어휘 크기로 사전을 구성하였으며, 음향모델은 DNN-HMM 형식으로 개발하였다. 텍스트 말뭉치는 어절 분할 알고리즘 적용한 말뭉치를 이용하여 5-gram 언어모델을 개발하였다.
- 본 연구에서 개발된 한국어 연속음성인식 음향모델 단위는 40개의 한국어 음소를 기반으로 문맥 의존 트라이폰(Context dependent Triphone) 모델로 구성하였다. 음향모델 구조는 DNN-HMM(Deep Neural Network - Hidden Markov Model) 형태로 구성되었다[3].
- 구급 신고접수에서 본인여부가 중요한 이유는 신고접수를 본인이 직접 했으면 일단 호흡과 의식은 있는 것으로 판단하고 응급일 확률은 낮아지기 때문이다. 성별이나 나이를 짐작할 수 있는 단어들에 대해서 하나의 단어에서 2가지 핵심 정보를 추출할 수 있도록 템플릿을 구성하였다.
- 신고자의 증상 표현의 경우, 동일 증상에 대한 다양한 표현이 존재하고 다른 증상임에도 동일하거나 유사한 표현이 존재한다. 수보ㆍ상담 요원의 신속한 증상 판단을 돕고 오판을 방지하기 위해 각종 구급 증상에 대한 표현들을 분석하고 해당 구급 증상의 전형적이고 일반적인 증상표현 목록을 사용 하였다[9]. 전형적이고 일반적인 증상 표현은 신고자의 환자 정보 자동추출 템플릿 구성에 사용한다.
- <그림 1>에서 보는 바와 같이, 클라이언트 부분은 응급상황 관제 수보요원의 신고접수 프로그램 내에 내재되는 형태로 설계하고, 서버 부분은 클라이언트와 송수신을 담당하는 마스터 서버와 음성인식을 담당하는 워커 서버로 분리하여 음성인식 서버 확장이 용이 하도록 설계 하였다. 연속음성인식을 위해 심층 신경망(Deep Neural Network) 모델을 이용하는 Kaldi-nnet2-online 디코더를 이용하였다[4].
- 출력 결과는 응급/비응급/예측실패 3종류로 출력된다. 예측실패는 환자 정보 추출에 실패했거나, 입력 데이터에 응급/비응급 판단을 위한 환자정보가 없을 때 출력하도록 시스템을 설계하였다.
- 음성인식률 실험에는 818개 음성파일을 입력으로 사용하여 인식률을 실험하였고, 의미추출 성능을 알아보기 위해서 68개 시나리오별로 입력하여 응급출동 검출이 되는지 실험을 하였다.
- 응급상황관제시스템 개발에서 개발된 연속음성인식 시스템의 인식단어 오류율은 <표 5>과 같다. 인식어휘 403K를 기반으로 개발된 5-gram 언어모델을 이용하여 연속음성인식 네트워크를 구성하였고 5,888 문장 발화 테스트 데이터를 사용하여 성능을 측정하였다. 연속음성인식기 성능 측정에 사용되는 사전의 크기는 40만 어휘이다.
- 훈련 음향모델은 DNN-HMM 형식으로 HMM은 8,961개의tided state 모델로 구성되었고, DNN 구조는 3개의 은닉층(Hidden Layer)과 입력층 그리고 출력층, 총 5개의 층으로 구성되었다. 입력특징 벡터의 기본 단위는 25msec 윈도우와 10msec 단위 슬라이딩을 통해 주파수 도메인에서 MFCC(Mel-Frequency Cepstrum Coefficient) 40차원을 추출하고 현재 프레임과 이전 프레임 2개, 이후 프레임 2개 총 5개 프레임의 200 차원 특징벡터와 칼디(kaldi) 온라인 인식기에서 사용하는 iVector 모델의 출력특징벡터 100차원을 포함 총 300차원의 벡터를 구성 후, LDA 변환 후 (차원 감소 없음) 입력 벡터로 사용하였다. <표 4>은 음향 모델의 전체 구조를 설명한다.
- 자동으로 응급출동이 검출되는 의 시나리오로 실험을 하였다.
- 본 연구는 대화체 음성을 그 대상으로 하며, 인식된 텍스트를 기반으로 다양한 지식 정보를 추출하는 음성기술 서비스로 수보요원 도우미 역할을 한다. 자연어 대화체 음성을 인식하기 위해 대용량 음성인식기 모델 개발과 녹취록 분석에서 사용되는 후처리 기법이 접목되어 사용되고 응급상황관제시스템에 적용하기 위한 한국어 연속음성인식 시스템을 개발하였다. 연속음성인식모델 개발을 위해 00 소방안전본부에서 제공한 2014년 4월 8일~12월 31일까지의 수보단계 신고 접수 음성 6천6백 건에 대한 전사(Transcription) 데이터와 일반 뉴스, SNS, 일반 대화문장 관련 데이터 등을 함께 이용하였다.
- 68건의 신고통화에 대해서 전사 수정작업을 하였다. 전사 수정작업은 개인정보는 삭제되었기 때문에 가상의 주소로 첨삭하여 실제 전사기반으로 자연스럽게 수정하는 작업과, 환자 정보를 자연스럽게 포함하도록 수정하는 작업을 병행했다. 환자 정보 수정은 2가지 정보를 포함하도록 수정해야 하는데 ‘어느 템플릿에 템플릿 상태가 어떻다’ 형식으로 이루어졌다.
- 제안되는 응급상황관제시스템은 신고접수 대화중 수보요원이 환자정보 포함한 발화를 바로 인식하고, 인식결과로부터 의미추출 후처리 방법을 이용하여 신고환자의 증상정보를 추출하고, 추출정보에 대해서 응급/비응급 예측판단 할 수 있도록 하였다.
- 실험은 두 가지 측면에서 시행한다. 첫 번째는 40만 어휘 대용량음성인식기의 자체 성능을 실험하기 위해 음성인식률을 알아보고, 두 번째는 인식결과에서 의미추출 성능을 알아보기 위해 응급출동 검출성능을 실험한다.
- 대용량음성 인식기를 위한 발음모델은 40만 어휘 크기로 사전을 구성하였으며, 음향모델은 DNN-HMM 형식으로 개발하였다. 텍스트 말뭉치는 어절 분할 알고리즘 적용한 말뭉치를 이용하여 5-gram 언어모델을 개발하였다. 개념 검증(Proof of concept)으로 개발한 시스템으로서 성능실험 결과는 인식단어 오류율 9.
- 핵심인식대상은 “119 구급상황관리센터 상담 매뉴얼”의 구급대 출동대상 범주 분류표에서 추출된 31가지 주증상 , 응급출동 과 인적사항를 추출할 수 있도록 설계되었다.
대상 데이터
- 파일 형식 뿐 아니라 채널 분리가 되어 있지 않고 신고자와 수보요원의 음성이 겹쳐 있기 때문에, 실제 음성데이터를 음성인식 실험이나 음향모델 학습용으로 사용하기에 적합하지 않다. 따라서 실험에 사용될 음성 파일은 실제 전사 시나리오를 기반으로 녹음하여 실험에 사용한다.
- 보유한 텍스트 말뭉치는 낭독체 스타일의 말뭉치가 UTF-8 형식으로 약 22 Gbytes와 대화체 스타일의 말뭉치 약 900 MBytes용량을 사용하였다. 전체 보유한 말뭉치에 대해서 Unigram과 Bigram의 빈도수를 분석해 보았다.
- 수정된 전사 스크립트는 68개 시나리오에서 총 818개의 문장으로 구성되었고, 이는 녹음하여 테스트 입력 음성파일로 사용하였다.
- 실험을 위해 전사한 6,600건(신고접수)에서 구급활동일지와 국가응급환자진료정보망(NEDIS: National Emergency Department Information System) 정보를 연계해서 주증상과 구급환자분류가 확인된 68건을 추출하였다. 68건의 신고통화에 대해서 전사 수정작업을 하였다.
- <표 1>에서 보이는 언어모델 훈련용 텍스트 데이터는 인터넷 뉴스, SNS(Social Network Service) 게시된 글, 위키(Wiki) 게시된 글, 영화 자막(대화) 등의 일반영역의 수집된 데이터들과 00 소방안전본부에서 제공한 2014년 4월 8일~12월 31일까지의 수보단계 신고 접수 음성 6,600건에 대한 전화음성 텍스트 전사(Transcription) 데이터로 구성되었다. 이들 데이터는 텍스트 정규화 및 정제 작업을 거처 어절 분할 알고리즘을 통해 언어모델학습용 데이터로 구성된다.
- 자연어 대화체 음성을 인식하기 위해 대용량 음성인식기 모델 개발과 녹취록 분석에서 사용되는 후처리 기법이 접목되어 사용되고 응급상황관제시스템에 적용하기 위한 한국어 연속음성인식 시스템을 개발하였다. 연속음성인식모델 개발을 위해 00 소방안전본부에서 제공한 2014년 4월 8일~12월 31일까지의 수보단계 신고 접수 음성 6천6백 건에 대한 전사(Transcription) 데이터와 일반 뉴스, SNS, 일반 대화문장 관련 데이터 등을 함께 이용하였다. 그리고 연속음성인식 개발 툴로 Kaldi toolkit[3]을 사용하고, 서비스 처리를 위해 <그림1>과 같은 서버-클라이언트 시스템을 구성하였다[1].
- 음성 데이터는 8kHz sampling rate, signed 16bits 데이터로 총 1,372시간이며 테스트 데이터로 6시간 (학습에 사용하지 않은 약 5,888문장 발화파일) 그리고 훈련 데이터로 약 1,366 시간을 사용하였다.
- 음성인식 기술을 응급관제시스템에 적용하기 위해, 2014년도 00지역 실제 구급 신고 전화중 개인정보 제거한 6,600건에 대해 전사하였다.
- <표 1>에서 보이는 언어모델 훈련용 텍스트 데이터는 인터넷 뉴스, SNS(Social Network Service) 게시된 글, 위키(Wiki) 게시된 글, 영화 자막(대화) 등의 일반영역의 수집된 데이터들과 00 소방안전본부에서 제공한 2014년 4월 8일~12월 31일까지의 수보단계 신고 접수 음성 6,600건에 대한 전화음성 텍스트 전사(Transcription) 데이터로 구성되었다. 이들 데이터는 텍스트 정규화 및 정제 작업을 거처 어절 분할 알고리즘을 통해 언어모델학습용 데이터로 구성된다.
- 이를 극복하고자 하는 연구[11]가 있으나 본 연구에서는 형태소해석을 하지 않고 어절 분할 결과를 이용하기에 적합하지가 않다. 한국어 연속음성인식을 위한 언어모델은 영역별 말뭉치 데이터로부터 추출한 403K개 유사어절 형태의 인식어휘를 기반으로 SRI LM(SRI Language Modeling Toolkit)[6]을 사용하여 5-gram으로 구성되었다. 언어모델 훈련에 사용된 말뭉치 데이터는 <표 1>과 같다.
- 훈련 음향모델은 DNN-HMM 형식으로 HMM은 8,961개의tided state 모델로 구성되었고, DNN 구조는 3개의 은닉층(Hidden Layer)과 입력층 그리고 출력층, 총 5개의 층으로 구성되었다. 입력특징 벡터의 기본 단위는 25msec 윈도우와 10msec 단위 슬라이딩을 통해 주파수 도메인에서 MFCC(Mel-Frequency Cepstrum Coefficient) 40차원을 추출하고 현재 프레임과 이전 프레임 2개, 이후 프레임 2개 총 5개 프레임의 200 차원 특징벡터와 칼디(kaldi) 온라인 인식기에서 사용하는 iVector 모델의 출력특징벡터 100차원을 포함 총 300차원의 벡터를 구성 후, LDA 변환 후 (차원 감소 없음) 입력 벡터로 사용하였다.
데이터처리
- 보유한 텍스트 말뭉치는 낭독체 스타일의 말뭉치가 UTF-8 형식으로 약 22 Gbytes와 대화체 스타일의 말뭉치 약 900 MBytes용량을 사용하였다. 전체 보유한 말뭉치에 대해서 Unigram과 Bigram의 빈도수를 분석해 보았다. 구해진 Unigram 23,604,725개 Bigram 242,864,185개로 인식 사전의 인식단위 후보로 모두 사용하기에 너무 많아 이를 효과적으로 줄이기 위해서 휴리스틱한 방법을 사용하였다.
이론/모형
- 결과 언어모델은 각 텍스트 영역별 언어모델을 따로 구성하여 언어모델 Interpolation 방법을 이용해 통합하였다. 응급상황 관제관련 말뭉치가 다른 영역에 비해 많이 부족하여 통합해서 언어모델을 개발하면 응급상황관제 관련 어절 빈도수가 적어가지치기 될 수도 있기 때문이다.
- 심볼, 약자, 영어 등은 정제를 통해 어느 정도 해결할 수 있지만 더욱 문제점은 말뭉치가 띄어쓰기 없이 수집되어 수작업으로 어절 분리를 할 수 없다는 것이다. 구글에서는 앞서 제기한 여러 문제를 해결하기 위해 문자(한글), 숫자, 영문자 등을 구분하지 않고 모두 심볼로 처리하면서 대용량의 텍스트 말뭉치로부터 통계적 빈도수로 인식단위를 추출하는 WordPiece Model[5] 이라는 개념을 사용했다. WordPiece Model은 모든 음절의 통계치를 기본으로 시작하여 음절을 붙여가는 방식인데 이 방법은 구글에서와 같이 대용량의 텍스트 말뭉치를 보유하고 있어야 의미 있는 인식단위가 추출되고 많은 계산량을 필요로 하기 때문에 실제 사용하기 어려움이 있다.
- 본 연구에서 의미 추출하는 방법으로 심플한 레벤슈타인 거리(Levenshtein Distance) 측정방법[2]을 사용하였다. 레벤슈타인 거리 측정값은 두 문자열이 얼마나 다른지를 나타내는 거리 값으로써 주로 철자 검사기, 간단한 의미분석, DNA 분석, 표절 검사 등에 널리 사용되는 기술이다.
- <그림 1>에서 보는 바와 같이, 클라이언트 부분은 응급상황 관제 수보요원의 신고접수 프로그램 내에 내재되는 형태로 설계하고, 서버 부분은 클라이언트와 송수신을 담당하는 마스터 서버와 음성인식을 담당하는 워커 서버로 분리하여 음성인식 서버 확장이 용이 하도록 설계 하였다. 연속음성인식을 위해 심층 신경망(Deep Neural Network) 모델을 이용하는 Kaldi-nnet2-online 디코더를 이용하였다[4].
- 본 연구에서 개발된 한국어 연속음성인식 음향모델 단위는 40개의 한국어 음소를 기반으로 문맥 의존 트라이폰(Context dependent Triphone) 모델로 구성하였다. 음향모델 구조는 DNN-HMM(Deep Neural Network - Hidden Markov Model) 형태로 구성되었다[3].
성능/효과
- 텍스트 말뭉치는 어절 분할 알고리즘 적용한 말뭉치를 이용하여 5-gram 언어모델을 개발하였다. 개념 검증(Proof of concept)으로 개발한 시스템으로서 성능실험 결과는 인식단어 오류율 9.14%와 응급출동 예측성능 95.8%를 보여서, 수보요원의 업무에 충분히 도움을 줄 수 있을 것으로 판단된다.
- 결과 언어모델을 응급상황관제 관련 말뭉치를 이용한 PPL 측정 시, 평균 100 미만의 값을 얻을 수 있었다.
- 전체 Unigram 빈도수 분포를 보면 2음절에서 4음절의 분포가 전체의 약 78%를 차지하고 있음을 이용하였다.
후속연구
- 실제 더 많은 구급통화를 전사 분석하여 시스템을 안정화할 필요가 있고, 특히 의미 추출을 위한 추가 증상 표현 연구와 방법론 연구가 필요하다. 응급출동만이 아니라 31가지 다른 범주에 대해서도 응급출동 예측판단에 도움을 줄 수 있는 예측 모델을 연구할 계획이다.
- 실제 더 많은 구급통화를 전사 분석하여 시스템을 안정화할 필요가 있고, 특히 의미 추출을 위한 추가 증상 표현 연구와 방법론 연구가 필요하다. 응급출동만이 아니라 31가지 다른 범주에 대해서도 응급출동 예측판단에 도움을 줄 수 있는 예측 모델을 연구할 계획이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.