초록 ▼

□ 연구개발 목표 및 내용
○ 최종 목표
◦ 최종목표 : 인공지능을 이용한 음향기반 위급상황 분석 비상벨 관제 시스템 개발
◦ 비상벨 관제 시스템 및 음향장면분석기반 112출동체계 코드 분류 AI기술 개발
- 주요 기능(또는 규격)
· 실시간 비상벨 관제가 가능한 관제시스템
· 기존 통합관제시스템과 연동을 위한 인터페이스 구축
· 공중화장실 비상벨상황 시간별 음향사건 분류 기능 (복합적 단순음향발생 2개 이상)
· 공중화장실 비상벨상황 음향장면분석기반 112출동체계 코드 분류 기능 (3개

□ 연구개발 목표 및 내용
○ 최종 목표
◦ 최종목표 : 인공지능을 이용한 음향기반 위급상황 분석 비상벨 관제 시스템 개발
◦ 비상벨 관제 시스템 및 음향장면분석기반 112출동체계 코드 분류 AI기술 개발
- 주요 기능(또는 규격)
· 실시간 비상벨 관제가 가능한 관제시스템
· 기존 통합관제시스템과 연동을 위한 인터페이스 구축
· 공중화장실 비상벨상황 시간별 음향사건 분류 기능 (복합적 단순음향발생 2개 이상)
· 공중화장실 비상벨상황 음향장면분석기반 112출동체계 코드 분류 기능 (3개 코드 이상)

- 주요 성능치
· 실시간 관제 : 음원감지 후 관제시스템에 상황정보 표시까지 10초 이내 동작
· 시스템 확장성 : 200개의 동시 발생 음원에 대해 10초이내 처리 가능
· 음향사건분류정확도 :
· 분석 음향데이터 입력시간 : ≦ 10s
· 공중화장실 유형 개수 : 5가지 이상의 공중화장실 환경 음향 대응 가능
- 핵심 기술
· 음향장면분석기반 112 출동체계코드 분류 기술 (세계 최초 기술 개발)
· 복합적 음향사건분석 범죄/위급 상황 분류 (기존에는 비명 등의 단순음원 인식기반)
· 공중화장실 음향 환경에 특화된 음향인지 기술 (세계 최초)

- 적용범위(또는 서비스)
· 현 정부 정책에 따라 보급 설치되고 있는 모든 비상벨에 적용될 수 있으며, 이를 통해 비상벨 서비스의 실효성에 대한 사회적 불신과 활용저하를 방지함으로써, 양질의 범죄안전관련 서비스 제공과 사회적 안전망에 대한 사회적 신뢰를 고양시킬 수 있음.
· 공중화장실, 버스정류장 등의 CCTV사각지대의 상황인지 기반 범죄 예방 시스템에 활용가능
· CCTV 영상정보와의 융합 활용을 통해 오인출동으로 인한 비용낭비 최소화 및 출동현장에서의 긴밀한 대처를 가능케 하는 지능화된 관제 시스템 구현에 기여할 수 있음.

○ 전체 내용
< 1차년도 >
◦ (주관기관) 비상벨 관제 시스템 구축/확립 및 위급상황 음향 학습 DB 구축
- 비상벨 관제 시스템 구축 및 확립
- 웹 대시보드 디자인 설계 및 구현
- 코드별 위급상황 DB 시나리오 기획 및 위기상황 DB 구축
- 외부 관제 시스템 통합을 위한 인터페이스 설계 및 구현
- 비상벨 모의평가
◦ (공동연구기관) 시간별 복합적 음향사건 분류 기술 개발
- 복합적 음향사건 분류 알고리즘 Baseline구축
- 복합적 음향사건 분류 성능 고도화
- 공중화장실 공간음향특성에 강건한 성능 확보

< 2차년도 >
◦ (주관기관) 시스템 통합구현 및 개선사항 반영
- 신고자 음성·데이터 및 112신고 처리 기술 탑재모델의 활용결과 평가와 개선방안 연구
- 통합관제시스템(EMS)과의 연동을 위한 인터페이스 설계 및 구현
- 위급상황 DB 구축 보완
- 테스트베드 실증 평가
◦ (공동연구기관) 음향기반 112출동체계 코드 분류 기술 개발
- 음향기반 112출동체계 코드별 세부 상황 분류 기술 개발
- End-to-end 신경망 Ensemble 융합을 통한 성능 고도화

○ 1단계
□ 목표
□ 내용
○ 비상벨 관제시스템 개발
- 스마트 비상벨 시스템은 비상벨 단말기, 수집, DB, 관제서버, 운영자 콘솔로 구성
- 비상벨 단말기 : 음원을 분석하여 위급상황을 인지하는 단말장치(Wifi로 무선 AP에 연결)
- 수집 서버 : 비상벨 단말기에서 송신하는 정보를 수집하는 서버(Google 클라우드 서버)
- DB 서버 : 비상벨 시스템의 데이터 저장소(Google 클라우드 서버)
- 관제 서버 : 스마트비상벨 시스템을 관리하고 위급상황을 처리하기 위한 웹
- 운영자 콘솔 : 관제 서버에 접속하여 비상벨 시스템을 관리하고 위급상황 처리하는 단말장치

- 개발환경에 따라 구성된 시스템의 구현화면
□ 비상벨 기본 관제 화면
□ 비상벨 감지 내역에 대한 상세 조회 화면
- 통합 인터페이스를 위한 Open API 구축
□ 외부 시스템과 통합을 위한 인터페이스 설계/ 구축 및 이용 페이지 구축(OpenAPI 3.0 표준에 따른 Swagger Page 구현, OpenAPI URL : http://api- 2207.bs- soft.co.kr/docs#/)
○ 위급상황 음향학습 구축
□ 데이터 정제 및 분류를 통해 코드별 상황 및 음원에 대한 데이터 구축 완료

○ 시간별 복합적 음향사건 분류 기술 개발
- 음향분석 인공지능 모델 개발
□ 공동연구기관인 한국광기술원은 비상벨 음향관제시스템 구현을 위한 음향분석 인공지능 모델을 개발하며, 이를 위해 1차년도에는 복합음향사건 검출 모델을 개발하고 2차 연도에는 복합음향사건 검출의 맥락을 이해하는 음향상황인지 모델을 개발함
- 단일음향사건 음원 학습 DB구축
- 공중화장실 공간음향특성에 강건한 성능 확보
□ Image source method 기반 공간특성 시뮬레이터 기술 구현 확보
- 복합음향사건 음원 학습 DB구축
□ 3초 길이 단일 음원 221,045샘플 (화장실 환경 음원 157,727개, 변별력 향상 음원 63,318개) 기반 2초 길이 복합음향 음원 생성
- 복합적 음향사건 분류
□ RESNET27+GRU2 딥러닝 모델 최종 구현
□ RESNET27+GRU2 딥러닝 모델 성능 결과
○ 음향기반 112출동체계 코드별 세부 상황 분류 기술 개발
- 복합적 음향사건 분류
□ 각 모델들의 출력 벡터들을 이용한 가중치 평균 Ensemble 구현
□ 2초 음원에 대한 성능 측정 : LWLRAP 90.7%
□ Ensemble방법을 통해 LWLRAP　2.1%향상
- 음향상황 학습 DB구축
⦁ 화장실 환경에서의 12개 클래스 학습 음원 확보(12개 클래스 10초 길이 76,969 샘플)
- 음향상황인지 인공지능 모델 개발
⦁ 10초 길이 음원에 대해 1초씩 이동하며 2초 길이 음원 (sliding window) 취득 및 복합 음향사건 검출 수행
⦁ 상황분류 성능: F1-score 96.25%

□ 연구개발성과
(1) 사업성과
(2) 연구개발성능지표
○ 10초 이내의 지연시간을 갖는 비상벨 관제 시스템 개발
○ 비상벨 관제 시스템 평균 응답 지연 시간 : 0.138 초
- 평균 응답 지연시간 = 모든 응답 지연시간의 합 / 전송한 총 음원 수
- 시스템 응답 지연시간 : 20회
- 2초음원 대상 음원사건 감지 : 19회
- 상황판별을 위한 상황감지 :1회

○ 동시에 200개 이상의 클라이언트 처리가 가능한 관제시스템 개발
○ 비상벨 관제 시스템 시스템 확장성 : 312
- 기준시간 내 응답 성공 수 = 성공한 테스트의 초당 요청 수 x 기준 시간

○ 복합적 음향사건 분류 알고리즘 Baseline 구축
- 복합적 음향사건 분류 성능 고도화
- 공중화장실 공간음향특성에 강건한 성능확보
○ 한국어, 중국어, 영어의 3개 음성을 포함한 76개의 음향클래스에 대한 복합음향사건 검출 심층신경망 모델 정확도 92%달성 (목표 성능 85%)
- 1s, 1.5s, 2s 음향신호 심층신경망 모델들의 앙상블 구현 완료
- 공중화장실 잔향을 포함한 약 53,000개 공간음향특성 DB구축 및 이를 활용한 심층신경망 학습 음향 DB증강

○ 음향기반 112출동체계 코드별 세부 상황 분류 기술 개발
- End-to-end 신경망 Ensemble 융합을 통한 성능 고도화
○ 시간별 복합 음향사건 검출 결과를 입력으로 한 12개 음향상황인지 심층신경망 모델 정확도 95%달성 (목표 성능 85%)
- 10s 음향 wav 신호가 입력되면, 1s 이동 2s단위로 분할되며, 분할된 신호는 GPU상에서 conv1에 기반한 주파수 변환을 거쳐 복합음향사건 검출 심층신경망 모델이 수행되고, 그 결과는 음향상황인지 모델로 입력되는 과정의 End-to-end 신경망 구현 완료

□ 연구개발성과 활용계획 및 기대 효과
1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획)
o 기 보유한 물리보안장치 단말 및 관제 시스템, AI 기술, 음성/음향처리 관련 기술을 활용하여 고품질, 고효율의 물리보안장치 관제 시스템 개발
o 공중화장실 등의 특수 CCTV사각지대에서의 음향 DB구축 관련 경험 및 노하우를 활용하여, AI 기술 성능 향상

2) 주요 성과활용 (기대)성과목표
(1) 정성적 목표
o 음성기반 대화 데이터의 상황인지 인공지능 모델 원천 기술 확보
o 개발 소프트웨어 공개를 통한 인공지능 산업 생태계 기여
o 신규인력 채용을 통한 연구인력 확보 : 인공지능관련 연구 인력 확보
(2) 정량적 목표

3) 성과활용· 관리 추진체계
o 비즈니스 모델(BM)과 수요자 중심으로 기초·원천 연구성과 사업화 활동 혁신
- 신사업 창출 대형 기술확산 체계 확립
- 기술이전·창업 지원체계 내실화
- 연어형 해외 기술사업화 촉진
o 기술사업화 주체의 전문역량 확보와 공공-민간 협력을 통한 시너지 창출
- 기술사업화 조직의 역량강화
- 민간의 전문성 활용 확대
o 연구성과 창출과정 혁신으로 기본을 갖춘 우수한 기초원천 연구결과물 확보
- 기초원천 연구성과의 신뢰도 제고
- 기술 확산을 고려한 R& D 사업관리

4) 기타(실증계획)
o 대상 신기술 실증특례에 따른 전반적 위험 요소 분석 및 대응 방안
- 본 실증사업은 신기술을 적용한 공기정화장치를 개방공간에서 시험적으로 운영하는 것이 주된 내용이며, 제품 내부에 위험을 초래할 수 있는 물질(가연성 물질 또는 유해물질 등)을 포함하고 있지 않으므로 실증 사업이 대중에 대해 높은 위험성을 갖기는 어려울 것으로 판단됨
- 다만 개인정보보호법에 저촉될 우려가 있어 연출상황에 의한 실증 고증을 통해
- 이를 해결할 예정이고, 지자체 협의를 통해 기술적 완성도가 갖추어진 이후 특구내 지정화장실에서 실제상황에 의한 실증 추가할 예정
o (예상되는) 구체적 이용자 등의 존재여부, 범위, 규모 등 추산
- 본 실증사업의 직접적 참여자는 한국광기술원 내 연구자 및 IBC지식센터 입주기업이며, 실증 장소가“ 지정된 공중화장실 시설 내’ 로 한정되므로 실증 과정에서 직접적 참여자 이외의 자에게 생활 및 영업 등에 영향을 주지 않을 것으로 예상됨
o 이용자 등에 대한 보호방법
- (연출에 의한 실증) 실증의 공간적 장소는 한정된 인원만이 출입하므로 실증사업에 의한 간접적인 영향은 낮을 것으로 예상됨에 따라, 본 사업에서는 연출상황에 대한 안내 및 보호 방법만 고려
- (실제상황에 의한 실증) 실증의 공간적 장소를 이용하는 이용객에게 공중화장실 입구에 실증사업을 안내하고 장치의 기능 및 유의사항에 대해 공지

(출처 : 요약문 3p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 3
• 목차 ... 11
• 1. 연구개발과제의 개요 ... 12
• (1) 기술개발 목표 ... 12
• (2) 기술배경 ... 13
• (3) 기술개발 필요성 및 기대효과 ... 15
• (4) 기술의 동작 시나리오 및 경제성 분석 ... 17
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 27
• (1) 1차년도 연구수행 목표 ... 27
• (2) 연구수행 과정 및 내용 ... 27
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 56
• 1) 연구수행 결과 ... 56
• 2) 목표 달성 수준 ... 67
• 4. 목표 미달 또는 미흡한 사항에 대한 분석 ... 69
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 69
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 70
• 3) 연구개발 과정의 성실성 ... 72
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 80
• 6. 연구개발성과의 관리 및 활용 계획 ... 82
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 85
• 2) 주요 성과활용 (기대)성과목표 ... 85
• 3) 성과활용·관리 추진체계 ... 85
• 4) 기타(실증계획) ... 86
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 87
• 8. 연구개발비 사용실적 ... 90
• 붙임1. 사업화대상기술별 기술명세서 ... 92
• 붙임2. 자체 보안관리 진단표 ... 97
• 끝페이지 ... 98