초록 ▼

□ 연구개발 목표 및 내용
○ 최종 목표
국내 보이스피싱 범죄의 지능화, 전문화에 따른 피해가 급증하고 있으며 피해를 조기 차단하고 예방할 수 있는 기술개발이 필요함.

본 연구에서는 경찰청 AI 기반 전화금융사기 대응 플랫폼에 구축되는 통합 데이터베이스에서 전화금융사기 패턴 검출, 확인, 검색 서비스를 제공하는 음성‧텍스트 딥러닝 기반 수사 지원 기술을 개발함. 이를 기반으로 보이스피싱 수사분야 유관기관들과 연계하는 리빙랩/실증시범사업을 실시함. 또한 향후 활용될 수 있는 선제 대응 기술개발로 보이스피싱 트랩

□ 연구개발 목표 및 내용
○ 최종 목표
국내 보이스피싱 범죄의 지능화, 전문화에 따른 피해가 급증하고 있으며 피해를 조기 차단하고 예방할 수 있는 기술개발이 필요함.

본 연구에서는 경찰청 AI 기반 전화금융사기 대응 플랫폼에 구축되는 통합 데이터베이스에서 전화금융사기 패턴 검출, 확인, 검색 서비스를 제공하는 음성‧텍스트 딥러닝 기반 수사 지원 기술을 개발함. 이를 기반으로 보이스피싱 수사분야 유관기관들과 연계하는 리빙랩/실증시범사업을 실시함. 또한 향후 활용될 수 있는 선제 대응 기술개발로 보이스피싱 트랩 시나리오를 제시하고 이를 위한 인공지능 기반 대화처리 기술을 개발함.

이를 위해 다음과 같은 세부 연구개발 목표를 설정함.

1. 통합 데이터베이스 상에서 보이스피싱 패턴 검출, 확인, 검색을 위한 음성‧텍스트 딥러닝 기술개발
- 음성인식, 화자분석, 화자인식, 화자 프로파일링, 보이스피싱 텍스트 분석 및 분류

2. 유관기관 리빙랩/실증시범사업 실시
- 구성 : 현장검증단
경찰대, 경찰청 등 유관기관으로 구성

3. 향후 활용될 수 있는 보이스피싱 예방 시나리오 제시
- 함정수사 방식의 시나리오 개발
- 스마트폰 탑재 앱 기반의 실시간 통화내용 분석 방식의 시나리오 개발

4. 보이스피싱 예방 시나리오를 위한 통화환경에서의 AI 기반 대화 처리 기술 개발
- 음성대화 챗봇, 대화처리, 다음색 음성합성, 가짜음성 탐지

○ 전체 내용
- 본 연구에서는 경찰청의 AI 기반 전화금융사기 대응 플랫폼에 구축되는 전화금융 사기 관련 통합 데이터베이스와 연동되는 인공지능 기반 수사 지원 도구를 구현하는 기술개발을 수행하며 이를 바탕으로 리빙랩/실증시범사업을 실시.

- 본 연구에서 향후 활용 제안하는 함정수사 방식은 처음 시도되는 보이스피싱 예방 시나리오이며, 경찰청과 한국인터넷진흥원 등의 유관기관을 통해서 통신사의 협조를 얻어 대량의 트랩 번호를 얻는다면 보이스피싱에 선제적으로 대응하는 것이 가능함.

■ 함정을 만들어서 보이스피싱 범죄 용의자와 음성대화를 통해 수사에 필요한 정보를 확보하는 지능형 에이전트 수사관인 음성대화 챗봇을 개발.

- 스마트폰 탑재 앱을 사용한 실시간 통화내용 분석 방식은 현재 상용 서비스되고 있는 보이스피싱 탐지 앱에 서비스 제공 업체의 서버에 설치된 딥러닝 기반 음성 및 텍스트 분석 기술을 확장 적용하는 개념.

■ 기술의 구현 및 정보전달방식에 따라 생기는 법적인 쟁점을 분석하여 법률적 문제가 발생하지 않는 방식으로 개발.

- 본 기술개발사업의 대상은 특정 업체에 종속되어 사용이 제한되는 기술개발이 아니며, 본 연구의 결과물은 보이스피싱 예방 서비스 업체들이 API로 사용할 수 있게 제공.

- 다음과 같은 핵심기술을 개발.
■ 보이스피싱 음성인식 및 화자분석 기술
■ 보이스피싱 실제 데이터 분석 및 비식별화
■ 딥러닝 기반 문맥 인지 문장독립형 화자확인 기술
■ 보이스피싱 예방을 위한 딥러닝 기반 가짜음성 검출 기술
■ 보이스피싱 판별 의사결정을 지원하는 대화 기반 플랫폼
■ 보이스피싱 관련 통합 데이터베이스 연동 인공지능 기반 수사지원 도구 및 리빙랩 구축

○ 0단계(1차년도)
◎ 목표
보이스피싱 실데이터 분석 및 보이스피싱 탐지 Framework 구축
◎ 내용
■ 음성인식기의 보이스피싱 영역 음향, 언어, 발음모델 개발
■ 화자분석을 위한 화자 프로파일링 기술 개발
■ 경찰청 보유 16,000건 실제 전화음성 분류 및 분석
■ 딥러닝 기반 문맥 인지 문장독립형 화자인식 기술 개발
■ 딥러닝 기반 가짜음성 검출 기술 개발
■ 피싱 텍스트 처리 및 감지 기술 개발
■ 보이스피싱 자동 검출 시스템 설계 및 서버 데모환경 구성
■ 보이스피싱 예방 기술 시나리오의 법률적 검토

○ 0단계(2차년도)
◎ 목표
핵심응용기술 개발 및 유관기관 리빙랩/실증시범사업 실시
◎ 내용
■ 보이스피싱 실사례 데이터를 사용한 음성인식 성능 향상
■ 화자분석을 위한 화자 프로파일링 기술 성능 향상
■ 경찰청 보유 16,000건 실제 전화음성 분류 및 분석
■ 딥러닝 기반 문맥 인지 문장독립형 화자인식 성능 향상
■ 딥러닝 기반 가짜음성 검출 기술 성능 향상
■ 피싱 텍스트 처리 및 감지 기술 성능 향상
■ 보이스피싱 대응 음성대화 챗봇 구현
■ 유관기관 리빙랩/실증시범사업 실시
■ 보이스피싱 예방 기술 적용의 법률적 검토

○ 0단계(3차년도)
◎ 목표
보이스피싱 데이터 Access API 구축 및 실증시범사업 확대 적용
◎ 내용
■ 보이스피싱 음성인식 성능 최적화
■ 화자분석을 위한 화자 프로파일링 기술 성능 최적화
■ 경찰청 보유 16,000건 실제 전화음성 분류 및 분석
■ 딥러닝 기반 문맥 인지 문장독립형 화자인식 성능 최적화
■ 딥러닝 기반 가짜음성 검출 기술 성능 최적화
■ 피싱 텍스트 처리 및 감지 기술 성능 최적화
■ 보이스피싱 대응 음성대화 챗봇 성능 최적화
■ 보이스피싱 데이터 Access API 구축 및 실증시범사업 확대 적용
■ 보이스피싱 실증시범사업의 법률적 검토

□ 연구개발성과 활용계획 및 기대 효과
■ 활용계획
- 보이스피싱 범죄를 효과적으로 예방할 수 있는 경찰청 수사도구 기술로 활용
- 보이스피싱 등 사회문제 해결을 돕는 다양한 인터넷 기반 신규 사업모델 개발
■ 기대효과
- 보이스피싱 관련 실데이터 구축 및 분석
- 보이스피싱 관련 음성 및 텍스트 딥러닝 관련 원천기술 확보
- 지능화, 전문화되고 있는 보이스피싱에 선제적 대응할 수 있는 기술 확보
- 경찰, 금융 당국의 보이스피싱, 가짜뉴스/영상 등 다양한 인터넷 기반 사회문제에 대한 수사 프로파일링 기법 적용 등 기술적 파급효과를 기대할 수 있음.
- 저신용자 등 사회적 취약계층 피해자가 많은 보이스피싱을 예방함으로써 국민의 삶의 질 개선
- 국내 보이스피싱 범죄의 지능화, 전문화에 따른 피해 증가 방지

(출처 : 요약문 9p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 9
• 목차 ... 12
• 1. 연구개발과제의 개요 ... 13
• 가. 연구개발 목표 ... 13
• 나. 개발 대상 기술·제품의 기본 개념도 ... 13
• 다. 개발 대상 기술·제품의 용도 및 적용 분야 ... 14
• 라. 연구개발의 중요성 ... 15
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 16
• 가. 주관연구개발기관 (서울대학교) ... 16
• 나. 공동연구개발기관 1 (부산대학교) ... 19
• 다. 공동연구개발기관 2 (한국과학기술원) ... 24
• 라. 공동연구개발기관 3 (포항공과대학교) ... 29
• 마. 공동연구개발기관 4 (㈜사운드마인드) ... 32
• 바. 공동연구개발기관 5 (법무법인(유) 원) ... 36
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 38
• 1) 연구수행 결과 ... 38
• 2) 목표 달성 수준 ... 63
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 64
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 64
• 6. 연구개발성과의 관리 및 활용 계획 ... 67
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 68
• 2) 주요 성과활용 (기대)성과목표 ... 69
• 3) 성과활용·관리 추진체계 ... 69
• 4) 기타 ... 69
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 70
• 8. 연구개발비 사용실적 ... 72
• 끝페이지 ... 78