[논문]화자식별 기반의 AI 음성인식 서비스에 대한 사이버 위협 분석

홍천호; 조영호

doi:10.7472/jksii.2021.22.6.33

화자식별 기반의 AI 음성인식 서비스에 대한 사이버 위협 분석
Cyber Threats Analysis of AI Voice Recognition-based Services with Automatic Speaker Verification 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.22 no.6, 2021년, pp.33 - 40

홍천호 (Department of Defense Science(Computer Engineering and Cyberwarfare Major), Korea National Defense University) , 조영호 (Department of Defense Science(Computer Engineering and Cyberwarfare Major), Korea National Defense University)

초록
AI-Helper

음성인식(ASR: Automatic Speech Recognition)은 사람의 말소리를 음성 신호로 분석하고, 문자열로 자동 변화하여 이해하는 기술이다. 초기 음성인식 기술은 하나의 단어를 인식하는 것을 시작으로 두 개 이상의 단어로 구성된 문장을 인식하는 수준까지 진화하였다. 실시간 음성 대화에 있어 높은 인식률은 자연스러운 정보전달의 편리성을 극대화하여 그 적용 범위를 확장하고 있다. 반면에, 음성인식 기술의 활발한 적용에 따라 관련된 사이버 공격과 위협에 대한 우려 역시 증가하고 있다. 기존 연구를 살펴보면, 자동화자식별(ASV: Automatic Speaker Verification) 기법의 고안과 정확성 향상 등 기술 발전 자체에 관한 연구는 활발히 이루어지고 있으나, 실생활에 적용되고 있는 음성인식 서비스의 자동화자 식별 기술에 대한 사이버 공격 및 위협에 관한 분석연구는 다양하고 깊이 있게 수행되지 않고 있다. 본 연구에서는 자동화자 식별 기술을 갖춘 AI 음성인식 서비스를 대상으로 음성 주파수와 음성속도를 조작하여 음성인증을 우회하는 사이버 공격 모델을 제안하고, 상용 스마트폰의 자동화자 식별 체계를 대상으로 실제 실험을 통해 사이버 위협을 분석한다. 이를 통해 관련 사이버 위협의 심각성을 알리고 효과적인 대응 방안에 관한 연구 관심을 높이고자 한다.

Abstract ▼ AI-Helper

Automatic Speech Recognition(ASR) is a technology that analyzes human speech sound into speech signals and then automatically converts them into character strings that can be understandable by human. Speech recognition technology has evolved from the basic level of recognizing a single word to the advanced level of recognizing sentences consisting of multiple words. In real-time voice conversation, the high recognition rate improves the convenience of natural information delivery and expands the scope of voice-based applications. On the other hand, with the active application of speech recognition technology, concerns about related cyber attacks and threats are also increasing. According to the existing studies, researches on the technology development itself, such as the design of the Automatic Speaker Verification(ASV) technique and improvement of accuracy, are being actively conducted. However, there are not many analysis studies of attacks and threats in depth and variety. In this study, we propose a cyber attack model that bypasses voice authentication by simply manipulating voice frequency and voice speed for AI voice recognition service equipped with automated identification technology and analyze cyber threats by conducting extensive experiments on the automated identification system of commercial smartphones. Through this, we intend to inform the seriousness of the related cyber threats and raise interests in research on effective countermeasures.

주제어

표/그림 (8)

그림 (그림 1) AI 스피커의 전체구조 및 흐름도 (Figure 1) AI Speaker's overall structure and flowchart
그림 (그림 2) 자동화자 식별 체계 (Figure 2) Automatic Speaker Verification system
그림 (그림 3) 일반적인 음성 변환 체계의 동작 절차 (Figure 3) Operational Procedures of General Voice Conversion Systems
그림 (그림 4) 음성분석 및 합성 프로그램을 이용한 공격모델 (Figure 4) Attack Model using Voice Analysis and Synthesis Software
그림 (그림 5) 수집된 음성데이터의 분석 결과 (Figure 5) Voice Data Analysis Results
그림 (그림 6) Prosody를 이용한 음성 변환 (Figure 6) Voice conversion using Prosody
그림 (그림 7) 스마트폰 화자인식 및 프로그램 실행 (Figure 7) Smartphone Speaker Recognition and Program Execution
표 (표 1) 음성인식 서비스 대상 공격 결과 (Table 1) Attack results for automatic speech recognition service

AI 본문요약
AI-Helper

문제 정의

본 실험의 목적은 ASV가 포함된 음성인식 서비스를 대상으로 음성인증 및 명령어 입력을 통한 개인정보 접근 가능 여부를 실험을 통해 보이는 것이다. 이를 위해, 3장에서 제안한 공격모델을 무료 S/W를 활용하여 구현하고, 스마트폰 음성인식 서비스를 대상으로 실험을 수행했다.

제안 방법

본 연구에서는 스마트폰에서 지원하는 음성인식 서비스 중 개인비서를 대상으로 음성분석프로그램 및 음성합성 프로그램을 이용한 공격과 음성분석프로그램만을 이용한 공격모델로 제안했다. 이는 음성합성 및 변환을 이용하여 똑같은 음성을 만들어서 공격하는 방법이 아닌 음성의 주파수 및 속도만을 조작하여 ASV를 포함한 음성인식 서비스를 공격하는 공격기법의 가용성을 증명하였다.
제안 공격모델은 피해자의 음성데이터와 합성된 음성 데이터를 분석하고, 음성데이터를 변환 후 공격 대상자의 음성인식 시스템을 공격하는 모델로 총 3단계로 구성된다(그림 4 참고).

대상 데이터

다음으로, 음성데이터 조작을 위해 Prosody의 음성합성 기능을 이용하였다. Prosody에서 제공되는 인공지능 성우는 16명으로 나이대, 성별 및 성우별 특징으로 구분되어 있다. 기본적으로 제공되는 인공지능 성우를 선택할 시 성별과 나이를 고려 30대 남성 그리고 공격 대상의 음색과 유사한 인공지능 성우를 선택했다.
∙ 음성데이터 수집단계: 공격 대상의 음성데이터 수집을 위해, 스마트폰의 녹음기능을 이용하여 A사와 B사 의 스마트폰 개인비서의 Wake-Up Word(예: 하이 빅스비)를 저자의 음성(공격 대상)으로 녹음하였다.
Prosody에서 제공되는 인공지능 성우는 16명으로 나이대, 성별 및 성우별 특징으로 구분되어 있다. 기본적으로 제공되는 인공지능 성우를 선택할 시 성별과 나이를 고려 30대 남성 그리고 공격 대상의 음색과 유사한 인공지능 성우를 선택했다. 이후, 합성된 음성의 평균 주파수를 확인하였다.
이를 위해, 3장에서 제안한 공격모델을 무료 S/W를 활용하여 구현하고, 스마트폰 음성인식 서비스를 대상으로 실험을 수행했다. 실험 장비는 Intel i7 10th, RAM 16GB LG Gram 노트북을 활용하였고, 실험에 활용한 스마트폰은 우리나라 스마트폰 점유율 63%의 A사와 20%의 B사의 스마트폰 음성인식 개인비서를 대상으로 하였다.
본 실험의 목적은 ASV가 포함된 음성인식 서비스를 대상으로 음성인증 및 명령어 입력을 통한 개인정보 접근 가능 여부를 실험을 통해 보이는 것이다. 이를 위해, 3장에서 제안한 공격모델을 무료 S/W를 활용하여 구현하고, 스마트폰 음성인식 서비스를 대상으로 실험을 수행했다. 실험 장비는 Intel i7 10th, RAM 16GB LG Gram 노트북을 활용하였고, 실험에 활용한 스마트폰은 우리나라 스마트폰 점유율 63%의 A사와 20%의 B사의 스마트폰 음성인식 개인비서를 대상으로 하였다.

데이터처리

∙ 음성데이터 분석 및 변환 단계: 수집된 음성데이터는 Praat의 분석 기능을 이용하여 그림 5과 같이 음성의 스펙트럼 및 평균 주파수와 음성속도 등 특징을 추출하 였다.
마지막으로, 공격 대상의 정보에 맞춰 음성데이터의 평균 주파수와 음성속도를 조작하였다. 그림 6에서와 같이, Prosody에서는 음성속도를 1% 단위로 올렸을 때 0.

이론/모형

이후 무료 음성합성 S/W인 Prosody 를 이용하여 기본으로 제공되는 성우(16명) 중 공격 대상의 성별과 나이를 고려하여 성우를 선택하고, 음성 스펙트럼 및 운율 등 유사한 데이터 값을 갖도록 변환한다. 본 연구에서는 음성분석을 위해 무료 S/W인 Praat을 이용한다.

성능/효과

이는 음성합성 및 변환을 이용하여 똑같은 음성을 만들어서 공격하는 방법이 아닌 음성의 주파수 및 속도만을 조작하여 ASV를 포함한 음성인식 서비스를 공격하는 공격기법의 가용성을 증명하였다. 또한 이를 통해 최초 음성인증 이후 입력되는 음성 명령은 음성의 변조 및 조작이 필요 없이 모든 음성이 명령어로 입력될 수 있음을 확인하였다. 이는 음성인증 이후 음성으로 쉽게 개인정보(통화목록 및 개인 건강관리 앱)에 접근할 수 있음을 확인한 것이다.
인증 성공 이후에 공격자는 변환되지 않은 음성을 사용하여 자유롭게 공격할 수 있다. 실험과정에서 발견한 특이한 사항으로, B사의 스마트폰 자동화자 식별 체계는 음성합성 간 음성의 속도 및 높낮이를 조절하지 않고도 공격 대상자와 유사한 음색을 가지고 있는 성우의 Wake-up Word를 사용하였을 때 음성 인증이 되었고 정상적으로 서비스에 접근이 되어 더욱 심각한 것을 확인하였다.
본 연구에서는 스마트폰에서 지원하는 음성인식 서비스 중 개인비서를 대상으로 음성분석프로그램 및 음성합성 프로그램을 이용한 공격과 음성분석프로그램만을 이용한 공격모델로 제안했다. 이는 음성합성 및 변환을 이용하여 똑같은 음성을 만들어서 공격하는 방법이 아닌 음성의 주파수 및 속도만을 조작하여 ASV를 포함한 음성인식 서비스를 공격하는 공격기법의 가용성을 증명하였다. 또한 이를 통해 최초 음성인증 이후 입력되는 음성 명령은 음성의 변조 및 조작이 필요 없이 모든 음성이 명령어로 입력될 수 있음을 확인하였다.

후속연구

우선, 본 연구에서는 공 격모델을 구현할 때 ASV 우회를 위한 여러 설정값을 찾는 과정을 수동으로 진행하였는데, 수기로 설정값을 조작하는 단순한 방안 대신 소스 음성과 공격 대상의 음성 데이터를 입력할 시 자동으로 음성데이터 값을 분석하고 주파수 및 속도를 조절할 수 있게 구성할 계획이다. 또한 음성 사이의 개별 음소를 모핑하여 ASV 기반 음성인식 서비스를 공격하는 기존 연구와 상호 성능 검사를 통해 공격 단계별 절차 그리고 정확도를 분석하여 성능을 향상할 예정이다. 이외에도 같은 성별에서 변환된 음성뿐만 아니라 다른 성별의 음성 변환을 통한 음성인식 서비스에 대한 공격 가능성을 연구할 예정이다.
이외에도 같은 성별에서 변환된 음성뿐만 아니라 다른 성별의 음성 변환을 통한 음성인식 서비스에 대한 공격 가능성을 연구할 예정이다. 마지막으로, 기존에 연구했던 음성합성과 음성 변환을 이용한 음성인식 서비스 대상 공격기법에 대한 대응 기술을 연구할 예정이다.
향후 연구계획은 다음과 같다. 우선, 본 연구에서는 공 격모델을 구현할 때 ASV 우회를 위한 여러 설정값을 찾는 과정을 수동으로 진행하였는데, 수기로 설정값을 조작하는 단순한 방안 대신 소스 음성과 공격 대상의 음성 데이터를 입력할 시 자동으로 음성데이터 값을 분석하고 주파수 및 속도를 조절할 수 있게 구성할 계획이다. 또한 음성 사이의 개별 음소를 모핑하여 ASV 기반 음성인식 서비스를 공격하는 기존 연구와 상호 성능 검사를 통해 공격 단계별 절차 그리고 정확도를 분석하여 성능을 향상할 예정이다.
또한 음성 사이의 개별 음소를 모핑하여 ASV 기반 음성인식 서비스를 공격하는 기존 연구와 상호 성능 검사를 통해 공격 단계별 절차 그리고 정확도를 분석하여 성능을 향상할 예정이다. 이외에도 같은 성별에서 변환된 음성뿐만 아니라 다른 성별의 음성 변환을 통한 음성인식 서비스에 대한 공격 가능성을 연구할 예정이다. 마지막으로, 기존에 연구했던 음성합성과 음성 변환을 이용한 음성인식 서비스 대상 공격기법에 대한 대응 기술을 연구할 예정이다.

참고문헌 (20)

JungWon Kim, YouJin Song, YongjunSung, SejungMarina Choi, "AI Speaker for the Elderly : Functional and Emotional Evaluation of AI Speaker," Journal of Media Economics & Culture 18(4), pp.7-35, 2020. https://doi.org/10.21328/JMEC.2020.11.18.4.7

상세보기
Seongwoo Kim, Chulsu Shin, BongGyu Kim, "A Study on Fighter Airplane's Voice Command Recognition System Design and Verification Environment," The Korean Society for Aeronautical & Space Sciences, pp.327-331, 2012. https://www.dbpia.co.kr/journal/articleDetail?nodeIdNODE02085538
Ministry of Science and ICT, 「2020 Internet Use Survey Results, 2021.
Serife Kucur Ergunay, Elie Khoury, Alexandros Lazaridis and Sebastien Marcel, "On the vulnerability of speaker verification to realistic voice spoofing," IEEE International Conference on Biometrics: Theory, Applications, and Systems (BTAS), pp.1-6, 2015. https://doi.org/10.1109/BTAS.2015.7358783
Massimiliano Todisco, Xin Wang, Ville Vestman, Md Sahidullah, Hector Delgado, Andreas Nautsch, Junichi Yamagishi, Nicholas Evans, Tomi Kinnunen, and Kong Aik Lee, "ASVspoof 2019: Future Horizons in Spoofed and Fake Audio Detection," arXiv preprint arXiv:1904.05441v2, 2019. https://arxiv.org/abs/1904.05441
Gallup Korea, "2012-2021 Smartphone Utilization & Brands," 2021
Suji Baek, Youngjae Lee, "Game Interface based on Voice Recognition for Smartphone," Korean Institute of Information Technology, Proceedings of KIIT summer Technology, pp.454-458, 2012. http://www.dbpia.co.kr/journal/articleDetail?nodeIdNODE01881015
Hongsu Yoon, "AI Speaker Trends," The Korean Institute of Electrical Engineers, Vol.68, No.10, pp.16-21, 2019.
Kyunhwha Kim, Buungmin So, Hajin Yu, "Forensic Automatic Speaker Identification System for Korean Speakers," Phonetics and Speech Sciences, Vol.4, No.3, pp.95-101, 2012. https://doi.org/10.13064/KSSS.2012.4.3.095

원문보기 상세보기
Ravika Naike, "An Overview of Automatic Speaker Verification System," Advances in Intelligent Systems and Computing, Vol.673, pp.603-610, 2017. https://doi.org/10.1007/978-981-10-7245-1_59
Yeongtae Hwang, Hyemin Cho, Hongsun Yang, Dongok. Won, Insoo Oh, and Seongwhan Lee, "Melspectrogram augmentation for sequence to sequence voice conversion," arXiv preprint arXiv:2001.01401, 2020. https://arxiv.org/abs/2001.01401
Seyed Hamidreza Mohammadi, Alexamder Kain, "An Overview of Voice Conversion Systems," Speech Communication, Vol.88, pp.65-82, 2017. https://doi.org/10.1016/j.specom.2017.01.008

상세보기
Dibya Mukhopadhyay, Maliheh Shirvanian, Nitesh Saxena, "All Your Voices are Belong to Us: Stealing Voices to Fool Humans and Machines,"ESORICS 2015: Computer Security - ESORICS 2015, pp 599-621, 2015. https://doi.org/10.1007/978-3-319-24177-7_30
Henry Turner, Giulio Lovisotto, and Ivan Martinovic, "Attacking Speaker Recognition Systems with Phoneme Morphing," ESORICS 2019: Computer Security - ESORICS 2019, pp 471-492, 2019. https://doi.org/10.1007/978-3-030-29959-0_23
Nicholas Carlini, Pratyush Mishra, Tavish Vaidya, Yuankai Zhang, MicahSherr, Clay Shields, David Wagner and Wenchao Zhou, "Hidden Voice Commands," 25th USENIX Security Symposium, 2016. https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/carlini
Ji-seop Lee, Soo-young Kang, Seung-joo Kim, "Study on the AI Speaker Security Evaluations and Countermeasure," Journal of the Korea Institute of Information Security & Cryptology, Vol.28, No.6, 2018. https://doi.org/10.13089/JKIISC.2018.28.6.1523

원문보기 상세보기
Nirupam Roy, Sheng Shen, Haitham Hassanieh, and Romit Roy Choudhury, "Inaudible Voice Commands: The Long-Range Attack and Defense," 15th USENIX Symposium on Networked Systems Design and Implementation, 2018. https://www.usenix.org/conference/nsdi18/presentation/roy
Takeshi Sugawara, Benjamin Cyr, Sara Rampazzi, Daniel Genkin, and Kevin Fu, "Light Commands: Laser-Based Audio Injection Attacks on Voice-Controllable Systems," 29th USENIX Security Symposium, 2020. https://www.usenix.org/conference/usenixsecurity20/presentation/sugawara
Byeongon Yang, "Theory and Substance of Speech Alalysis using PRRAT," Mansoo Publishing Company, 2010.
Prosody, https://www.prosody-tts.com/

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증