음성 비식별화 모델과 방송 음성 변조의 한국어 음성 비식별화 성능 비교 Comparison of Korean Speech De-identification Performance of Speech De-identification Model and Broadcast Voice Modulation원문보기
뉴스와 취재 프로그램 같은 방송에서는 제보자의 신원 보호를 위해 음성을 변조한다. 음성 변조 방법으로 피치(pitch)를 조절하는 방법이 가장 많이 사용되는데, 이 방법은 피치를 재조절하는 방식으로 쉽게 원본 음성과 유사하게 음성 복원이 가능하다. 따라서 방송 음성 변조 방법은 화자의 신원 보호를 제대로 해줄 수 없고 보안상 취약하기 때문에 이를 대체하기 위한 새로운 음성 변조 방법이 필요하다. 본 논문에서는 Voice Privacy Challenge에서 비식별화 성능이 검증된 Lightweight 음성 비식별화 모델을 성능 비교 모델로 사용하여 피치 조절을 사용한 방송 음성변조 방법과 음성 비식별화 성능 비교 실험 및 평가를 진행한다. Lightweight 음성 비식별화 모델의 6가지 변조 방법 중 비식별화 성능이 좋은 3가지 변조 방법 McAdams, Resampling, Vocal Tract Length Normalization(VTLN)을 사용하였으며 한국어 음성에 대한 비식별화 성능을 비교하기 위해 휴먼 테스트와 EER(Equal Error Rate) 테스트를 진행하였다. 실험 결과로 휴먼 테스트와 EER 테스트 모두 VTLN 변조 방법이 방송 변조보다 더 높은 비식별화 성능을 보였다. 결과적으로 한국어 음성에 대해 Lightweight 모델의 변조 방법은 충분한 비식별화 성능을 가지고 있으며 보안상 취약한 방송 음성 변조를 대체할 수 있을 것이다.
뉴스와 취재 프로그램 같은 방송에서는 제보자의 신원 보호를 위해 음성을 변조한다. 음성 변조 방법으로 피치(pitch)를 조절하는 방법이 가장 많이 사용되는데, 이 방법은 피치를 재조절하는 방식으로 쉽게 원본 음성과 유사하게 음성 복원이 가능하다. 따라서 방송 음성 변조 방법은 화자의 신원 보호를 제대로 해줄 수 없고 보안상 취약하기 때문에 이를 대체하기 위한 새로운 음성 변조 방법이 필요하다. 본 논문에서는 Voice Privacy Challenge에서 비식별화 성능이 검증된 Lightweight 음성 비식별화 모델을 성능 비교 모델로 사용하여 피치 조절을 사용한 방송 음성변조 방법과 음성 비식별화 성능 비교 실험 및 평가를 진행한다. Lightweight 음성 비식별화 모델의 6가지 변조 방법 중 비식별화 성능이 좋은 3가지 변조 방법 McAdams, Resampling, Vocal Tract Length Normalization(VTLN)을 사용하였으며 한국어 음성에 대한 비식별화 성능을 비교하기 위해 휴먼 테스트와 EER(Equal Error Rate) 테스트를 진행하였다. 실험 결과로 휴먼 테스트와 EER 테스트 모두 VTLN 변조 방법이 방송 변조보다 더 높은 비식별화 성능을 보였다. 결과적으로 한국어 음성에 대해 Lightweight 모델의 변조 방법은 충분한 비식별화 성능을 가지고 있으며 보안상 취약한 방송 음성 변조를 대체할 수 있을 것이다.
In broadcasts such as news and coverage programs, voice is modulated to protect the identity of the informant. Adjusting the pitch is commonly used voice modulation method, which allows easy voice restoration to the original voice by adjusting the pitch. Therefore, since broadcast voice modulation m...
In broadcasts such as news and coverage programs, voice is modulated to protect the identity of the informant. Adjusting the pitch is commonly used voice modulation method, which allows easy voice restoration to the original voice by adjusting the pitch. Therefore, since broadcast voice modulation methods cannot properly protect the identity of the speaker and are vulnerable to security, a new voice modulation method is needed to replace them. In this paper, using the Lightweight speech de-identification model as the evaluation target model, we compare speech de-identification performance with broadcast voice modulation method using pitch modulation. Among the six modulation methods in the Lightweight speech de-identification model, we experimented on the de-identification performance of Korean speech as a human test and EER(Equal Error Rate) test compared with broadcast voice modulation using three modulation methods: McAdams, Resampling, and Vocal Tract Length Normalization(VTLN). Experimental results show VTLN modulation methods performed higher de-identification performance in both human tests and EER tests. As a result, the modulation methods of the Lightweight model for Korean speech has sufficient de-identification performance and will be able to replace the security-weak broadcast voice modulation.
In broadcasts such as news and coverage programs, voice is modulated to protect the identity of the informant. Adjusting the pitch is commonly used voice modulation method, which allows easy voice restoration to the original voice by adjusting the pitch. Therefore, since broadcast voice modulation methods cannot properly protect the identity of the speaker and are vulnerable to security, a new voice modulation method is needed to replace them. In this paper, using the Lightweight speech de-identification model as the evaluation target model, we compare speech de-identification performance with broadcast voice modulation method using pitch modulation. Among the six modulation methods in the Lightweight speech de-identification model, we experimented on the de-identification performance of Korean speech as a human test and EER(Equal Error Rate) test compared with broadcast voice modulation using three modulation methods: McAdams, Resampling, and Vocal Tract Length Normalization(VTLN). Experimental results show VTLN modulation methods performed higher de-identification performance in both human tests and EER tests. As a result, the modulation methods of the Lightweight model for Korean speech has sufficient de-identification performance and will be able to replace the security-weak broadcast voice modulation.
Tomashenko, Natalia, et al., "The voiceprivacy？2020 challenge: Results and findings," Computer？Speech & Language, Vol. 74:101362, Jul. 2022.
Zhao, Yi, et al., "Voice conversion challenge 2020:？Intra-lingual semi-parallel and cross-lingual？voice conversion," arXiv preprint？arXiv:2008.12527, 2022.
Mawalim, Candy Olivia, Shogo Okada, and？Masashi Unoki, "System Description: Speaker？Anonymization by Pitch Shifting Based on？Time-Scale Modification (PV-TSM)," 2nd？Symposium on Security and Privacy in Speech？Communication, 2022.
Khamsehashari, Razieh, et al., "Voice？Privacy-Leveraging Multi-Scale Blocks with？ECAPA-TDNN SE-Res2NeXt Extension for？Speaker Anonymization," Proc. 2nd Symposium？on Security and Privacy in Speech？Communication, pp. 43-48, Incheon, Korea, Sep.？2022.
Meyer, Sarina, et al., "Cascade of phonetic？speech recognition, speaker embeddings gan and？multispeaker speech synthesis for the？VoicePrivacy 2022 Challenge," Proc. 2nd？Symposium on Security and Privacy in Speech？Communication, 2022.
Masood, Momina, et al., "Deepfakes Generation？and Detection: State-of-the-art, open challenges,？countermeasures, and way forward," Applied？Intelligence, Vol. 53:3974-4026, Jun. 2022.
H. Kai, S. Takamichi, S. Shiota and H. Kiya,？"Lightweight Voice Anonymization Based on？Data-Driven Optimization of Cascaded Voice？Modification Modules," 2021 IEEE Spoken？Language Technology Workshop (SLT), pp.？560-566, Shenzhen, China, Mar. 2021.
S. McAdams, "Spectral fusion, spectral parsing？and the formation of auditory images", Ph.D？dissertation, Stanford University, 1985.
L. Lee et al., "A frequency warping approach to？speaker normalization," IEEE Transactions on？speech and audio processing, vol. 6, no. 1, pp.？49-60, 1998.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.