[논문]언어적 특성과 서비스를 고려한 딥러닝 기반 한국어 방언 기계번역 연구

임상범; 박찬준; 양영욱

doi:10.15207/jkcs.2022.13.02.021

언어적 특성과 서비스를 고려한 딥러닝 기반 한국어 방언 기계번역 연구
Deep Learning-based Korean Dialect Machine Translation Research Considering Linguistics Features and Service 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.13 no.2, 2022년, pp.21 - 29

임상범 (강남대학교 소프트웨어응용학부) , 박찬준 (고려대학교 컴퓨터학과) , 양영욱 (한신대학교 컴퓨터학과)

초록
AI-Helper

본 논문은 방언 연구, 보존, 의사소통의 중요성을 바탕으로 소외될 수 있는 방언 사용자들을 위한 한국어 방언 기계번역 연구를 진행하였다. 사용한 방언 데이터는 최상위 행정구역을 기반으로 배포된 AIHUB 방언 데이터를 사용하였다. 방언 데이터를 바탕으로 Transformer 기반의 copy mechanism을 적용하여 방언 기계번역기의 성능 향상을 도모하는 모델링 연구와 모델 배포의 효율성을 도모하는 Many-to-one 기반의 방언 기계 번역기를 제안한다. 본 논문은 one-to-one 모델과 many-to-one 모델의 성능을 비교 분석하고 이를 다양한 언어학적 시각으로 분석하였다. 실험 결과 BLEU점수를 기준으로 본 논문이 제안하는 방법론을 적용한 one-to-one 기계번역기의 성능 향상과 many-to-one 기계번역기의 유의미한 성능을 도출하였다.

Abstract ▼ AI-Helper

Based on the importance of dialect research, preservation, and communication, this paper conducted a study on machine translation of Korean dialects for dialect users who may be marginalized. For the dialect data used, AIHUB dialect data distributed based on the highest administrative district was used. We propose a many-to-one dialect machine translation that promotes the efficiency of model distribution and modeling research to improve the performance of the dialect machine translation by applying Copy mechanism. This paper evaluates the performance of the one-to-one model and the many-to-one model as a BLEU score, and analyzes the performance of the many-to-one model in the Korean dialect from a linguistic perspective. The performance improvement of the one-to-one machine translation by applying the methodology proposed in this paper and the significant high performance of the many-to-one machine translation were derived.

주제어

표/그림 (6)

그림 Fig. 1. One-to-One model architecture using copy mechanism
그림 Fig. 2. Many-to-One model architecture
표 Table 1. Korean Dialect Data quantitative information
표 Table 2. Model Performance Comparison between according to Copy mechanism application
표 Table 3. Similarity Comparison Score table
표 Table 4. Model Performance Comparison between One-to-One and Many-to-One

참고문헌 (19)

E. Benmamoun. (2000). The feature structure of functional categories: A comparative study of Arabic dialects. Oxford University Press.
C. Park, K. Kim, Y. Yang, M. Kang & H. Lim. (2021). Neural spelling correction: translating incorrect sentences to correct sentences for multimedia. Multimedia Tools and Applications, 80(26), 34591-34608.

상세보기
C. Park, C. Lee, Y. Yang & H. Lim. (2020). Ancient Korean neural machine translation. IEEE Access, 8, 116617-116625.

상세보기
A. Vaswani et al. (2017). Attention is all you need. Advances in neural information processing systems, 5998-6008.
J. Gu, Z. Lu, H. Li & V. O. K. Li. (2016). Incorporating copying mechanism in sequence-to-sequence learning. arXiv preprint arXiv:1603. 06393.
S. R. Kudugunta, A. Bapna, I. Caswell, N. Arivazhagan, & O. Firat (2019). Investigating multilingual NMT representations at scale. arXiv preprint arXiv:1909. 02197.
R. Aharoni, M. Johnson, & O. Firat (2019). Massively multilingual neural machine translation. arXiv preprint arXiv:1903. 00089.
Korean Language Research Institute. (1988). Establishment of standard language regulation and Korean spelling. Seoul : Ministry of Education, Republic of Korea
K. Park, Y. J. Choe & J. Ham (2019). Jejueo Datasets for Machine Translation and Speech Synthesis. arXiv preprint arXiv:1911. 12071.
W. Salloum & N. Habash. (2012). Elissa: A dialectal to standard Arabic machine translation system. Proceedings of COLING 2012: Demonstration Papers, 385-392.
K. P. Scannell. (2006). Machine translation for closely related language pairs. Proceedings of the Workshop Strategies for developing machine translation for minority languages, 103-109.
I. Guellil, F. Azouaou & M. Abbas. (2017). Neural vs statistical translation of algerian arabic dialect written with arabizi and arabic letter. The 31st pacific asia conference on language, information and computation paclic
W. Farhan, B. Talafha, A. Abuammar, R. Jaikat, M. Al-Ayyoub, A. B. Tarakji & A. Toma (2020). Unsupervised dialectal neural machine translation. Information Processing & Management, 57(3), 102181.

상세보기
Y. Wan, B. Yang, D. F. Wong, L. S. Chao, H. Du & B. C. H. Ao (2020). Unsupervised Neural Dialect Translation with Commonality and Diversity Modeling. Proceedings of the AAAI Conference on Artificial Intelligence, 34(5), 9130-9137.
S. Lim, C. Park, J. Jo & Y. Yang (2021). Deep Learning based Korean Dialect Machine Translation Research. Proceedings of the 33th Annual Conference on Human and Cognitive Language Technology.
M. Johnson et al. (2017). Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, 5, 339-351.

상세보기
T. Kudo & J. Richardson (2018). Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. arXiv preprint arXiv:1808. 06226.
S. Kim (2016). A Contrastive Analysis of the Noun Structure in German, English and French. Yongbong Journal of Humanities, 49.
J. Devlin, M. W. Chang, K. Lee & K. Toutanova (2018). Bert: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810. 04805

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증