$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

텍스트 요약 품질 향상을 위한 의미적 사전학습 방법론
Semantic Pre-training Methodology for Improving Text Summarization Quality 원문보기

스마트미디어저널 = Smart media journal, v.12 no.5, 2023년, pp.17 - 27  

전민규 (국민대학교 비즈니스IT전문대학원) ,  김남규 (국민대학교 비즈니스IT전문대학원)

초록
AI-Helper 아이콘AI-Helper

최근 사용자에게 의미있는 정보만을 자동으로 간추리는 텍스트 자동 요약이 꾸준히 연구되고 있으며, 특히 인공신경망 모델인 트랜스포머를 활용한 텍스트 요약 연구가 주로 수행되고 있다. 다양한 연구 중 특히 문장 단위 마스킹을 통해 모델을 학습시키는 GSG 방식이 가장 주목을 받고 있지만, 전통적인 GSG는 문장의 의미가 아닌 토큰의 중복 정도에 기반을 두어 마스킹 대상 문장을 선정한다는 한계를 갖는다. 따라서 본 연구에서는 텍스트 요약의 품질을 향상시키기 위해, 문장의 의미를 고려하여 GSG의 마스킹 대상 문장을 선정하는 SbGSG(Semantic-based GSG) 방법론을 제안한다. 뉴스기사 370,000건과 요약문 및 레포트 21,600건을 사용하여 실험을 수행한 결과, ROUGE와 BERT Score 측면에서 제안 방법론인 SbGSG가 전통적인 GSG에 비해 우수한 성능을 보임을 확인하였다.

Abstract ▼ AI-Helper 아이콘AI-Helper

Recently, automatic text summarization, which automatically summarizes only meaningful information for users, is being studied steadily. Especially, research on text summarization using Transformer, an artificial neural network model, has been mainly conducted. Among various studies, the GSG method,...

주제어

#딥러닝   #추상 요약   #트랜스포머   #사전학습 언어 모델  

참고문헌 (31)

  1. Y. Liu, "Fine-tune BERT for extractive？summarization," arXiv:1903.10318, 2019. 

  2. J. Xu and G. Durrett, "Neural extractive text？summarization with syntactic compression,"？arXiv:1902.00863, 2019. 

  3. M. Zhong, P. Liu, Y. Chen, D. Wang, X. Qiu,？and X. Huang, "Extractive summarization as text？matching," arXiv:2004.08795, 2020 

  4. R. Nallapati, B. Zhou, C. Gulcehre, and B. Xiang,？"Abstractive text summarization using？sequence-to-sequence rnns and beyond,"？arXiv:1602.06023, 2016 

  5. A. M. Rush, S. Chopra, and J. Weston, "A？neural attention model for abstractive sentence？summarization," arXiv:1509.00685, 2015 

  6. A. See, P. J. Liu, and C. D. Manning, "Get to？the point: Summarization with pointer-generator？networks," arXiv:1704.04368, 2017 

  7. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit,？L. Jones, A. N. Gomez, L Kaiser, and I.？Polosukhin, "Attention is all you need," Advances？in Neural Information Processing Systems, vol.？30, 2017. 

  8. J. Zhang, Y. Zhao, M. Saleh, and P. Liu,？"Pegasus: Pre-training with extracted？gap-sentences for abstractive summarization,"？Proceedings of the 37th International Conference？on Machine Learning, Vol. 119, pp. 11328-11339,？2020. 

  9. C. Lin, "Rouge: A package for automatic？evaluation of summaries," Text Summarization？Branches Out, pp. 74-81, Barcelona, Spain, Jul.？2004. 

  10. H. P. Luhn, "A statistical approach to？mechanized encoding and searching of literary？information," IBM Journal of Research and？Development, vol. 1, no. 4, pp. 309-317, 1957. 

  11. M. A. Fattah and F. Ren, "GA, MR, FFNN,？PNN and GMM based models for automatic？text summarization," Comput. Speech Lang., vol.？23, no. 1, pp. 126-144, 2009. 

    상세보기

  12. R. Mihalcea and P. Tarau, "Textrank: Bringing？order into text," Proceedings of the 2004？Conference on Empirical Methods in Natural？Language Processing, pp. 404-411, Barcelona,？Spain, Jul. 2004. 

  13. L. Page, S. Brin, R. Motwani, and T. Winograd,？"The PageRank Citation Ranking: Bringing？Order to the Web," Stanford University？technical report, 1998. 

  14. 차준석, 김정인, 김판구, "단어 간 의미적 연관성을 고려한 어휘 체인 기반의 개선된 자동 문서요약 방법," 스마트미디어저널, vol. 6, no. 1, pp.？22-29, 2017 

  15. R. Nallapati, B. Zhou, and M. Ma, "Classify or？select: Neural architectures for extractive？document summarization," arXiv:1611.04244, 2016. 

  16. A. Khan and N. Salim, "A review on？abstractive summarization methods," Journal of？Theoretical and Applied Information？Technology, vol. 59, no. 1, pp. 64-72, 2014. 

  17. 이태석, 선충녕, 정영임, 강승식, "미등록 어휘에？대한 선택적 복사를 적용한 문서 자동요약," 스마트미디어저널, vol. 8, no. 2, pp. 58-65, 2019 

  18. S. Hochreiter and J. Schmidhuber, "Long？short-term memory," Neural Comput., vol. 9, no？8, pp. 1735-1780, 1997. 

    상세보기

  19. I. Sutskever, O. Vinyals, and Q. V. Le,？"Sequence to sequence learning with neural？networks," Advances in Neural Information？Processing Systems, vol. 27, 2014. 

  20. D. Bahdanau, K. Cho and Y. Bengio, "Neural？machine translation by jointly learning to align？and translate," arXiv:1409.0473, 2014. 

  21. A. Radford, K. Narasimhan, T. Salimans, and I.？Sutskever, "Improving language understanding？by generative pre-training," 2018. 

  22. A. Radford, J. Wu, R. Child, D. Luan, D.？Amodei, and I. Sutskever, "Language models？are unsupervised multitask learners," OpenAI？Blog, vol. 1, no. 8, pp. 9, 2019. 

  23. T. Brown, B. Mann, N. Ryder, M. Subbiah, J.？D. Kaplan, P. Dhariwal, A. Neelakantan, P.？Shyam, G. Sastry, and A. Askell, "Language？models are few-shot learners," Advances in？Neural Information Processing Systems, vol. 33,？pp. 1877-1901, 2020. 

  24. R. Thoppilan, D. De Freitas, J. Hall, N. Shazeer,？A. Kulshreshtha, H. Cheng, A. Jin, T. Bos, L.？Baker, and Y. Du, "Lamda: Language models？for dialog applications," arXiv:2201.08239, 2022. 

  25. H. Touvron, T. Lavril, G. Izacard, X. Martinet,？M. Lachaux, T. Lacroix, B. Roziere, N. Goyal,？E. Hambro, and F. Azhar, "Llama: Open and？efficient foundation language models,"？arXiv:2302.13971, 2023. 

  26. A. Chowdhery, S. Narang, J. Devlin, M. Bosma,？G. Mishra, A. Roberts, P. Barham, H.W. Chung,？C. Sutton, and S. Gehrmann, "Palm: Scaling？language modeling with pathways,"？arXiv:2204.02311, 2022. 

  27. J. Devlin, M. Chang, K. Lee, and K. Toutanova,？"Bert: Pre-training of deep bidirectional？transformers for language understanding,"？arXiv:1810.04805, 2018. 

  28. M. Joshi, D. Chen, Y. Liu, D. S. Weld, L.？Zettlemoyer, and O. Levy, "Spanbert: Improving？pre-training by representing and predicting？spans," Transactions of the Association for？Computational Linguistics, vol. 8, pp. 64-77,？2020. 

  29. 김은희, 신주현, 임명진, "ELMo 임베딩 기반 문장？중요도를 고려한 중심 문장 추출방법," 스마트미디어저널, vol. 10, no. 1, pp. 39-46, 2021. 

  30. N. Reimers and I. Gurevych, "Sentence-bert:？Sentence embeddings using siamese？bert-networks," arXiv:1908.10084, 2019. 

  31. C. Raffel, N. Shazeer, A. Roberts, K. Lee, S.？Narang, M. Matena, Y. Zhou, W. Li, and P.J.？Liu, "Exploring the limits of transfer learning？with a unified text-to-text transformer," The？Journal of Machine Learning Research, vol. 21,？no. 1, pp. 5485-5551, 2020. 

저자의 다른 논문 :

관련 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로