[논문]사회문제 해결 연구보고서 기반 문장 의미 식별 데이터셋 구축

신현호; 정선기; 전홍우; 권이남; 이재민; 박강희; 최성필

doi:10.3745/ktsde.2023.12.4.159

사회문제 해결 연구보고서 기반 문장 의미 식별 데이터셋 구축
Building Sentence Meaning Identification Dataset Based on Social Problem-Solving R&D Reports 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.12 no.4, 2023년, pp.159 - 172

신현호 (경기대학교 문헌정보학과) , 정선기 (경기대학교 문헌정보학과) , 전홍우 (한국과학기술정보연구원 미래기술분석센터) , 권이남 (한국과학기술정보연구원 기술지능연구팀) , 이재민 (한국과학기술정보연구원 기술지능연구팀) , 박강희 (한국과학기술정보연구원 기술지능연구팀) , 최성필 (경기대학교 문헌정보학과)

초록
AI-Helper

일반적으로 사회문제 해결 연구는 과학기술을 활용하여 다양한 사회적 현안들에 의미있는 해결 방안을 제시함으로써 중요한 사회적 가치를 창출하는 것을 연구 목표로 한다. 그러나 사회문제와 쟁점을 완화하기 위하여 많은 연구들이 국가적으로 수행되었음에도 불구하고 여전히 많은 사회문제가 남아 있는 상황이다. 사회문제 해결 연구의 전 과정을 원활하게 하고 그 효과를 극대화하기 위해서는 사회적으로 시급한 현안들에 대한 문제를 명확하게 파악하는 것이 중요하다. 사회문제 해결과 관련된 기존 R&D 보고서와 같은 자료에서 중요한 사안을 자동으로 식별할 수 있다면 사회문제 파악 단계가 크게 개선될 수 있다. 따라서 본 논문은 다양한 국가 연구보고서에서 사회문제와 해결방안을 자동으로 감지하기 위한 기계학습 모델을 구축하는 데에 필수적인 데이터셋을 제안하고자 한다. 우선 데이터를 구축하기 위해 사회문제와 쟁점을 다룬 연구보고서를 총 700건 수집하였다. 수집된 연구보고서에서 사회문제, 목적, 해결 방안 등 사회문제 해결과 관련된 내용이 담긴 문장을 추출 후 라벨링을 수행하였다. 또한 4개의 사전학습 언어모델을 기반으로 분류 모델을 구현하고 구축된 데이터셋을 통해 일련의 성능 실험을 수행하였다. 실험 결과 KLUE-BERT 사전학습 언어모델을 미세조정한 모델이 정확도 75.853%, F1 스코어 63.503%로 가장 높은 성능을 보였다.

Abstract ▼ AI-Helper

In general, social problem-solving research aims to create important social value by offering meaningful answers to various social pending issues using scientific technologies. Not surprisingly, however, although numerous and extensive research attempts have been made to alleviate the social problems and issues in nation-wide, we still have many important social challenges and works to be done. In order to facilitate the entire process of the social problem-solving research and maximize its efficacy, it is vital to clearly identify and grasp the important and pressing problems to be focused upon. It is understandable for the problem discovery step to be drastically improved if current social issues can be automatically identified from existing R&D resources such as technical reports and articles. This paper introduces a comprehensive dataset which is essential to build a machine learning model for automatically detecting the social problems and solutions in various national research reports. Initially, we collected a total of 700 research reports regarding social problems and issues. Through intensive annotation process, we built totally 24,022 sentences each of which possesses its own category or label closely related to social problem-solving such as problems, purposes, solutions, effects and so on. Furthermore, we implemented four sentence classification models based on various neural language models and conducted a series of performance experiments using our dataset. As a result of the experiment, the model fine-tuned to the KLUE-BERT pre-trained language model showed the best performance with an accuracy of 75.853% and an F1 score of 63.503%.

주제어

표/그림 (23)

표 Table 1. Example of Research Key Sentences in a Research Report
표 Table 2. Comparison of Existing Research and Social Problem Solving Research[1]
그림 Fig. 1. Sentence Semantic Identification Data Construction Process for Social Issue Detection
표 Table 3. Top 10 R&D Areas for Solving Social Problems[1]
그림 Fig. 2. Selection and Tagging Process of Research Key Sentences
표 Table 4. Institutions and Systems Subject to Research Report Collection
표 Table 5. Research Report Collection Status
표 Table 6. Types and Classification of Sentence Tagging
표 Table 7. Data construction status
그림 Fig. 3. Ratio of Sentence Semantic Identification Data Type for Social Issue Detection
표 Table 8. Data Example 1 (Necessity and Purpose of Research)
표 Table 9. Characteristics of Phrases by Sub Category 1 (Necessity and Purpose of Research)
표 Table 10. Data Example 2 (Method of Research)
표 Table 11. Characteristics of Phrases by Sub Category 2 (Method of Research)
표 Table 12. Data Example 3 (Result)
표 Table 13. Characteristics of Phrases by Sub Category 3 (Result)
표 Table 14. Model Training Data Statistics
표 Table 15. Parameters of Pre-trained Language Model
표 Table 16. Performances of Pre-trained Language Model
표 Table 17. Confusion Matrix of Sentence Rhetorical Classification Model(KLUE-BERT)
그림 Fig. 4. Performance Change According to the Number of Epochs Fine-tuning the KLUE-BERT Pre-trained Language Model
표 Table 18. Dissertation Sentence Rhetorical Classification Data Statistics[5]
표 Table 19. Error Result Sample

참고문헌 (18)

J. H. Kim, K. J. Lee, S. Y. Kim, and S. K. Lee, "Trends？and characteristics of 2021 social problem-solving R&D？investment," Sa.gwa.plus(사.과.플러스), KISTEP(Korea？Institute of Science & Technology Evaluation & Planning),？No.4, pp.3-29, 2021.
W. Song and J. Song "How is the Social problem-Solving？R&D Done?," Journal of Science & Technology Studies,？Vol.18, No.3, pp.255-288, 2018.
Korea Institute of Science & Technology Evaluation and？Planning, "Social problem-solving R&D guidelines for？spreading field application," Ministry of Science and ICT,？2021.
W. J. Kim and S. Y. Lee, "A study on the social problem-solving R&D policy improvement" in Proceedings of the？Korean Institute of Communication Sciences Conference,？pp.228-229, 2018.
S. J. Seong, S. C. Kim, S. W. Lee, and W. J. Cha, "Rhetorical？sentence classification using context information," in？Proceedings of the 33th Annual Conference on Human and？Language Technology, pp.316-319, 2021.
S. K. Song, Y. S. Choi, S. P. Choi, H. S. Oh, S. H. Myaeng,？H. W. Chun, and C. H. Jeong, "Procedural Knowledge？Extraction on Medical Documents," Journal of KIISE, Vol.？18, No.2, pp.123-127, 2012.
J. S Yun, G. Y. Kim, Y. C. Jeong, H. S. Oh, and D. Suh,？"Development of deep learning technologies and applications for the information extraction of S&T open texts,"？Korea Institute of Science and Technology Information,？2017, Report num.: TRKO201700000489.
Z. Nasar, S. W. Jaffry, and M. K. Malik, "Tagging assistant？for scientific articles," INTAP 2018: Intelligent Technologies and Application, Vol.932, pp.351-362, 2019.
T. H. Lee, Y. M. Kim, E.i Jeong, and S. O. Na, "Query intent？detection for medical advice: Training data construction？and intent classification," Journal of KIISE, Vol.48, No.8,？pp.878-884, 2021.
G. H. Lee, Y. H. Park, and K. J. Lee, "Building a Korean？text summarization dataset using news articles of social？media," KIPS Transactions on Software and Data Engineering, Vol.9, No.8, pp.251-258, 2020.

원문보기 상세보기
H. Kong, H. Yoon, M. Hyun, H. Lee, and J. Seol, "KorSciQA？2.0: Question answering dataset for machine reading comprehension of Korean papers in science & Technology domain," Journal of KIISE, Vol.49, No.9. pp.686-695, 2022.
S. Park et al., "Klue: Korean language understanding？evaluation," arXiv preprint arXiv:2105.09680, 2021.
pdfminer.six [Internet], https://github.com/pdfminer/pdfminer.six
Sang-Kil Park, Byeng Il Ko, Korean-Sentence-Splitter？[Internet], https://github.com/likejazz/korean-sentence-splitter
Sungjoon Park, Jihyung Moon, Sungdong Kim, Won Ik？Cho, Jiyoon Han, Jangwon Park and Chisung Song et al.？KLUE BERT base [Internet], https://huggingface.co/klue/bert-base
Junbum Lee. KcBERT: Korean Comments BERT [Internet],？https://github.com/Beomi/KcBERT
Junbum Lee. KcELECTRA: Korean Comments ELECTRA？[Internet], https://github.com/Beomi/KcELECTRA
Jangwon Park. KoELECTRA: Pretrained ELECTRA Model？for Korean [Internet], https://github.com/monologg/KoELECTRA？

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증