[논문]LDA 및 BERTopic 기반 해외건설시장 뉴스 기사 토픽모델링 성능평가

백준우; 정세환; 지석호

doi:10.12652/ksce.2023.43.6.0811

초록
AI-Helper

해외건설사업 시, 현지 상황을 정확하고 빠르게 파악하는 것은 프로젝트 성공을 위해 매우 중요한 요소이다. 이는 토픽모델링을 활용한 뉴스 기사 분석을 통해 실현될 수 있다. 본 연구는 Latent Dirichlet Allocation(LDA)과 BERTopic 두 토픽모델링 기법을 활용하여 뉴스 기사를 분석하고, 최적의 기법을 찾고자 하였다. 모델링 결과로 자동생성된 토픽과 실제 문서 주제와의 일치 여부를 확인하기 위해 BBC 뉴스 기사 6,273건 을 수집하여 ground truth를 생성하고, 이를 모델링된 토픽과 비교하였다. 그 결과 LDA의 F1 score는 0.011, BERTopic은 0.244로 나타났다. 이를 통해 BERTopic이 실제 뉴스 기사의 주제를 잘 파악하며, 해외건설시장의 주요 이슈를 자동으로 이해하는 데 더욱 용이하다는 것을 확인할 수 있었다

Abstract ▼ AI-Helper

Understanding the local conditions is a crucial factor in enhancing the success potential of overseas construction projects. This can be achieved through the analysis of news articles of the target market using topic modeling techniques. In this study, the authors aimed to analyze news articles usin...

Understanding the local conditions is a crucial factor in enhancing the success potential of overseas construction projects. This can be achieved through the analysis of news articles of the target market using topic modeling techniques. In this study, the authors aimed to analyze news articles using two topic modeling methods, namely Latent Dirichlet Allocation (LDA) and BERTopic, in order to determine the optimal approach for market condition analysis. To evaluate the alignment between the generated topics and the actual themes of the news documents, the research collected 6,273 BBC news articles, created ground truth data for individual news article topics, and finally compared this ground truth with the results of the topic modeling. The F1 score for LDA was 0.011, while BERTopic achieved a score of 0.244. These results indicate that BERTopic more accurately reflected the actual topics of news articles, making it more effective for understanding the overseas construction market.

주제어

표/그림 (12)

그림 Fig. 1. Flow Diagram of Research Methodology
그림 Fig. 2. LDA Process
표 Table 1. Number 1 Article of the Collected BBC News
그림 Fig. 3. BERTopic Process
그림 Fig. 4. Example of Multi-Class Confusion Matrix
표 Table 2. Performance Evaluation Metrics
표 Table 3. Ground Truth of BBC News
표 Table 4. LDA Keywords & Topic Assignment-Topic Num 10
표 Table 5. LDA Performance Evaluation
표 Table 6. BERTopic Topic Assignment
표 Table 7. News Articles with High F1 Score
표 Table 8. News Articles with Low F1 Score

참고문헌 (15)

Abuzayed, A. and Al-Khalifa, H. (2021). "BERT for Arabic？topic modeling: An experimental study on BERTopic？technique." Procedia Computer Science, Elsevier, Vol. 189, pp.？191-194, https://doi.org/10.1016/j.procs.2021.05.096.？

상세보기
Blei, D. M. (2012). "Probabilistic topic models." Communications of the ACM, ACM, Vol. 55, No. 4, pp. 77-84,？https://doi.org/10.1145/2133806.2133826.？

상세보기
Blei, D. M., Ng, A. Y. and Jordan, M. I. (2003). "Latent dirichlet？allocation." Journal of Machine Learning Research, Vol. 3,？pp. 993-1022.？
Glez-Pena, D., Lourenco, A., Lopez-Fernandez, H., ReboiroJato, M. and Fdez-Riverola, F. (2014). "Web scraping？technologies in an API world." Briefings in Bioinformatics,？Oxford Unversity, Vol. 15, No. 5, pp. 788-797, https://doi.org/10.1093/bib/bbt026.？

상세보기
Goldszmidt, R. G. B., Brito, L. A. L. and de Vasconcelos, F. C.？(2011). "Country effect on firm performance: A multilevel？approach." Journal of Business Research, Elsevier, Vol. 64,？No. 3, pp. 273-279, https://doi.org/10.1016/j.jbusres.2009.11.012.？

상세보기
Grootendorst, M. (2022). "BERTopic: Neural topic modeling？with a class-based TF-IDF procedure." arXiv Preprint, arXiv:？2203.05794 [cs.CL], https://doi.org/10.48550/arXiv.2203.05794.？
Jallan, Y., Brogan, E., Ashuri, B. and Clevenger, C. M. (2019).？"Application of natural language processing and text mining？to identify patterns in construction-defect litigation cases."？Journal of Legal Affairs and Dispute Resolution in Engineering？and Construction, ASCE, Vol. 11, No. 4, 04519024,？https://doi.org/10.1061/(ASCE)LA.1943-4170.0000308.？

상세보기
Javernick-Will, A. N. and Scott, W. R. (2010). "Who needs to？know what? Institutional knowledge and global projects."？Journal of Construction Engineering and Management,？ASCE, Vol. 136, No. 5, pp. 546-557, https://doi.org/10.1061/(ASCE)CO.1943-7862.0000035.？

상세보기
Jiang, H. C., Qiang, M. S. and Lin, P. (2016). "Finding academic？concerns of the Three Gorges Project based on a topic？modeling approach." Ecological Indicators, Elsevier, Vol. 60,？pp. 693-701, https://doi.org/10.1016/j.ecolind.2015.08.007.？

상세보기
Jung, N. and Lee, G. (2019). "Automated classification of？building information modeling (BIM) case studies by BIM？use based on natural language processing (NLP) and？unsupervised learning." Advanced Engineering Informatics,？Elsevier, Vol. 41, 100917, https://doi.org/10.1016/j.aei.2019.04.007.？

상세보기
Moon, S., Chung, S. and Chi, S. (2018). "Topic modeling of？news article about international construction market using latent dirichlet allocation." KSCE Journal of Civil and？Environmental Engineering Research, KSCE, Vol. 38, No. 4,？pp. 595-599, https://doi.org/10.12652/Ksce.2018.38.4.0595？(in Korean).？

원문보기 상세보기
Newman, D., Lau, J. H., Grieser, K. and Baldwin, T. (2010).？"Automatic evaluation of topic coherence." Proceedings of？Human Language Technologies: The 2010 Annual Conference？of the North American Chapter of the Association for ACL,？ACL, Los Angeles, USA, pp. 100-108.？
Stevens, K., Kegelmeyer, P., Andrzejewski, D. and Buttler, D.？(2012). "Exploring topic coherence over many models and？many topics." Proceedings of the 2012 Joint Conference on？Empirical Methods in Natural Language Processing and？Computational Natural Language Learning, ACL, Jeju？Island, Korea, pp. 952-961.？
Wallach, H. M., Murray, I., Salakhutdinov, R. and Mimno, D.？(2009). "Evaluation methods for topic models." Proceedings？of the 26th Annual International Conference on Machine？Learning, Association for Computing Machinery, ACM, New？York, USA, pp. 1105-1112, https://doi.org/10.1145/1553374.1553515.？
Wei, X. and Croft, W. B. (2006). "LDA-based document models？for ad-hoc retrieval." Proceedings of the 29th Annual？International ACM SIGIR Conference on Research and？Development in Information Retrieval, Association for？Computing Machinery, New York, USA, pp. 178-185,？https://doi.org/10.1145/1148170.1148204.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

LDA 및 BERTopic 기반 해외건설시장 뉴스 기사 토픽모델링 성능평가
Evaluation of Topic Modeling Performance for Overseas Construction Market Analysis Using LDA and BERTopic on News Articles 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (12)

표/그림 (12)

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

LDA 및 BERTopic 기반 해외건설시장 뉴스 기사 토픽모델링 성능평가 Evaluation of Topic Modeling Performance for Overseas Construction Market Analysis Using LDA and BERTopic on News Articles 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (12) 모든 표/그림 보기

표/그림 (12) 슬라이드로 보기

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

정세환 (3) 지석호 (15)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

LDA 및 BERTopic 기반 해외건설시장 뉴스 기사 토픽모델링 성능평가
Evaluation of Topic Modeling Performance for Overseas Construction Market Analysis Using LDA and BERTopic on News Articles 원문보기

초록
AI-Helper

표/그림 (12)

표/그림 (12)