Latent Dirichlet Allocation 기법을 활용한 해외건설시장 뉴스기사의 토픽 모델링(Topic Modeling) Topic Modeling of News Article about International Construction Market Using Latent Dirichlet Allocation원문보기
해외건설 프로젝트를 기획하고 수행하는 과정에서 현지 시장의 상황을 신속하고 정확하게 파악하는 것은 수익성 창출에 매우 큰 영향을 미친다. 뉴스기사 데이터는 정치, 경제, 사회 등 다양한 관한 정보를 담고 있기 때문에 시장의 상황을 파악하는 데 사용할 수 있는 좋은 데이터이다. 텍스트의 형태로 존재하는 대량의 뉴스기사 데이터로부터 정보를 추출하고 내용을 요약하는 과정에서 인력, 비용, 시간의 소모를 줄이기 위해 텍스트마이닝 기술이 필요하다. 본 연구에서는 뉴스기사에 다양한 주제가 공존한다는 특성으로 인해 발생하는 정보 추출의 한계를 극복하기 위해 잠재 디리클레 할당(Latent Dirichlet Allocation) 방법론을 사용하여 토픽 모델링을 수행했다. 문서 집단에 존재하는 주제의 개수가 10개라고 가정했을 때, 이용자들의 편의 증진을 위한 프로젝트(2번 주제)와 아프리카 지역의 빈곤 문제를 해결하기 위한 민간 차원의 지원(4번 주제) 등의 주제 집단이 존재하는 것을 확인했다. 이와 같이 문서 집단의 주제를 구분함으로써 더욱 의미있는 정보를 추출하고, 요약 결과의 활용성을 높일 수 있다.
해외건설 프로젝트를 기획하고 수행하는 과정에서 현지 시장의 상황을 신속하고 정확하게 파악하는 것은 수익성 창출에 매우 큰 영향을 미친다. 뉴스기사 데이터는 정치, 경제, 사회 등 다양한 관한 정보를 담고 있기 때문에 시장의 상황을 파악하는 데 사용할 수 있는 좋은 데이터이다. 텍스트의 형태로 존재하는 대량의 뉴스기사 데이터로부터 정보를 추출하고 내용을 요약하는 과정에서 인력, 비용, 시간의 소모를 줄이기 위해 텍스트마이닝 기술이 필요하다. 본 연구에서는 뉴스기사에 다양한 주제가 공존한다는 특성으로 인해 발생하는 정보 추출의 한계를 극복하기 위해 잠재 디리클레 할당(Latent Dirichlet Allocation) 방법론을 사용하여 토픽 모델링을 수행했다. 문서 집단에 존재하는 주제의 개수가 10개라고 가정했을 때, 이용자들의 편의 증진을 위한 프로젝트(2번 주제)와 아프리카 지역의 빈곤 문제를 해결하기 위한 민간 차원의 지원(4번 주제) 등의 주제 집단이 존재하는 것을 확인했다. 이와 같이 문서 집단의 주제를 구분함으로써 더욱 의미있는 정보를 추출하고, 요약 결과의 활용성을 높일 수 있다.
Sufficient understanding of oversea construction market status is crucial to get profitability in the international construction project. Plenty of researchers have been considering the news article as a fine data source for figuring out the market condition, since the data includes market informati...
Sufficient understanding of oversea construction market status is crucial to get profitability in the international construction project. Plenty of researchers have been considering the news article as a fine data source for figuring out the market condition, since the data includes market information such as political, economic, and social issue. Since the text data exists in unstructured format with huge size, various text-mining techniques were studied to reduce the unnecessary manpower, time, and cost to summarize the data. However, there are some limitations to extract the needed information from the news article because of the existence of various topics in the data. This research is aimed to overcome the problems and contribute to summarization of market status by performing topic modeling with Latent Dirichlet Allocation. With assuming that 10 topics existed in the corpus, the topics included projects for user convenience (topic-2), private supports to solve poverty problems in Africa (topic-4), and so on. By grouping the topics in the news articles, the results could improve extracting useful information and summarizing the market status.
Sufficient understanding of oversea construction market status is crucial to get profitability in the international construction project. Plenty of researchers have been considering the news article as a fine data source for figuring out the market condition, since the data includes market information such as political, economic, and social issue. Since the text data exists in unstructured format with huge size, various text-mining techniques were studied to reduce the unnecessary manpower, time, and cost to summarize the data. However, there are some limitations to extract the needed information from the news article because of the existence of various topics in the data. This research is aimed to overcome the problems and contribute to summarization of market status by performing topic modeling with Latent Dirichlet Allocation. With assuming that 10 topics existed in the corpus, the topics included projects for user convenience (topic-2), private supports to solve poverty problems in Africa (topic-4), and so on. By grouping the topics in the news articles, the results could improve extracting useful information and summarizing the market status.
뉴스기사 데이터에는 여러 주제가 섞여있기 때문에 이를 구분하는 선행 작업이 요구되며, 뉴스기관에서 자체적으로 제공하는 분류체계만을 사용할 경우 시장상황에 관한 정보 추출 및 연구 결과물의 확장에 한계가 있다. 따라서 본 연구는 사전에 구축된 주제 카테고리가 아닌, 뉴스기사의 내용에 기반해서 주제를 분류하는 것을 목표로 하며, 추후 해외건설시장의 상황 정보를 추출하는 연구의 기반을 마련하고자 한다.
제안 방법
본 연구는 해외건설시장의 상황 정보를 파악하기 위해 뉴스기사데이터를 분석하는 연구의 초기 단계로서, 뉴스기사 문서 집단에 존재하는 주제를 찾아내고 각 기사를 주제에 따라 분류했다. 이를 통해 현지 시장에서 어떤 주제가 이슈화되고 있는지 파악할 수 있으며, 이러한 정보는 건설 프로젝트의 기획 및 수행 시 유용하게 활용될 수 있다.
대상 데이터
웹크롤링 기법을 사용하여 월드뱅크 뉴스 웹사이트(www.worldbank.org/news)로부터 2010년 3월 31일부터 2017년 6월 1일 사이에 발생한 11,491건의 뉴스기사를 수집했다. 월드뱅크의뉴스기사는 주로 개발도상국에 대한 지원과 인프라 구축에 관한 내용을 다루고 있기 때문에 본 연구의 실험 데이터로 설정했다.
이론/모형
문서 집단에 존재하는 주제의 개수는 10개라고 가정하고, 깁스샘플링(Gibbs Sampling) 기법을 사용해서 각 토픽의 키워드를 추출했다. 깁스 샘플링이란, 모든 키워드에 임의의 토픽을 지정한 뒤에 토픽-단어 확률과 문서-토픽 확률을 반복적으로 계산하여결과값을 조금씩 수정하는 방식이다.
문장부호 등 텍스트 데이터의 의미를 분석하는 데 영향을 미치지 않는 요소들이 제거되며, 모든 문장은 띄어쓰기에 따라 단어 수준으로 분할된다. 본 연구에서는 파이썬의 자연어 처리패키지 중 하나인 Natural Language Toolkit (NLTK)의 Tweet Tokenizer를 사용했다(Bird et al., 2009).
성능/효과
각 토픽에서 큰 비중을 차지하는 키워드들은 Table 1과 같이 도출되었다. 2번 토픽은 ‘project’, ‘million’, ‘improve’, ‘sector’,‘service’ 등의 키워드를 포함하고 있는 것으로 보아, ‘이용자들의 편의 증진을 위한 프로젝트’와 관련된 주제라고 추측할 수 있다. 4번 토픽은 ‘Africa’, ‘development’, ‘support’, ‘poverty’, ‘private’ 등의 키워드를 포함하고 있는 것으로 보아, ‘아프리카 지역의 빈곤 문제를 해결하기 위한 민간 차원의 지원’과 관련된 주제라고 추측할 수 있다.
2번 토픽은 ‘project’, ‘million’, ‘improve’, ‘sector’,‘service’ 등의 키워드를 포함하고 있는 것으로 보아, ‘이용자들의 편의 증진을 위한 프로젝트’와 관련된 주제라고 추측할 수 있다. 4번 토픽은 ‘Africa’, ‘development’, ‘support’, ‘poverty’, ‘private’ 등의 키워드를 포함하고 있는 것으로 보아, ‘아프리카 지역의 빈곤 문제를 해결하기 위한 민간 차원의 지원’과 관련된 주제라고 추측할 수 있다. 7번 토픽에는 ‘de’, ‘la’, ‘que’, ‘en’, ‘des’ 등의 키워드가주로 등장했는데, 스페인어나 라틴어 등 영어가 아닌 언어에서 사용되는 단어들이 모여 있는 것을 확인했다.
후속연구
향후 연구에는 토픽 모델링을 고도화하기 위해 품사 태깅 등 추가적인 전처리를 수행하고, 다른 기관의 뉴스 데이터를 추가하며,문서 집단에 존재하는 주제의 개수도 최적화하는 과정이 필요하다. 또한, 본 기술의 실무 활용도를 높이기 위해 로봇 저널리즘 기술과 연계하여 현지 시장에서 주로 생성되는 뉴스기사의 주제와, 각 주제에서 중요하게 여겨지는 내용에 대한 설명을 자동적으로 생성해주는 연구를 수행할 계획이다.
향후 연구에는 토픽 모델링을 고도화하기 위해 품사 태깅 등 추가적인 전처리를 수행하고, 다른 기관의 뉴스 데이터를 추가하며,문서 집단에 존재하는 주제의 개수도 최적화하는 과정이 필요하다. 또한, 본 기술의 실무 활용도를 높이기 위해 로봇 저널리즘 기술과 연계하여 현지 시장에서 주로 생성되는 뉴스기사의 주제와, 각 주제에서 중요하게 여겨지는 내용에 대한 설명을 자동적으로 생성해주는 연구를 수행할 계획이다.
질의응답
핵심어
질문
논문에서 추출한 답변
텍스트 데이터르 요약한다는 것의 의미는?
텍스트 데이터를 요약한다는 것은 데이터의 크기를 줄이면서 전체 문서의 내용을 잘 반영하고 있는 새로운 문서를 생성한다는 것을 의미한다(Ferreira et al., 2014; Pal and Saha, 2014).
해외건설시장의 상황에 관한 정보를 4가지로 구분하면?
여러 연구들의 결과에 따르면 프로젝트를 수행하는 현지 시장의 상황을 신속하고 정확하게 파악하는 것이 현장의 수요에 대응하고리스크를 저감하는데 매우 중요한 요소이다(Javernick-Will and Scott, 2010). 해외건설시장의 상황에 관한 정보는 제도적 요소,기술적 요소, 사회적 요소, 경제적 요소의 4가지로 구분될 수 있으며,이러한 상황 정보는 주로 수치 데이터(GDP, 물가, 환율 등)나문서 데이터(뉴스기사, 보고서, SNS)로부터 파악할 수 있다(Javernick-Will and Scott, 2010). 수치 데이터의 경우 간단한 통계 분석만으로도 시장의 변화를 살펴볼 수 있지만, 시장의 상황이해당 수치로 변환되기까지 일정한 시간을 필요로 하기 때문에 좋은 데이터가 아니다.
토픽 모델링을 사용하는 분야는?
토픽 모델링(Topic Modeling)이란 텍스트를 요약하는 기법 중 하나로, 문서 집단에 잠재되어 있는 토픽, 즉 주제들을 도출해내기 위해 텍스트 데이터에서 단어들이 등장하는 패턴의 확률을 모형화한다(Hong and Davison, 2010). 초기에는 트위터(Twitter) 등 SNS 데이터를 분석하는 데 사용되었지만, 점차 뉴스기사 분류,유사 논문 추천 등의 분야로 확장되었다(Hong and Davison, 2010;Newman et al., 2006; Yang et al.
참고문헌 (15)
Bird, S., Loper, E. and Klein, E. (2009). "Natural language processing with python." O'Reilly Media Inc.
Blei, D. M., Jordan, M. I. and Ng, A. Y. (2003). "Latent dirichlet allocation." The Journal of Machine Learning Research, Vol. 3, pp. 993-1022.
Ferreira, R., Freitas, F., Cabral, L. de S., Lins, R. D., Lima, R., Franca, G., Simske, S. J. and Favaro, L. (2014). "A context based text summarization system." 2014 11th IAPR International Workshop on Document Analysis Systems, IEEE, pp. 66-70.
Gambhir, M. and Gupta, V. (2017). "Recent automatic text summarization techniques: A survey." Artificial Intelligence Review, Vol. 47, No. 1, pp. 1-66. DOI: 10.1007/s10462-016-9475-9.
Goldszmidt, R. G. B., Brito, L. A. L. and de Vasconcelos, F. C. (2011). "Country effect on firm performance: A multilevel approach." Journal of Business Research, Vol. 64, No. 3, pp. 273-279. DOI: 10.1016/j.jbusres.2009.11.012.
Hong, L. and Davison, B. D. (2010). "Empirical study of topic modeling in Twitter." Proceedings of the First Workshop on Social Media Analytics, ACM Press, New York, New York, USA, pp. 80-88.
International Contractors Association of Korea (ICAK). (2018). Available online: (31/03/2018).
Javernick-Will, A. N. and Scott, W. R. (2010). "Who needs to know what? institutional knowledge and international projects." Journal of Construction Engineering and Management, Vol. 136, No. 5, pp. 546-557. DOI: 10.1061/？ASCE？CO.1943-7862.0000035.
Kim, D. Y., Han, S. H., Kim, H. and Park, H. (2009). "Structuring the prediction model of project performance for international construction projects: A comparative analysis." Expert Systems with Applications, Vol. 36, pp. 1961-1971. DOI: 10.1016/j.eswa.2007.12.048.
Lee, K. W., Han, S. H., Park, H. and Jeong, H. D. (2015). "Empirical analysis of host-country effects in the international construction market: An industry-level approach." Journal of construction engineering and management, Vol. 142, No. 3, DOI: 10.1061/(ASCE)CO.1943-7862.
Manning, C. D., Raghaven, P. and Schutze, H. (2008). Introduction to Information Retrieval, Cambridge University Press.
Newman, D., Chemudugunta, C., Smyth, P. and Steyvers, M. (2006). "Analyzing entities and topics in news articles using statistical topic models." International Conference on Intelligence and Security Informatics, Springer, Berlin, Heidelberg, pp. 93-104.
Pal, A. R. and Saha, D. (2014). "An approach to automatic text summarization using wordnet." Advance Computing Conference (IACC), 2014 IEEE International, pp. 1169-1173. DOI: 10.1109/IAdCC.2014.6779492.
Taroun, A. (2014). "Towards a better modelling and assessment of construction risk: Insights from a literature review." International Journal of Project Management, Vol. 32, pp. 101-115. DOI: 10.1016/j.ijproman.2013.03.004.
Yang, T. I., Torget, A. J. and Mihalcea, R. (2011). "Topic modeling on historical newspapers." Proceedings of the 5th ACL-HLT Workshop on Language Technology for Cultural Heritage, Social Sciences, and Humanities, Association for Computational Linguistics, pp. 96-104.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.