[논문]텍스트마이닝을 활용한 건설분야 트랜드 분석

정철우; 김재준

텍스트마이닝을 활용한 건설분야 트랜드 분석
Analysis of trend in construction using textmining method 원문보기

한국 디지털 건축·인테리어학회 논문집 = Journal of The Korean Digital Architecture · Interior Association, v.12 no.2 = no.26, 2012년, pp.53 - 60

정철우 (KIST) , 김재준 (한양대학교)

Abstract ▼ AI-Helper

In this paper, we present new methods for identifying keywords for foresight topics that utilize the internet and textmining techniques to draw objective and quantified information that support experts' qualitative opinions and evaluations in foresight. Furthermore, by applying this fabricated procedure, we have derived keywords to analyze priorities in architectural engineering. Not much difference between qualitative methods of experts and quantitative methods such as text mining has been observed from comparison between technologies derived via qualitative method from "The Science Technology Vision" (control group). Therefore, as a quantitative tool useful for drawing keywords for foresight, textmining can supplement quantitative analysis by experts. In addition, depending on the level and type of raw data, text mining can bring better results in deriving foresight keywords. For this reason, research activities accommodating Internet search results and the development of textmining methods for analyzing current trends are in demand.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 미래예측 시 전문가들의 정성적인 의견과 평가를 보조할 수 있는 정량적이고 객관적인 자료를 도출하기 위하여, 기존의 논문이나 특허의 자료를 이용하는 방법보다 인터넷(internet)의 데이터를 활용하는 방안을 모색하였다. 또한, 기존에 단순히 논문 및 특허를 검색하여 노이즈(noise)를 제거하는 방법들을 이용하여 논문 및 특허 맵을 활용하는 방법보다는 인터넷을 활용한 중요빈도, 시간과 공간의 정보를 활용한 트랜드(trend) 분석을 포함한 텍스트 마이닝(text mining) 기법에 의해 중요한 키워드를 도출하였다.
본 연구에서는 트랜드를 분석하기 위하여 새로운 텍스트마이닝기법과 수학적 알고리즘을 연구하였다. 또한, 인터넷 검색엔진을 이용하여 검색결과값을 주요 키워드의 빈도로 사용하였다.
본 연구의 TF-DI(Term Frequency - Data Index)는 미래의 트랜드를 분석하기 위한 텍스트 마이닝의 알고리즘으로, 특정 키워드가 연도별로 얼마나 중요한 지를 나타내는 가중치를 분석하여 TF-IDF를 변형하여 단점들을 보강하고 특정목적(트랜드 분석)을 위하여 개발되었다.

가설 설정

- 복합공간과 생태도시 개발 기술은 육상 공간의 과밀화와 생활 패턴 변화 등에 대응하기 위해서 점차 그 중요성이 높아질 것이다.
- 새로운 물류 • 운송 수단의 등장으로 교통수단의 효율성이 증대되어 이동 시간이 단축되고 생활권이 확대될 것이다.
1. 문서나 프로세스에 의해 도출된 키워드는 빈도수가 높은 것이 중요하다.

제안 방법

정보처리 단계에서 도출된 영문 키워드를 중심으로 TF-DI(Term Frequency - Data Index)를 활용하여 키워드의 가중치 도출하였다. 가중치는 구글 검색엔진을 활용하여 연도별 검색 결과 커리값을 가중치로 도출하였다. 검색기간은 2000.
건설분야 13개의 기술과 교통분야 16개의 기술들로 분류하였으며, 분류된 기술들은 영문 키워드로 재가공 되었다.
이 빈도수는 특정한 문서군에 국한되지 않으며, 최근의 트랜드를 반영하는 지표가 된다. 둘째, TF-IDF는 문서간 특정단어의 속한 문서들의 수에 따라 중요도를 판별하였으나, TF-DI에서는 시간의 개념을 변수로 사용하여 중요도를 산정하였다. 이는 시간 개념을 도입함으로써, 최근까지의 트랜드를 분석할 수있는 유용한 방법으르 제시하고 있다.
본 연구에서는 미래예측 시 전문가들의 정성적인 의견과 평가를 보조할 수 있는 정량적이고 객관적인 자료를 도출하기 위하여, 기존의 논문이나 특허의 자료를 이용하는 방법보다 인터넷(internet)의 데이터를 활용하는 방안을 모색하였다. 또한, 기존에 단순히 논문 및 특허를 검색하여 노이즈(noise)를 제거하는 방법들을 이용하여 논문 및 특허 맵을 활용하는 방법보다는 인터넷을 활용한 중요빈도, 시간과 공간의 정보를 활용한 트랜드(trend) 분석을 포함한 텍스트 마이닝(text mining) 기법에 의해 중요한 키워드를 도출하였다. 이러한 연구방법을 통해 ‘제3회 과학기술예측조사 수정·보완’(2008)(이하 ‘제3회 과학기술예측조사’라 함)의 건설분야 기술에 대해 정량적인 분석을 시도하고 미래과 관련된 주요 키워드를 도출하였다.
TF-DI의 가장 중요한 원리는 문서내의 중요한 키워드들을 도출하여 인터넷의 정보량에 따라 단어의 빈도수를 분석하는 방식을 사용한다. 또한, 문서군내의 특정단어의 문서 간 빈도수를 사용하는 것이 아니라 연도별 가중치를 사용함으로써 트랜드 분석이 가능하도록 설계되었다. 즉 TF-IDF의 빈도수가 중요하다는 원리를 이용하지만, 트랜드를 분석하기 위하여 문서의 중요도는 인터넷을 활용한 연도별 가중치 분석으로 중요도를 분석하고 있다.
본 연구에서는 트랜드를 분석하기 위하여 새로운 텍스트마이닝기법과 수학적 알고리즘을 연구하였다. 또한, 인터넷 검색엔진을 이용하여 검색결과값을 주요 키워드의 빈도로 사용하였다. 이러한 원리로 주요 키워드의 미래 트랜드를 분석할 수 있었다.
본 연구에서는 인터넷의 정보와 텍스트마이닝 방법을 활용하여 건설분야의 미래 주요 키워드를 분석하였다.
본 연구에서도 인터넷의 다양한 정보( 웹페이지, 논문검색, 특허검색, 블로그 등 )를 검색결과값을 빈도수로 산정하였다. 특히, 여기에 사용되어진 구글 검색엔진은 페이지랭크(page rank)라는 알고리즘(algorithm)을 통해 구현되었으며, 웹페이지에 연결된 하이퍼링크를 수에 따른 가중치를 분석하여 검색 결과값으로 표현한 일종의 네트워크 알고리즘으로 만들어진 검색엔진이다.
이러한 연구방법을 통해 ‘제3회 과학기술예측조사 수정·보완’(2008)(이하 ‘제3회 과학기술예측조사’라 함)의 건설분야 기술에 대해 정량적인 분석을 시도하고 미래과 관련된 주요 키워드를 도출하였다.
정보처리 과정에서는 도출된 대상 자료와 기술리스트를 중심으로 각 기술에 해당되는 정보를 추출할 수 있는 데이터 소스를 가공하는 단계로 수집된 자료(문서)를 기본으로 관련 키워드의 추출과 추출된 키워드의 수정 및 검토를 통한 영문화 하였다.
정보처리 단계에서 도출된 영문 키워드를 중심으로 TF-DI(Term Frequency - Data Index)를 활용하여 키워드의 가중치 도출하였다. 가중치는 구글 검색엔진을 활용하여 연도별 검색 결과 커리값을 가중치로 도출하였다.
첫 번째 명제는 특정 키워드의 빈도수가 높다는 것은 특정 키워드가 중요하다는 것을 의미하므로, 인터넷의 노출 빈도가 높은 키워드를 빈도수로 선정하였다. 즉, 인터넷 검색엔진에 의한 검색결과 값을 빈도수로 선정하였다.

대상 데이터

∼2009.12.31.(10년간)로 설정하여 TF-DI에 의해 주요 키워드를 선정하였다.
2개의 트랜드의 내용에 언급된 건설 및 교통분야의 29개 기술들을 도출하였다.
미래과련 키워드를 수집하기 위하여, 2010.2월에 발표된 「과학기술 미래비전」의 내용중 건설분야와 관련된 기술들을 추출하였다.
연구범위는 ‘제3회 과학기술예측조사’의 건설분야를 대상으로 분석하였다.
정보분석 단계에서는 최종적으로 29개의 기술들을 도출하였다. 특히, 1~10위까지의 기술을 분석할 결과 표4와 같다.

성능/효과

특히, 여기에 사용되어진 구글 검색엔진은 페이지랭크(page rank)라는 알고리즘(algorithm)을 통해 구현되었으며, 웹페이지에 연결된 하이퍼링크를 수에 따른 가중치를 분석하여 검색 결과값으로 표현한 일종의 네트워크 알고리즘으로 만들어진 검색엔진이다.²⁾ 이렇게 구현된 검색엔진은 기존의 검색엔진과 달리 임의로 검색결과를 조작하기 어려워 검색결과에 대한 신뢰성이 높은 것이 특징이다. 최근 구글에서는 Open API(application programming interface)를 제공하여 논문검색사이트, 특허검색사이트, 구글 사전 등을 제공하여 다양한 목적을 위해 사용하게끔 공개 되어 있다.
2. 연도별 키워드 빈도가 높다는 것은 중요한 키워드이다.
이는 시간 개념을 도입함으로써, 최근까지의 트랜드를 분석할 수있는 유용한 방법으르 제시하고 있다. 셋째, TF-IDF 의 중요도는 어떤 문서군을 선택하는냐에 따라 편차가 심하게 발생하나, TF-DI는 인터넷을 이용한 결과 값들을 사용하기 때문에 오차도 적을뿐더러 다양한 조건하에 값들을 중요도를 추출하고 트랜드를 분석할 수 있다.

후속연구

둘째, 텍스트마이닝을 이용한 트랜드 분석은 미래 키워드 분석하는 하나의 방법으로 향 후 중용한 연구 테마가 될 것으로 예상된다.
셋째, 본 정량적인 연구방법은 전문가를 활용한 정성적인 미래예측을 보조하거나 예측의 일부를 대처하는 하나의 방법으로 활용될 것으로 예상된다.
첫째, 인터넷을 활용한 트랜드 분석은 향후 아주 중요한 리소스를 제공하는 역할을 할 것으로 예상되며, 본 연구는 인터넷 데이터를 어떻게 활용하는 것에 대한 하나의 방법을 제시하고 있다.
이러한 원리로 주요 키워드의 미래 트랜드를 분석할 수 있었다. 특히, 본 연구에서 개발된 TF-DI는 인터넷을 활용하여 시간별 추이를 분석하는데 용이 할 것으로 예상된다. 이러한 연구결과로 다음과 같은 결론은 낼 수 있었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	데이터 마이닝은 어디에 응용되고 있는가?	이러한 정보는 전체의 약 20%정도가 자료의 생성, 저장, 재사용하는 정보로 구성되어 있다. 정형화데이터의 정보를 추출하고 가공하는 방법을 데이터 마이닝(data mining)이라고 불리며, 현재 우리가 가장 많이 활용하는 데이터베이스 시스템과 정보분류 체계에 응용되고 있다.
	데이터 마이닝이란?	이러한 정보는 전체의 약 20%정도가 자료의 생성, 저장, 재사용하는 정보로 구성되어 있다. 정형화데이터의 정보를 추출하고 가공하는 방법을 데이터 마이닝(data mining)이라고 불리며, 현재 우리가 가장 많이 활용하는 데이터베이스 시스템과 정보분류 체계에 응용되고 있다.
	텍스트 마이닝으로 인한 기술의 예는?	텍스트 마이닝으로 인해 과거에 생각할 수 없었던 기술실현 방법들을 예상할 수 있다. 예를 들면, 다양한 자료와 시간 등으로 구성된 범죄 기록들 속에 현재 발생한 유사한 형태의 범죄유형을 찾아냄으로써 범죄자나 테러범을 색출, 웹 게시판에 올라오는 다양하고 비정형화 되어 있는 수천만건의 고객 불만 사항을 특정 카테고리별로 분류하거나 특정문제를 찾아내는 방법, 수많은 환자의 처방 내역서에서 당뇨병에 효과적인 치료 패턴을 자동으로 찾아내는 등 다양한 방향으로 응용이 가능하다.

참고문헌 (15)

Byeongwon Park, 2007. Development of method and framework for Korean Technology Foresight Program, KISTEP Press
Byungnam Kahng, 2009. Complex Networks Science, Jipmoon Press, Seoul
C. Tsallis and M.P. de Albuquerquer, 2000 C. Tsallis and M.P. de Albuquerquer, Eur. Phys. J. B13(2000)
Cornelia Daheim, 2007. Regional Foresight in Europe 2 Examples: Duesseldorf and Linz, WFS Conference Minneapolis
D.J. Watts and S.H. Strogatz, 1998. Collective dynamics of 'small-world' networks, Nature 393 DongWon Sohn, 2002. Social network analysis, Kyungmoon Press
G. Sabidussi, 1966G. The centrality index of a graph. Psychometrika, 31(4) 581-603

상세보기
Jae-Yun Lee, 2006. A Study on the Network Generation Methods for Examining the Intellectual Structure of Knowledge Domains, Korean Society for Library and Information Science 40 333-355
James A. Dator, 2002. Advancing Futures: Futures Studies in Higher Education, Westport Press
Jeremy Ginsberg, Matthew H. Mohebbi, Rajan S. Patel, Lynnette Brammer, Mark S. Smolinski & Larry Brilliant, 2009. Detecting influenza epidemics using search engine query data, Nature 457, 1012-1014

상세보기
M. Faloutsos, P. Faloutsos, and C. Faloutsos, 1999. On power-law relationships of the internet topology,
Martin Hilbert, Ian Miles, and Julia Othmer, 2009. Foresight tools for participative policy-making in inter-governmental processes in developing countries: Lessons learned from the eLAC Policy Priorities Delphi, Technological Forecasting and Social Change, Volume 76, Issue 7 880-896

상세보기
Mats Lindgren,Hans Bandhold, 2002. Scenario planning: The link between future and strategy, Macmillan Press
Michael Marien, 2002. Future Studies in the 21st Century: A Reality-Based. View, Futures, Vol. 34 261-281

상세보기
Mikko Syrjnen, Yuko Ito, Eija Ahola, 2009. Foresight for Our Future Society: Cooperative project between NISTEP(Japan) and Tekes(Finland), Tekes & NISTEP Press
OECD, 2001. Governance in the 21st Century: FUTURE STUDIES, OECD Press, Paris

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증