데이터마이닝은 데이터간의 상호 연관성과 다양한 패턴 분석을 통해서 우리가 알 수 없었던 새로운 발견을 할 수 있는 유용한 기술로서 현재 금융, 마케팅, 의료 등 다양한 분야에서 활용되고 있다. 본 논문에서는 공간 데이터마이닝 분석을 통한 데이터의 효과적인 활용방법을 제안한다. 서울시에 거주하는 외국인들의 기본적인 데이터를 활용하고자 한다. 하지만, 이 데이터는 다른 분야의 데이터와 구별되는 특징이 있는데, 민감 정보로 분류된다는 것과 개인정보보호 등과 같은 법적인 문제가 있을 수 있다. 따라서 개인정보를 알 수 없는 기본적 통계적 데이터를 활용하고자 한다. 제안된 방법의 주요한 특징 및 기여도는 다음과 같다. 첫째, 큰 데이터를 여러 질의방법을 통해서 정보로서 이용할 수가 있으며, 정제를 통해서 클러스터링 할 수 있다. 둘째, 이러한 정보들을 새로운 패턴이나 앞으로의 의사결정에 이용할 수 있다. 질의 결과에서 얻은 새로운 정보를 사용자가 보고 판단하여 의사결정에 이용하고자 한다. 제안된 방법의 성능평가에서는 데이터들의 주제별 도식화를 통한 시각적 접근방법을 사용하고자 한다. 제안된 방법의 성능평가 결과는 데이터를 보다 가치 있게 활용하기 위해서 데이터마이닝 기술을 이용한 분석을 통해 우리가 알 수 없었던 새로운 패턴과 결과의 발견이 가능함을 보여준다.
데이터마이닝은 데이터간의 상호 연관성과 다양한 패턴 분석을 통해서 우리가 알 수 없었던 새로운 발견을 할 수 있는 유용한 기술로서 현재 금융, 마케팅, 의료 등 다양한 분야에서 활용되고 있다. 본 논문에서는 공간 데이터마이닝 분석을 통한 데이터의 효과적인 활용방법을 제안한다. 서울시에 거주하는 외국인들의 기본적인 데이터를 활용하고자 한다. 하지만, 이 데이터는 다른 분야의 데이터와 구별되는 특징이 있는데, 민감 정보로 분류된다는 것과 개인정보보호 등과 같은 법적인 문제가 있을 수 있다. 따라서 개인정보를 알 수 없는 기본적 통계적 데이터를 활용하고자 한다. 제안된 방법의 주요한 특징 및 기여도는 다음과 같다. 첫째, 큰 데이터를 여러 질의방법을 통해서 정보로서 이용할 수가 있으며, 정제를 통해서 클러스터링 할 수 있다. 둘째, 이러한 정보들을 새로운 패턴이나 앞으로의 의사결정에 이용할 수 있다. 질의 결과에서 얻은 새로운 정보를 사용자가 보고 판단하여 의사결정에 이용하고자 한다. 제안된 방법의 성능평가에서는 데이터들의 주제별 도식화를 통한 시각적 접근방법을 사용하고자 한다. 제안된 방법의 성능평가 결과는 데이터를 보다 가치 있게 활용하기 위해서 데이터마이닝 기술을 이용한 분석을 통해 우리가 알 수 없었던 새로운 패턴과 결과의 발견이 가능함을 보여준다.
Data mining is a useful technology that can support new discoveries based on the pattern analysis and a variety of linkages between data, and currently is utilized in various fields such as finance, marketing, medical. In this paper, we propose an effective utilization method of data based on analys...
Data mining is a useful technology that can support new discoveries based on the pattern analysis and a variety of linkages between data, and currently is utilized in various fields such as finance, marketing, medical. In this paper, we propose an effective utilization method of data based on analysis of spatial data mining. We make use of basic data of foreigners living in Seoul. However, the data has some features distinguished from other areas of data, classification as sensitive information and legal problem such as personal information protection. So, we use the basic statistical data that does not contain personal information. The main features and contributions of the proposed method are as follows. First, we can use Big Data as information through a variety of ways and can classify and cluster Big Data through refinement. Second. we can use these kinds of information for decision-making of future and new patterns. In the performance evaluation, we will use visual approach through graph of themes. The results of performance evaluation show that the analysis using data mining technology can support new discoveries of patterns and results.
Data mining is a useful technology that can support new discoveries based on the pattern analysis and a variety of linkages between data, and currently is utilized in various fields such as finance, marketing, medical. In this paper, we propose an effective utilization method of data based on analysis of spatial data mining. We make use of basic data of foreigners living in Seoul. However, the data has some features distinguished from other areas of data, classification as sensitive information and legal problem such as personal information protection. So, we use the basic statistical data that does not contain personal information. The main features and contributions of the proposed method are as follows. First, we can use Big Data as information through a variety of ways and can classify and cluster Big Data through refinement. Second. we can use these kinds of information for decision-making of future and new patterns. In the performance evaluation, we will use visual approach through graph of themes. The results of performance evaluation show that the analysis using data mining technology can support new discoveries of patterns and results.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
데이터로부터 알려지지 않은 새로운 정보나 유용한 패턴과 상관관계를 추출하여 의사 결정에 이용하는 작업인 데이터마이닝은 이미 존재하는 데이터에서 새로운 것을 찾아낼 수 있다는 것에 가장 큰 매력이 있다. 여기서 우리는 서울시에 거주하는 외국인들의 기본적인 데이터(성별 및 거주하는 구)를 이용해서 패턴이나 상관관계를 알아보고자 한다. 그리고 분석결과를 시각적인 표현을 통해서, 데이터마이닝 이전에는 알 수 없었던 혹은 텍스트로 된 데이터만으로 알 수 없었던 중요한 발견을 기대할 수 있다는 것에 목적을 둔다.
여기서 우리는 서울시에 거주하는 외국인들의 기본적인 데이터(성별 및 거주하는 구)를 이용해서 패턴이나 상관관계를 알아보고자 한다. 그리고 분석결과를 시각적인 표현을 통해서, 데이터마이닝 이전에는 알 수 없었던 혹은 텍스트로 된 데이터만으로 알 수 없었던 중요한 발견을 기대할 수 있다는 것에 목적을 둔다.
입력 데이터는 일반파일, 스프레드시트, 관계 테이블 등의 다양한 형식으로 저장되며 중앙데이터 저장소나 다양한 시트에 걸쳐서 분산된다. 전처리의 목적은 입력 데이터를 변환한 후 분석에 적합한 형식으로 변환하는데 있다. 데이터 전처리에 필요한 과정으로는 다양한 소스로부터 데이터를 모으고, 잡음과 중복으로부터 데이터를 정제하고, 데이터마이닝 작업과 관련된 레코드의 특징들을 선택하는 과정이 있다.
본 연구에서 제안하고자 하는 방법은 텍스트데이터를 이용해서 공간데이터 마이닝을 실행하는 방법이다. 데이터를 시각화 즉, 공간화를 통한 분석을 통하여 새로운 정보를 발견하는 것이다. 그림 3은 공간 데이터 마이닝의 기본 개념을 보여주고 있다.
본 연구에서는 텍스트 데이터를 이용한 공간 데이터마이닝을 제안하였다. 이를 위해서는 우선 텍스트 데이터를 가공하여야 한다.
본 논문에서는 텍스트 데이터를 이용해서 사용자가 파악하기 쉽게 시각적인 표현을 한다는 계획대로 공간 데이터마이닝을 실행할 수 있었다. 중요한 것은 텍스트를 어떻게 공간화 시키냐는 것인데, 본 연구처럼 코드화를 통해서 KLSI의 키(key) 값과 매칭을 시키는 방법을 사용한다면 데이터를 시각적으로 이용할 수가 있다.
제안 방법
본 연구에서 제안하고자 하는 방법은 텍스트데이터를 이용해서 공간데이터 마이닝을 실행하는 방법이다. 데이터를 시각화 즉, 공간화를 통한 분석을 통하여 새로운 정보를 발견하는 것이다.
이를 위해서는 우선 텍스트 데이터를 가공하여야 한다. 즉, 텍스트 데이터에서 주소데이터를 코드화 하여 공간 마이닝에 이용하고자 한다. 이에 대한 본 성능평가에서는 제안된 방법에 대하여 ArcGIS 를 이용한 환경에서 실험을 수행한다.
즉, 텍스트 데이터에서 주소데이터를 코드화 하여 공간 마이닝에 이용하고자 한다. 이에 대한 본 성능평가에서는 제안된 방법에 대하여 ArcGIS 를 이용한 환경에서 실험을 수행한다.
이 외에도 전체적인 국가를 한 공간에 표현하고(그림 14), 각 국가별로 분류를 해 보았다. 현재 성능평가에서 파악할 수 있는 특징 이외에도 보는 사용자에 따라 또 다른 특징이나 연관성, 패턴 등을 파악할 수 있을 거라 기 대한다.
이론/모형
성능 평가는 ArcGIS를 이용한 환경해서 시행하고자 한다.
엑셀로 저장되어 있는 데이터를 dbf 파일화 하여 PNU 코드화를 통해 가공한다. 기본지도(base map)으로는 한국토지정보시스템의 서울시 기본 필지를 이용하였다. 그림 10는 서울시의 기본지도를 보여주고 있다.
후속연구
이 외에도 전체적인 국가를 한 공간에 표현하고(그림 14), 각 국가별로 분류를 해 보았다. 현재 성능평가에서 파악할 수 있는 특징 이외에도 보는 사용자에 따라 또 다른 특징이나 연관성, 패턴 등을 파악할 수 있을 거라 기 대한다.
본 연구에서 부족했던 점은 좀 더 다양한 주제별로 묶어볼 수 있는 방법을 고안하지 못했다는 것과, 코드화와 매칭을 시켜서 공간화 하는 데에 상당한 시간이 소요 되었다는 것이다. 그리고 추가적으로 GPS 값과의 매칭에 대해서 고안해 본다면 더욱 유용하게 이용할 수 있을 것이라고 보인다. 보는 사용자에 따라 파악되는 특징이 다를 수도 있다는 것이 데이터마이닝의 흥미로운 점이다.
질의응답
핵심어
질문
논문에서 추출한 답변
데이터 마이닝의 장점은 무엇인가?
데이터 마이닝[1-10]은 기업들이 보유한 기존의 경험적 지식을 재확인하는 역할을 수행함과 동시에 지금까지 인식하지 못했던 새로운 정보와 지식을 제공하여 경영 의사결정에 도움을 준다. 특히 데이터마이닝에 의해 발견 되는 기존의 관념을 깨는 지식은 기업 경쟁력 강화에 결정적인 역할을 한다.
데이터의 무제한적인 증가로 인해 필요한 정보를 찾아내는데 불필요한 시간이 많이 소모되는 이유는 무엇인가?
그러나 이러한 데이터의 무제한적인 증가는 필요한 정보를 찾아내는데 불필요한 시간이 많이 소모되고 있다. 왜냐하면 대용량의 데이터로부터 의미 있는 지식을 찾아내고자 하는 목적에 반하여 오히려 데이터만 계속 누적되고 있기 때문이다. 이러한 상황에서 데이터마이닝 (data mining)[1-10]은 중요한 문제 중 하나이다.
데이터 마이닝이란?
데이터 마이닝[1-10]은 대용량의 데이터로부터 알려 지지 않은 새로운 정보나 유용한 패턴과 상관관계를 추출하여 의사 결정에 이용하는 작업이다. 이는 자료의 효율적 저장을 위한 기술(데이터 베이스, 압축, 통신)의 발달에 의해 기하급수적으로 늘어나는 방대한 데이터 양, 지식 정보화 사회에서의 새로운 지식의 습득에 대한 필요성, 컴퓨터 성능의 향상으로 인한 방대한 양의 데이터의 실시간 분석기능으로 인하여 가능하게 되었다.
참고문헌 (10)
http://cif.iis.u-tokyo.ac.jp/e-society
http://www.kddi.com/variety/wireless_japan/pdf/
http://www.nec.co.jp/rd/datamining/
M. Ester et al., "Spatial Data Mining: Database Primitives, Algorithms and Efficient DBMS Support," Data Mining and Knowledge Discovery, Vol. 4, pp. 193-216, 2000.
M. Ester, H. Kriegel, and J. Sander, "Algorithms and Applications for Spatial Data Mining," Geographic Data Mining and Knowledge discovery, 2001.
J. Mennis and J. Liu, "Mining Association Rules in Spatio-Temporal Data: An Analysis of Urban Socioeconomic and Land Cover Change," Transactions in GIS, Vol. 9, No. 1, pp. 5-17,2005.
F. Verhein and S. Chawla, "Mining Spatio-Temporal Association Rules, Sources, Sinks, Stationary Regions and Thoroughfares in Object Mobility Databases," In Proc. Int'l. Conf. on Database Systems for Advanced Applications, DASFAA, pp. 187-201, 2006.
Duck-Ho Bae, Ji-Haeng Baek, Hyun-Kyo Oh, Ju-Won Song, "Design and Implementation of a Spatial Data Mining System," Journal of Korea Spatial Information Society, vol.11, no.2, pp.119-132, June 2009..
Gunhak Lee, "A Study on Spatial Patterns of Traffic Accidents using GIS and Spatial Data Mining Methods: A Case Study of Kangnam-gu, Seoul," Journal of Korean Geographical Society, vol.39, no.3, pp. 457-472, 2004.
Qin Ding, Qiang Ding, and William Perrizo, "PARM-An Efficient Algorithm to Mine Association Rules From Spatial Data," IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS-PARTB: CYBERNETICS, vol. 38, no. 6, December 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.