최근 네트워크와 인터넷의 발전으로 웹상에 대용량의 데이터가 생겨났으며, 이를 처리하기 위해 빅데이터 기술이라는 패러다임이 생겨났다. 빅데이터 기술은 기존의 정형 데이터뿐만 아니라 소셜 데이터 등 다양한 비정형 데이터를 이용해 다각적이고 정확한 분석을 목표로 연구되고 있다. 그러나 소셜 데이터는 전문성과 객관성을 가지고 있다고 보기는 힘들고 정보의 조작 및 은폐, 왜곡 등의 문제성이 제기되고 있다. 따라서, 본 논문에서는 신뢰성 빅데이터 플랫폼에 대하여 제안하며, 세부 관리자와 모듈에 대하여 설명한다. 본 논문에서 제안하는 신뢰성 빅데이터 플랫폼은 데이터 정제 관리자, 데이터 분석 관리자, 상호 신뢰 관리자, 시각화 관리자, 검색 관리자로 구성되어진다.
최근 네트워크와 인터넷의 발전으로 웹상에 대용량의 데이터가 생겨났으며, 이를 처리하기 위해 빅데이터 기술이라는 패러다임이 생겨났다. 빅데이터 기술은 기존의 정형 데이터뿐만 아니라 소셜 데이터 등 다양한 비정형 데이터를 이용해 다각적이고 정확한 분석을 목표로 연구되고 있다. 그러나 소셜 데이터는 전문성과 객관성을 가지고 있다고 보기는 힘들고 정보의 조작 및 은폐, 왜곡 등의 문제성이 제기되고 있다. 따라서, 본 논문에서는 신뢰성 빅데이터 플랫폼에 대하여 제안하며, 세부 관리자와 모듈에 대하여 설명한다. 본 논문에서 제안하는 신뢰성 빅데이터 플랫폼은 데이터 정제 관리자, 데이터 분석 관리자, 상호 신뢰 관리자, 시각화 관리자, 검색 관리자로 구성되어진다.
Recently, Web has arisen large amount of data that to the development of the network and the Internet. In order to process it appeared that Big Data technology. Big Data technologies have been studied aiming a multifaceted and accurate analysis using existing regular data and a variety of data socia...
Recently, Web has arisen large amount of data that to the development of the network and the Internet. In order to process it appeared that Big Data technology. Big Data technologies have been studied aiming a multifaceted and accurate analysis using existing regular data and a variety of data social data. But social data does not have the expertise and objectivity. And such manipulation and concealment and distortion of information have been raised troubling. Thus, this paper proposes for trust big data platform and will be described in detail. The big data platform proposed in this paper consists of data refiner, Data Analyzer, co-truster, visualizer, searcher, etc.
Recently, Web has arisen large amount of data that to the development of the network and the Internet. In order to process it appeared that Big Data technology. Big Data technologies have been studied aiming a multifaceted and accurate analysis using existing regular data and a variety of data social data. But social data does not have the expertise and objectivity. And such manipulation and concealment and distortion of information have been raised troubling. Thus, this paper proposes for trust big data platform and will be described in detail. The big data platform proposed in this paper consists of data refiner, Data Analyzer, co-truster, visualizer, searcher, etc.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그러나, 소셜 데이터는 전문성과 객관성이 의심됨으로 맹신할 수는 없으며, 정치, 문화, 가치관에 따라 여론이 형성되며, 여론 조작을 하는 경우도 종종 발견된다. 따라서 본 논문에서는 신뢰성 있는 빅데이터 플랫폼을 제안하고자 한다.
그러나 소셜 데이터는 전문성과 객관성을 신뢰할 수 없음으로 이를 무분별하게 적용할 수는 없을 것이다. 따라서, 본 논문에서는 빅데이터 플랫폼에 소셜 데이터의 출처, 소셜 네트워크 내의 인맥관계 등을 분석하여 성향을 파악하는게 중요하다고 볼 수 있다.
그러나 수집한 데이터에 대한 검증이 부족하다. 본 논문에서 제안하는 시스템은 이러한 부분은 보충하고자 한다. 본 장에서는 신뢰성 빅데이터 플랫폼의 설계에 대해 설명한다.
제안 방법
먼저 필요한 정보 또는 관련성 있는 정보를 모으고, 이를 저장소에 저장한 후 이를 가공하여 분석 가능한 형태로 변환한다. 가공된 정보를 바탕으로 분석을 수행하고 시각화를 통해 사용자에게 필요한 정보를 제공한다.
그림 10에서 보는 바와 같이 데이터 분석 관리자는 데이터 마이너 모듈, 관계 분석 모듈과 예측 분석 모듈로 구성되어진다. 데이터 마이너 모듈은 패턴 분석, 연결 분석, 규칙 분석을 수행한다. 차원 분석 모듈은 차원에 표현할 속성을 정의 및 벡터의 표현 및 그 분석을 수행하며, 예측 분석 모듈은 선형 분석, 회귀 분석, 선형 대수 분석 등을 통해 미래 예측을 수행한다.
신뢰성 빅데이터 플랫폼의 데이터 수집은 크게 두가지로 볼 수 있다. 분석 목적을 위한 표본 데이터로 장치, 데이터 웨어하우스, 시스템에서 발생한 로그를 기반으로 하는 데이터와 이 데이터 분석에 신뢰도를 얻기 위해 트위터, 페이스북과 같은 소셜네트워크 데이터와 블로그, 신문기사, 커뮤니티 글 등을 이용한다. 이 과정에서 장치, 데이터 웨어하우스, 시스템의 로그는 인위적으로 발생한 데이터가 아니므로 신뢰할 수 있는 데이터로 볼 수 있지만 소셜 네트워크와 소셜 데이터는 주관적인 정보이므로 이에 대한 필터가 필요하다.
기계 학습 모듈은 일반화와 표현의 두 가지 기능을 수행함으로 개체에 대한 패턴과 규칙을 분석한다. 상호 관계 모듈은 객체에 대한 긍정과 부정 분석과 객체 간의 관계성을 분석하여 이에 대한 상호 연관성을 분석하며, 참조 분석 모듈은 객체의 생성처, 저작자와 저작자의 이웃들 간의 관계를 분석한다.
이 아키텍처에에서는 빅데이터 스토리지로 하둡의 HDFS를 사용하였고 하둡의 Hive를 이용하여 HDFS와 다른 시스템을 연결한다. 오픈 소스의 솔라(Solr), R, Node.
대상 데이터
이 이외에도 수집 모듈에서는 하둡의 Flume, Sqoop을 사용하고 분석에서는 Mahout이 사용된다. 스트리밍 데이터 처리에는 Storm, S4, Spark 등을 사용하였다.
후속연구
본 논문에서는 이에 대한 시스템 설계를 제안하였으며 이를 구현하여 향후 성능 및 신뢰성에 대한 검증이 필요하다. 또한, 전체 시스템을 구현하기 위해서 오픈 소스에 대한 조사와 검증이 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
빅데이터 기술이 생겨난 배경은 무엇인가?
최근 네트워크와 인터넷의 발전으로 웹상에 대용량의 데이터가 생겨났으며, 이를 처리하기 위해 빅데이터 기술이라는 패러다임이 생겨났다. 빅데이터 기술은 기존의 정형 데이터뿐만 아니라 소셜 데이터 등 다양한 비정형 데이터를 이용해 다각적이고 정확한 분석을 목표로 연구되고 있다.
Hadoop을 기반으로 한 많은 오픈 소스를 기업들은 어떻게 사용하였는가?
특히 2000년대 중반 구글의 Big Table과 아마존의 Dynamo는 병렬처리를 위한 모델링을 제시함에 따라 이 연구에 패러다임을 제시하였다, 한편, 오픈 소스 진영에서는 Apache의 Hadoop을 기반으로 한 많은 오픈 소스가 개발 되었다. 이에 따라 기업들에서도 Hadoop을 기반으로 대형 병렬 처리 플랫폼에 다양한 저장소, 검색, 분석, 시각화 등 다양한 소프트웨어를 접목시킨 빅데이터 플랫폼 사용하게 되었으며, 이를 통해 페이스북, 트위터, 인스타그램 등 소셜 네트워크 서비스가 발전하게 되었다. 그리고 이들 기업에서는 소셜 네트워크 분석을 통해 또 다른 새로운 가치를 창출하고 있다[4].
소셜 데이터의 문제점은 무엇인가?
그러나, 소셜 데이터는 전문성과 객관성이 의심됨으로 맹신할 수는 없으며, 정치, 문화, 가치관에 따라 여론이 형성되며, 여론 조작을 하는 경우도 종종 발견된다. 따라서 본 논문에서는 신뢰성 있는 빅데이터 플랫폼을 제안하고자 한다.
참고문헌 (6)
Alexandrov, A., Bergmann, R., Ewen, S., and Naumann, F., "The Stratoshpare Platform Big Data Analytics." Journal of VLDB, 2014, Vol.23, No.6, pp.939-964.
Landset, S., Khoshgoftaar, T. M., Richter, A. N., and Hasanin, T., "A Survey of Open Source Tools for Machine Learning with Big Data in The Haddop Ecosystem. Journal of Big Data, 2015, Vol.2, No.24. DOI: https://doi.org/10.1186/s40537-015-0032-1
Noh, K., S.,, and Lee, D., S., "Bigdata Platform Design and Implementation Model," Jounal. of Indian Jounal of Science and Technology, 2015. Vol.8, No.18, DOI: https://doi.org/10.17485/ijst/2015/v8i18/75864.
Shin, J., S., "SNS using Big Data Utilization Research," Journal of IIBC, 2012, Vol.12, No.6, pp.257-265. DOI: https://doi.org/10.7236/jiwit.2012.12.6.267
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.