최근 모바일의 확산과 웹 서비스의 도입으로 온라인 상에 데이터가 급격히 증가하게 되어 다양한 분야에서 활용되고 있다. 특히, 빅데이터 분야에서 소셜 미디어의 등장은 축적되는 비정형 데이터의 양이 급격하게 증가하는 계기가 되었다. 이러한 비정형 데이터로부터 의미 있는 정보를 추출하기 위해 다양한 분야에서 빅데이터 기술에 대한 관심이 증가하고 있다. 빅데이터는 선진국을 중심으로 다양한 분야에서 핵심 자원으로서 중요성이 부각되고 있다. 그러나 빅데이터의 긍정적인 미래 전망과 함께 데이터의 침해 및 개인정보 보호에 대한 우려가 지속적으로 언급되고 있다. 이와 같이 긍정적인 시각과 부정적인 시각이 공존하는 빅데이터에 대해 사람들의 의견을 분석하는 연구는 현재 매우 부족한 상황이다. 이에 본 연구에서는 텍스트 마이닝을 활용하여 소셜 미디어에서 수집한 비정형 데이터를 기반으로 빅데이터에 대한 사람들의 인식 변화를 비교하였다. 텍스트 마이닝 결과, 국내 빅데이터에 대한 연도별 키워드와 함께 시간의 흐름에 따라 감소하는 긍정적인 의견과 증가하는 부정적인 의견이 관찰되었다. 그리고 이러한 분석 결과를 기반으로 국내 빅데이터에 대한 흐름을 예측할 수 있었다.
최근 모바일의 확산과 웹 서비스의 도입으로 온라인 상에 데이터가 급격히 증가하게 되어 다양한 분야에서 활용되고 있다. 특히, 빅데이터 분야에서 소셜 미디어의 등장은 축적되는 비정형 데이터의 양이 급격하게 증가하는 계기가 되었다. 이러한 비정형 데이터로부터 의미 있는 정보를 추출하기 위해 다양한 분야에서 빅데이터 기술에 대한 관심이 증가하고 있다. 빅데이터는 선진국을 중심으로 다양한 분야에서 핵심 자원으로서 중요성이 부각되고 있다. 그러나 빅데이터의 긍정적인 미래 전망과 함께 데이터의 침해 및 개인정보 보호에 대한 우려가 지속적으로 언급되고 있다. 이와 같이 긍정적인 시각과 부정적인 시각이 공존하는 빅데이터에 대해 사람들의 의견을 분석하는 연구는 현재 매우 부족한 상황이다. 이에 본 연구에서는 텍스트 마이닝을 활용하여 소셜 미디어에서 수집한 비정형 데이터를 기반으로 빅데이터에 대한 사람들의 인식 변화를 비교하였다. 텍스트 마이닝 결과, 국내 빅데이터에 대한 연도별 키워드와 함께 시간의 흐름에 따라 감소하는 긍정적인 의견과 증가하는 부정적인 의견이 관찰되었다. 그리고 이러한 분석 결과를 기반으로 국내 빅데이터에 대한 흐름을 예측할 수 있었다.
Recently, with the spread of smart device and the introduction of web services, the data is rapidly increasing online, and it is utilized in various fields. In particular, the emergence of social media in the big data field has led to a rapid increase in the amount of unstructured data. In order to ...
Recently, with the spread of smart device and the introduction of web services, the data is rapidly increasing online, and it is utilized in various fields. In particular, the emergence of social media in the big data field has led to a rapid increase in the amount of unstructured data. In order to extract meaningful information from such unstructured data, interest in big data technology has increased in various fields. Big data is becoming a key resource in many areas. Big data's prospects for the future are positive, but concerns about data breaches and privacy are constantly being addressed. On this subject of big data, where positive and negative views coexist, the research of analyzing people's opinions currently lack. In this study, we compared the changes in peoples perception on big data based on unstructured data collected from the social media using a text mining. As a results, yearly keywords for domestic big data, declining positive opinions, and increasing negative opinions were observed. Based on these results, we could predict the flow of domestic big data.
Recently, with the spread of smart device and the introduction of web services, the data is rapidly increasing online, and it is utilized in various fields. In particular, the emergence of social media in the big data field has led to a rapid increase in the amount of unstructured data. In order to extract meaningful information from such unstructured data, interest in big data technology has increased in various fields. Big data is becoming a key resource in many areas. Big data's prospects for the future are positive, but concerns about data breaches and privacy are constantly being addressed. On this subject of big data, where positive and negative views coexist, the research of analyzing people's opinions currently lack. In this study, we compared the changes in peoples perception on big data based on unstructured data collected from the social media using a text mining. As a results, yearly keywords for domestic big data, declining positive opinions, and increasing negative opinions were observed. Based on these results, we could predict the flow of domestic big data.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구에서는 소셜 미디어 데이터 분석 결과를 기반으로 빅데이터에 대한 사람들의 인식과 트렌드(Trend)를 파악하는 것을 목적으로 한다. 구체적으로는 소셜 미디어에서 최근 빅데이터에 대한 사람들의 의견을 수집하고, 텍스트 마이닝 기법을 기반으로 연도별 분석 결과를 도출하여 연도별 빅데이터에 대한 전반적인 흐름을 예측할 수 있다.
이와 같은 문제를 안고 빅데이터와 관련된 연구가 활발하게 이루어지고 있으나 사람들이 빅데이터에 대해 어떻게 생각하고 있는지에 대한 의견을 분석하는 연구는 매우 부족한 실정이다. 이에 따라 본 연구에서는 소셜 미디어에서 2014년부터 2017년까지 연도별로 수집한 빅데이터 관련 의견 데이터를 기반으로 명사 추출과 오피니언마이닝을 수행하여 빅데이터에 대한 사람들의 인식이 어떻게 변화하는지 살펴보았다.
제안 방법
본 연구에서는 소셜 미디어에서 수집한 빅데이터에 대한 사람들의 의견을 수집하고, 명사 추출 방법을 활용하여 연도별로 키워드의 변화 및 키워드의 의미를 파악하였다. 또한 오피니언 마이닝을 활용하여 연도별 빅데이터와 관련한 사람들의 감정을 분석하여 빅데이터에 대한 사람들의 인식을 파악하였다. 이를 통해 국내 빅데이터에 대한 흐름뿐만 아니라, 빅데이터의 미래 전망에 대해 예측해낼 수 있었다.
본 연구는 소셜 미디어를 통해 빅데이터에 대한 사람들의 의견 데이터를 수집하고, 텍스트 마이닝 기법을 활용하여 연도별 키워드(Key-words)를 통해 트렌드를 확인한다. 그리고 연도별로 데이터를 비교, 분석하여 빅데이터에 대해 변화하는 사람들의 인식을 파악할 수 있도록 한다.
본 연구에서는 소셜 미디어에서 수집한 빅데이터에 대한 사람들의 의견을 수집하고, 명사 추출 방법을 활용하여 연도별로 키워드의 변화 및 키워드의 의미를 파악하였다. 또한 오피니언 마이닝을 활용하여 연도별 빅데이터와 관련한 사람들의 감정을 분석하여 빅데이터에 대한 사람들의 인식을 파악하였다.
본 연구에서는 수집된 소셜 미디어 의견 데이터를 기반으로 명사 추출(Noun Extraction), 오피니언 마이닝(Opinion Mining)의 두 가지 분석을 수행한다. 명사 추출을 통해 각 연도별로 언급된 키워드를 비교 및 분석하여 빅데이터에 대해 어떤 트렌드 변화가 있는지 파악한다.
워드 클라우드(Word Cloud)는 문서의 키워드나 개념을 직관적으로 파악할 수 있도록 핵심 단어를 시각적으로 돋보이게 하는 기법이다. 본 연구에서는 워드 클라우드를 활용 하여 명사 추출을 통해 추출한 의견 데이터의 키워드를 직관적으로 파악할 수 있도록 빅데이터 의견 데이터에서 나타난 키워드의 빈도 수에 따라 단어의 크기를 다르게 하였다. 다음 Fig.
대상 데이터
97%)개의 의견 데이터를 수집하였다. 그리고 2016 년도에는 총 138,082(42.25%)개의 의견 데이터를 수집하였으며, 2017년도에는 총 27,193(8.32%)개의 의견 데이터를 수집하여 총 326,786(100%)개의 의견 데이터로 구성되어 있다.
본 연구에서 사용하는 데이터는 트위터나 블로그와 같은 소셜 미디어에 사람들이 작성한 빅데이터와 관련된 의견 데이터를 2014, 2015, 2016, 2017년도로 분류하여 수집하였으며, 2017년도 데이터는 3월 이전의 데이터만을 수집하였다. 2017년도 데이터는 전년도에 비해 짧은 기간 동안 수집되어 비교적 적은 데이터가 수집되었으며, 이에 대한 자세한 내용은 다음 Table 1에 나타나 있다.
본 연구에서 사용한 감성 사전은 총 882개의 긍정 단어와 1,679개의 부정 단어로 구성되어 있다. 다음 Table 3에서 긍정 단어와 부정 단어에 대한 예시가 나타나 있다.
본 연구에서 활용한 의견 데이터는 2014년도에 총 83,189 (25.46%)개의 의견 데이터를 수집하였으며, 2015년도에는 총78,322(23.97%)개의 의견 데이터를 수집하였다. 그리고 2016 년도에는 총 138,082(42.
이론/모형
이에 본 연구에서는 트위터나 블로그와 같은 소셜 미디어에서 수집한 비정형 데이터를 기반으로 의미 있는 정보를 추출하기 위해 텍스트 마이닝 기법을 활용하여 다음과 같은 분석을 실시한다. 첫째, 연도별 빅데이터와 관련된 키워드를 살펴보고, 각 키워드가 어떤 의미를 가지고 있는지 파악한다.
성능/효과
분석 결과에서 확인할 수 있듯이, 소셜 미디어 상에서 사람들은 아직 빅데이터에 대해 긍정적인 반응을 보이는 것으로 나타났다. 이러한 결과는 최근 빅데이터 기술의 발달로 인해 다양한 분야에서 빅데이터를 활용하여 새로운 발견 및 융합뿐만 아니라 문제 해결을 위한 핵심적인 도구로서 활용되는 시점에서 발생한 의견을 분석하여 도출된 결과이다.
오피니언 마이닝 결과, 소셜 미디어에서 추출한 빅데이터에 대한 사람들의 의견은 전체적으로 긍적적인 의견이 대다수인 것으로 나타났다. 그러나 긍정적인 의견이 2016년도 이후 감소하는 추세를 보이는 것으로 나타났으며, 부정적인 의견은 2014, 2015년도에 비해 증가하는 추세를 보이는 것으로 나타났다.
그리고 2014, 2015년도에 공통적으로 상위 15개 키워드에 나타난 단어로는 ‘인 터넷’, ‘시스템’이, 2016, 2017년도에는 ‘지능’이 나타났다. 이러한 결과를 기반으로 빅데이터가 어떻게 효율적으로 관리 및 분석될 것인지에 대한 관심이 계속될 것으로 보여지며, 특히 2016년 이후로 빅데이터 기술의 발달로 인해 데이터와 분석 기술이 기반이 되는 인공지능에 대한 관심이 지속적으로 증가할 것으로 전망된다
후속연구
두 번째로, 의견 데이터의 수집 범위가 소셜 미디어로 제한되어 다양한 의견 데이터에 대한 수집이 이루어지지 않았다. 향후 연구에서는 이와 같은 한계점을 보완하여 연구를 수행항다면 지금보다 더 신뢰도 있고 높은 품질의 분석 결과를 도출해 낼 수 있을 것으로 기대한다.
질의응답
핵심어
질문
논문에서 추출한 답변
빅데이터의 시장 성장률은 어떻게 전망되고 있는가?
최근 모바일의 확산과 웹 서비스의 도입으로 인해 온라인 상에 정형 데이터(Formal Data) 뿐만 아니라 비정형 데이터(Informal Data)가 급격히 증가하게 되어, 다양한 분야에서 다양한 방법으로 활용되고 있다. 빅데이터의 경우 활용성이 높아 세계시장에서 2014년부터 2019년까지 23.1%의 연평균 성장률이 전망되었으며, 국내시장에서는 2014년부터 2018년 까지 26.4%의 연평균 성장률이 전망되었다[1]. 특히, 빅데이 터 분야에서 소셜 미디어(Social Media)의 등장은 시간과 장소에 관계없이 개인과 조직으로부터 축적되는 비정형 데이터의 양이 보다 빠르게 확산 및 축적되는 계기가 되었다.
빅데이터의 등장은 인간의 삶에 어떤 변화를 가져왔는가?
빅데이터의 등장은 인간의 삶에 다양한 변화를 가져왔다. 컴퓨터 및 처리기술의 발전으로 빅데이터의 분석이 가능해졌고, 이에 따라 빅데이터가 선진국을 중심으로 산업, 공공, 의료, 과학 등의 다양한 분야에서 핵심 자원 또는 도구로서의 중요성이 부각되고 있다[9]. 그러나 빅데이터의 긍정적인 미래 전망과 함께 지속적으로 언급되는 문제점 중 하나가 데이터의 침해 및 개인정보 보호와 관련된 것이다.
빅데이터를 단순하게 규모만으로 정의할 수 없는 이유는 무엇인가?
그러나 빅데이터를 단순하게 규모만으로 정의할 수는 없다[5, 6]. 빅데이터는 다양한 환경에서 생성되는 데이터로 일반적인 데이터와 비교하여 데이터의 크기가 방대하고, 데이터의 생성 속도가 매우 빠르며 정형 데이터 뿐만 아니라 텍스트, 이미지, 영상, 음성 등 다양한 데이터 형태를 포함하는 대규모 데이터를 의미하기 때문이다. 즉, 빅데이터는 데이터의 크기(Volume), 데이터의 생성 속도(Velocity), 정보형태의 다양성(Variety)의 세 가지 측면에서 기존의 데이터와는 다른 특징을 보이고 있다 [7, 8].
참고문헌 (40)
S. M. Rue, "BigData Effects on Artificial Intelligence," Journal of Korean Institute of Information Technology, Vol.14, No.1, pp.29-34, 2016.
Y. J. Jang and S. K. Cho, "A Comparative Analysis of Data Gathering and Sampling Methods for Social Data," Social Science Studies, Vol.25, No.2, pp.3-25, 2014.
S. H. Yun, K. H. Lee, H. S. Lim, D. R. Kim, and J. H. Kim, "The Method of Digital Copyright Authentication for Contents of Collective Intelligence," Journal of the Korea Convergence Society, Vol.6, No.6, pp.185-193, 2015.
J. H. Kim, J. Y. Go, and K. H. Lee, "A Scheme of Social Engineering Attacks and Countermeasures Using Big Data based Conversion Voice Phishing," Journal of the Korea Convergence Society, Vol.6, No.1, pp.85-91, 2015.
J. Manyika, M. Chui, B. Brown, J. Bughin, R. Dobbs, C. Roxburgh, and A. H. Byers, "Big data: The next frontier for innovation, competition, and productivity," 2011.
G. H. Han and S. H. Jin, "Introduction to Big Data and the Case Study of Its Applications," Journal of The Korean Data Analysis Society, Vol.16, No.3, pp.1337-1351, 2014.
P. Carter, "Big Data Analytics: Future Architectures, Skills and Roadmaps for the CIO," White pa-per, IDC sponsored by SAS, pp.1-16, 2011.
A. McAfee, E. Brynjolfsson, T. H. Davenport, D. J. Patil, and D. Barton, "Big data," The management revolution. Harvard Bus Rev, Vol.90, No.10, pp.61-67, 2012.
K. S. Noh and J. Y. Lee, "A Study on Analysis of the Differences for Perception of Big Data in Era of Convergence," Journal of Digital Convergence, Vol.13, No.10, pp.305-312, 2015.
C. W. Park, J. W. Kim, and H, J. Kwon, "An Empirical Research on Information Privacy Risks and Policy Model in the Big data Era," The Journal of Society for e-Business Studies, Vol.21, No.1, pp.131-145, 2016.
H. S. Lee, D. W. Lim, and H. J. Zo, "Personal Information Overload and User Resistance in the Big Data Age," The Journal of Intelligence and Information Systems, Vol.19, No.1, pp.125-139, 2013.
B. C. Kim, "Big Data Security Technology and Response Study," Journal of Digital Convergence, Vol.11, No.10, pp.445-451, 2013.
D. W. Kim, S. J. Baek, and J. S. Lee, "Development of Methodology for Future Disaster Foresight Using Bigdata and Collective Intelligence," Journal of the Korean Society of Civil Engineers, Vol.65, No.1, pp.12-18, 2017.
E. J. Jung and U. J. Chang, "Tendency and Network Analysis of Diet Using Big Data," Journal of the Korean Dietetic Association, Vol.22, No.4, pp.310-319, 2016.
J. Y. Bae and M. S. Cho, "Ontology of Food Safety for the Social Big Data Analysis," Journal of The Korea Socity of Health Informatics and Statistics, Vol.41, No.3, pp.278-289, 2016.
Y. T. Kim, M. S. Seen, and S. K. Oh, "The Analysis in the Lifestyles of MICE Participants using Big Data," Journal of Tourism and Leisure Research, Vol.28, No.10, pp.21-34, 2016.
D. J. Lee, J. U. Won, Y. J. Kwon, and M. R. Kim, "A Study on Customer Satisfaction for Courier Companies based on SNS Big data," The Journal of Society for e-Business Studies, Vol.21, No.4, pp.55-67, 2016.
R. U. Park, and K. H. Lee, "Study of the Activation Plan for Rural Tourism of the Jeollabuk-do Using Big Data Analysis," The Korean Society of Community Living Science, Vol.27, No.5, pp.665-679, 2016.
J. Y. Seo and C. Koh, "Big Data Analysis by Sensitivity Analysis," Journal of the Society of Convergence Knowledge, Vol.2, No.1, pp.15-21, 2014.
J. Y. Chang, "Convergence of Education and Information & Communication Technology: A Study on the Communication Characteristics of SNS Affecting Relationship Development between Professor and Student," Journal of the Korea Convergence Society, Vol.6, No.6, pp.213-219, 2015.
J. S. Hong and I. K. Oh, "Image difference of before and after an incident using social big data analysis: Focusing on a ramp return of 'K' airline," International Journal of Tourism and Hospitality Research, Vol.30, No.6, pp.119-133, 2016.
Y. S. Choi and H. M. Kim, "The Influence of Public Diplomacy with Social Media on Country Image and Country Brands -Focusing on Cultural Contents," The Journal of the Korea Contents Association, Vol.16, No.3, pp.426-438, 2016.
I. K. Oh, T. S. Lee, and C. N. Chon, "A Study on Awareness of Korea Tourism through Big Data Analysis," Journal of Tourism Sciences, Vol.39, No.10, pp.107-126, 2015.
A. R. Lee, J. S. Bang, and Y. H. Kim, "A Design of a TV Advertisement Effectiveness Analysis System Using SNS Big-data," KIISE Transactions on Computing Practices, KTCP, Vol.21, No.9, pp.579-586, 2015.
D. Y. Kim, J. W. Park, and J. H. Choi, "A Comparative Study between Stock Price Prediction Models Using Sentiment Analysis and Machine Learning Based on SNS and News Articles," Journal of the Korea Society of IT services, Vol.13, No.3, pp.211-233, 2014.
S. Choi and K. H. Choi, "Achievement and satisfaction research of the undergraduate orchestra club activities - A convergent aspects of statistical method and opinion mining," Journal of the Korea Convergence Society, Vol.6, No.4, pp.25-31, 2015.
Y. M. Kim, S. J. Jeong, and S. J. Lee, "A Study on the Stock Market Prediction Based on Sentiment Analysis of Social Media," Entrue Journal of Information Technology, Vol.13, No.3, pp.59-69, 2014.
J. Y. Jang, "Automatic Retrieval of SNS Opinion Document Using Machine Learning Technique," The Journal of the Institute of Internet, Broadcasting and Communication, Vol.13, No.5, pp.27-35, 2013.
K. S. Song, H. Y. Noh, and S. J. Lee, "Recommendation of emotion-based service by using SNS: A case of movie industry," Journal of the Korea Management Engineers Society, Vol.20, No.2, pp.91-104, 2015.
S. N. Kang, Y. S. Kim, and S. H. Choi, "Study on the social issue sentiment classification using text mining," Journal of the Korean Data & Information Science Society, Vol.26, No.5, pp.1167-1173, 2015.
Y. J. Lee, J. H. Seo, and J. T. Choi, "Fashion Trend Marketing Prediction Analysis Based on Opinion Mining Applying SNS Text Contents," Journal of Korean Institute of Information Technology, Vol.12, No.12, pp.163-170, 2014.
S. H. Jun, "A Big Data Preprocessing using Statistical Text Mining," Journal of Korean Institute of Intelligent Systems, Vol.25, No.5, pp.470-476, 2015.
H. G. Jun, G. S. Hyun, K. B. Lim, W. H. Lee, and H. J. Kim, "Big Data Preprocessing for Predicting Box Office Success," KIISE Transactions on Computing Practices, Vol.20, No.12, pp.615-622, 2014.
J. S. Kim, and S. H. Jin, "A Study on the Application of Opinion Mining Based on Big Data," Journal of the Korean Data Analysis Society, Vol.15, No.1, pp.101-113, 2013.
S. H. Kim, J. S. Park, J. H. Park, and I. H. Kim, "A Study on the Effect of Analytic Resources to Business Performance under Big Data Environments," The Korean Journal of Bigdata, Vol.1, No.1, pp.23-32, 2016.
M. J. Kim and E. J. Song, "A Design of Satisfaction Analysis System For Content Using Opinion Mining of Online Review Data," Journal of Internet Computing and Services, Vol.17, No.3, pp.107-113, 2016.
E. H. Jeong and B. K. Lee, "A Design of SNS Emotional Information Analysis Strategy based on Opinion Mining," Journal of Korea Institute of Information, Electronics, and Communication Technology, Vol.8, No.6, pp.544-550, 2015.
C. Tankard, "Big Data Security," Network Security, pp.5-8, 2012.
Y. S. Jeong and K. H. Han, "Service Management Scheme using Security Identification Information adopt to Big Data Environment," Journal of Digital Convergence, Vol.11, No.12, pp.393-399, 2013.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.