$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

Python을 이용한 SNS 크롤링 시스템 구축
Building an SNS Crawling System Using Python 원문보기

한국산업정보학회논문지 = Journal of the Korea Industrial Information Systems Research, v.23 no.5, 2018년, pp.61 - 76  

이종화 (부경대학교 경영학부)

초록
AI-Helper 아이콘AI-Helper

현대인이 살고 있는 네트워크 세상으로 모든 사물들이 들어오고 있다. 사물에 센서를 부착하는 사물인터넷의 영향으로 인해 네트워크로 실시간 데이터를 주고받는 것이 가능해졌다. 현대인들의 필수품인 모바일 디바이스는 일상생활의 모든 자취를 실시간으로 남기는 역할을 하고 있다. 바로 소셜 네트워크 서비스를 통하여 정보획득 활동과 커뮤니케이션 활동을 실시간으로 거대한 네트워크에 남기고 있는 것이다. 비즈니스 관점에서 고객의 니즈 분석은 바로 SNS 자료에서부터 시작된다는 등가가 성립된다. 본 연구는 웹 환경의 SNS 콘텐츠파이썬을 이용하여 실시간으로 자동 수집시스템을 구축하고자 한다. 세계적으로 많은 이용자수를 확보하고 있는 인스타그램, 트위터, 유튜브의 비정형적 데이터 수집 시스템을 통하여 고객의 니즈 분석에 도움이 되고자 한다. 파이썬의 웹드라이버 환경에서 가상 웹브라우저를 이용하여 마이닝 처리와 NLP 과정을 거쳐 DB에 저장된다. 본 연구의 결과 웹페이지를 통하여 서비스를 진행하고자하며 검색 기능만으로 원하는 데이터가 자동 수집되며 데이터의 시계열 분석을 통하여 네티즌의 이슈 반응을 실시간으로 확인할 수 있었다. 또한 검색부터 실행결과가 나오기까지 5초 이내 이루어지므로 제시된 알고리즘의 우수성을 확인하였다.

Abstract AI-Helper 아이콘AI-Helper

Everything is coming into the world of network where modern people are living. The Internet of Things that attach sensors to objects allows real-time data transfer to and from the network. Mobile devices, essential for modern humans, play an important role in keeping all traces of everyday life in r...

주제어

표/그림 (11)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 셀레니움 웹드라이버는 페이지 자체가 다시로드 되지 않고 페이지 요소가 변경될 수 있는 동적 웹 페이지를 보다 잘 지원하도록 개발되었다. WebDriver의 목표는 최신 고급 웹 응용프로그램 테스트 문제에 대한 향상된 지원을 제공하는 잘 디자인 된 객체 지향 API를 제공하는 것이다. 미리 저장된 키워드를 테이블에서 출력하고 그 키워드를 포함한 인스타그램 게시글을 탐색하기 위해 인스타그램 페이지로 이동한다.
  • 본 연구는 현재 연구 단계에서 유튜브, 인스타그램, 트위터의 오픈된 API를 사용하고 크롤링에 필요한 제한된 패키지를 개발하여 실시간으로 SNS 크롤링 시스템을 완성하고자 한다. 또한, 연구 프레임워크를 제시하며 관련 소스 코드 또한 공개하여 이후 연구자에게 제공하자고 한다. 연구결과를 웹페이지에 탑재하여 크롤링 데이터를 다운로드 가능하게 설계하고자 한다.
  • 본 연구는 SNS 크롤링 시스템을 구축하고자 한다. 오픈소스 소프트웨어인 파이썬(Python)으로 개발된 개발 환경의 소스 코드들을 공개하며 실제 유튜브, 인스타그램, 트위터에 접속하여 실제 자료를 자동으로 크롤링하는 웹 페이지까지 개발하고자 한다.
  • 본 연구는 데이터 산업의 성장과 함께 SNS 사용도 증가하고 있으며 고객 니즈 분석에 주요한 재료인 소셜 데이터 수집에 관한 연구를 진행하고자 한다. 인스타그램, 트위터, 유튜브 등 인터넷 사용자들이 즐겨 사용하는 서비스에서 연구에 필요한 자료만을 자동 수집 가능한 시스템을 설계, 구현, 실험을 하고자 한다.
  • 본 연구는 소셜 데이터 분석의 연구 사례의 증가와 IT 비전공자를 위한 다양한 오픈 소스 소프트웨어들의 활용 측면을 고려하여 실제 웹의 데이터를 채굴할 수 있는 크롤링 시스템을 연구하고자 한다. 원하는 소셜 미디어와 검색어, 기간 등을 설정하면 해당 조건에 만족하는 콘텐츠를 쉽게 얻을 수 있다면 빅데이터와 소셜 미디어, 웹마이닝 연구에 많은 도움이 될 것으로 본다.
  • 본 연구는 오픈 소스 소프트웨어인 파이썬을 이용한 SNS 크롤링 시스템을 구축하고자 진행되었다. 그 결과와 의미를 종합적으로 정리해 본다.
  • 이렇듯 고객 정보 보호와 자사의 보안을 이유로 서비스 초창기에 오픈된 API 사용이 제한을 받게 된다. 본 연구는 현재 연구 단계에서 유튜브, 인스타그램, 트위터의 오픈된 API를 사용하고 크롤링에 필요한 제한된 패키지를 개발하여 실시간으로 SNS 크롤링 시스템을 완성하고자 한다. 또한, 연구 프레임워크를 제시하며 관련 소스 코드 또한 공개하여 이후 연구자에게 제공하자고 한다.
  • 본 연구는 현재 전 세계적으로 서비스 중인 SNS를 대상으로 연구자가 원하는 데이터를 자동으로 수집 할 수 있는 시스템 구축하였다. 앞서 제시한 연구 프레임워크와 같이 세 가지 SNS를 대상으로 시스템을 구축하였으며 개발된 패키지 소스와 실제 구동되는 웹 페이지 함께 제시한다.
  • 또한, 연구 프레임워크를 제시하며 관련 소스 코드 또한 공개하여 이후 연구자에게 제공하자고 한다. 연구결과를 웹페이지에 탑재하여 크롤링 데이터를 다운로드 가능하게 설계하고자 한다.
  • 본 연구는 SNS 크롤링 시스템을 구축하고자 한다. 오픈소스 소프트웨어인 파이썬(Python)으로 개발된 개발 환경의 소스 코드들을 공개하며 실제 유튜브, 인스타그램, 트위터에 접속하여 실제 자료를 자동으로 크롤링하는 웹 페이지까지 개발하고자 한다.
  • 즉, 소셜 데이터 수집 시스템을 연구함으로써 특정 표본 추출의 통계치를 넘어 모집단 전체를 대상으로 진행되는 연구가 가능할 것으로 본다. 이에 본 연구는 실시간으로 생성되는 웹 상의 SNS 데이터를 자동 수집이 가능한 시스템을 구축하고자 한다.
  • 본 연구는 데이터 산업의 성장과 함께 SNS 사용도 증가하고 있으며 고객 니즈 분석에 주요한 재료인 소셜 데이터 수집에 관한 연구를 진행하고자 한다. 인스타그램, 트위터, 유튜브 등 인터넷 사용자들이 즐겨 사용하는 서비스에서 연구에 필요한 자료만을 자동 수집 가능한 시스템을 설계, 구현, 실험을 하고자 한다.
본문요약 정보가 도움이 되었나요?

참고문헌 (34)

  1. D. Laney, "3D Data Management: Controlling Data Volume, Velocity and Variety," Gartner, 2001. 

  2. Kim, S. H., Chang, S. H., and Lee, S. W., "Consumer Trend Platform Development for Combination Analysis of Structured and Unstructured Big Data," Journal of Digital Convergence, Vol. 15, No. 6, pp. 133-143, 2017. 

  3. Chol, J. H., and Jun, S. H., "Bayesian Inference for Technology Analysis of Artificial Inteilglence," Journal of Korean Institute of Intelligent Systems, Vol. 28, No. 4, pp. 411-416, 2018. 

  4. Wu, Y., Wang, N., Kropczynski, J. and Carroll, J. M., "The Appropriation of GitHub for Curation," PeerJ Computer Science, Vol. 3, pp. 134, 2017. 

  5. Park, O. M., Moon, O. K., Wui, H. K., and Jung, Y. C., "Semantic Web Services Technologies Towards Future Converged Services,." The Journal of The Korean Institute of Communication Sciences, Vol. 27, No. 5, pp. 30-35, 2010. 

  6. D. Fensel, M. Kerrigan, and M. Zaremba, Implementing Semantic Web Services, Springer, 2008. 

  7. https://www.kisti.re.kr 

  8. https://www.taglive.net 

  9. Yoon, Y. K., "A Study on Contents Curation of Portal Sites," Journal of the Korea Entertainment Industry Association, Vol. 8, No. 4, pp. 31-43, 2014. 

  10. Nam, M, J., Lee, E. J., and Shin, J. Y., "A Method for User Sentiment Classification Using Instagram Hashtags," Journal of Korea Multimedia Society, Vol. 18, No. 11, pp. 1391-1399, 2015. 

  11. Min, S. G., and Kim, S. H., "Study on Curation Service Design through Mobile Information Visualization Analysis," JCD, Vol. 63, pp. 296-305, 2018. 

  12. Lee, S. W., Lee, S. M., and Joo, H. M., "A Study of Global Social Network Service Diffusion: An Examination of Facebook Diffusion," Information Society and Media, Vol. 19, No. 1, pp. 1-22, 2018. 

  13. Lee, I. S., Kim, K. K., and Lee, A. R., "A Big Data Analysis Methodology for Examining Emerging Trend Zones Identified by SNS Users : Focusing on the Spatial Analysis Using Instagram Data," Information Systems Review, Vol. 20, No. 2, pp. 63-85, 2018. 

  14. Park, H. W., and Choi, K. H., "Doing Social Big Data Analytics: A Reflection on Research Question, Data Format, and Statistical Test-Convergent Aspects," Journal of Digital Convergence, Vol. 14, No. 12, pp. 591-597, 2016. 

  15. Hwang, Y. Y., Lee, K. S., and Choi, S. A., "A Study on the Difference between Young and Old Generation of SNS Behavior," Journal of the Korea Industrial Information Systems Research, Vol. 20, No. 1, pp. 63-77, 2015. 

  16. www.jobkorea.co.kr 

  17. Kim, H. J., Lee, T. H., Ryu, S. E., and Kim, N. L., "A Study on Text Mining Methods to Analyze Civil Complaints: Structured Association Analysis," Journal of the Korea Industrial Information Systems Research, Vol. 23, No. 3, pp. 13-24, 2018. 

  18. Lee, J. H., and Lee, H. K., "A Study on Unstructured Text Mining Algorithm through R Programming Based on Data Dictionary," Journal of the Korea Industrial Information Systems Research, Vol. 20, No. 2, pp. 113-124, 2015. 

  19. Lee, J. H., and Lee, H. K., "Designing Real-Time Web Mining and Analyzing System," The Journal of Internet Electronic Commerce Resarch, Vol. 18, No. 1, pp. 115-131, 2018. 

  20. H. Chen, R. H. L. Chiang, and V. C. Storey, "Business Intelligence and Analytics: From Big Data to Big Impact," MIS Quartly, Vol. 36, No. 4, pp. 1165-1188, 2012. 

  21. H. Baars, and H. G. Kemper, "Management Support with Structured and Unstructured Data an Integrated Business Intelligence Framework," Information Systems Management, Vol. 25, No. 2, pp. 132-148, 2008. 

  22. A. Gandomi, and M. Haider, "Beyond the Hype: Big Data Concepts, Methods, and Analytics," International Journal of Information Management, Vol. 35, No. 2, pp. 137-144, 2015. 

  23. Seo, D. M., and Jung, H. M., "Intelligent Web Crawler for Supporting Big Data Analysis Services," Journal of the Korea Contents Association, Vol. 13, No. 12, pp. 575-584, 2013. 

  24. Choi, S. J., and Kim, J. B., "Examine the Relationships Between Portal Article of Naver and Real Time Search Word Using Web Crawling," AJMAHS, Vol. 7, No. 11, pp. 787-794, 2017. 

  25. Kim, H. S., Han, N., and Lim, S, J., "Web Crawler Service Implementation for Information Retrieval Based on Big Data Analysis," Journal of Digital Contents Society, Vol. 18, No. 5, pp. 933-942, 2017. 

  26. Park, S. J., "A Topic Analysis of SW Education Text Data Using R," Journal of The Korean Association of Information Education, Vol. 19, No. 4, pp. 517-524, 2015. 

  27. http://pypl.github.io/PYPL.html 

  28. Lee, J, H., Ji, Y. R., and Chae, S. C., "Application of Symbolic Computation, Visualization, and Stochastic Simulation by Using Python in Science Education," School Science Journal, Vol. 12, No. 1, pp. 85-96, 2018. 

  29. Yoo, I. H., "The Design of SW Education for Elementary School Using Python and Robots," Journal of The Korean Association of Information Education, Vol. 9, No. 1, pp. 149-155, 2018. 

  30. Lee, J. H., "Spyder(Scientific PYthon Development EnviRonment)," The Korean Institute of Electrical Engineers, Vol. 65, No. 5, pp. 41-48, 2016. 

  31. Park, S. J., "A Study on the Utilization of Big Data Using Python," Journal of Korean Society of Technical Education and Training, Vol. 23, No. 1, pp. 31-40, 2018. 

  32. www.kisa.or.kr 

  33. www.seleniumhq.org/docs/03_webdriver.jsp 

  34. www.kisdi.re.kr 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

FREE

Free Access. 출판사/학술단체 등이 허락한 무료 공개 사이트를 통해 자유로운 이용이 가능한 논문

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로