$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

오픈소스 프레임워크 Storm을 활용한 IoT 환경 스트리밍 데이터 처리
Handling Streaming Data by Using Open Source Framework Storm in IoT Environment 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.5 no.7, 2016년, pp.313 - 318  

강윤희 (백석대학교 정보통신학부)

초록
AI-Helper 아이콘AI-Helper

IoT 환경에서 센싱 정보의 활용을 위해서는 센서로 부터 생성된 정보의 가공 및 처리를 위한 효율적인 소프트웨어 아키텍처 설계가 필수적이다. 특히 IoT 환경에서 사물은 인터넷에 연결되고 각종 센서를 탑재한 디바이스간 통신이 가능하여야 한다. 그러나 MapReduce 기반의 Hadoop과 Twister은 데이터의 배치 처리에 적합하지만, 스트리밍 센서 자료의 이동중 처리에는 제약점을 갖는다. 전통적인 스트리밍 데이터 처리 방법인 MOM 기반의 메시지 큐 시스템을 이용해 메시지 스트림을 처리하는 방식은 프로그래머가 메시지 흐름의 복잡도를 고려해야 상세한 처리를 프로그램 함으로써 유지보수 및 확장성을 갖기 어려움이 있다. 이 논문에서는 IoT 환경에서 수집된 센싱 자료의 처리를 위한 소프트 웨어 아키텍처를 설계하였다. 또한 설계된 소프트아키텍처를 기반으로 오픈소스 프레임워크인 Storm의 응용 구성을 기술한다. 구성응용은 센서게이트웨이(Sensor Gateway)를 통해 자료를 수집한 후 실시간 스트리밍 데이터를 파이프-필터 스타일로서 변환한다.

Abstract ▼ AI-Helper 아이콘AI-Helper

To utilize sensory data, it is necessary to design architecture for processing and handling data generated from sensors in an IoT environment. Especially in the IoT environment, a thing connects to the Internet and efficiently enables to communicate a device with diverse sensors. But Hadoop and Twis...

주제어

#사물인터넷   #센서 데이터   #오픈소스 프레임워크   #스톰   #파이프-필터  

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 이 논문에서는 IoT 환경에서 수집된 센싱 자료의 처리를 위한 소프트웨어 아키텍처를 설계하였다. 또한 설계된 소프트아키텍처를 기반으로 Storm 응용 구성을 기술한다.
  • IoT 환경 센서로 부터의 스트리밍 데이터를 체계적으로 수집하고 분석을 통한 시스템 개발이 요구되고 있으나 Hadoop은 실시간 데이터 처리가 용이하지 않으며 이를 해결하기 위해서는 스트림 기반의 센서 데이터 처리를 위한 확장이 필요하다. 이 논문은 센서 데이터 소스로 부터 체계적인 수집 및 저장 기능을 위한 아키텍처를 설계하였으며 오픈소스 Storm기반으로 응용 처리를 위한 인메모리 저장소인 Redis을 활용하여 시스템을 설계 및 구현하였다. 이를 위해 실내환경의 수집된 센서 데이터 셋을 활용하여 응용을 구성한 후 실험을 수행하였다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
HPC 환경에서의 프로그래밍 환경의 제약점은? 전통적으로 대용량의 과학데이터처리는 병렬처리를 위한 MPI와 PVM과 같은 라이브러리를 활용하는 클러스터인 고성능 컴퓨팅(HPC, High Performance Computing)에 대한 기술이 적용되어 활용되고 있다. 그러나 HPC 환경에서의 프로그래밍 환경은 MPI와 PVM과 같은 낮은 수준의 통신 및 동기 처리 프리미티브를 사용하여야 하는 제약점을 갖고 있다[5].
메시지 큐 시스템을 이용해 메시지 스트림을 처리하는 방법의 단점은? 전통적인 스트리밍 데이터 처리 방법에는 MOM(Message- Oriented Middleware) 기반의 JMS(Java Message Service), NaradaBrokering 등 메시지 큐 시스템을 이용해 메시지 스트림을 처리한다. 그러나 이는 프로그래머가 메시지 큐에서 자료흐름의 세부 동작을 작성함으로서 프로그램의 유지관리에 어려움이 있다[12, 13].
Hadoop은 어디에 사용되는가? ASF(Apache Software Foundation)의 MapReduce 기반 오픈 소스 소프트웨어인 Hadoop은 Yahoo, Facebook, Amazon 등의 인터넷 기반 기업에서 자료 처리를 위한 응용 개발 환경으로 사용하고 있다[8]. Hadoop은 MapReduce 응용처리에 필요한 대용량 데이터를 저장하기 위해 분산 파일 시스템인 HDFS(Hadoop Distributed File System)를 지원한다.
질의응답 정보가 도움이 되었나요?

참고문헌 (17)

  1. Luigi Atzori, Antonio Iera, and Giacomo Morabito, "The Internet of Things: A survey," Computer Networks: The International Journal of Computer and Telecommunications Networking, Vol.54, No.15, pp.2787-2805, 2010. 

  2. Yunhee Kang, "New Approach to the Platform for the Application Development on the Internet of Things Environment," Journal of Platform Technology, Vol.3, No.1, pp.21-27, 2015. 

  3. Z.(G.) Guo, R. Singh, and M. Pierce, "Building the PolarGrid Portal Using Web 2.0 and OpenSocial," The International Conference for High Performance Computing, Networking, Storage and Analysis (SC'09), Porland, OR, ACM Press, p.5, 2009. 

  4. Yunhee Kang, "Enabling BigData Platform for MapReduce Applications in the Science Cloud," Journal of Platform Technology, Vol.2, No.1, pp.42-52, 2014. 

  5. W. Gropp and E. Lusk, "Goals guiding design: PVM and MPI," Cluster Computing, 2002. Proceedings. 2002 IEEE International Conference on, pp.257-265, 2002, doi: 10.1109/CLUSTR.2002.1137754. 

  6. J. Dean and S. Ghemawat, "Mapreduce: Simplified Data Processing on Large Clusters," Communications of the Acm, Vol.51, pp.107-113, Jan., 2008. 

    상세보기

  7. J. Dean and S. Ghemawat, "MapReduce: A Flexible Data Processing Tool," Communications of the Acm, Vol.53, pp. 72-77, Jan., 2010. 

    상세보기

  8. Hadoop [Internet], http://hadoop.apache.org/. 

  9. J. Ekanayake et al., "Twister: A Runtime for Iterative MapReduce," The First International Workshop on MapReduce and its Applications (MAPREDUCE'10) - HPDC2010, 2010. 

  10. Yunhee Kang and Y. B. Park, "The performance evaluation of k-means by two MapReduce frameworks, Hadoop vs. Twister," 2015 International Conference on Information Networking (ICOIN), Cambodia, pp.405-406, 2015. 

  11. Yunhee Kang and Geoffrey C. Fox, "Performance Evaluation of MapReduce Applications on Cloud Computing Environment, FutureGrid," FGIT-GDC, pp.77-86, 2011. 

  12. Curry Edward, "Message-Oriented Middleware," in Middleware for Communications, ed. Qusay H Mahmoud, 1-28. Chichester, England: John Wiley and Sons, 2004. 

  13. S. Pallickara and G. Fox, "NaradaBrokering: a distributed middleware framework and architecture for enabling durable peer-to-peer grids," the Proceedings of the ACM/IFIP/USENIX 2003 International Conference on Middleware, Rio de Janeiro, Brazil, 2003. 

  14. Apache Storm [Internet], http://storm.incubator.apache.org. 

  15. J. Carlson, "Redis in Action," 1st ed., New York: Manning, 2013. 

  16. J. Pokorny, "NoSQL databases: a step to database scalability in web environment," in Proceedings of the 13th International Conference on Information Integration and Web-based Applications and Services, 2011, pp.278-283. 

  17. M. Shaw and D. Garlan, "Software Architecture: Perspectives on an Emerging Discipline," Prentice-Hall, 1996. 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

BRONZE

출판사/학술단체 등이 한시적으로 특별한 프로모션 또는 일정기간 경과 후 접근을 허용하여, 출판사/학술단체 등의 사이트에서 이용 가능한 논문

이 논문과 함께 이용한 콘텐츠

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로