$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

InfiniBand RDMA 통신을 위한 Apache Storm의 재구성
Reconfiguration of Apache Storm for InfiniBand Communications 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.7 no.8, 2018년, pp.297 - 306  

양석우 (강원대학교 컴퓨터과학과) ,  손시운 (강원대학교 컴퓨터과학과) ,  문양세 (강원대학교 컴퓨터과학과)

초록
AI-Helper 아이콘AI-Helper

본 논문에서는 분산 스트림 처리 프레임워크인 Apache Storm을 고성능 통신 장비인 InfiniBand에 적용하는 방안을 다룬다. InfiniBand 상에서 Storm을 동작시키는 쉬운 방법은 IPoIB (IP over InfiniBand)를 사용하는 것이다. 그러나 이 방법은 노드에 심각한 CPU 부하를 발생시키는데, 이는 잦은 문맥 전환과 버퍼 복사에서 기인하는 것으로 나타났다. 이를 해결하기 위해, Storm에서 InfiniBand의 RDMA (Remote Direct Memory Access) 기능을 사용하는 새로운 통신 방식을 제안한다. 첫째, Storm에서 RDMA 기능을 이용하기 위해, 기존 통신 프레임워크인 Netty를 대체하는 새로운 프레임워크인 RJ-Netty (RDMA/JXIO Netty)를 설계 및 구현한다. 둘째, Storm이 기존 Netty와 RJ-Netty를 모두 사용할 수 있도록 관련 클래스들을 개선한다. 셋째, RJ-Netty의 성능을 최대화하기 위해 멀티스레드를 지원하도록 JXIO 서버 기능을 개선한다. 실험 결과, 제안한 RJ-Netty는 Ethernet은 물론 IPoIB에 비해서 메시지 처리량을 향상시키면서도 CPU 부하를 크게 줄인 것으로 나타났다. 본 논문은 Apache Storm을 InfiniBand 상에서 동작시킨 최초의 시도로, 고성능의 InfiniBand RDMA를 사용하여 Storm의 처리 성능을 향상시킨 우수한 연구 결과라 사료된다.

Abstract ▼ AI-Helper 아이콘AI-Helper

In this paper, we address how to apply Apache Storm, a distributed stream processing framework, to InfiniBand, a high performance communication device. An easy way to run Storm on InfiniBand is to simply use IPoIP (IP over InfiniBand). However, this method causes a serious CPU load on the node, whic...

주제어

#Apache Storm   #InfiniBand   #IPoIB   #RDMA   #Netty   #RJ-Netty  

질의응답

핵심어 질문 논문에서 추출한 답변
Storm은 어떤 구조로 구분할 수 있는가? Apache Storm은 대용량 데이터 스트림을 안정적으로 처리할 수 있는 실시간 분산 처리 프레임워크이다. Storm은 크게 물리적 구조와 논리적 구조로 구분할 수 있다. 먼저, Storm 클러스터의 물리적 구조는 하나의 마스터 노드와 다수의 슬레이브 노드를 갖는 마스터/슬레이브 구조이다.
Apache Storm에서 님버스와 슈퍼바이저 간의 상태 정보를 공유하기 위해 무엇을 사용하는가? 즉, Storm의 님버스(Nimbus)는 마스터 노드, 슈퍼바이저(Supervisor)는 슬레이브 노드에 해당한다. 또한 님버스와 슈퍼바이저 간의 상태 정보를 공유하기 위해 서드파티(third-party) 개념으로 Apache Zookeeper[17, 18]를 사용한다.
Apache Storm이란? Apache Storm은 대용량 데이터 스트림을 안정적으로 처리할 수 있는 실시간 분산 처리 프레임워크이다. Storm은 크게 물리적 구조와 논리적 구조로 구분할 수 있다.
질의응답 정보가 도움이 되었나요?

참고문헌 (22)

  1. Apache Hadoop [Internet], http://hadoop.apache.org/. 

  2. Apache Storm [Internet], http://storm.apache.org/. 

  3. A. Toshniwal, S. Taneja, A. Shukla, K. Ramasamy, J. M. Patel, S. Kulkarni, J. Jackson, K. Gade, M. Fu, J. Donham, N. Bhagat, S. Mittal, and D. Ryaboy, "Storm@Twitter," In Proc. of the Int'l Conf. on Management of Data, ACM SIGMOD, Snowbird, Utah, pp.147-156, Jun. 2014. 

  4. P. Goetz and B. O'Neill, Storm Blueprints: Patterns for Distributed Real-time Computation, Packt Publishing, Mar. 2014. 

  5. Apache Spark [Internet], https://spark.apache.org/. 

  6. Apache S4 [Internet], http://incubator.apache.org/projects/s4.html/. 

  7. Apache Flink [Internet], https://flink.apache.org/. 

  8. Infiniband Trade Association [Internet], http://www.infinibandta.org/. 

  9. X. Lu, N. S. Islam, M. Wasi-Ur-Rahman, J. Jose, H. Subramoni, H. Wang, and D. K. Panda, "High-performance Design of Hadoop RPC with RDMA over InfiniBand," In Proc. of the IEEE 42nd Int'l Conf. on Parallel Processing (ICPP), Lyon, France, pp.641-650, Oct. 2013. 

  10. X. Lu, M. Wasi-Ur-Rahman, N. Islam, D. Shankar, and D. K. Panda, "Accelerating Spark with RDMA for Big Data Processing: Early Experiences," In Proc. of the IEEE 22nd Annual Symp. on High-performance Interconnects, Mountain View, CA, pp.9-16, Aug. 2014. 

  11. J. Huang, X. Ouyang, J. Jose, M. Wasi-Ur-Rahman, H. Wang, M. Luo, H. Subramoni, C. Murthy, and D. K. Panda, "High-performance Design of HBase with RDMA over InfiniBand," In Proc. of the IEEE 26th Int'l Parallel and Distributed Processing Symp. (IPDPS), Shanghai, China, pp. 774-785, May 2012. 

  12. M. Wasi-Ur-Rahman, N. S. Islam, X. Lu, J. Jose, H. Subramoni, H. Wang, and D. K. Panda, "High-performance RDMA-based Design of Hadoop MapReduce over InfiniBand," In Proc. of the IEEE 27th Int'l Parallel and Distributed Processing Symp. Workshops (IPDPSW), Cambridge, MA, pp. 1908-1917, May 2013. 

  13. N. S. Islam, M. Wasi-Ur-Rahman, J. Jose, R. Rajachandrasekar, H. Wang, H. Subramoni, C. Murthy, and D. K. Panda, "High Performance RDMA-based Design of HDFS over InfiniBand," In Proc. of the Int'l Conf. on High Performance Computing, Networking, Storage, and Analysis, Salt Lake City, UT, pp.1-12, Nov. 2012. 

  14. Netty [Internet], https://netty.io/. 

  15. Context Switch [Internet], https://en.wikipedia.org/wiki/Context_switch/. 

  16. JXIO [Internet], https://github.com/accelio/JXIO/. 

  17. Apache Zookeeper [Internet], http://zookeeper.apache.org/. 

  18. P. Hunt, M. Konar, F. P. Junqueira, and B. Reed, "Zookeeper: Wait-free Coordination for Internet-scale Systems," In Proc. of the USENIX Annual Technical Conf., Boston, MA, pp.1-6, Jun. 2010. 

  19. Apache Thrift [Internet], https://thrift.apache.org/. 

  20. Accelio (Official website) [Internet], http://www.accelio.org/. 

  21. Accelio (Open source) [Internet], https://github.com/accelio/accelio/. 

  22. Lmax disruptor [Internet], https://lmax-exchange.github.io/disruptor/. 

저자의 다른 논문 :

LOADING...

관련 콘텐츠

오픈액세스(OA) 유형

GOLD

오픈액세스 학술지에 출판된 논문

이 논문과 함께 이용한 콘텐츠

유발과제정보 저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로