[논문]서비스 맞춤형 컨테이너를 위한 블록 입출력 히스토리 학습 기반 컨테이너 레이어 파일 시스템 선정 기법

용찬호; 나상호; 이필우; 허의남

doi:10.3745/ktccs.2017.6.10.415

서비스 맞춤형 컨테이너를 위한 블록 입출력 히스토리 학습 기반 컨테이너 레이어 파일 시스템 선정 기법
A Method of Selecting Layered File System Based on Learning Block I/O History for Service-Customized Container 원문보기

정보처리학회논문지. KIPS transactions on computer and communication systems 컴퓨터 및 통신 시스템, v.6 no.10, 2017년, pp.415 - 420

용찬호 (경희대학교 컴퓨터공학과) , 나상호 (한국과학기술정보연구원슈퍼컴퓨팅본부) , 이필우 (한국과학기술정보연구원슈퍼컴퓨팅본부) , 허의남 (경희대학교 컴퓨터공학과)

초록
AI-Helper

OS-level의 가상화 기술은 애플리케이션을 배포하기 위한 새로운 패러다임으로, 기존의 가상화 기술인 가상 머신을 대체할 수 있는 기술로서 주목받고 있다. 특히 컨테이너는 기존의 리눅스 컨테이너에 유니온 마운트 포인트(Union Mount Point) 와 레이어 구조의 이미지를 적용함으로써 보다 빠르고 효율적인 애플리케이션의 배포가 가능하다. 이러한 컨테이너의 특징들은 스냅숏 기능을 제공하는 레이어 구조의 파일 시스템에서만 사용될 수 있으며, 애플리케이션의 특징에 따라 적절한 레이어 파일 시스템을 선택하는 것이 요구된다. 따라서 본 논문에서는 대표적인 레이어 파일 시스템들의 특징을 조사한 뒤, 레이어 파일 시스템의 동작 원리인 Allocate-on-Demand 및 Copy-up 방식에 따른 파일 시스템의 쓰기 성능 평가를 수행한다. 또한 각 레이어 파일 시스템 방식의 블록 입출력 사용 데이터를 학습한 인공 신경망을 통해 임의의 애플리케이션에 대해 적합한 레이어 파일 시스템 방식을 결정하는 방법을 제시하고 이에 대한 타당성을 검토한다.

Abstract ▼ AI-Helper

Virtualization technique of OS-level is a new paradigm for deploying applications, and is attracting attention as a technology to replace traditional virtualization technique, VM (Virtual Machine). Especially, docker containers are capable of distributing application images faster and more efficient than before by applying layered image structures and union mount point to existing linux container. These characteristics of containers can only be used in layered file systems that support snapshot functionality, so it is required to select appropriate layered file systems according to the characteristics of the containerized application. We examine the characteristics of representative layered file systems and conduct write performance evaluations of each layered file systems according to the operating principles of the layered file system, Allocate-on-Demand and Copy-up. We also suggest the method of determining a appropriate layered file system principle for unknown containerized application by learning block I/O usage history of each layered file system principles in artificial neural network. Finally we validate effectiveness of artificial neural network created from block I/O history of each layered file system principles.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 애플리케이션의 개발 및 배포 시나리오, 서비스 환경과 같은 특징을 고려해 적합한 레이어 파일 시스템을 선택하는 것이 요구된다. 본 논문은 컨테이너가 사용할 수 있는 대표적인 레이어 파일 시스템들의 종류를 조사하고 성능평가를 진행한 뒤, 컨테이너의 블록 입출력 히스토리 데이터를 학습한 신경망을 기반으로 Allocate-on-Demand와 Copy-up 중 애플리케이션에 적합한 레이어 파일 시스템 방식을 도출하는 방법을 제시한다.
이러한 관점에서는 블록 단위로 이미지 레이어의 변경점을 저장하는 Allocate-on-Demand 방식의 Devicemapper, ZFS와 같은 파일 시스템이 이점을 가진다. 본 연구는 이러한 두 특징 중 쓰기 작업으로 인한 블록 입출력 히스토리 데이터의 관점에서 적합한 레이어 파일 시스템을 선택하는 방법을 제시하였다. 각 레이어 파일 시스템 방식을 사용한 컨테이너의 블록입출력 데이터를 신경망에 학습시켰으며, 이미지 내부의 파일 크기가 커짐에 따라 Allocate-on-Demand 방식으로 분류할 확률이 높아지는 것을 확인했다.
본 연구는 컨테이너의 블록 입출력 사용량의 관점에서 적절한 레이어 파일 시스템 방식을 선택하는 방법을 제시한다. Copy-up 방식의 레이어 파일 시스템에서 Allocateon-Demand 방식에 적합한 애플리케이션을 구동할 경우, 파일을 컨테이너 레이어로 복사하는 작업으로 인해 일시적으로 높은 블록 입출력 패턴이 발생한다.

제안 방법

0-ce, build 02c1d87에서 수행되었다. Devicemapper 파일 시스템은 루프백 디바이스를 사용해 성능을 측정하였다.
각 파일 시스템에서 이미지 내부에 존재하는 10개의 128MB 크기 파일에 첫 번째로 쓰기 작업을 수행하는 시간을 측정했으며, 동일한 작업을 새로운 컨테이너에서 10회 수행해 평균 시간을 계산하였다. Fig.
각 파일 시스템에서 이미지 내부에 존재하는 4G 크기의 파일에 쓰기 작업을 첫 번째로 수행한 시간을 측정하였으며, 동일한 작업을 새로운 컨테이너에서 10회 수행해 평균 시간을 계산하였다. Fig.
Copy-up 방식의 레이어 파일 시스템에서 Allocateon-Demand 방식에 적합한 애플리케이션을 구동할 경우, 파일을 컨테이너 레이어로 복사하는 작업으로 인해 일시적으로 높은 블록 입출력 패턴이 발생한다. 따라서 임의의 컨테이너 애플리케이션을 Copy-up 방식의 파일 시스템에서 구동한 뒤, 블록 입출력 로그 데이터를 수집해 패턴을 학습함으로써 Copy-up과 Allocate-on-Demand 방식의 레이어 파일 시스템으로 분류하는 인공 신경망을 구축한다.
본 연구는 컨테이너에 적용할 수 있는 파일 시스템들의 특징을 조사하고, 레이어 파일 시스템의 특징 중 Allocate-onDemand 및 Copy-up에 초점을 맞춰 성능 평가를 진행하였다. Copy-up 방식을 사용하는 AUFS, Overlay 파일 시스템은 많은 수의 컨테이너를 빠르게 생성하고 삭제해야 하는 웹 서비스 등의 환경에 적합할 수 있지만, 크기가 큰 파일이 이미지 레이어의 내부에 존재할 경우 쓰기 작업 수행에 있어 실시간성을 보장할 수 없다는 단점이 있다.
7은 신경망 학습에 사용되는 블록 입출력 데이터의 전처리 과정을 나타낸다. 블록 입출력 데이터는 도커 엔진의 Remote API 중 /stats를 사용해 수집했으며, 1초간의 블록 입출력량을 계산하기 위해 1초 간격으로 API를 호출한 뒤 이전 데이터 값과 다음 데이터 값의 차를 구해 실제 입출력 값으로 사용한다. 수집된 데이터 중 일정 범위 이상의 변화가 발생하는 구간의 값만이 학습 데이터로서 의미를 가지기 때문에 임계값 이상의 변화량을 보이는 구간에 대해 샘플링 작업을 수행한다.
본 논문의 성능평가 지표는 (1) 서비스의 실시간성을 보장하기 위한 컨테이너 생성 시간, (2) 서비스의 지연을 최소화하기 위한 파일 입출력 수행 시간으로 설정한다. 이에 따라 각 파일 시스템의 성능을 평가하기 위해 (1) 컨테이너 생성 및 시작 시간, (2) 단일 파일에 대한 쓰기 및 읽기 시간, (3) 분할된 파일들에 대한 쓰기 및 읽기 시간을 측정한다. 이는 AWS(Amazon Web Service)의 t2.
컨테이너를 연속으로 10개씩 10번 생성하고 시작하는 시간을 측정함으로써 컨테이너 1개에 소요되는 평균 시간을 계산하였으며, Fig. 4는 이에 대한 결과를 나타낸다. 컨테이너를 생성할 때 사용된 명령어는 다음과 같다.
전처리를 마친 데이터는 선형 회귀 모델을 사용하는 신경망에서 학습 입력 데이터로서 사용되며, 앞서 언급한 각 시나리오에서 출력된 블록 입출력 데이터를 각각 사용해 신경망을 학습시킨다. 학습된 신경망에 임의의 애플리케이션에 대한 블록 입출력 데이터를 입력한 뒤, 인공 신경망의 최종 레이어에서 Softmax 함수[8]를 사용해 Allocate-on-Demand와 Copy-up 방식에 대한 적합도를 결과값으로 출력한다. 학습한 신경망의 적정성을 검토하기 위해 (1) 각 10개의 1MB, 8MB, 32MB 크기의 Chunk 파일에 0.
학습된 신경망에 임의의 애플리케이션에 대한 블록 입출력 데이터를 입력한 뒤, 인공 신경망의 최종 레이어에서 Softmax 함수[8]를 사용해 Allocate-on-Demand와 Copy-up 방식에 대한 적합도를 결과값으로 출력한다. 학습한 신경망의 적정성을 검토하기 위해 (1) 각 10개의 1MB, 8MB, 32MB 크기의 Chunk 파일에 0.1초 간격으로 쓰기 작업을 수행하는 경우, (2) 이미지 내부에 Chunk 파일이 존재하지 않는 MySQL 컨테이너에 데이터베이스의 Insert 쿼리를 수행하는 경우의 데이터를 신경망에 사용하였다. Fig.

대상 데이터

6을 사용하였다. 신경망을 학습시키기 위한 데이터는 (1) 각각 10개의 128MB, 32M, 8M, 1M 크기의 Chunk 파일을 이미지 내부에 가지고 있어 0.1초 간격으로 쓰기 작업을 수행한 경우, (2) 빈 파일에 0.1초 간격으로 쓰기 작업을 수행한 경우의 블록 입출력 데이터를 수집해 사용하였다. (1)은 Allocate-on-Demand로 결정하는 경우의, (2)는 Copy-up로 결정하는 경우의 학습 데이터로서 사용된다.

이론/모형

Copy-up은 쓰기 작업으로 인해 변경된 이미지의 파일을 컨테이너 레이어로 전부 복사해 사용하는 반면, Allocate-on-Demand는 특정 크기의 블록을 할당함으로써 변경된 사항만을 저장한 뒤 블록을 포함해 하나의 파일로 인식해 사용한다. AUFS, Overlay는 Copy-up 방식을, Devicemapper와 ZFS는 Allocate-on-Demand 방식을 사용함으로써 컨테이너의 레이어 구조를 구성한다.

성능/효과

본 연구는 이러한 두 특징 중 쓰기 작업으로 인한 블록 입출력 히스토리 데이터의 관점에서 적합한 레이어 파일 시스템을 선택하는 방법을 제시하였다. 각 레이어 파일 시스템 방식을 사용한 컨테이너의 블록입출력 데이터를 신경망에 학습시켰으며, 이미지 내부의 파일 크기가 커짐에 따라 Allocate-on-Demand 방식으로 분류할 확률이 높아지는 것을 확인했다. 따라서 본 연구의 레이어 파일 시스템 방식 분류 기법을 통해 컨테이너 애플리케이션의 불필요한 블록 입출력을 크게 감소시킬 수 있을 것으로 예상된다.
스냅숏의 구조가 유사하고, Copy-up 방식을 사용하는 AUFS와 Overlay는 거의 동일한 수행 결과를 얻었지만, Devicemapper와 ZFS 상대적으로 느린 수행 결과를 보여주었다. 그러나 ZFS는 각 수행 결과와 평균의 오차가 적은 반면, Devicemapper는 수행 결과가 최소 0.5초에서 최대 0.9초에 달하는, 일률적이지 않은 결과를 얻었다.
각 레이어 파일 시스템 방식을 사용한 컨테이너의 블록입출력 데이터를 신경망에 학습시켰으며, 이미지 내부의 파일 크기가 커짐에 따라 Allocate-on-Demand 방식으로 분류할 확률이 높아지는 것을 확인했다. 따라서 본 연구의 레이어 파일 시스템 방식 분류 기법을 통해 컨테이너 애플리케이션의 불필요한 블록 입출력을 크게 감소시킬 수 있을 것으로 예상된다.
스냅숏의 구조가 유사하고, Copy-up 방식을 사용하는 AUFS와 Overlay는 거의 동일한 수행 결과를 얻었지만, Devicemapper와 ZFS 상대적으로 느린 수행 결과를 보여주었다. 그러나 ZFS는 각 수행 결과와 평균의 오차가 적은 반면, Devicemapper는 수행 결과가 최소 0.

후속연구

그러나 본 연구의 레이어 파일 시스템 결정 기법은 블록입출력 데이터만을 신경망에 학습시켰다는 한계점을 갖는다. 따라서 추후 연구에서 애플리케이션의 Scale-in/out 빈도 또는 필요성뿐만 아니라 쓰기, 읽기 작업에 대한 SSD 최적화, 캐싱, 데이터 압축, 블록 입출력의 QoS 등을 척도로 하는 신경망 학습 모델을 설계해 향상된 결정 기법을 연구한다.
그러나 본 연구의 레이어 파일 시스템 결정 기법은 블록입출력 데이터만을 신경망에 학습시켰다는 한계점을 갖는다. 따라서 추후 연구에서 애플리케이션의 Scale-in/out 빈도 또는 필요성뿐만 아니라 쓰기, 읽기 작업에 대한 SSD 최적화, 캐싱, 데이터 압축, 블록 입출력의 QoS 등을 척도로 하는 신경망 학습 모델을 설계해 향상된 결정 기법을 연구한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	RoW와 CoW는 어떻게 동작하는가?	RoW와 CoW는 파일 시스템의 스냅숏을 구성하기 위해사용되는 기술이다. 두 방식 모두 파일들을 스냅숏으로 생성한 뒤 쓰기 작업으로 인해 파일에 변경 사항이 발생할 경우 원본 스냅숏 파일을 유지하고 변경된 사항을 스냅숏 풀(Snapshot Pool)에 저장하는 방식으로 동작한다. CoW는 스냅숏 파일에 쓰기 작업을 수행할 때 스냅숏 풀에 원본 파일을 복사하고 쓰기 요청을 반영하기 때문에 파일을 읽는 작업 1번과 파일을 스냅숏 풀에 복사하고 변경된 사항을 쓰는 작업을 포함해 총 2번의 쓰기 작업이 발생한다.
	컨테이너 기술이란?	컨테이너 기술은 애플리케이션을 개발하고 배포하기 위한 새로운 관점을 제시하는 리눅스 컨테이너 기반의 가상화 기술로서, 기존의 가상화 기술인 하이퍼바이저 기반의 가상머신에 비해 성능의 손실이 거의 존재하지 않아 이를 대체할 수 있는 가상화 기술로서 주목받고 있다[3]. 도커 컨테이너를 배포하기 위한 형식인 이미지는 운영체제를 구성하기 위한 커널을 포함하지 않기 때문에 가상 머신에 비해 이미지의 크기가 매우 작을 뿐만 아니라, 이미지를 레이어 구조로 배포함으로써 중복되는 레이어를 전송하지 않아 보다 효율적인 애플리케이션의 배포가 가능하다는 장점을 가진다.
	도커 컨테이너가 지원하는 레이어 파일시스템으로 무엇이 있는가?	이미지의 레이어 구조를 구성하기 위해 사용되는 핵심 기술인 스냅숏(Snapshot)은 RoW 또는 CoW를 지원하는 파일시스템을 구성해야만 사용할 수 있으며, 도커 컨테이너가 지원하는 대표적인 레이어 파일시스템으로서 AUFS(Advanced multi layered Unification Filesystem), Devicemapper, ZFS, Overlay 및 Overlay2 등이 있다[11]. 이러한 파일 시스템은 호스트의 운영체제, 커널 버전, 이미지 레이어 개수, 컨테이너의 읽기 및 쓰기 빈도뿐만 아니라 레이어 파일 시스템의 동작 방식인 Allocate-on-Demand, Copy-up 중 어느 방식을 사용하느냐에 따라 쓰기 성능이 상이하다.

참고문헌 (15)

Docker Documentation [Internet], https://docs.docker.com/ 2017.06.29.
D. Merkel, "Docker: Lightweight Linux Containers for Consistent Development and Deployment," Linux Journal, Vol.2014, Issue 239, Article No.2, 2014.
Felter, Wes, et al., "An updated performance comparison of virtual machines and linux containers," Performance Analysis of Systems and Software (ISPASS), 2015 IEEE International Symposium on. IEEE, 2015.
Xiao, Weijun, et al., "Design and analysis of block-level snapshots for data protection and recovery," IEEE Transactions on Computers, Vol.58, Issue 12, pp.1615-1625. 2009.

상세보기
P. Bellavista and Z. Alessandro, "Feasibility of Fog Computing Deployment based on Docker Containerization over RaspberryPi," Proceedings of the 18th International Conference on Distributed Computing and Networking, ACM, 2017.
T. Inagaki, Y. Ueda, and M. Ohara, "Container management as emerging workload for operating systems," Workload Characterization (IISWC), 2016 IEEE International Symposium on. IEEE, 2016.
Dawidek Pawel Jakub and Marshall Kirk McKusick. "Porting the Solaris ZFS file system to the FreeBSD operating system," ;login:: The Magazine of USENIX & SAGE, Vol.32, No.3, pp.19-24, 2007.
Abadi, Martin, et al., "Tensorflow: Large-scale machine learning on heterogeneous distributed systems," arXiv preprint arXiv:1603.04467, 2016.
박중오 and 최도현, "클라우드 서비스 기술동향: 구글 머신러닝을 중심으로," 정보처리학회지, Vol.23, No.2, pp.4-12, 2016.

원문보기 상세보기
Scikit-learn Documentation [Internet], http://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.normalize.html, 2017. 07. 01, version 0.18.2.
Xu, Qiumin, et al., "Performance analysis of containerized applications on local and remote storage," Proc. of MSST, 2017.
J. Eder, "Comprehensive Overview of Storage Scalability in Docker," https://developers.redhat.com/blog/2014/09/30/overview-storage-scalability-docker/.
Bonwick, Jeff, et al., "The zettabyte file system," Proc. of the 2nd Usenix Conference on File and Storage Technologies, Vol.215, 2003.
X. Wu, W. Wang, and S. Jiang, "TotalCOW: Unleash the power of copy-on-write for thin-provisioned containers," Proceedings of the 6th Asia-Pacific Workshop on Systems, ACM, 2015.
Dua, Rajdeep, et al., "Performance analysis of Union and CoW File Systems with Docker," Computing, Analytics and Security Trends (CAST), International Conference on. IEEE, 2016.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증