[논문]AWS Lambda Serverless Computing 기술을 활용한 효율적인 딥러닝 기반 이미지 인식 서비스 시스템

이현철; 이성민; 김강석

doi:10.3745/ktsde.2020.9.6.177

AWS Lambda Serverless Computing 기술을 활용한 효율적인 딥러닝 기반 이미지 인식 서비스 시스템
An Efficient Deep Learning Based Image Recognition Service System Using AWS Lambda Serverless Computing Technology 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.9 no.6, 2020년, pp.177 - 186

이현철 ((주)한화시스템) , 이성민 (QURAM 연구소) , 김강석 (아주대학교 사이버보안학과)

초록
AI-Helper

최근 딥러닝(Deep Learning) 기술의 발전에 따라 컴퓨터 비전(Computer Vision) 분야의 이미지 인식 성능이 향상되고 있으며, 또한 Serverless Computing이 이벤트 기반의 클라우드 애플리케이션 개발 및 서비스를 위한 차세대 클라우드 컴퓨팅 기술로 각광받고 있어 딥러닝과 Serverless Computing 기술을 접목하여 실생활에 이미지 인식 서비스를 사용하고자 하는 시도가 증가하고 있다. 따라서 본 논문에서는 Serverless Computing 기술을 활용하여 효율적인 딥러닝 기반 이미지 인식 서비스 시스템 개발 방법을 기술한다. 제안하는 시스템은 Serverless Computing 기반 AWS Lambda Server를 이용하여 적은 비용으로 대형 신경망 모델을 사용자에게 서비스할 수 있는 방법을 제안한다. 또한 AWS Lambda Server의 단점인 Cold Start Time 문제와 용량제한 문제를 해결하여 효과적으로 대형 신경망 모델을 사용하는 Serverless Computing 시스템을 구축할 수 있음을 보인다. 실험을 통해 AWS Lambda Serverless Computing 기술을 활용하여 본 논문에서 제안한 시스템이 비용 절감뿐만 아니라 처리 시간 및 용량제한 문제를 해결하여 대형 신경망 모델을 서비스하기에 효율적인 성능을 보임을 확인하였다.

Abstract ▼ AI-Helper

Recent advances in deep learning technology have improved image recognition performance in the field of computer vision, and serverless computing is emerging as the next generation cloud computing technology for event-based cloud application development and services. Attempts to use deep learning and serverless computing technology to increase the number of real-world image recognition services are increasing. Therefore, this paper describes how to develop an efficient deep learning based image recognition service system using serverless computing technology. The proposed system suggests a method that can serve large neural network model to users at low cost by using AWS Lambda Server based on serverless computing. We also show that we can effectively build a serverless computing system that uses a large neural network model by addressing the shortcomings of AWS Lambda Server, cold start time and capacity limitation. Through experiments, we confirmed that the proposed system, using AWS Lambda Serverless Computing technology, is efficient for servicing large neural network models by solving processing time and capacity limitations as well as cost reduction.

주제어

표/그림 (22)

그림 Fig. 1. Evolution of Image Recognition Service System
표 Table 1. ResNet Models Performance
그림 Fig. 2. Process of Deep Learning
그림 Fig. 3. Model Recognition Performance
그림 Fig. 4. Creating Process of Lambda Instance [13]
그림 Fig. 5. Proposed Overall System Architecture
그림 Fig. 6 An Example of Classification API
표 Table 2. JSON Parameter Format for Request
표 Table 3. An Example of Classification Response
표 Table 4. An Example of Classification Request
그림 Fig. 7 An Example of Wakeup API
표 Table 5. Wakeup JSON Parameter Format
표 Table 6. AWS Lambda Pricing [6,18]
그림 Fig. 8. Processing Costs for One Day Request (AWS EC2 Server vs. AWS Lambda Server)
그림 Fig. 9. Processing Costs for Concurrent Connections (AWS EC2 Server vs. AWS Lambda Server)
그림 Fig. 10. Lambda Function Run Time
표 Table 7. Development Language and Library
표 Table 8. Mobile Experimental Environment (Galaxy note8)
표 Table 9. Lambda Server Experimental Environment
그림 Fig. 11. Total System Run Time
그림 Fig. 12. Concurrency Connection Test
그림 Fig. 13. Comparison by Memory Size for Lambda Server

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

EC2 Server의 경우 시간 단위로 리소스를 대여해야 하는 반면, Lambda Server는 이벤트 요청에 따라서 사용될 수 있으며 또한 Lambda Server는 EC2 Server 와 같이 인프라 설계를 고려할 필요가 없다. 또한 장애에 대한 고려가 필요 없고 요청량 증가에 따른 확장을 자동으로 처리해 준다. 따라서 Lambda Server를 사용함으로써 관리에 부담을 최소화할 수 있었다.
본 논문에서 제안하는 AWS Lambda Server를 활용한 딥러닝 기반 이미지 인식 서비스 시스템의 전체적인 아키텍처를 간략히 기술하며, AWS Lambda Server를 사용 시 발생할 수 있는 Cold Start Time 과 용량제한 문제를 해결하기 위한 방법을 기술한다.
본 논문에서는 동시에 많은 사용자가 접속할 경우에 Lambda Server의 인스턴스 확장이 자동으로 잘 이루어지는지 확인하였다. Fig.
본 논문에서는 모델의 성능을 측정하기 위해 3가지 종류의 모델을 만들어 비교하였다. Fig.
본 논문에서는 클라우드 환경에서 딥러닝 기반 이미지 인식 서비스 시스템 개발을 위해 Amazon에서 개발한 Serverless Computing Lambda Server를 활용함으로써 일반적으로 사용되는 Amazon EC2 Server에 비해 적은 비용으로 대형 신경망 모델을 모바일 사용자에게 효율적으로 서비스할 수 있는 방법을 제안하였다. EC2 Server의 경우 시간 단위로 리소스를 대여해야 하는 반면, Lambda Server는 이벤트 요청에 따라서 사용될 수 있으며 또한 Lambda Server는 EC2 Server 와 같이 인프라 설계를 고려할 필요가 없다.
본 논문은 Serverless Computing 플랫폼을 이용하여 대형 신경망 추론에 활용할 수 있음을 보여주고 저렴한 비용으로 사용자에게 최적의 서비스를 제공할 수 있음을 보여주는 것이다. 실험은 비용 부분과 처리 속도 부분으로 나누어서 진행하였다.
그 결과 Cold Start Time의 경우 메모리 크기에 따라 처리 시간은 감소하지만 Warm Start Time 은 Cold Start Time과 유사한 패턴을 보이지는 않았다. 본논문에서는 메모리 크기는 Cold Start Time에 대해서만 테스트를 진행하여 동시 접속의 양을 늘려가면서 메모리의 최적화된 값을 찾기 위한 실험을 하였다. 용량제한의 경우 Lambda direct upload 시간이 50MB로 제한되어 있기 때문에 본 논문에서 사용된 모델과 환경 설치 파일들을 업로드 하기에는 부족하다[17].

가설 설정

2) EC2 Server와 Lambda Server 처리 비용 비교 처리 비용 비교 시 Lambda Server는 메모리를 768MB 사용하고 하나의 요청을 처리하는데 500ms가 소요된다고 가정하였다. AWS Lambda는 필요시에만 코드를 실행하며, 하루에 몇 개의 요청에서 초당 수천 개의 요청까지 자동으로 확장이 가능하다.
유사하지 않을 경우 사전에 학습된 모델을 그대로 사용할 수는 없으며 추가로 데이터를 수집하여 재학습을 수행해야 한다. 본 논문에서는 사전에 학습된 ImageNet 데이터와 서비스하고자 하는 데이터가 다르다고 가정하여 재학습을 수행하였다. 이때 재학습을 하는 방법은 두 가지가 있다.
11은 제안하는 시스템의 단계별 수행 시간을 나타낸 다. 업로드나 다운로드의 경우 인터넷 망에 따라 성능이 달라질수 있지만 LTE 망으로 가정하고 평가하였다. 측정 결과 최초 실행 시 발생하는 Cold Start Time과 Lambda Initialization (Model Initialization) 시간을 제외 할 경우 1초 이내의 시간으로 대형 신경망 서비스를 제공할 수 있다는 것을 확인하였다.

제안 방법

1) 실험 환경본 연구에서는 성능 측정을 위해 Table 7, Table 8, Table 9에 각각 기술된 개발 언어/라이브러리, 모바일 실험 환경, Lambda Server 실험 환경에서 테스트를 진행하였다.
Serverless Computing 환경을 위해 AWS(Amazon Web Service)[4]에서 제공하는 Lambda Server[5]를 사용하며, 학습된 모델을 Lambda Server에서 실행 시 발생할 수 있는 비용 및 처리 속도에 대한 효율성을 평가할 것이다. 이때 효율성은 여러 사용자가 동시 접속 할 경우와 요청에 대한 응답까지의 처리 시간으로 평가할 것이다.
7은 Wakeup API의 사용 예를 보여준다. Wakeup API에서 sleep_time을 주는 이유는 많은 양의 Wakeup을한 번에 요청할 경우 안정성이 떨어지는 이유 때문에 400ms 의 sleep time을 주고 사용하였다. 이렇게 사용할 경우 안정 적으로 Wakeup API의 역할을 하는 것으로 확인하였다.
인스턴스가 제거되면 인스턴스를 다시 생성하는 과정이 필요한데 이때 발생하는 Cold Start Time은 사용자에게 서비스를 제공하는데 문제를 야기할 수있다. 때문에 Lambda 인스턴스를 유지할 수 있도록 신호를 주는 Rest API를 정기적으로 호출하는 루틴을 구현하였다.
용량제한의 경우 Lambda direct upload 시간이 50MB로 제한되어 있기 때문에 본 논문에서 사용된 모델과 환경 설치 파일들을 업로드 하기에는 부족하다[17]. 때문에 간단한 설치 파일의 경우 including layers에 포함시켜 설치하는 방식으로 진행하였고 모델이나 용량이 큰 설치 파일은 AWS S3 Storage Server에 업로드한 후 Lambda 인스턴스에서 불러오는 방식으로 사용하였다. 또한 신경망 서비스에서는 촬영된 데이터가 중요한 정보로 사용되기 때문에 사용자들의 데이터 또한 관리되어야 한다.
본 논문에서는 적은 비용으로 딥러닝 기반 이미지 인식 서비스를 사용자에게 제공하기 위하여 Serverless Computing 기술을 활용한 AWS Lambda Server를 사용하였다. 또한 AWS Lambda Server 를 활용하여 사전에 학습된 신경망을 사용하여 실시간 이미지 인식 서비스 시스템을 구축 시 발생할 수 있는 용량제한 문제와 Cold Start Time 문제를 해결하여 클라우드 서비스를 이용한 대규모 신경망 실시간 서비스 시스템 개발 방법을 제안한다.
그러나 외부 툴을 사용하기 위해서는 별도의 서버가 필요한 문제가 있다. 본 논문에서는 외부 툴을 사용하여 다수의 Wakeup API를 요청하기 위하여 WAS Component를 활용하였다. WAS Component가 시스 템의 모듈들을 제어하고 JMeter를 사용하여 Lambda Server 에 이벤트를 발생시켜 Lambda Instance를 활성화 상태로 계속 유지시켜주는 역할을 한다.
추론은 학습 데이터가 필요 없고 GPU를 사용하지 않아도 서비스가 가능하기 때문이다. 본 논문에서는 이미 학습된 신경망을 사용하여 이미지 인식 서비스 시스템을 구축한다. 이때 서버의 관리 및 비용을 줄이기 위해 Serverless Computing 기술을 사용하고 Serverless Computing이 가지고 있는 문제점을 해결하여 효과적인 신경망 서비스를 구축하는 방법을 제시한다.
대형신경망 모델을 훈련시키기 위해서는 상당한 시간이 소요되며, 신경망의 여러 특성 변수에 적합한 가중치 매개변수를 찾기 위해서는 많은 양의 훈련 데이터와 고성능 하드웨어 장비가 필요하다. 본 논문에서는 이미지 분류에서 가장 많이 사용되는 ResNet50[8] 모델을 사용하였으며, 50개 층(50 layers)의 가중치를 저장하고 있는 신경망을 Serverless Computing 기술 기반 클라우드 서버에 사용할 수 있도록 제안한 시스템에 적용하였다. Table 1은 ImageNet[9] 데이 터셋으로 미리 학습한 ResNet Model들의 정확도를 측정한 결과이다.
1) User Application Component User Application은 서비스를 요청하는 역할을 하며 다양한 디바이스에서 동시에 수행될 수 있다. 본 논문에서는 이미지 인식 신경망을 사용하기 때문에 스마트폰의 Camera API를 사용하여 이미지를 획득하고 그 이미지를 WAS (Web Application Server)로 전송하여, 서비스를 제공받는 역할을 한다.
본 논문에서는 인스턴스를 유지하기 위해 Rest API를 주기적으로 호출하는 방식을 사용하였다. 그러나 유지되고 있는 인스턴스의 수 보다 많은 요청이 동시에 발생할 경우 같은 문제를 야기하였다.
본 논문에서는 제품 이미지 인식 솔루션과 웹 서비스를 연동시키기 위해 Rest API를 정의하여 인식 서비스를 요청하는데 활용하였다. Rest API의 종류는 “classification”과 “wakeup”으로 구성되며, Table 4는 WAS에서 Lambda Server로 이미지 인식 서비스를 요청하는 Post Method의 한 예이며 “domain/ APIName”형태로 사용한다.
13은 Lambda Server의 메모리 별 처리 속도를 측정한 그래프이다. 속도 측정 시 메모리 사양에 따른 동시접속 성능도 평가하였다. 이 측정은 5개의 인스턴스를 활성화한 상태로 동시 접속 분류마다 10번의 반복 테스트를 진행하였다.
본 논문은 Serverless Computing 플랫폼을 이용하여 대형 신경망 추론에 활용할 수 있음을 보여주고 저렴한 비용으로 사용자에게 최적의 서비스를 제공할 수 있음을 보여주는 것이다. 실험은 비용 부분과 처리 속도 부분으로 나누어서 진행하였다.
속도 측정 시 메모리 사양에 따른 동시접속 성능도 평가하였다. 이 측정은 5개의 인스턴스를 활성화한 상태로 동시 접속 분류마다 10번의 반복 테스트를 진행하였다. Lambda Server는 기본 설정에서 메모리를 128MB부터 3008MB까지 조절할 수가 있다.
이 테스트는 동시에 5명 이하에서 서비스할 수 있도록 5개의 인스턴스를 활성화한 상태이며 동시접속 분류마다 10번의 반복 테스트를 진행하였다. 결국 많은 양의 동시 접속자가 발생해도 서버가 과부하 되거나 오류가 발생하지 않는다는 것을 확인하였으며 일정한 비율로 동시접속량이 증가한 만큼 시간도 증가하는 것을 확인할 수 있다.
본 논문에서는 이미 학습된 신경망을 사용하여 이미지 인식 서비스 시스템을 구축한다. 이때 서버의 관리 및 비용을 줄이기 위해 Serverless Computing 기술을 사용하고 Serverless Computing이 가지고 있는 문제점을 해결하여 효과적인 신경망 서비스를 구축하는 방법을 제시한다.
3차는 ResNet50 모델을 사용하고 수집된 데이터에 Augmentation 기법을 적용하여 데이터를 증가시킨 후 테스트한 결과이다. 일반적으로 알려진 기법을 사용할수록 성능이 올라가는 것을 확인하였으며 본 논문에서는 이와 같은 기법들을 사용하였다.
Lambda Server 인스턴스 개수만큼 서비스를 동시접속 사용 시 Cold Start Time을 피할 수 있다. 제안하는 시스템 에서는 동시에 5명 이하 서비스를 사용할 수 있도록 5개의 인스턴스를 활성화하였다. 최초로 인스턴스를 생성할 때는 약 10초의 시간이 걸리지만 이후 Cold Start Time을 피하여 100ms 내의 시간만 걸린다.
또한 신경망 서비스에서는 촬영된 데이터가 중요한 정보로 사용되기 때문에 사용자들의 데이터 또한 관리되어야 한다. 제안하는 시스템에서는 AWS S3 Storage Server Component를 활용하여 설치 패키지 및 학습 모델을 Storage Server에 미리 업로드 한 후 Lambda 인스턴스가 만들어 질 때 불러오는 방식으로 사용한다. 또한 사용자가 사용한 이미지 데이터의 경우 Storage Server에 저장하여 보관하고 Lambda Server가 필요 할 때 Storage Server로 부터 이미지를 다운로드 받아 Lambda Function을 수행한후 인식결과를 반환한다.
이때 재학습을 하는 방법은 두 가지가 있다. 첫 번째는 사전에 학습된 모델의 마지막 Layer에 Fully Connected Layer(완전 연결 계층)를 추가하여 마지막 Layer만 재학습을 진행하는 것이다. 이 방법은 새로 수집한 데이터의 양이 적거나 사전에 학습한 데이터와 수집한 데이터가 유사할 경우에 사용할 수 있다.

대상 데이터

3은 3가지 측정 결과를 나타낸다. 학습에 사용된 데이터는 인터넷에서 수집한 특정 제품 이미지 이며 30 제품을 분류하기 위해 제품 당 100장 내외로 수집하였다. 1차는 직접 합성곱 신경망(CNN: Convolution Neural Network)을 생성한 모델로 테스트를 하였고 2차는 사전에 학습된 ResNet50 모델로 테스트를 진행한 결과 이다.

이론/모형

또한 AWS Lambda Server가 생성될 때필요한 데이터들을 저장한다. WAS와 S3의 연동을 위해 아마 존에서 제공하는 Eclipse AWS Toolkit을 사용하였다.
그러나 유지되고 있는 인스턴스의 수 보다 많은 요청이 동시에 발생할 경우 같은 문제를 야기하였다. 따라서 JMeter[15]라는 웹 성능 테스트 툴을 이용하여 동시에 다수의 Lambda 인스턴스에 신호를 주는 방식을 사용하였다. 그 외의 방법인 AWS에서 제공하는 CloudWatch Events나 Kinesis를 통해서도 주기적으로 신호를 줄 수 있지만 다수의 인스턴스에 신호를 주지 못하여 Cold Start Time을 제거할 수는 없었다.
이때 인스턴스를 재사용 할 경우 지연되는 시간을 Warm Start Time이라고 한다[6]. 본 논문에서는 적은 비용으로 딥러닝 기반 이미지 인식 서비스를 사용자에게 제공하기 위하여 Serverless Computing 기술을 활용한 AWS Lambda Server를 사용하였다. 또한 AWS Lambda Server 를 활용하여 사전에 학습된 신경망을 사용하여 실시간 이미지 인식 서비스 시스템을 구축 시 발생할 수 있는 용량제한 문제와 Cold Start Time 문제를 해결하여 클라우드 서비스를 이용한 대규모 신경망 실시간 서비스 시스템 개발 방법을 제안한다.
WAS Component가 시스 템의 모듈들을 제어하고 JMeter를 사용하여 Lambda Server 에 이벤트를 발생시켜 Lambda Instance를 활성화 상태로 계속 유지시켜주는 역할을 한다. 시스템에서는 이렇게 지속 적으로 일정 시간마다 Lambda Server에 신호를 보내는 Wakeup API를 생성하며 요청 및 응답 방법은 POST 방식과 JSON 구조를 사용한다. Table 5는 JSON 구조를 나타낸 다.
이러한 학습 방법을 Fine Tuning[10] 기법이라고 부르며 일반적으로 사전에 학습된 모델을 사용할때 많이 사용되는 방법이다. 추가로 수집된 데이터의 양이 적을 경우 데이터의 양을 늘리기 위해 Augmentation[11]이라는 기법을 사용한다. Augmentation은 수집된 데이터에 크기나 회전, 조명 변화를 주어 데이터의 양을 늘리는 기법을 말한다.

성능/효과

1) AWS Lambda Server의 메모리 크기 별 처리 비용 Lambda Server는 메모리의 크기를 선택하기에 따라서 처리되는 비용이 다르다. Table 6은 AWS Lambda의 메모리 크기 별 사용 가격[6, 18]을 나타내며 제안하는 시스템에서 사용하는 768MB의 사양을 선택하여 사용 시 100ms 당 $0.
1) User Application Component User Application은 서비스를 요청하는 역할을 하며 다양한 디바이스에서 동시에 수행될 수 있다. 본 논문에서는 이미지 인식 신경망을 사용하기 때문에 스마트폰의 Camera API를 사용하여 이미지를 획득하고 그 이미지를 WAS (Web Application Server)로 전송하여, 서비스를 제공받는 역할을 한다.
2) Lambda Server의 단계별 처리 속도 Fig. 10은 Lambda Server에서 수행되는 단계 별 처리 속도를 측정한 결과이다. 최초 수행 시 Cold Start Time으로 인해 10460ms 정도가 소요되지만(왼쪽 그림) 두 번째 수행부터는 460ms로 빠르게 수행되는 것을 확인할 수 있다(오른쪽 그림).
3) Amazon S3 Storage Server Component S3는 사용자가 요청한 데이터들을 저장하며 필요할 때 사용할 수 있게 한다. 또한 AWS Lambda Server가 생성될 때필요한 데이터들을 저장한다.
4) AWS Lambda Classification Server Component 대형 신경망 모델을 수행 할 수 있는 환경을 갖추고 있으며, 요청 사항을 해결하여 WAS에 반환해 준다. AWS Lambda Classification Server는 제안하는 시스템 환경에서 딥러닝 기반 이미지 인식 서비스를 위해 핵심적인 역할을 하는 엔진을 포함하고 있다.
AWS Lambda Test Function을 이용하여 측정한 결과, 본 논문에서 Lambda Server가 사용하는 최대 메모리 크기는 422MB이다. 488MB에서 3998MB 사이의 메모리를 비교 한 결과 최대 3008MB와 1536MB 사양은 미세한 차이를 보여준 반면 768MB 사양 아래로 내려갈 경우 급격하게 성능이 떨어지는 것을 확인할 수 있었다. 결국 Lambda Server는 기본적으로 768MB 사양 아래로 내려갈 경우 성능이 급격하게 떨어진다고 볼 수 있다.
Lambda Server는 기본 설정에서 메모리를 128MB부터 3008MB까지 조절할 수가 있다. AWS Lambda Test Function을 이용하여 측정한 결과, 본 논문에서 Lambda Server가 사용하는 최대 메모리 크기는 422MB이다. 488MB에서 3998MB 사이의 메모리를 비교 한 결과 최대 3008MB와 1536MB 사양은 미세한 차이를 보여준 반면 768MB 사양 아래로 내려갈 경우 급격하게 성능이 떨어지는 것을 확인할 수 있었다.
초기화 수행에 따른 지연시간은 사용자에게 신경망 서비스를 제공하기에 부적합한 환경 요소가 될 수 있다. Cold Start Time은 사용되는 언어및 라이브러리에 따라 다를 수 있지만 본 논문에서 제안하는 환경에서는 8초 정도 소요되는 것을 확인하였다. 이벤트가 발생할 때마다 Cold Start Time이 발생하는 문제를 줄이기 위해서는 서비스를 제공하는 동안 Lambda Server가 유지될 수 있도록 처리하는 기법이 필요하다.
이 테스트는 동시에 5명 이하에서 서비스할 수 있도록 5개의 인스턴스를 활성화한 상태이며 동시접속 분류마다 10번의 반복 테스트를 진행하였다. 결국 많은 양의 동시 접속자가 발생해도 서버가 과부하 되거나 오류가 발생하지 않는다는 것을 확인하였으며 일정한 비율로 동시접속량이 증가한 만큼 시간도 증가하는 것을 확인할 수 있다. 또한 Lambda Server에서 동시성 제한을 1000회로 설정하고 있지만 1000회 이상의 동시 접속이 발생하여도 응답시간에 영향을 미치지 않는 것으로 확인하였다.
또한 Lambda Server에서 동시성 제한을 1000회로 설정하고 있지만 1000회 이상의 동시 접속이 발생하여도 응답시간에 영향을 미치지 않는 것으로 확인하였다. 결국 제안하는 시스템은 동시 접속자 수가 갑자기 증가하거나 감소한다고 해서 서비스에 큰 영향을 미치지 않음을 확인하였다.
기존 논문[6]에서는 Warm Start Time과 Cold Start Time이 메모리 크기에 따라 어떻게 변하는지 확인하였다. 그 결과 Cold Start Time의 경우 메모리 크기에 따라 처리 시간은 감소하지만 Warm Start Time 은 Cold Start Time과 유사한 패턴을 보이지는 않았다. 본논문에서는 메모리 크기는 Cold Start Time에 대해서만 테스트를 진행하여 동시 접속의 양을 늘려가면서 메모리의 최적화된 값을 찾기 위한 실험을 하였다.
또한 장애에 대한 고려가 필요 없고 요청량 증가에 따른 확장을 자동으로 처리해 준다. 따라서 Lambda Server를 사용함으로써 관리에 부담을 최소화할 수 있었다. 또한 Lambda Server를 사용하기 위해서 본 논문에서는 기존의 Lambda Server의 문제점인 Cold Start Time 문제와 용량제한 문제를 해결하기 위한 시스템 아키텍처를 제안하였고, 실험 결과 대형 신경망 서비스를 빠르고 저렴한 비용으로 서비스할 수 있음을 확인하였다.
따라서 Lambda Server를 사용함으로써 관리에 부담을 최소화할 수 있었다. 또한 Lambda Server를 사용하기 위해서 본 논문에서는 기존의 Lambda Server의 문제점인 Cold Start Time 문제와 용량제한 문제를 해결하기 위한 시스템 아키텍처를 제안하였고, 실험 결과 대형 신경망 서비스를 빠르고 저렴한 비용으로 서비스할 수 있음을 확인하였다.
결국 많은 양의 동시 접속자가 발생해도 서버가 과부하 되거나 오류가 발생하지 않는다는 것을 확인하였으며 일정한 비율로 동시접속량이 증가한 만큼 시간도 증가하는 것을 확인할 수 있다. 또한 Lambda Server에서 동시성 제한을 1000회로 설정하고 있지만 1000회 이상의 동시 접속이 발생하여도 응답시간에 영향을 미치지 않는 것으로 확인하였다. 결국 제안하는 시스템은 동시 접속자 수가 갑자기 증가하거나 감소한다고 해서 서비스에 큰 영향을 미치지 않음을 확인하였다.
하지만 가격 대비 최적의 성능을 내기 위해서는 1536MB 이상의 사양은 비용 측면에서 768MB보다 2배 이상 높다. 또한 동시접속자 수가 증가하면 높은 사양으로도 가격대비 성능을 얻기 어렵다는 것을 확인하였다.
Lambda Server는 특성상 일정시간이 지나면 인스턴스를 순차적으로 제거한다. 실험 결과 인스턴스가 다수 일 경우 5 분 후 순차적으로 제거되며 인스턴스가 하나일 경우 30분 후제거되는 것을 확인하였다. 인스턴스가 제거되면 인스턴스를 다시 생성하는 과정이 필요한데 이때 발생하는 Cold Start Time은 사용자에게 서비스를 제공하는데 문제를 야기할 수있다.
결국 Lambda Server는 기본적으로 768MB 사양 아래로 내려갈 경우 성능이 급격하게 떨어진다고 볼 수 있다. 실험결과 ResNet50을 이용한 신경망 서비스를 위해서는 768MB 이상의 메모리를 사용 해야 최적의 서비스를 제공할 수 있다는 것을 확인하였다. 하지만 가격 대비 최적의 성능을 내기 위해서는 1536MB 이상의 사양은 비용 측면에서 768MB보다 2배 이상 높다.
업로드나 다운로드의 경우 인터넷 망에 따라 성능이 달라질수 있지만 LTE 망으로 가정하고 평가하였다. 측정 결과 최초 실행 시 발생하는 Cold Start Time과 Lambda Initialization (Model Initialization) 시간을 제외 할 경우 1초 이내의 시간으로 대형 신경망 서비스를 제공할 수 있다는 것을 확인하였다. 측정 시 요청(request)과 응답(response) 시간은 배제 하였다.

후속연구

그러므로 Serverless Computing 환경을 효과적으로 활용한다면 적은 비용으로 딥러닝 기반 이미지 인식 서비스뿐만 아니라 이미지 검색, 문자 인식(Optical Character Recognition), 객체 탐지 등 다양한 딥러닝 기반의 서비스를 제공할 수 있을 것이다. 향후 Serverless Computing 시스템의 Cold Start Time 프로세스를 인스턴스의 재사용이 아닌 직접적으로 해결할 수 있는 방법이 개발된다면 Serverless Computing 플랫폼은 앞으로 다양한 시스템과 애플리케이션 및 실시간 딥러닝 서비스에 사용될 차세대 플랫폼 기술이 될 것이라 생각한다.
이때 효율성은 여러 사용자가 동시 접속 할 경우와 요청에 대한 응답까지의 처리 시간으로 평가할 것이다. 또한 Lambda Server 의 단점[6]인 용량제한(Capacity Limitation) 문제와 초기에 Lambda Server를 생성하는데 소요되는 Cold Start Time 문제를 해결하여 클라우드 환경에서 Serverless Computing 을 이용한 딥러닝 기반 이미지 인식 서비스를 효과적으로 제공할 수 있음을 보일 것이다. Fig.
그러므로 Serverless Computing 환경을 효과적으로 활용한다면 적은 비용으로 딥러닝 기반 이미지 인식 서비스뿐만 아니라 이미지 검색, 문자 인식(Optical Character Recognition), 객체 탐지 등 다양한 딥러닝 기반의 서비스를 제공할 수 있을 것이다. 향후 Serverless Computing 시스템의 Cold Start Time 프로세스를 인스턴스의 재사용이 아닌 직접적으로 해결할 수 있는 방법이 개발된다면 Serverless Computing 플랫폼은 앞으로 다양한 시스템과 애플리케이션 및 실시간 딥러닝 서비스에 사용될 차세대 플랫폼 기술이 될 것이라 생각한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	AWS Lambda Server의 단점은?	제안하는 시스템은 Serverless Computing 기반 AWS Lambda Server를 이용하여 적은 비용으로 대형 신경망 모델을 사용자에게 서비스할 수 있는 방법을 제안한다. 또한 AWS Lambda Server의 단점인 Cold Start Time 문제와 용량제한 문제를 해결하여 효과적으로 대형 신경망 모델을 사용하는 Serverless Computing 시스템을 구축할 수 있음을 보인다. 실험을 통해 AWS Lambda Serverless Computing 기술을 활용하여 본 논문에서 제안한 시스템이 비용 절감뿐만 아니라 처리 시간 및 용량제한 문제를 해결하여 대형 신경망 모델을 서비스하기에 효율적인 성능을 보임을 확인하였다.
	딥러닝(혹은 심층학습)은 어떤 분야인가?	딥러닝(혹은 심층학습)은 이미지 인식, 음성 인식 및 자연어 처리 같은 비정형적인 데이터 영역을 이해하고 추론하기 위한 기계 학습(Machine Learning)의 한 분야이다[7]. 대형신경망 모델을 훈련시키기 위해서는 상당한 시간이 소요되며, 신경망의 여러 특성 변수에 적합한 가중치 매개변수를 찾기 위해서는 많은 양의 훈련 데이터와 고성능 하드웨어 장비가 필요하다.
	본 논문에서는 Serverless Computing 기술을 활용하여 제안한 딥러닝 기반 이미지 인식 서비스 시스템은 구체적으로 어떠한 방법입니까?	따라서 본 논문에서는 Serverless Computing 기술을 활용하여 효율적인 딥러닝 기반 이미지 인식 서비스 시스템 개발 방법을 기술한다. 제안하는 시스템은 Serverless Computing 기반 AWS Lambda Server를 이용하여 적은 비용으로 대형 신경망 모델을 사용자에게 서비스할 수 있는 방법을 제안한다. 또한 AWS Lambda Server의 단점인 Cold Start Time 문제와 용량제한 문제를 해결하여 효과적으로 대형 신경망 모델을 사용하는 Serverless Computing 시스템을 구축할 수 있음을 보인다.

참고문헌 (18)

L. Feng, P. Kudva, D. D. Silva, and J. Hu, "Exploring serverless computing for neural network training," IEEE 11th International Conference on Cloud Computing (CLOUD), San Francisco, CA, USA, Jul. 2-7, 2018, DOI: 10.1109/CLOUD.2018.00049
G. C. Fox, V. Ishakian, V. Muthusamy, and A. Slominski, "Status of serverless computing and Function-as-a-service (FaaS) in industry and research," arXiv preprint arXiv:1708.08028, Aug. 2017, DOI: 10.13140/RG.2.2.15007.87206.
I. Baldini, P. Castro, K. Chang, P. Cheng, S. Fink, V. Ishakian, N. Mitchell, V. Muthusamy, R. Rabbah, A. Slominski et al., "Serverless computing: Current trends and open problems," Research Advances in Cloud Computing. Springer, Singapore, pp.1-20, Dec. 2017, DOI: 10.1007/978-981-10-5026-8_1.
AWS (Amazon Web Services) [Internet], https://aws.amazon.com/ko/.
Lambda Server [Internet], https://aws.amazon.com/ko/lambda/.
V. Ishakian, V. Muthusamy, and A. Slominski, "Serving deep learning models in a serverless platform," 2018 IEEE International Conference on Cloud Engineering (IC2E), Orlando, FL, USA, 17-20 April 2018, DOI: 10.1109/IC2E.2018.00052.
Y. LeCun, Y. Bengio, and G. Hinton, "Deep learning," Nature, Vol.521, No.7553, pp.436-444, May 2015, DOI:10.1038/nature14539.

상세보기
K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp.770-778, Jun. 2016, DOI: 10.1109/CVPR.2016.90.
J. Deng, W. Dong, R. Socher, L. Li, K. Li, and L. Fei-Fei, "ImageNet: A large-scale hierarchical image database," 2009 IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL, pp.248-255, 20-25 Jun. 2009, DOI: 10.1109/CVPR.2009.5206848.
W. Ge and Y. Yu, "Borrowing treasures from the wealthy: Deep transfer learning through selective joint fine-tuning," arXiv preprint, 2017, https://arxiv.org/abs/1702.08690.
H. Inoue, "Data augmentation by pairing samples for images classification," arXiv preprint, 2018, https://arxiv.org/abs/1801.02929.
R. Chard, K. Chard, J. Alt, D. Y. Parkinson, S. Tuecke, and I. Foster, "Ripple: Home automation for research data management," IEEE 37th International Conference on Distributed Computing Systems Workshops (ICDCSW), pp. 389-394, Jun. 2017.
M. Yan, P. Castro, P. Cheng, and V. Ishakian, "Building a chatbot with serverless computing," Proceedings of the 1st International Workshop on Mashups of Things and APIs, Trento, Italy, Dec. 12-16, pp.1-4, 2016, DOI: 10.1145/3007203.3007217.
Amazon API Gateway [Internet], https://aws.amazon.com/ko/api-gateway/.
Apache JMeter [Internet], https://jmeter.apache.org/.
PyTorch [Internet], https://pytorch.org/.
AWS Lambda Limits [Internet], https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/limits.html.
AWS Lambda Pricing, https://www.amazonaws.cn/en/lambda/pricing/.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증