[논문]모바일 딥러닝을 위한 신경망 성능 평가에 관한 연구

신익희; 박준용; 문용혁; 이용주

문제 정의

본 연구에서는 기존에 제안된 다양한 모바일에 적합한 신경망의 성능 평가를 통해, 그 특징을 알아보고 실제 적용 가능한 프레임워크를 제안한다. 제안하는 프레임워크는 크게 GPU 를 가진 클라우드에서 기존 신경망을 압축하여, 모바일 및 임베디드 장치에 적용 가능한 간소화 신경망을 생성하고, 모바일 추론을 위해 배포 및 계속적인 피드백을 통해 선순환되는 구조를 제안한다.
하지만, 모바일 디바이스나 IoT 환경과 같이 컴퓨팅 능력이 제한적인 기기에서의 신경망을 적용하는 연구 또한 활발히 진행되고 있다. 이러한 모바일 딥러닝은 신경망의 연산을 비교적 적게 하여, 에너지 소모가 적게 하는데 그 목적이 있으며, 본 연구에서는 임베디드 장치와 모바일 폰에서의 기존 신경망 연구를 비교 분석하며, 앞으로 경량 신경망 연구에 대한 다양한 알고리즘 경량화 기법에 대한 연구를 설계한다.

제안 방법

기존의 모바일 추론 시간 이외에 현재 제공되는 CUDA 를 활용한 추론 시간도 비교하였다. 일반적인 추론 시간(Vanilla)과 NVIDIA 에서 제공되는 딥러닝 CUDA 패키지인 CUDNN 을 포함한 경우(FP32:floating point 32-bit, single-precision)와 16 비트 연산을 가능하게 하는 CUDNN_HALF 기능을 포함한 경우(FP16:floating point 16-bit.
다음으로, (그림 3)과 같이 안드로이드 기기에서 대표적인 모바일 추론을 수행하는 모바일 넷에서의 추론 시간을 비교하였다. 삼성 갤럭시 S9 모델과 구글 픽셀 2 모델에서의 추론 시간을 비교한 결과, 구글 픽셀 2의 부동소수점 연산(32 비트)의 경우, 다른 실험 결과에 비해 비교적 긴 추론 시간을 나타낸다.
다음으로, 임베디드 장치인 NVIDIA Jetson TX2 에서 기존 신경망들의 성능을 측정하였다. (그림 5)는 기존 신경망 들의 모델 크기를 비교하였다.
본 논문에서는 현재 모바일 환경에서 수행 가능한 딥러닝 모델들에 대해 안드로이드/iOS 에서의 추론 시간 성능 평가, 양자화와 같은 모델 압축 기법을 적용한 추론 시간 비교, 임베디드 환경에서의 신경망 추론 시간, 다양한 CUDA 환경에서의 성능 향상을 비교 분석하였다. 이를 통해 모바일/임베디드 환경에서의 추론은 모델 구조 합성곱 필터 변경을 효율적으로 수행한 모델 형태로 발전하고 있으며, 모바일 GPU, 임베디드 기기의 다양한 가속화 유닛을 통해 점점 보다 복잡한 추론이 가능할 것으로 예상한다.
성능 평가는 크게 모바일 기기의 운영체제 별로 제공되는 모델의 추론 시간(inference time)을 측정하였다.
기존의 모바일 추론 시간 이외에 현재 제공되는 CUDA 를 활용한 추론 시간도 비교하였다. 일반적인 추론 시간(Vanilla)과 NVIDIA 에서 제공되는 딥러닝 CUDA 패키지인 CUDNN 을 포함한 경우(FP32:floating point 32-bit, single-precision)와 16 비트 연산을 가능하게 하는 CUDNN_HALF 기능을 포함한 경우(FP16:floating point 16-bit. half-precision)의 3가지 경우를 측정하였다. CUDNN+CUDNN_HALF 의 경우가 월등한 성능상의 이점을 보였다.
본 연구에서는 기존에 제안된 다양한 모바일에 적합한 신경망의 성능 평가를 통해, 그 특징을 알아보고 실제 적용 가능한 프레임워크를 제안한다. 제안하는 프레임워크는 크게 GPU 를 가진 클라우드에서 기존 신경망을 압축하여, 모바일 및 임베디드 장치에 적용 가능한 간소화 신경망을 생성하고, 모바일 추론을 위해 배포 및 계속적인 피드백을 통해 선순환되는 구조를 제안한다.

대상 데이터

모델 추론 시간의 측정은 이미지넷의 데이터를 통해 사전 훈련된 모델을 통해 5 만번의 추론 시간 측정의 평균값이며, 알렉스넷과 VGG16 를 제외하고 비교적 짧은 추론 시간을 가진다.

성능/효과

주목할 점은 동일한 모바일 넷의 경우에도 기존 부동소수점수를 사용한 모델이 양자화를 거친 모델 보다 약간의 성능상의 이점을 보인다는 점이다. iOS 운영체제에서는 모바일 넷과 스퀴즈넷이 가장 우수한 성능을 보이며, 비교적 이전 모델인 VGG16 과 인셉션이 느린 성능을 보였다. 동일한 연산을 수행하는 동일 모델에서도 안드로이드 운영체제와 iOS 의 운영체제에서 서로 상이한 결과를 나타내는 경우가 있으며 스퀴즈넷이 대표적이다.
성능 측정 결과를 요약하면, 모바일 기기에서의 성능은 기존의 알렉스넷이나 VGG16 과 같은 전통적인 신경망 보다는 합성곱 필터 변경을 통해 단순화하는 기법인 모바일넷, 스퀴즈넷과 같은 형태가 우수하며, 모델 압축 기법은 양자화 기법의 비교적 성능에 큰 영향을 미치지 못하고 있다. 다만 모바일 GPU 를 활용하여, 기존 신경망의 가속화가 가능하게 된다.
CUDNN+CUDNN_HALF 의 경우가 월등한 성능상의 이점을 보였다. 이러한 성능을 상대적으로 비교하면 Vanilla 의 경우를 1 로 보면 CUDNN 은 최대 125 배, CUDNN+CUDNN_HALF 은 590 배의 성능이 우수하며, CUDNN 과 CUDNN_HALF 는 4배의 성능이 우수함을 보였다.

후속연구

하지만, 모바일 기기에서의 훈련은 비교적 쉽지 않은 상황이므로, 클라우드에 기반한 딥러닝 모델 훈련 및 다양한 알고리즘을 경량화를 통해 모바일/임베디드 기기에서 추론이 가능한 형태로 진행될 것으로 예상된다. 모바일 추론에서는 클라우드에서 경량화된 딥러닝 모델을 받아서, 단순한 추론을 수행하는 형태이지만, 모바일 GPU 또는 임베디드 기기의 다양한 코어를 탑재한 기기에 출시됨에 따라 좀더 복잡한 추론이 가능 할 것으로 보인다. (그림 8)과 같이, 모바일 추론을 효율적으로 관리 수행하기 위해서는 클라우드 기반의 관리가 이루어져야 하며, 클라우드에서는 훈련 데이터 관리, 기본 신경망 제작 및 모바일/임베디드 기기에 적합한 모델 선정 및 변경/배포 기능을 내재 되어야 한다.
본 논문에서는 현재 모바일 환경에서 수행 가능한 딥러닝 모델들에 대해 안드로이드/iOS 에서의 추론 시간 성능 평가, 양자화와 같은 모델 압축 기법을 적용한 추론 시간 비교, 임베디드 환경에서의 신경망 추론 시간, 다양한 CUDA 환경에서의 성능 향상을 비교 분석하였다. 이를 통해 모바일/임베디드 환경에서의 추론은 모델 구조 합성곱 필터 변경을 효율적으로 수행한 모델 형태로 발전하고 있으며, 모바일 GPU, 임베디드 기기의 다양한 가속화 유닛을 통해 점점 보다 복잡한 추론이 가능할 것으로 예상한다. 향후에는, 엣지 컴퓨팅과 같은 다양한 엣지 디바이스에 적용 가능한 효율적인 신경망에 대한 연구를 진행 중에 있으며, 클라우드와 엣지를 통한 협업 분석에 대한 추후 연구도 진행할 예정이다.
현재까지, 모바일 딥러닝을 경량 신경망 모델인 모바일넷 등을 통해, 간단한 객체 인식 수준에 그치고 있지만, 앞으로 다양한 응용 분야에서 모바일 딥러닝이 가능할 것으로 보인다. 하지만, 모바일 기기에서의 훈련은 비교적 쉽지 않은 상황이므로, 클라우드에 기반한 딥러닝 모델 훈련 및 다양한 알고리즘을 경량화를 통해 모바일/임베디드 기기에서 추론이 가능한 형태로 진행될 것으로 예상된다. 모바일 추론에서는 클라우드에서 경량화된 딥러닝 모델을 받아서, 단순한 추론을 수행하는 형태이지만, 모바일 GPU 또는 임베디드 기기의 다양한 코어를 탑재한 기기에 출시됨에 따라 좀더 복잡한 추론이 가능 할 것으로 보인다.
이를 통해 모바일/임베디드 환경에서의 추론은 모델 구조 합성곱 필터 변경을 효율적으로 수행한 모델 형태로 발전하고 있으며, 모바일 GPU, 임베디드 기기의 다양한 가속화 유닛을 통해 점점 보다 복잡한 추론이 가능할 것으로 예상한다. 향후에는, 엣지 컴퓨팅과 같은 다양한 엣지 디바이스에 적용 가능한 효율적인 신경망에 대한 연구를 진행 중에 있으며, 클라우드와 엣지를 통한 협업 분석에 대한 추후 연구도 진행할 예정이다.
현재까지, 모바일 딥러닝을 경량 신경망 모델인 모바일넷 등을 통해, 간단한 객체 인식 수준에 그치고 있지만, 앞으로 다양한 응용 분야에서 모바일 딥러닝이 가능할 것으로 보인다. 하지만, 모바일 기기에서의 훈련은 비교적 쉽지 않은 상황이므로, 클라우드에 기반한 딥러닝 모델 훈련 및 다양한 알고리즘을 경량화를 통해 모바일/임베디드 기기에서 추론이 가능한 형태로 진행될 것으로 예상된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

모바일 딥러닝을 위한 신경망 성능 평가에 관한 연구
A Performance Study on Lightweight Neural Network for Mobile Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

모바일 딥러닝을 위한 신경망 성능 평가에 관한 연구 A Performance Study on Lightweight Neural Network for Mobile Deep Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

모바일 딥러닝을 위한 신경망 성능 평가에 관한 연구
A Performance Study on Lightweight Neural Network for Mobile Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper