[논문]Zero-copy 방식을 활용한 임베디드 환경에서의 딥러닝 성능 최적화

이민학; 강우철

문제 정의

GPGPU를 지원하는 다양한 임베디드 보드가 보급됨에 따라 산업에서도 임베디드 환경에서 GPGPU를 활용한 다양한 연구와 기술 개발이 진행되고 있으며 특히 딥러닝을 이용한 자율주행 차량 연구와 같은 분야에서 사용되고 있다. 본 논문은 임베디드 보드인 Jetson TK1 보드에 Caffe 개발 환경의 메모리 사용을 최적화하고 기존 대비 처리속도와 전력 효율 상승을 실제 측정을 통해 확인하였다. 그 결과 최적화 전과 비교하면 처리 속도는 10% 향상되었고, 전력 효율은 36% 개선되는 것을 확인하였다.

제안 방법

본 논문에서 사용한 방식은 기존 방식을 임베디드 환경의 통합 메모리방식에 적합하게 수정한 zero-copy 방식으로 호스트와 디바이스 사이에 복제가 아닌 맵핑 방식을 사용한다. 구체적으로 cudaHostAlloc 함수를 사용하여 맵핑 가능하도록 데이터 영역을 생성하고,cudaHostGetDevicePointer 함수로 CPU와 GPU 모두 사용 가능한 데이터 영역으로 설정하여 통합된 메모리 영역에 CPU와 GPU 모두 접근이 가능한 zero-copy방식을 적용하였다.
본 논문에서는 CPU에서 사용하는 호스트 메모리와 GPU에서 사용하는 디바이스 메모리를 공유하는 통합 메모리구조를 가진 임베디드 시스템 환경에서 Caffe 개발 환경을 통합 메모리 구조에 적합한 zero-copy 기법을 적용하여 최적화하고, GoogLeNet 네트워크로[2] 학습한 모델을 사용한 이미지 식별의 처리 속도와, 전력 소비량을 측정하여 개선 정도를 비교한다.
성능의 측정은 사전에 GoogLeNet 네트워크와 Imagenet의 90026장의 학습 이미지, 3550장의 검증 이미지로 학습된 모델을 사용하였고, 224×224pixel 크기의 동일한 이미지 식별을 수행하는데 걸린 수행 시간과, 소비 전력량을 측정하였다.
32GHz로 설정된 4개의 코어, GPU는 804MHz로 클락속도를 고정하였다. 세부적인 성능 측정은 사전 학습된 모델이 메모리에 읽어져 있는 상태에서 하나의 이미지를 판별하는데 걸린 시간을 기존의 Caffe 개발 환경을 사용한 MallocHost 방식과 zero-copy 기법을 적용하여 수정된HostAlloc 방식을 각각 100회 수행한 평균을 비교하였다. 전력 소비량은 0.

대상 데이터

실험에서는 표 1에서 기술한 것과 같이 임베디드 보드로는 NVIDIA Jetson TK1 보드를 사용하였다. CPU는 2.

데이터처리

세부적인 성능 측정은 사전 학습된 모델이 메모리에 읽어져 있는 상태에서 하나의 이미지를 판별하는데 걸린 시간을 기존의 Caffe 개발 환경을 사용한 MallocHost 방식과 zero-copy 기법을 적용하여 수정된HostAlloc 방식을 각각 100회 수행한 평균을 비교하였다. 전력 소비량은 0.001초마다 한 번씩 전력량을 측정 가능한YOKOGAWA WT310E 파워미터를 사용하여 하나의 이미지를 판별하는데 소비되는 에너지를 100회 측정한 평균으로 나타냈다

이론/모형

기존 Caffe 개발 환경에서 사용하는 방식은 디바이스 메모리 영역에 CUDA 라이브러리의 cudaMallocHost함수를 사용하여 메모리 영역을 생성하고 호스트와 디바이스 메모리 사이에서 cudaMemCpy 함수로 데이터를 복제하는 방식을 사용하고 있다. 본 논문에서 사용한 방식은 기존 방식을 임베디드 환경의 통합 메모리방식에 적합하게 수정한 zero-copy 방식으로 호스트와 디바이스 사이에 복제가 아닌 맵핑 방식을 사용한다. 구체적으로 cudaHostAlloc 함수를 사용하여 맵핑 가능하도록 데이터 영역을 생성하고,cudaHostGetDevicePointer 함수로 CPU와 GPU 모두 사용 가능한 데이터 영역으로 설정하여 통합된 메모리 영역에 CPU와 GPU 모두 접근이 가능한 zero-copy방식을 적용하였다.

성능/효과

에너지 소비량은 그래프에서 나타나듯 전력 효율이 확연히 개선되는 것을 확인할 수 있다. zero-copy 방식으로 최적화 적용 후 하나의 이미지를 처리하는 동안 평균적으로 0.37mWh의 에너지를 소비하였으며 이는 기존방식의 측정 결과인 0.58mWh와 비교하면 36% 감소하였다.
본 논문은 임베디드 보드인 Jetson TK1 보드에 Caffe 개발 환경의 메모리 사용을 최적화하고 기존 대비 처리속도와 전력 효율 상승을 실제 측정을 통해 확인하였다. 그 결과 최적화 전과 비교하면 처리 속도는 10% 향상되었고, 전력 효율은 36% 개선되는 것을 확인하였다. 향후 하나의 네트워크 모델이 아닌 다양한 모델을 대상으로 실험하고 추가적인 최적화 방안에 대하여 연구를 진행 할 예정이다.
성능 향상의 원인으로는 CPU와 GPU 사이에 메모리 복제로 데이터를 전달하여 GPU에서 병렬로 처리하는 기존의 방식은 데이터를 복제하는데 걸리는 전송 시간으로 인해 대기 시간이 발생하였고, 연산을 수행하는 GPU 역시 수많은 코어들 중 많은 부분이 연산을 처리하지 않고 대기상태인 것을 확인하였다. 그러나 zero-copy 기법으로 최적화한 실험에서는 CPU와 GPU 사이 메모리 복제에 따른 대기시간을 최소화하기 때문에 GPU의 거의 모든 코어들이 대기 상태 없이 동작하는 것을 확인하였다.
그림 1의 처리 시간에서 나타나듯 cudaHostAlloc함수를 사용한 zero-copy 방식이 기존 cudaMallocHost함수를 사용한 방식과 비교했을 때 0.41초와 0.46초로 대략 10%의 처리 속도 향상을 확인 할 수 있었다.
성능 향상의 원인으로는 CPU와 GPU 사이에 메모리 복제로 데이터를 전달하여 GPU에서 병렬로 처리하는 기존의 방식은 데이터를 복제하는데 걸리는 전송 시간으로 인해 대기 시간이 발생하였고, 연산을 수행하는 GPU 역시 수많은 코어들 중 많은 부분이 연산을 처리하지 않고 대기상태인 것을 확인하였다. 그러나 zero-copy 기법으로 최적화한 실험에서는 CPU와 GPU 사이 메모리 복제에 따른 대기시간을 최소화하기 때문에 GPU의 거의 모든 코어들이 대기 상태 없이 동작하는 것을 확인하였다.

후속연구

그 결과 최적화 전과 비교하면 처리 속도는 10% 향상되었고, 전력 효율은 36% 개선되는 것을 확인하였다. 향후 하나의 네트워크 모델이 아닌 다양한 모델을 대상으로 실험하고 추가적인 최적화 방안에 대하여 연구를 진행 할 예정이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Zero-copy 방식을 활용한 임베디드 환경에서의 딥러닝 성능 최적화
The optimization of deep learning performance for embedded systems using a zero-copy technique 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Zero-copy 방식을 활용한 임베디드 환경에서의 딥러닝 성능 최적화 The optimization of deep learning performance for embedded systems using a zero-copy technique 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Zero-copy 방식을 활용한 임베디드 환경에서의 딥러닝 성능 최적화
The optimization of deep learning performance for embedded systems using a zero-copy technique 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper