[논문]아파치 스파크에서 모바일 빅 데이터에 대한 다계층 인공신경망 기반 분산 딥러닝 구현 및 최적화

명노영; 안범진; 유헌창

문제 정의

본 연구는 범용성을 갖는 분산 처리 프레임워크인 아파치 스파크에서 분산 학습 기반 다계층 신경망을 구현하여 모바일 빅 데이터를 학습시켰다. 또한 기존의 학습 정확도 최고치를 이루기 위한 모델 튜닝 과정을 구체적으로 다뤘고, 아파치 스파크의 작업 처리 특징을 고려해서 처리시간을 최적화할 수 있도록 파티션 병렬 최적화 기법을 적용하여 처리시간을 25% 감소시켰다.
본 연구에서는 이러한 성능저하를 방지하기 위해 파티션 병렬 최적화 과정을 수행한다. 파티션 병렬 최적화는 시스템의 연산처리 자원에게 동일한 작업량을 할당해서 엑세큐터들의 작업 완료시간을 최대한 동일하게 만드는 기법이다.

제안 방법

처리 시간 변화를 측정하기 위해 데이터를 모든 엑세큐터들의 코어 개수로 파티셔닝했고, 이후 처리시간의 변곡점이 관측되기까지 반복적으로 파티션 개수를 배수로 증가시켰다. 5번동안 각각의 경우를 반복적으로 실험했다. 이에 대한 평균치중 가장 처리시간 변화가 컸던 경우는 모든 코어개수의 6배수일 때였고, 감소폭은 25%였다.
모델의 학습 정확도 향상을 위해 은닉계층의 개수[1,2], 은닉계층별 뉴런의 개수[500,1000], 학습률[0.1,0.5], 학습 반복 횟수[1,200]의 조합을 선형적으로 증가시킬 때 분류 정확도의 변화를 관찰하며 모델을 조율했다. 이때 가장 높은 학습정확도는 [13]을 기준으로 조율을 수행했다.
본 논문에서는 대표적인 범용 분산 처리 프레임워크인 아파치 스파크[6]에서 분산 학습 기반 딥러닝을 구현하여 모바일 빅 데이터를 분류한다. 이때 모바일 빅 데이터[11]의 특징을 고려하여 딥러닝 모델에 알맞게 전처리하고 반복 시행을 거쳐 학습정확도를 최대화 할 수 있도록 모델을 튜닝한다.
전방 전달과정에서 데이터는 입력계층에서 선형변환, 은닉계층에서 활성화 함수(예: 시그모이드, ReLU 등)을 거쳐 최종적으로 출력계층에서 소프트맥스 함수를 통한 정규화 과정을 통해 최종적인 값을 출력한다. 역전파 과정에서는 전방 전달과 반대방향으로 연산이 진행되며 정의된 손실함수(예: Mean Squared Error, Cross-Entropy 등)의 값을 최소화시키는 방법(예: Stochastic Gradient Descent 등)을 통해 각 계층의 뉴런들의 가중치 값을 수정한다. 이러한 학습과정을 거쳐서 완성된 인공신경망은 이후에 입력되는 데이터에 대한 분류를 하는데 사용된다.
이때 모바일 빅 데이터[11]의 특징을 고려하여 딥러닝 모델에 알맞게 전처리하고 반복 시행을 거쳐 학습정확도를 최대화 할 수 있도록 모델을 튜닝한다.
해당 데이터를 전처리 과정 없이 다계층 인공신경망에 학습시킬 경우 같은 가속도 값을 갖지만 다른 라벨을 갖는 경우가 빈번하기 때문에 학습정확도가 매우 낮아지는 문제가 발생한다. 이를 해결하기 위해 해당 데이터는 연속성을 갖는다는 점을 이용해서 다수의 연속적인 데이터를 스펙트로그램으로 변환하는 전처리를 수행했다.
기존 처리시간과 파티셔닝 최적화 기법을 적용했을 때 처리시간의 변화는 [그림 3]과 같다. 처리 시간 변화를 측정하기 위해 데이터를 모든 엑세큐터들의 코어 개수로 파티셔닝했고, 이후 처리시간의 변곡점이 관측되기까지 반복적으로 파티션 개수를 배수로 증가시켰다. 5번동안 각각의 경우를 반복적으로 실험했다.

대상 데이터

본 연구에서 사용한 데이터는 모바일 빅 데이터인 [11]으로써 가속도 센서로부터 x, y, z축 가속도 값과 라벨(해당 상황에서의 사용자의 동작상태), timestamp 값을 수집한 데이터이다. 해당 데이터를 전처리 과정 없이 다계층 인공신경망에 학습시킬 경우 같은 가속도 값을 갖지만 다른 라벨을 갖는 경우가 빈번하기 때문에 학습정확도가 매우 낮아지는 문제가 발생한다.
실험은 총 4대의 노드로 구성된 아파치 스파크 클러스터에서 수행됐다. 각각의 노드는 Ubuntu 14.

이론/모형

이때 모바일 빅 데이터[11]의 특징을 고려하여 딥러닝 모델에 알맞게 전처리하고 반복 시행을 거쳐 학습정확도를 최대화 할 수 있도록 모델을 튜닝한다. 또한 스파크의 분산 학습 모델을 분산 처리 모델에 적용 할 때 처리 속도를 향상시키기 위해 파티션 병렬 최적화 기법을 적용한다. 마지막으로 모델 튜닝을 통한 학습 정확도의 변화와 병렬 최적화 기법을 적용 했을 때의 성능 향상치를 제시한다.

성능/효과

은닉층에 포함되는 뉴런의 개수를 500개로 했을 때 [14]에서 언급됐던 가장 높은 분류 정확도인 68%를 달성할 수 있었고, 달성 후에 학습의 반복 횟수가 증가하더라도 해당 정확도에 수렴하는 모습을 관측할 수 있었다. 그러나 뉴런의 개수를 1000개로 했을 때는 학습의 반복 횟수가 19회가 될 때까지는 분류 정확도가 증가했으나 이후로는 급격하게 감소해서 최종적으로 38%에 수렴하는 결과를 관측할 수 있었다.
각각의 엑세큐터는 멀티코어 CPU를 사용할 경우 다수의 코어를 갖게 되고 할당받은 파티션들을 각각의 코어에서 병렬로 처리하기 때문에 엑세큐터들로 할당할 파티션 총 개수는 모든 엑세큐터들의 코어 개수의 배수가 돼야 한다. 두 번째로 모든 파티션들이 최대한 동일한 크기를 가질 수 있도록 RDD를 분할해야 한다. 이를 위해 RDD를 모든 엑세큐터들의 코어 개수로 분할할 때 파티션들의 크기를 비교해서 최대한 각 파티션들의 크기가 동일해 지도록 분할해야 한다.
아파치 스파크[6]은 범용성을 지닌 다목적용 분산처리 프레임워크로써 인메모리 컴퓨팅 , lazy execution, 선택적인 데이터 캐싱을 통해 기존 분산 처리 프레임워크에 비해 크게 처리 성능을 향상시켰다. 또한 고유한 자료구조인 Resilient Distributed Datasets(RDD)를 사용한 Directed Acyclic Graph(DAG)기반 병렬처리를 통해 내결함성을 보장한다.
본 연구는 범용성을 갖는 분산 처리 프레임워크인 아파치 스파크에서 분산 학습 기반 다계층 신경망을 구현하여 모바일 빅 데이터를 학습시켰다. 또한 기존의 학습 정확도 최고치를 이루기 위한 모델 튜닝 과정을 구체적으로 다뤘고, 아파치 스파크의 작업 처리 특징을 고려해서 처리시간을 최적화할 수 있도록 파티션 병렬 최적화 기법을 적용하여 처리시간을 25% 감소시켰다. 추후 연구에서는 특수 목적형 연산 처리 장치인 GPU를 활용하여 분산 학습을 구현하여 범용 분산 처리 프레임워크와 성능 및 차이점을 분석할 것이다.
또한 스파크의 분산 학습 모델을 분산 처리 모델에 적용 할 때 처리 속도를 향상시키기 위해 파티션 병렬 최적화 기법을 적용한다. 마지막으로 모델 튜닝을 통한 학습 정확도의 변화와 병렬 최적화 기법을 적용 했을 때의 성능 향상치를 제시한다.
5에서 가장 빨리 높은 분류 정확도에 도달하며 바로 수렴하는 추세를 보였다. 마지막으로 반복횟수는 일정 횟수가 되면 한동안 수렴하지만 그 이후에는 다시 감소하는 경향을 보였다. 정확한 튜닝 결과는 실험 결과 부분에서 다룰 것이다.
은닉층에 포함되는 뉴런의 개수를 500개로 했을 때 [14]에서 언급됐던 가장 높은 분류 정확도인 68%를 달성할 수 있었고, 달성 후에 학습의 반복 횟수가 증가하더라도 해당 정확도에 수렴하는 모습을 관측할 수 있었다. 그러나 뉴런의 개수를 1000개로 했을 때는 학습의 반복 횟수가 19회가 될 때까지는 분류 정확도가 증가했으나 이후로는 급격하게 감소해서 최종적으로 38%에 수렴하는 결과를 관측할 수 있었다.

후속연구

추후 연구에서는 특수 목적형 연산 처리 장치인 GPU를 활용하여 분산 학습을 구현하여 범용 분산 처리 프레임워크와 성능 및 차이점을 분석할 것이다. 또한 모바일 빅 데이터의 연속성을 고려하여 분류 정확도를 높이기 위해 Recurrent Neural Network를 사용하여 데이터를 학습시킬 예정이다.
또한 기존의 학습 정확도 최고치를 이루기 위한 모델 튜닝 과정을 구체적으로 다뤘고, 아파치 스파크의 작업 처리 특징을 고려해서 처리시간을 최적화할 수 있도록 파티션 병렬 최적화 기법을 적용하여 처리시간을 25% 감소시켰다. 추후 연구에서는 특수 목적형 연산 처리 장치인 GPU를 활용하여 분산 학습을 구현하여 범용 분산 처리 프레임워크와 성능 및 차이점을 분석할 것이다. 또한 모바일 빅 데이터의 연속성을 고려하여 분류 정확도를 높이기 위해 Recurrent Neural Network를 사용하여 데이터를 학습시킬 예정이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

아파치 스파크에서 모바일 빅 데이터에 대한 다계층 인공신경망 기반 분산 딥러닝 구현 및 최적화
Implementation and Optimization of Distributed Deep learning based on Multi Layer Neural Network for Mobile Big Data at Apache Spark 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

아파치 스파크에서 모바일 빅 데이터에 대한 다계층 인공신경망 기반 분산 딥러닝 구현 및 최적화 Implementation and Optimization of Distributed Deep learning based on Multi Layer Neural Network for Mobile Big Data at Apache Spark 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

아파치 스파크에서 모바일 빅 데이터에 대한 다계층 인공신경망 기반 분산 딥러닝 구현 및 최적화
Implementation and Optimization of Distributed Deep learning based on Multi Layer Neural Network for Mobile Big Data at Apache Spark 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper