[논문]ADMM을 이용한 병렬 학습 시스템 최적화

김민우; 임환희; 이병준; 김경태; 윤희용

ADMM을 이용한 병렬 학습 시스템 최적화
Parallel Learning System Optimization using ADMM 원문보기

김민우 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) , 임환희 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) , 이병준 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) , 김경태 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) , 윤희용 (성균관대학교 소프트웨어대학 소프트웨어학과)

인공지능의 급격한 발전으로 빅 데이터의 활용이 증가되었지만 이로 인해 머신 러닝에서 일어나는 문제들 또한 해결해야할 과제이다. 본 논문에서는 이에 따라 초래되는 문제들 중 학습 데이터가 많아질 경우의 문제들을 방지하기 위해, 알고리즘의 수정 대신 병렬 처리 기반 시스템을 제안한다. 본 논문에서는 Alternating Direction Method of Multiplier(ADMM) 알고리즘을 소개하고 ADMM 기반의 최적화 기법을 적용하여 병렬 학습 시스템 최적화를 제안하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

과거 인간의 뉴런의 정보처리 방식을 참고한 신경망 형태의 병렬 처리기법을 시작으로 딥러닝, 머신러닝 등이 발전하게 되었다. 본 논문에서는 머신러닝에서의 문제에 요구되는 다양한 제약 조건들 중 이를 처리하기 위한 최적화의 방법 중 하나로 Alternating Direction Method of Mulitplier(ADMM)를 제시한다[1]. ADMM은 선형제약조건을 효과적으로 처리 할 수 있으며 병렬 최적화 알고리즘으로도 사용된다.
ADMM은 기존의 문제를 보다 최적화하기 쉽게 부분적으로 문제를 나눈 후 다시 결합하여 복잡한 기존의 문제를 해결하는 근사 알고리즘이다[2]. 본 연구에서는 제약이 없는 일반적인 최적화문제를 해결하기 위한 방법에 대해 이야기 한다.

제안 방법

본 논문에서 제안된 ADMM 알고리즘을 바탕으로 병렬 학습 패러다임의 초기 단계인 하위 모델의 최적화 문제를 공식화 하였다. 향후연구로는 병렬 프로그램을 구현시키고 Distributed deep Neural Network(DNN) 훈련에 대해 텍스트 분류와 손으로 쓴 숫자들의 인식, 자연어 처리 등을 기준으로 평가를 진행할 것이다.

후속연구

기존의 연구되어진 ADMM은 머신러닝 뿐만 아니라 딥러닝 분야에 이르기 까지 광범위하게 활용되어지며 범용적인 딥러닝 방법의 분산처리를 위해 활용되었고[3], 대표적으로는 Convolutional Neural Network(CNN)방법에서 필터, 채널, 레이어 층의 구조를 조정하기위해 사용되었다[4]. 또한 분산 뉴럴 네트워크 학습과 같은 여러 병렬 학습 접근 방식으로도 사용되었으며 이와 같은 복잡한 노드간의 연결 그래프 구조를 갖추고 있을 적용할 수 있다. 병렬 학습 시스템 최적화 방법에 대한 최근 동향들은 Hadoop 기반의 Skytree와 Mahout 등이 있다.
향후연구로는 병렬 프로그램을 구현시키고 Distributed deep Neural Network(DNN) 훈련에 대해 텍스트 분류와 손으로 쓴 숫자들의 인식, 자연어 처리 등을 기준으로 평가를 진행할 것이다. 실험을 통한 수치 결과는 수렴 속도와 최적화 결과 측면에서 효율성을 보여줄 것이다.
본 논문에서 제안된 ADMM 알고리즘을 바탕으로 병렬 학습 패러다임의 초기 단계인 하위 모델의 최적화 문제를 공식화 하였다. 향후연구로는 병렬 프로그램을 구현시키고 Distributed deep Neural Network(DNN) 훈련에 대해 텍스트 분류와 손으로 쓴 숫자들의 인식, 자연어 처리 등을 기준으로 평가를 진행할 것이다. 실험을 통한 수치 결과는 수렴 속도와 최적화 결과 측면에서 효율성을 보여줄 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

ADMM을 이용한 병렬 학습 시스템 최적화
Parallel Learning System Optimization using ADMM 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

후속연구

이 논문을 인용한 문헌

연구과제 타임라인

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

ADMM을 이용한 병렬 학습 시스템 최적화 Parallel Learning System Optimization using ADMM 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

후속연구

이 논문을 인용한 문헌

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

ADMM을 이용한 병렬 학습 시스템 최적화
Parallel Learning System Optimization using ADMM 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper