$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

딥 러닝에 사용되는 매개변수들 간의 상관관계 분석 및 최적화 방법
Correlation Analysis and Optimization between Parameters using with Deep Learning 원문보기

한국정보처리학회 2015년도 추계학술발표대회, 2015 Oct. 28, 2015년, pp.1285 - 1288  

김연규 (부산대학교 전기전자컴퓨터공학과) ,  박호준 (부산대학교 전기전자컴퓨터공학과) ,  이상걸 (부산대학교 전기전자컴퓨터공학과) ,  차의영 (부산대학교 전기전자컴퓨터공학과)

초록
AI-Helper 아이콘AI-Helper

본 논문에서는 영상인식을 위한 딥 러닝에서 사용되는 매개변수 최적화 방법을 제안한다. 학습 성능에 영향을 미치는 매개변수 중 이미지 배치 사이즈 값, 초기 학습율, 최대 학습 반복 횟수에 대해 상호간의 관계를 분석하고 성능을 개선시키기 위해 값을 최적화하는 방법을 연구한다. 제안된 방법을 통한 개선 정도를 분석하기 위해 매개변수의 변화에 따른 학습 소요 시간, 정확도 향상 추이, 메모리 사용량의 변화를 측정한다. 측정된 학습 소요 시간, 정확도 향상 추이, 메모리 사용량의 변화를 분석한 결과 배치 사이즈와 초기 학습 율은 같은 비율로 반비례하게 값을 적용할 때가 이상적 이였으며 서로 다른 환경에서 각각의 학습 소요시간을 측정하는 것으로 배치 사이즈 값과 초기 학습 율에 따른 최적의 최대 학습 반복 횟수를 획득할 수 있었다.

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • [1]∼[3]에서는 CNN의 성능을 향상시키기 위해 구조를 개선한 것과 달리 본 논문에서는 CNN의 결과에 영향을 미치는 매개 변수들에 대해 연구하고자 한다.
  • 다음으로 배치 사이즈의 변화가 테스트 정확도에 미치는 영향을 확인해 보았다. (그림 4)는 CASE1,2,3에 대해 학습이 진행되면서 보이는 테스트 정확도에 대한 발전 과정을 보여준다.
  • 또한 초기 학습 율과 배치 사이즈 크기를 상호보완적으로 변경하려면 값을 어떻게 바꿔야 하는지 확인해볼 수 있다. (그림 6)은 CASE1을 기준으로 배치사이즈 값을 1/2로 줄였을 때 초기 학습 율을 CASE6과 CASE9에 각각 2배, 1/2배로 설정하여 학습 정확도 변화 추이를 보이고 있다.
  • 본 논문에서는 매개 변수들 간의 상관관계를 분석하고 상황에 맞는 최적의 매개변수 값을 찾는 방법을 연구하기 위해 과 같이 매개변수들을 설정하고 실험한다.
  • 따라서 딥 러닝을 연구한다면 반드시 메모리 관리 측면도 고려해야한다. 본 논문에서는 배치 사이즈 변경으로 메모리 사용량의 변화를 유도할 수 있는 방법을 제시하였다.
  • 아직도 많은 변수나 공식들이 정확히 분석되지 못한 채 일방적으로 실험 결과 성능이 좋게 나온 다는 이유로 모두가 획일화된 값과 공식을 사용하는 경우가 많다. 본 논문에서는 실험을 통해 배치 사이즈와 학습율이 구체적으로 어떤 형태로 성능에 영향을 미치는지 알아보았다. 학습 성능을 유지하면서 속도를 빠르게 하기 위해선 배치 사이즈를 줄이고 초기 학습율은 그 비율만큼 늘이는 것이 이상적이라는 것을 여러 방식의 실험을 통해 보여 주었다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
CNN은 무엇인가? 최근 영상 인식을 위해 다양한 방법의 딥 러닝 기술이 적용되고 있다. CNN(Convolutional Neural Network)은 현재 영상 인식 분야 딥 러닝에서 높은 성과를 보이는 구조들이 대부분 채택하고 있는 기본적인 학습 형태이다. CNN을 기반으로 많은 변형구조가 제안되고 있는데 Ciresan[1] 등은 Multi-column 개념을 딥 러닝 CNN구조에 적용하였으며 Krizhevsky[2] 등은 두 개의 GPU를 동시에 사용하여 각각 CNN을 동작하게 하는 것으로 빠르고 더 정확한 학습을 가능하도록 하였다.
제안된 매개변수 최적화 방법을 통한 개선 정도를 분석하기 위해 무엇을 측정하는가? 학습 성능에 영향을 미치는 매개변수 중 이미지 배치 사이즈 값, 초기 학습율, 최대 학습 반복 횟수에 대해 상호간의 관계를 분석하고 성능을 개선시키기 위해 값을 최적화하는 방법을 연구한다. 제안된 방법을 통한 개선 정도를 분석하기 위해 매개변수의 변화에 따른 학습 소요 시간, 정확도 향상 추이, 메모리 사용량의 변화를 측정한다. 측정된 학습 소요 시간, 정확도 향상 추이, 메모리 사용량의 변화를 분석한 결과 배치 사이즈와 초기 학습 율은 같은 비율로 반비례하게 값을 적용할 때가 이상적 이였으며 서로 다른 환경에서 각각의 학습 소요시간을 측정하는 것으로 배치 사이즈 값과 초기 학습 율에 따른 최적의 최대 학습 반복 횟수를 획득할 수 있었다.
CNN구조를 가지는 영상인식 딥 러닝 환경에는 무엇이 존재하는가? CNN구조를 가지는 영상인식 딥 러닝 환경에는 유저가 직접 값을 조작해야하는 많은 매개변수들이 존재한다. 아직도 많은 변수나 공식들이 정확히 분석되지 못한 채 일방적으로 실험 결과 성능이 좋게 나온 다는 이유로 모두가 획일화된 값과 공식을 사용하는 경우가 많다.
질의응답 정보가 도움이 되었나요?

관련 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로