[논문]입력 데이터의 분포를 고려한 가상 샘플 생성

이봉기; 임용업; 조성준

입력 데이터의 분포를 고려한 가상 샘플 생성
Virtual Samples Generation Based on the Distriburion of Input Data 원문보기

이봉기 (서울대학교 산업공학과) , 임용업 (서울대학교 산업공학과) , 조성준 (서울대학교 산업공학과)

본 논문에서는 잡음 추가와 네트웍 앙상블을 이용하는 기법으로 최근에 제안된 가상 샘플 생성 방법(VSG:Virtual Sample Generation)을 개선하는 방법을 제안하고, 이를 대표적인 앙상블학습 알고리즘인 Bagging, Boosting과 비교한다. 기존의 가상 샘플 생성 방법에 기초하여 입력 데이터의 분포를 고려하여 가상 샘플을 생성하는 방법을 제안한다. 이 방법은 입력 분포의 밀도가 높은 곳에서 가장 샘플로 인한 과소 적합을 방지하고 밀도가 낮은 곳에서 가상 샘플로 인한 과도 적합을 방지하기 위한 것이다. 본 논문은 입력 데이터의 밀도를 추정하는 새로운 과정을 정리하고 입력 분포에 따라 적합한 가상 샘플을 생성하는 방법을 고안했다. 그리고 제안하는 방법의 일반화 성능 향상을 보이기 위해 여러 가지의 합성 데이터를 사용하여 실험을 하였고 이를 Bagging, Boosting, VSG의 성능과 비교하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 학습 데이터의 입력 분포의 밀도에 따라 가상 샘플의 생성을 다르게 하는 방법을 제안한다. 그리고 제안하는 방법이 기존의 VSG보다 일반화 성능이 우수함을 실험적으로 보이고자 한다.
본 논문에서는 학습 데이터의 입력 분포의 밀도에 따라 가상 샘플의 생성을 다르게 하는 방법을 제안한다. 그리고 제안하는 방법이 기존의 VSG보다 일반화 성능이 우수함을 실험적으로 보이고자 한다.
본 논문은 VSG에 입력 분포를 고려하는 새로운 방법을 제안 하였다. 이를 위해 입력 데이터의 밀도를 추정하는 과정을 정리했고, 입력 분포에 따라 적합한 가상 샘플을 생성하는 방법을 고안했다.

제안 방법

6가지의 합성 데이터에 대해 5가지 기법을 적용하였다. 각 30회의 실험을 하여 평균 제곱 오차를 평균한 결과와 평균 제곱 오차에 대한 분산이 표 1에 나와 있다다.
모든 데이터에 대해 앙상블 네트웍의 수는 30개이고, DVSG 에서 생성한 가상 샘플 수도 30개이다. 각 데이터에 대해 은닉층이 1개인 MLP를 10 epoch만큼 Levenberg-Marquardt 알고리즘으로 학습시켜서 최적의 은닉 노드 수를 정하고, DVSG에서 알고리즘의 조건을 만족시키는 Nearest nei앙ibor 수를 정한다. Bagging에서 최종 출력의 결정은 모든 네트웍의 결과를 단순 평균해서 구하고, Boosting은 Adaboost.
하지만 입력 데이터의 분포를 고려하는 것이 일반화 성능을 향상시키지 않는다고 단정할 수도 없다. 본 논문에서 제안하는 방법은 관찰 학습 알고리즘에 적용되어 비교될 수 있다. 그리고 DVSG를 보완하기 위해서는 출력 패턴을 고려하여 입력 데이터의 밀도를 추정하는 것이 보다 효과적일 것이고, 밀도가 높은 데이터에 대해서는 가상 샘플을 적게 생성하고 밀도가 낮은 데이터에 대해서 는 많은 가상 샘플을 생성하는 방법도 적용될 수 있다.
Bo otstrap VSG는 Bagging과 같이 주어진 데이터를 bootstrap 하여 여러 개의 학습 데이터를 만든다. 우선 이 데이터들을 각각 다른 네트웍으로 학습하고, 정규 분포 를 이용하여 입력에 잡음을 주어서 가상 샘플을 생성한다. 가상.
VSG는 주어진 학습 데이터로부터 인공적으로 가상 샘플을 생성하여 학습에 참여시키는 방법이다. 우선 학습 데이터로 신경망들을 학습시킨 후, 이 신경망들의 앙상블로 가상 샘플의 출력 패턴을 결정한다. 이 VSG 에 아동 간의 관찰 학습이라는 개념을 도입한 것이 관찰 학습 알고리즘(OLA: Observa tional Learning Algorithm) 이다[6].
본 논문은 VSG에 입력 분포를 고려하는 새로운 방법을 제안 하였다. 이를 위해 입력 데이터의 밀도를 추정하는 과정을 정리했고, 입력 분포에 따라 적합한 가상 샘플을 생성하는 방법을 고안했다. 그러나 합성 데이터에 대한 실험 결과에 의해 VSG보다 DVSG의 성능 향상이 유의함을 입증하지는 못했다.

대상 데이터

01로 정하여 동일한 간격으로 입력이 균일한 데이터와 입력이 랜덤한 데이터, 그리고 두.극점 근처의 입력의 밀도가 높은 데이터의 3가지 데이터를 각 30개씩 생성하였다. 그리고 e의 분산을 0.
본 논문은 여러 가지의 가상 샘플 생성 방법 중 Bootstrap VSG 를 개선 대상으로 한다. Bo otstrap VSG는 Bagging과 같이 주어진 데이터를 bootstrap 하여 여러 개의 학습 데이터를 만든다.
실험은 MLP, Bagging, Boosting, 그리고 VSG와 DVSG의 일반 화 성능 비교를 위해 특정 함수에서 인공적으로 데이터를 생성한 합성 데이터를 사용한다.
여러 경우에 대해 충분한 실험을 하기 위해 6가지의 합성 데이터를 사용하였다. 우선 출력에 주는 잡음(时의 분산을 0.

이론/모형

우선 주어진 학습 데이터의 각 입력 분포의 확률 밀도를 계산한다. ■밀도를 계산하기 위해 비모수 적 밀도 추정법의 하나인 Kernel-based method를 이용하고 정규 함수를 kernel function으로 사용한다. 이때 정규 함수의 smoothing parameter는 K-nearest neighbors를 이용하는데 0과 1 사이라는 확률 밀도의 조건을 만족시키는 값 중에서 최대값으로 구한다 [1], 이는 비모수 적 밀도 추정에서 kernel의 크기가 작을수록 바람직하기 때문이다[2].

성능/효과

Data 4와 Data 6에서는 VSG 와 Bagging이 좋은 성능을 보였다. MSE의 분산은 MLP와 Boosting이 크고 나머지 기법은 차이가 없이 매우 작으므로 Bagging과 VSG, DVSG 의 성능이 매우 안정적임을 알 수 있다.
실험 결과를 보면 Data 2와 Data 5에서 DVSG가 일반화 성능이 가장 좋고, Data 1에서는 Bagging과 DVSG 의 성능에 차이가 없고, Data 3 에서 는 VSG와 DVSG간 에 차이가 없다. Data 4와 Data 6에서는 VSG 와 Bagging이 좋은 성능을 보였다.
실험 결과에서 전체적으로는 Bagging과 VSG, DVSG가 성능이 좋았고, 잡음이 작은 경우 예는 DVSG 가 성능이 우수한 반면, 잡음이 큰 경우에는 Bagging과 VSG 의 성능이 안정적으로 좋았다. 즉 DVSG는 잡음에 다소 민감한.

후속연구

본 논문에서 제안하는 방법은 관찰 학습 알고리즘에 적용되어 비교될 수 있다. 그리고 DVSG를 보완하기 위해서는 출력 패턴을 고려하여 입력 데이터의 밀도를 추정하는 것이 보다 효과적일 것이고, 밀도가 높은 데이터에 대해서는 가상 샘플을 적게 생성하고 밀도가 낮은 데이터에 대해서 는 많은 가상 샘플을 생성하는 방법도 적용될 수 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

입력 데이터의 분포를 고려한 가상 샘플 생성
Virtual Samples Generation Based on the Distriburion of Input Data 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

입력 데이터의 분포를 고려한 가상 샘플 생성 Virtual Samples Generation Based on the Distriburion of Input Data 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

입력 데이터의 분포를 고려한 가상 샘플 생성
Virtual Samples Generation Based on the Distriburion of Input Data 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper