실제 분류 문제에서 빈번하게 발생하는 클래스 불균형 상황에서 인공신경망은 다수 클래스에 편향되어 학습되고 소수 클래스를 정확하게 분류할 수 없다. 본 논문에서는 인공신경망 학습을 위한 향상된 오버샘플링 방법을 제안한다. 첫째로, 클래스 불균형 상황에서 인공신경망을 효과적으로 학습시키기 위한 ...
실제 분류 문제에서 빈번하게 발생하는 클래스 불균형 상황에서 인공신경망은 다수 클래스에 편향되어 학습되고 소수 클래스를 정확하게 분류할 수 없다. 본 논문에서는 인공신경망 학습을 위한 향상된 오버샘플링 방법을 제안한다. 첫째로, 클래스 불균형 상황에서 인공신경망을 효과적으로 학습시키기 위한 적응형 노이즈 기반 방법(ADANOISE)를 제안한다. 이 방법은 클래스 불균형 상황에서 인공신경망을 효과적으로 학습시키기 위하여 리샘플링과 비용 민감 학습 방법을 통합한다. 인공신경망이 소수 클래스를 학습하는 과정에서 입력층에 노이즈를 추가한다. 각 소수 클래스 인스턴스는 노이즈 분포로부터 랜덤하게 샘플링된 노이즈 벡터가 추가되면서 오버샘플링된다. 이때, 인공신경망과 노이즈 분포의 모수는 동시에 학습된다. 이를 통해 노이즈 분포를 인공신경망의 성능을 향상시키는 방향으로 학습 데이터에 적합하게 학습시킬 수 있다. 둘째로, 클래스 불균형과 데이터 결측 문제가 함께 발생하는 상황에서 활용할 수 있는 다중 대체법 기반 소수 클래스 오버샘플링 방법(MI-MOTE)을 제안한다. 이 방법은 하나의 결측값에 대하여 다수의 다른 대체값들을 생성하는 다중 대체법을 활용한다. 각 다수 클래스 인스턴스의 결측값은 한번 대체하고 각 소수 클래스 인스턴스는 다중 대체법을 활용한 여러번의 결측값 대체를 통해 오버샘플링한다. 이를 통해, 데이터의 기존 관측값은 보존하여 왜곡을 줄이면서 소수 클래스 인스턴스들을 다양화한다. 벤치마크 데이터셋에 대한 실험을 통해 제안하는 방법들의 효과를 검증한다.
실제 분류 문제에서 빈번하게 발생하는 클래스 불균형 상황에서 인공신경망은 다수 클래스에 편향되어 학습되고 소수 클래스를 정확하게 분류할 수 없다. 본 논문에서는 인공신경망 학습을 위한 향상된 오버샘플링 방법을 제안한다. 첫째로, 클래스 불균형 상황에서 인공신경망을 효과적으로 학습시키기 위한 적응형 노이즈 기반 방법(ADANOISE)를 제안한다. 이 방법은 클래스 불균형 상황에서 인공신경망을 효과적으로 학습시키기 위하여 리샘플링과 비용 민감 학습 방법을 통합한다. 인공신경망이 소수 클래스를 학습하는 과정에서 입력층에 노이즈를 추가한다. 각 소수 클래스 인스턴스는 노이즈 분포로부터 랜덤하게 샘플링된 노이즈 벡터가 추가되면서 오버샘플링된다. 이때, 인공신경망과 노이즈 분포의 모수는 동시에 학습된다. 이를 통해 노이즈 분포를 인공신경망의 성능을 향상시키는 방향으로 학습 데이터에 적합하게 학습시킬 수 있다. 둘째로, 클래스 불균형과 데이터 결측 문제가 함께 발생하는 상황에서 활용할 수 있는 다중 대체법 기반 소수 클래스 오버샘플링 방법(MI-MOTE)을 제안한다. 이 방법은 하나의 결측값에 대하여 다수의 다른 대체값들을 생성하는 다중 대체법을 활용한다. 각 다수 클래스 인스턴스의 결측값은 한번 대체하고 각 소수 클래스 인스턴스는 다중 대체법을 활용한 여러번의 결측값 대체를 통해 오버샘플링한다. 이를 통해, 데이터의 기존 관측값은 보존하여 왜곡을 줄이면서 소수 클래스 인스턴스들을 다양화한다. 벤치마크 데이터셋에 대한 실험을 통해 제안하는 방법들의 효과를 검증한다.
The class imbalance problem, which has been recognized in many real-world applications, negatively affects the performance of neural networks. In this thesis, we propose advanced oversampling methods for training neural networks. First, we propose a novel training method based on adaptive noise, nam...
The class imbalance problem, which has been recognized in many real-world applications, negatively affects the performance of neural networks. In this thesis, we propose advanced oversampling methods for training neural networks. First, we propose a novel training method based on adaptive noise, named ADANOISE. This method incorporates the ideas of both resampling and cost-sensitive learning to improve the training of a neural network under class imbalance. For the neural network, random noise is added to the input when it learns from the minority class. To make the learning objective cost-sensitive, each minority class instance is oversampled by adding different noise vectors randomly sampled from a noise distribution. The neural network and the parameter of the noise distribution are simultaneously trained. By doing so, the noise distribution adapts to the training data in a data-driven fashion toward improving the performance of the neural network. Second, we propose a multiple imputation-based minority oversampling technique, named MI-MOTE, to address the simultaneous occurrence of the class imbalance and data incompleteness. We utilize the multiple imputation method that generates several substitutions for a missing value considering the imputation uncertainty. Majority instances are imputed once and minority instances are oversampled using multiple different imputations without directly manipulating any of their observed values. Accordingly, minority instances are diversified with less data distortion compared to the conventional approach. We demonstrate the effectiveness of the proposed methods through experiments on benchmark datasets.
The class imbalance problem, which has been recognized in many real-world applications, negatively affects the performance of neural networks. In this thesis, we propose advanced oversampling methods for training neural networks. First, we propose a novel training method based on adaptive noise, named ADANOISE. This method incorporates the ideas of both resampling and cost-sensitive learning to improve the training of a neural network under class imbalance. For the neural network, random noise is added to the input when it learns from the minority class. To make the learning objective cost-sensitive, each minority class instance is oversampled by adding different noise vectors randomly sampled from a noise distribution. The neural network and the parameter of the noise distribution are simultaneously trained. By doing so, the noise distribution adapts to the training data in a data-driven fashion toward improving the performance of the neural network. Second, we propose a multiple imputation-based minority oversampling technique, named MI-MOTE, to address the simultaneous occurrence of the class imbalance and data incompleteness. We utilize the multiple imputation method that generates several substitutions for a missing value considering the imputation uncertainty. Majority instances are imputed once and minority instances are oversampled using multiple different imputations without directly manipulating any of their observed values. Accordingly, minority instances are diversified with less data distortion compared to the conventional approach. We demonstrate the effectiveness of the proposed methods through experiments on benchmark datasets.
주제어
#neural network class imbalance data incompleteness oversampling multiple imputation
학위논문 정보
저자
Shin, Kyoham
학위수여기관
Sungkyunkwan university
학위구분
국내석사
학과
Department of Industrial Engineering
지도교수
Seokho Kang
발행연도
2021
총페이지
viii, 56 p.
키워드
neural network class imbalance data incompleteness oversampling multiple imputation
※ AI-Helper는 부적절한 답변을 할 수 있습니다.