선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 능동소나 수신 신호는 해양환경에 따른 다중 경로를 통한 여러 신호가 수신되고 잔향음, 수중 생물 등의 원하지 않는 신호도 포함되는데, 이처럼 복잡한 신호를 분류하기에는 컨볼루션 신경망이 적합할 것으로 보인다. 본 논문에서는 컨볼루션 신경망을 능동소나 수신신호에 적용하여 기뢰와 바위를 식별하고 그 성능을 분석해보고자 한다.
- 기계학습에서 하이퍼파라미터 (Hyperparameter)는 성능에 영향을 미치는 중요한 요소로써, 데이터 특성에 따라 다른 최적의 하이퍼파라미터 값을 가진다[8]. 본 논문에서는 하이퍼파라미터의 변화에 따른 성능의 변화를 조사하고, 최적의 하이퍼파라미터를 탐색하였다. 본 논문의 구성은 다음과 같다.
제안 방법
- UCI 소나 데이터에서 하이퍼파라미터의 변화에 따른 성능의 변화를 분석하고, 이를 기반으로 최적의 하이퍼파라미터를 찾기 위한 탐색 알고리듬의 초기 입력범위로 사용하였다. 조사한 하이퍼파라미터는 가중치 감소, 은닉 유닛 수, 배치 (Batch) 크기, 학습률, Drop out 비율로 총 5개이다.
- 데이터 확장이 성능에 미치는 영향을 조사하기 위해, 훈련데이터 증가 수를 다르게 하면서 성능의 변화를 조사하였다.
- 본 논문에서 설계한 컨볼루션 신경망 구조는 Alexnet[10] 네트웍 구조를 기반으로 일부 변경하여 구성하였다. 입력 데이터 크기가 작고 훈련데이터 수가 적기 때문에 Alexnet 보다 Layer 층을 작게 하여 그림 1과 같이 설계하였다.
- 본 논문에서는 Drop-out의 비율을 훈련 시에는 30%로 하고, 시험 시에는 0%로 하였다. 마지막 Layer에는 출력을 얻기 위해 Softmax 함수를 사용하였다.
- 본 논문에서는 능동소나 데이터에 딥 러닝 알고리듬의 하나인 컨볼루션 신경망 적용을 제안하였고, 제안한 방법으로 기뢰와 같은 금속물체와 바위를 식별하는 실험을 수행하였다. 컨볼루션 신경망은 2차원 이상의 데이터에 적용하므로 본 논문에서는 1차원 주파수 데이터를 2차원으로 변형하여 적용하였고, 그 결과 성능이 잘 나오는 것을 확인하였다.
- 본 논문에서는 훈련데이터 내에서 20%를 검증데이터로 분리했고, 훈련데이터로 학습하고 검증데이터로 하이퍼파라미터의 성능을 평가하였다. 최적의 하이퍼 파라미터를 찾은 다음, 시험데이터로 신경망의 범용 성능을 평가 하였다.
- 조사하고자 하는 하이퍼파라미터 값 크기를 Min에서부터 Max까지 점진적으로 증가시켰고, 조사하지 않는 하이퍼파라미터는 Default 값으로 고정하여 수행하였다. 시간 절약을 위해 Epoch를 100까지만 하고, 수행을 1번만 하였다. 그림 2와 같이 수행결과 성능이 85% 이상 되는 하이퍼파라미터 값의 Min, Max를 탐색 알고리듬의 초기 입력 범위로 사용하였다.
- 좁힌 범위 내에서 다시 무작위로 값 추출 후 성능 검증한다. 이 방법을 10번 반복하여 최적의 하이퍼파라미터를 설정하였다.
- 데이터 확장은 데이터를 인위적으로 만들어 데이터의 수를 많게 하는 것으로, 이는 과적합 방지에 효과적이고 성능 향상에 도움이 된다[10]. 이미지 식별을 위한 신경망에서는 이미지를 좌우 반전하거나 일부를 잘라내는 방법[9] 등으로 확장하는데, 본 논문에서는 주파수 데이터의 크기 변환 후 노이즈를 더하는 방식으로 데이터를 확장을 하였다. 식은 다음과 같다.
- 본 논문에서 설계한 컨볼루션 신경망 구조는 Alexnet[10] 네트웍 구조를 기반으로 일부 변경하여 구성하였다. 입력 데이터 크기가 작고 훈련데이터 수가 적기 때문에 Alexnet 보다 Layer 층을 작게 하여 그림 1과 같이 설계하였다. 구현은 구글에서 제공하는 Tensorflow 라이브러리를 사용하였다.
- 표 1과 같이 하이퍼파라미터 값을 설정하여 조사하였다. 조사하고자 하는 하이퍼파라미터 값 크기를 Min에서부터 Max까지 점진적으로 증가시켰고, 조사하지 않는 하이퍼파라미터는 Default 값으로 고정하여 수행하였다. 시간 절약을 위해 Epoch를 100까지만 하고, 수행을 1번만 하였다.
- UCI 소나 데이터에서 하이퍼파라미터의 변화에 따른 성능의 변화를 분석하고, 이를 기반으로 최적의 하이퍼파라미터를 찾기 위한 탐색 알고리듬의 초기 입력범위로 사용하였다. 조사한 하이퍼파라미터는 가중치 감소, 은닉 유닛 수, 배치 (Batch) 크기, 학습률, Drop out 비율로 총 5개이다. 표 1과 같이 하이퍼파라미터 값을 설정하여 조사하였다.
- 최종 성능을 측정할 때는 Epoch를 300으로 늘리고, 훈련데이터와 시험데이터를 Gorman과 Sejnowski 연구[2]와 같이 2가지 방법으로 나누어 실험하였다. 첫째로는 수신각도에 독립적으로 랜덤하게 구성 된 192개의 훈련데이터와 16개의 시험데이터로 구성한 뒤, 13-fold cross-validation을 수행하여 식별 성능을 구했다[14]. 두 번째로는 다양한 각도에서 수신된 신호가 고르게 분포되도록 나누어진 훈련데이터 104개와 나머지 104개를 시험데이터로 구성한 뒤, 실험을 수행하였다.
- 본 논문에서는 훈련데이터 내에서 20%를 검증데이터로 분리했고, 훈련데이터로 학습하고 검증데이터로 하이퍼파라미터의 성능을 평가하였다. 최적의 하이퍼 파라미터를 찾은 다음, 시험데이터로 신경망의 범용 성능을 평가 하였다. 검증데이터를 사용하는 이유는, 시험데이터로 하이퍼파라미터를 조정하면 하이퍼파라미터 값이 시험데이터에 과적합 되기 때문이다.
- 최종 성능을 측정할 때는 Epoch를 300으로 늘리고, 훈련데이터와 시험데이터를 Gorman과 Sejnowski 연구[2]와 같이 2가지 방법으로 나누어 실험하였다. 첫째로는 수신각도에 독립적으로 랜덤하게 구성 된 192개의 훈련데이터와 16개의 시험데이터로 구성한 뒤, 13-fold cross-validation을 수행하여 식별 성능을 구했다[14].
대상 데이터
- UCI 소나데이터에서 제공된 훈련데이터 104개로 약 10000개까지 데이터 확장을 하였고, 훈련데이터 수의 증가에 따른 성능 및 학습 시간의 변화는 그림 3과 같다. 훈련데이터 수가 증가함에 따라 성능이 향상되지만, 훈련데이터가 약 5300개 넘어가면 더 이상 성능이 향상되지 않았다.
- 첫째로는 수신각도에 독립적으로 랜덤하게 구성 된 192개의 훈련데이터와 16개의 시험데이터로 구성한 뒤, 13-fold cross-validation을 수행하여 식별 성능을 구했다[14]. 두 번째로는 다양한 각도에서 수신된 신호가 고르게 분포되도록 나누어진 훈련데이터 104개와 나머지 104개를 시험데이터로 구성한 뒤, 실험을 수행하였다. 첫 번째의 수신각도에 독립적인 경우는 랜덤하게 훈련데이터가 생성되기 때문에 다양한 각도에서 수신된 신호가 학습되기 어려울 수 있는 반면, 두 번째의 수신각도에 의존적인 경우는 다양한 각도에서 수신한 신호가 학습될 수 있다.
- 본 논문에서 사용한 UCI 능동소나 데이터는 미국 캘리포니아대학의 UCI machine learning repository[7]에서 공개한 데이터이다. 해상에서 기뢰와 같은 금속실린더와 실린더 모양의 바위를 대상으로 Linear Frequency Modulated (LFM) 능동신호를 여러 각도에서 수신한 신호로써, 각 신호를 STFT (Short-time Fourier transform)을 취한 후, 주파수 대역에 대해 0 에서 1 사이의 값으로 정규화 한 60차의 스펙트럼으로 구성된 특징벡터 데이터로 제공된다.
- 실제 해상에서 잠수함 및 기뢰로부터 반사된 능동소나의 데이터 획득이 어려운 점이 있어, 본 논문에서는 UCI machine learning repository[7]에서 공개한 데이터셋을 이용하였다. 이 데이터는 기존 연구[2]에서 사용된 능동소나의 표적 반사음에 대한 데이터로써, 60차 주파수 스펙트럼 특징벡터로 구성된 데이터로 구성되어있다.
- 실제 해상에서 잠수함 및 기뢰로부터 반사된 능동소나의 데이터 획득이 어려운 점이 있어, 본 논문에서는 UCI machine learning repository[7]에서 공개한 데이터셋을 이용하였다. 이 데이터는 기존 연구[2]에서 사용된 능동소나의 표적 반사음에 대한 데이터로써, 60차 주파수 스펙트럼 특징벡터로 구성된 데이터로 구성되어있다.
- 수신한 신호의 각도 범위는 금속 실린더는 0~90도, 바위는 0~180도 사이이다. 총 208개의 데이터 중 111개는 금속 실린더로부터의 반향신호이고, 97개는 바위로부터 얻어진 반향신호의 특징벡터로 구성되어 있다. 그리고 훈련데이터에 다양한 각도에서 수신된 신호가 고르게 분포되도록 [2]에서 훈련데이터와 시험데이터로 분류를 하였는데, 104개는 훈련데이터이고 나머지 104개는 시험데이터로 분류하여 데이터 셋에 표시 되어있다.
- 구현은 구글에서 제공하는 Tensorflow 라이브러리를 사용하였다. 컨볼루션 신경망은 일반적으로 2차원 이미지를 입력으로 사용하기 때문에, UCI 소나데이터의 1차원 특징벡터 60개를 2차원 구조인 10x6 구조로 변경하여 입력 데이터로 사용하였다. C-layer에서는 3x3 크기의 커널마스크를 사용하였고, Stride의 크기는 1, 특징 맵의 크기를 보존하기 위해 Zero padding을 사용하였다.
- 컨볼루션 신경망은 일반적으로 2차원 이상의 이미지 식별에 많이 쓰이는데, 본 논문에서 사용하는 데이터는 1차원 주파수 스펙트럼이므로 이를 컨볼루션 신경망에 적용하기 위해 2차원 형태로 변경하여 입력데이터로 사용하였다. 실험 결과, 2차원으로 변경된 1차원 주파수 스펙트럼도 컨볼루션 신경망에서 좋은 성능을 내는 것을 확인하였다.
- ni는 노이즈로써, 생성 방법은 시간 도메인에서 평균이 0이고 표준편차가 1인 정규분포를 가지는 랜덤 노이즈를 생성 후 60차수의 정규화 된 주파수 스펙트럼으로 변환한 값이다. 훈련데이터에만 UCI 소나데이터와 확장된 데이터를 섞어서 사용하였고, 시험데이터는 UCI 소나 데이터만을 사용하였다.
데이터처리
- 첫 번째의 수신각도에 독립적인 경우는 랜덤하게 훈련데이터가 생성되기 때문에 다양한 각도에서 수신된 신호가 학습되기 어려울 수 있는 반면, 두 번째의 수신각도에 의존적인 경우는 다양한 각도에서 수신한 신호가 학습될 수 있다. 실험은 가중치 벡터의 초기 값을 다르게 하여 10번 수행 후 평균하여 성능을 구했다.
- 설정된 하이퍼파라미터 값의 범위 내에서 무작위로 값을 추출한다. 추출된 값을 이용하여 학습 후, 검증데이터로 성능을 평가한다. 평가된 결과를 기반으로 하이퍼파라미터의 범위를 좁힌다.
이론/모형
- P-layer에서는 2x2 크기로 Max-pooling 하고, Stride는 1로 하였다. F-layer의 가중치 벡터 초기화 방법은 He 초기화 방식[11]을 이용하였고, 은닉 뉴런은 256개를 사용하였다. 그리고 활성화 함수는 ReLu 함수를 사용하고, 과적합 (Overfitting) 방지를 위해 L2 정규화 (Regularization)와 Drop-out 방법[12]을 이용하였다.
- 마지막 Layer에는 출력을 얻기 위해 Softmax 함수를 사용하였다. 가중치 벡터의 갱신을 위한 최적화 함수는 AdamOptimizer[13]을 사용하였다.
- 입력 데이터 크기가 작고 훈련데이터 수가 적기 때문에 Alexnet 보다 Layer 층을 작게 하여 그림 1과 같이 설계하였다. 구현은 구글에서 제공하는 Tensorflow 라이브러리를 사용하였다. 컨볼루션 신경망은 일반적으로 2차원 이미지를 입력으로 사용하기 때문에, UCI 소나데이터의 1차원 특징벡터 60개를 2차원 구조인 10x6 구조로 변경하여 입력 데이터로 사용하였다.
- 신경망에서는 최적의 하이퍼파라미터를 찾기 위한 방법으로 그리드 탐색 (Grid search) 방법보다 랜덤 탐색 (Random search) 방법이 더 좋은 결과를 가져온다고 알려져 있다[8]. 그래서 본 논문에서도 랜덤 탐색을 사용하였고, 방법은 다음과 같다. 설정된 하이퍼파라미터 값의 범위 내에서 무작위로 값을 추출한다.
- F-layer의 가중치 벡터 초기화 방법은 He 초기화 방식[11]을 이용하였고, 은닉 뉴런은 256개를 사용하였다. 그리고 활성화 함수는 ReLu 함수를 사용하고, 과적합 (Overfitting) 방지를 위해 L2 정규화 (Regularization)와 Drop-out 방법[12]을 이용하였다. L2 정규화는 손실함수 값을 정의할 때 에러 값에 가중치 벡터 값의 제곱을 더해주는 것이고, Drop-out은 학습 시에 은닉 층에서 랜덤하게 몇 개의 뉴런들만 사용하는 것이다.
- 본 논문에서는 Drop-out의 비율을 훈련 시에는 30%로 하고, 시험 시에는 0%로 하였다. 마지막 Layer에는 출력을 얻기 위해 Softmax 함수를 사용하였다. 가중치 벡터의 갱신을 위한 최적화 함수는 AdamOptimizer[13]을 사용하였다.
성능/효과
- Epoch의 증가에 따라 성능도 점진적으로 증가하는 것을 볼 수 있다. 10번 수행하여 얻은 평균 성능은 표 2와 같이 훈련데이터가 수신 각도에 의존적인 경우와 독립적인 경우 각각 94.9%, 88.9%이고, 표준 편차는 0.79%, 6.8%를 얻었다. 이전 연구에서 사용한 인공신경망[2], SVM[3]과 비교하면, 수신각도에 의존적인 훈련데이터의 경우에는 인공신경망과 SVM보다 각각 4.
- 데이터 확장 방법으로 만든 훈련데이터가 과적합 방지에 기여하여 성능이 향상되지만, 일정 수 이상의 확장된 데이터는 이미 만들어진 데이터와 큰 차이가 없는 비슷한 데이터라서 성능향상에 기여하지 못하는 것으로 추측된다. 그리고 훈련데이터 수가 증가함에 따라 학습 시간도 점진적으로 증가하였다. 학습이 끝나고 난 후의 테스트 셋의 분류 시간은 학습 시간에 비해 극히 작았는데, 약 10000개의 샘플을 분류하는데 걸린 시간은 약 0.
- 컨볼루션 신경망은 2차원 이상의 데이터에 적용하므로 본 논문에서는 1차원 주파수 데이터를 2차원으로 변형하여 적용하였고, 그 결과 성능이 잘 나오는 것을 확인하였다. 또한 이미지에 주로 적용하던데이터 확장 방법을 주파수 데이터에 적용해도 성능이 향상됨을 확인하였다. 랜덤 탐색 기법으로 찾은 하이퍼파라미터를 사용하여 얻은 성능은 훈련데이터가 수신 각도에 의존적인 경우와 독립적인 경우 각각 94.
- 또한 이미지에 주로 적용하던데이터 확장 방법을 주파수 데이터에 적용해도 성능이 향상됨을 확인하였다. 랜덤 탐색 기법으로 찾은 하이퍼파라미터를 사용하여 얻은 성능은 훈련데이터가 수신 각도에 의존적인 경우와 독립적인 경우 각각 94.9%, 88.9% 이었고, 이는 이전 연구에서 사용한 인공신경망과 SVM 알고리듬보다 식별성능이 최대 4.5% 포인트 향상되었음을 확인 할 수 있었다.
- 2%포인트 향상되었다. 수신각도에 독립적인 경우는 랜덤으로 형성된 훈련데이터와 시험데이터의 조합에 따라 성능의 변화가 커서, 표준편차가 수신각도에 의존적인 경우보다 크게 나왔다. 깊은 신경망은 학습데이터 수가 적을 때는 [2]와 같은 얕은 신경망과 SVM[3]과 같은 고전적 기계학습 알고리듬보다 낮은 성능을 가지지만, 일정 수 이상의 학습데이터를 가지게 되면 얕은 신경망과 고전적 기계학습 알고리듬보다 성능이 좋아지는 것으로 알려져 있다[15].
- 컨볼루션 신경망은 일반적으로 2차원 이상의 이미지 식별에 많이 쓰이는데, 본 논문에서 사용하는 데이터는 1차원 주파수 스펙트럼이므로 이를 컨볼루션 신경망에 적용하기 위해 2차원 형태로 변경하여 입력데이터로 사용하였다. 실험 결과, 2차원으로 변경된 1차원 주파수 스펙트럼도 컨볼루션 신경망에서 좋은 성능을 내는 것을 확인하였다.
- 딥 러닝의 경우 빅데이터 기반에서 좋은 성능을 내는데, UCI 소나 데이터는 208개의 적은 데이터를 제공한다. 이를 극복하기 위해 본 논문에서는 일반적으로 이미지에 많이 적용 되었던 데이터 확장 (Data augmentation) 기법을 주파수 데이터에 적용하였고, 그 결과 성능이 향상 되는 것을 확인하였다.
- 본 논문에서는 능동소나 데이터에 딥 러닝 알고리듬의 하나인 컨볼루션 신경망 적용을 제안하였고, 제안한 방법으로 기뢰와 같은 금속물체와 바위를 식별하는 실험을 수행하였다. 컨볼루션 신경망은 2차원 이상의 데이터에 적용하므로 본 논문에서는 1차원 주파수 데이터를 2차원으로 변형하여 적용하였고, 그 결과 성능이 잘 나오는 것을 확인하였다. 또한 이미지에 주로 적용하던데이터 확장 방법을 주파수 데이터에 적용해도 성능이 향상됨을 확인하였다.
- 은닉 유닛 수와 배치 크기 및 Drop out 비율 값의 변화보다 가중치감소와 학습률 값 변화에 따른 성능의 변화가 더 민감했다. 특히, 학습률은 작은 값의 변화에도 성능의 변화가 컸고 (그림 2 참조), 일정 한 크기가 넘어가면 성능이 수렴하지 않고 발산하는 경향을 보였다.
- UCI 소나데이터에서 제공된 훈련데이터 104개로 약 10000개까지 데이터 확장을 하였고, 훈련데이터 수의 증가에 따른 성능 및 학습 시간의 변화는 그림 3과 같다. 훈련데이터 수가 증가함에 따라 성능이 향상되지만, 훈련데이터가 약 5300개 넘어가면 더 이상 성능이 향상되지 않았다. 데이터 확장 방법으로 만든 훈련데이터가 과적합 방지에 기여하여 성능이 향상되지만, 일정 수 이상의 확장된 데이터는 이미 만들어진 데이터와 큰 차이가 없는 비슷한 데이터라서 성능향상에 기여하지 못하는 것으로 추측된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.