[논문]베이지안 최적화를 이용한 암상 분류 모델의 하이퍼 파라미터 탐색

최용욱; 윤대웅; 최준환; 변중무

doi:10.7582/gge.2020.23.3.00157

베이지안 최적화를 이용한 암상 분류 모델의 하이퍼 파라미터 탐색
Hyperparameter Search for Facies Classification with Bayesian Optimization 원문보기

지구물리와 물리탐사 = Geophysics and geophysical exploration, v.23 no.3, 2020년, pp.157 - 167

최용욱 (전남대학교 에너지자원공학과) , 윤대웅 (전남대학교 에너지자원공학과) , 최준환 (한양대학교 자원환경공학과) , 변중무 (한양대학교 자원환경공학과)

초록
AI-Helper

최근 인공지능 기술의 발전과 함께 물리탐사의 다양한 분야에서도 인공지능의 핵심 기술인 머신러닝의 활용도가 증가하고 있다. 또한 머신러닝 및 딥러닝을 활용한 연구는 이미지, 비디오, 음성, 자연어 등 다양한 태스크의 추론 정확도를 높이기 위해 복잡한 알고리즘들이 개발되고 있고, 더 나아가 자료의 특성, 알고리즘 구조 및 하이퍼 파라미터의 최적화를 위한 자동 머신러닝(AutoML) 분야로 그 폭을 넓혀가고 있다. 본 연구에서는 AutoML 분야 중에서도 하이퍼 파라미터(hyperparameter) 자동 탐색을 위한 베이지안 최적화 기술에 중점을 두었으며, 본 기술을 물리탐사 분야에서도 암상 분류(facies classification) 문제에 적용했다. Vincent field의 현장 물리검층 및 탄성파 자료를 이용하여 암상 및 공극유체를 분류하는 지도학습 기반 모델에 적용하였고, 랜덤 탐색 기법의 결과와 비교하여 베이지안 최적화 기반 예측 프레임워크의 효율성을 검증하였다.

Abstract ▼ AI-Helper

With the recent advancement of computer hardware and the contribution of open source libraries to facilitate access to artificial intelligence technology, the use of machine learning (ML) and deep learning (DL) technologies in various fields of exploration geophysics has increased. In addition, ML researchers have developed complex algorithms to improve the inference accuracy of various tasks such as image, video, voice, and natural language processing, and now they are expanding their interests into the field of automatic machine learning (AutoML). AutoML can be divided into three areas: feature engineering, architecture search, and hyperparameter search. Among them, this paper focuses on hyperparamter search with Bayesian optimization, and applies it to the problem of facies classification using seismic data and well logs. The effectiveness of the Bayesian optimization technique has been demonstrated using Vincent field data by comparing with the results of the random search technique.

주제어

표/그림 (13)

그림 Fig. 1. Flowcharts of (a) procedure of the proposed prediction framework with hyperparameter search and (b) procedure of hyperparameter search using TPE Bayesian optimization and k-fold cross validation.
그림 Fig. 2. (a) losses of LightGBM models w.r.t. a hyperparameter of min_child_samples for 50 iterations of Bayesian Optimization. The criteria y* is set to 15%. (b) The corresponding density distributions of l(x) and g(x).
그림 Fig. 3. Schematic of k-fold cross validation
그림 Fig. 4. P-impedance (Zp), S-impedance (Zs), Lambda-Rho (LR), Mu-Rho (MR), Vp/Vs, and Facies from Vincent 1
그림 Fig. 5. Imbalanced dataset of well log data.
그림 Fig. 6. Results of Seismic AVO inversion: P-impedance (Zp), S-impedance (Zs), Lambda-Rho (LR), Mu-Rho (MR), Vp/Vs.
표 Table 1. Hyperparameters of the LightGBM model
그림 Fig. 8. Categorical hyperparameter distributions of boosting types and class weight selected from 300 iterations of random search and Bayesian optimization.
그림 Fig. 7. Validation loss vs. iteration plots for random search and Bayesian optimization.
표 Table 2. Selected hyperparameter values and mean AUC for models with default, random search, and Bayesian optimization
그림 Fig. 9. Continuous hyperparameter distributions of (a) learning_rate, (b) num_leaves, (c) reg_lambda, and (d) reg_alpha selected from 300 iterations of random search and Bayesian optimization.
그림 Fig. 10. Comparison of training data and predictions from final models of random search and Bayesian optimization.
그림 Fig. 11. Facies predictions of trained models with default hyperparameters, random search and Bayesian optimization in the seismic area.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 서호주의 Exmouth 하부분지에서 획득된 Vincent field 자료를 이용하여 지도학습 기반의 암상 분류 모델을 학습하였고, TPE 기반 베이지안 최적화 기법을 적용하여 제안된 프레임워크의 효율성을 입증하였다. Vincent field는 Muderong shale 트랩과 Sandstone 기반의 가스 및 석유층이 포함된 3방향 경사/단층 폐쇄구조이다.
본 연구에서는 AutoML의 위 3가지 분야 중 하이퍼 파라미터 최적화 기술을 물리탐사 분야의 문제에 적용해 보고자 한다. 하이퍼 파라미터 최적화 기술은 지도학습 기반의 머신러닝 알고리즘이 사용되는 모든 문제에 활용 가능하지만, 본 논문에서는 물리탐사 분야의 대표적인 머신러닝 활용 문제인 정량적 탄성파 해석을 위한 암상 분류 문제에 적용하여 그 기술의 효율성을 입증하고자 한다.
하이퍼 파라미터 최적화는 자동 머신러닝(AutoML)의 한 분야로 모델 학습 이전에 설정되는 매개 변수인 하이퍼 파라미터의 최적값을 자동으로 결정하는 방법이다. 본 연구에서는 물리탐사 분야의 암상 분류 문제에 Tree Parzen Estimator (TPE) 기반의 베이지안 최적화 기법을 적용하여 최적의 하이퍼 파라미터를 도출하는 실험을 수행하였다. 클래스의 불균형을 보이는 부족한 훈련자료에서 모델 검증에 대한 신뢰도를 높이기 위한 방안으로 베이지안 최적화와 k겹 교차검증을 이용한 프레임워크를 제안하였고, 이를 Vincent field 자료에 적용하여 제안된 프레임워크의 효율성을 검증하였다.
본 연구에서는 AutoML의 위 3가지 분야 중 하이퍼 파라미터 최적화 기술을 물리탐사 분야의 문제에 적용해 보고자 한다. 하이퍼 파라미터 최적화 기술은 지도학습 기반의 머신러닝 알고리즘이 사용되는 모든 문제에 활용 가능하지만, 본 논문에서는 물리탐사 분야의 대표적인 머신러닝 활용 문제인 정량적 탄성파 해석을 위한 암상 분류 문제에 적용하여 그 기술의 효율성을 입증하고자 한다.

가설 설정

∙ class_weight: balanced로 설정 할 경우 클래스가 불균형을 이룰 때 적은 양의 클래스에 보다 큰 가중치를 부여한다.

제안 방법

3차원 탄성파 자료는 near (8° ~ 19°), middle (19° ~ 30°), far (30° ~ 41°), ultra-far (41° ~ 52°) 중합 자료로 구성되어 있고, AVO (Amplitude Versus Offset) 역산을 수행하여 검층에서와 동일한 탄성 물성 값을 추출하였다.
8. Categorical hyperparameter distributions of boosting types and class weight selected from 300 iterations of random search and Bayesian optimization.
Fig. 1b에서는 TPE 기반 베이지안 최적화의 단계별 과정을 보여주고 있고, 본 논문에서는 hyperopt(http://hyperopt. github.io/hyperopt/) 오픈소스 라이브러리를 사용하여 TPE 기반의 베이지안 최적화를 적용하였다.
머신러닝 지도학습 기반 암상 분류 모델은 물리검층 자료의 탄성 물성을 입력으로, 암상 및 공극 유체 정보를 레이블로 이용하여 학습을 통해 얻을 수 있다. P파 검층(sonic log)과 밀도 검층(density log) 그리고 S파 검층(shear log)을 이용하여 입력 자료인 P-impedance, S-impedance, Vp-Vs, Lambda-rho (LR), Mu-rho (MR) 등의 탄성 물성을 얻을 수 있고, Gamma ray 및 전기비저항 검층의 분석을 통해 shale, wet sand, oil sand, gas sand와 같은 암상 및 공극 유체로 분류하고 이를 레이블로 사용한다.
다음으로 베이지안 최적화와 랜덤 탐색을 통해 얻어진 하이퍼 파라미터(Table 2)를 이용하여 최종 암상 분류 모델을 결정하였다. 본 연구에서는 비교적 적은 양의 데이터를 사용하기 때문에 모든 훈련 데이터를 사용하여 재학습하는 방식을 선택했다.
다음으로 총 300번의 반복 탐색 시 선정된 하이퍼 파라미터들의 분포를 확인해 보았다(Fig. 8, 9). 먼저 전체적인 분포의 경향을 살펴보면, 랜덤 탐색은 균일하게 무작위 값을 선택하는 반면, 베이지안 최적화는 특정 값에 치우친 값을 선정하는 경향을 보인다.
마지막으로 기본값, 랜덤 탐색, 베이지안 최적화를 이용한 최종 암상 분류 모델을 탄성파 역산 결과(Fig. 6)에 적용하여 탄성파 영역에서의 암상 및 공극 유체 분포를 예측하였다(Fig. 11). 세 결과 모두 훈련 단계에서의 높은 검증 성능을 보인 만큼, 셰일, 가스샌드, 오일샌드의 분포가 유사하게 예측되었다.
지도학습 기반 암상 분류 모델의 알고리즘으로는 트리 계열 중 하나인 LightGBM을 사용하였고, 랜덤 탐색을 통해 얻어진 최종 모델과 비교하였을 때 베이지안 최적화가 높은 검증 AUC 성능을 보이는 것을 확인하였다. 마지막으로, 물리검층 자료를 통해 학습된 최종 모델을 탄성파 AVO 역산 결과에 적용하였고, 이를 통해 탄성파 영역에서의 shale, wet sand, oil sand, gas sand의 분포를 예측하였다. 비록 본 연구에서는 암상 분류 예제만을 이용해서 베이지안 최적화의 효율성을 검증하였지만, 이 기법은 대부분의 지도학습 기반 모델의 성능을 향상시키는 방법으로 사용될 수 있으며, 하이퍼 파라미터 튜닝 프로세스에 소요되는 시간을 절약 할 수 있다, 따라서 제안된 TPE 기반 베이지안 최적화를 이용한 예측 프레임워크가 물리탐사 분야의 다양한 문제에 활용되기를 기대한다.
베이지안 최적화와 k겹 교차검증을 반복적으로 수행하여 성능을 평가한 후, 최종 모델을 결정한다. 최종 모델을 결정하는 방법에는 k겹 교차검증을 이용하는 방식과 모든 훈련자료를 이용하는 방식이 있고, 전자의 경우 각 겹에서 얻어진 모델 중 가장 높은 성능의 모델을 선택하는 방법과 각 겹에서 얻어진 모델들을 앙상블하여 단일 모델을 생성하는 방법이 있다.
베이지안 최적화의 성능을 확인하기 위해 LightGBM의 기본(default) 하이퍼 파라미터를 사용한 모델 및 랜덤 탐색을 통해 얻어진 모델과 비교하였다. 공정한 비교를 위해 랜덤 탐색 시 하이퍼 파라미터의 탐색 범위와 탐색 횟수를 베이지안 최적화와 동일하게 설정하였고, 동일한 k겹 교차검증(k=5)에 대한 AUC 값을 비교하였다.
본 논문에서는 Fig. 1a와 같이 단계별 예측 모델 결정 프레임워크를 이용하여 지도학습 기반의 최적화된 예측 모델을 결정한다(Nguyen et al., 2020). 제안된 프레임워크는 자료 전처리, 알고리즘 선택, 하이퍼 파라미터 탐색, 최적 하이퍼 파라미터 결정, 최종 예측 모델 결정, 예측 단계로 구성된다.
본 연구에서는 LightGBM 만을 이용하여 하이퍼 파라미터 최적화를 수행하였다. 이 때 사용된 파라미터는 범주형 2개, 연속형 5개로 총 7개의 하이퍼 파라미터를 사용하였고, 그 종류와 탐색 범위는 Table 1과 같고 세부 내용은 다음과 같다.
다음으로 베이지안 최적화와 랜덤 탐색을 통해 얻어진 하이퍼 파라미터(Table 2)를 이용하여 최종 암상 분류 모델을 결정하였다. 본 연구에서는 비교적 적은 양의 데이터를 사용하기 때문에 모든 훈련 데이터를 사용하여 재학습하는 방식을 선택했다. 최종 LightGBM 분류 모델에서 특성 중요도(feature importance)를 측정하였고, 총 5개의 특성 중 중요도는 Vp/Vs, Lambda-Rho (LR), P-impedance (Zp), S-impedance (Zs), MuRho (MR) 순으로 나타났다.
단, 두 방법 모두 검증세트를 제외한 나머지 훈련 세트로만 모델을 학습해야하는 단점이 있어, 비교적 적은 양의 자료를 사용할 때는 모든 훈련자료를 이용하는 방식을 주로 선택한다. 본 연구에서도 최종 선정된 하이퍼 파라미터만을 추출하여, 모든 훈련자료를 재학습 시킨 후 최종 모델을 결정한다.
암상 분류 모델의 훈련자료로 사용하기 위해 물리검층 자료 분석을 수행하였고, 이를 통해 탄성 물성 값인 P-impedance (Zp), S-impedance (Zs), Lambda-Rho (LR), Mu-Rho (MR), Vp/Vs와 암상 및 공극 유체(Facies)를 추출하였다(Fig. 4). 여기서 탄성 물성 값을 입력으로, 암상 및 공극 유체를 레이블로 사용하여 암상 분류 모델을 학습하였고, 레이블은 shale, wet sand, oil sand, gas sand로 총 4개의 클래스를 사용하였고, 훈련자료로 사용할 물리검층 자료는 불균형적인 클래스를 보인다(Fig.
4). 여기서 탄성 물성 값을 입력으로, 암상 및 공극 유체를 레이블로 사용하여 암상 분류 모델을 학습하였고, 레이블은 shale, wet sand, oil sand, gas sand로 총 4개의 클래스를 사용하였고, 훈련자료로 사용할 물리검층 자료는 불균형적인 클래스를 보인다(Fig. 5).
p(y|x)는 비용이 많이 드는 목적함수를 대체하기 위한 모델로 surrogate 모델이라 부르고, 출력으로 목적함수 점수의 확률값 또는 추정값을 제공한다. 일반적으로 많이 사용되는 Surrogate 모델로는 Gaussian Process, Random Forest, Tree Parzen Estimator (TPE)가 있고, 본 논문에서는 연속형 뿐만 아니라 범주형 및 조건형 하이퍼 파라미터를 사용할 수 있는 TPE에만 중점을 두고 설명하겠다(Bergsta et al., 2011).
, 2020). 제안된 프레임워크는 자료 전처리, 알고리즘 선택, 하이퍼 파라미터 탐색, 최적 하이퍼 파라미터 결정, 최종 예측 모델 결정, 예측 단계로 구성된다.
또한 검증 자료 생성 시 불균형적인 클래스에서 샘플링 편향 현상이 일어나는 것을 방지하기 위해 계층적 샘플링(stratified sampling) 기법을 적용하였고, 성능 측정 지표로는 ROC (Receiver Operating Characteristic) 곡선의 AUC (Area Under the ROC Curve)를 사용하였다. 총 300회의 반복을 실시하였으며 Intel Core i9-9820X, 3.30 GHZ, Nvidia RTX super*2개 사양의 컴퓨터로 약 1시간 30분이 소요되었다.
본 연구에서는 물리탐사 분야의 암상 분류 문제에 Tree Parzen Estimator (TPE) 기반의 베이지안 최적화 기법을 적용하여 최적의 하이퍼 파라미터를 도출하는 실험을 수행하였다. 클래스의 불균형을 보이는 부족한 훈련자료에서 모델 검증에 대한 신뢰도를 높이기 위한 방안으로 베이지안 최적화와 k겹 교차검증을 이용한 프레임워크를 제안하였고, 이를 Vincent field 자료에 적용하여 제안된 프레임워크의 효율성을 검증하였다. 지도학습 기반 암상 분류 모델의 알고리즘으로는 트리 계열 중 하나인 LightGBM을 사용하였고, 랜덤 탐색을 통해 얻어진 최종 모델과 비교하였을 때 베이지안 최적화가 높은 검증 AUC 성능을 보이는 것을 확인하였다.

대상 데이터

3차원 탄성파 자료는 near (8° ~ 19°), middle (19° ~ 30°), far (30° ~ 41°), ultra-far (41° ~ 52°) 중합 자료로 구성되어 있고, AVO (Amplitude Versus Offset) 역산을 수행하여 검층에서와 동일한 탄성 물성 값을 추출하였다. 본 논문에서는 Vincent I 과 III을 포함하는 탄성파 역산 결과 섹션을 테스트 데이터로 사용하였다(Fig. 6).
본 연구에서는 LightGBM 만을 이용하여 하이퍼 파라미터 최적화를 수행하였다. 이 때 사용된 파라미터는 범주형 2개, 연속형 5개로 총 7개의 하이퍼 파라미터를 사용하였고, 그 종류와 탐색 범위는 Table 1과 같고 세부 내용은 다음과 같다.
탐사 자료로는 Vincent field의 세 개의 시추공(Vincent I – III)에서 획득된 감마 검층, 밀도 검층, 중성자 검층, 전기비저항 검층, 음파 검층 및 3차원 탄성파 자료가 존재한다.

데이터처리

베이지안 최적화의 성능을 확인하기 위해 LightGBM의 기본(default) 하이퍼 파라미터를 사용한 모델 및 랜덤 탐색을 통해 얻어진 모델과 비교하였다. 공정한 비교를 위해 랜덤 탐색 시 하이퍼 파라미터의 탐색 범위와 탐색 횟수를 베이지안 최적화와 동일하게 설정하였고, 동일한 k겹 교차검증(k=5)에 대한 AUC 값을 비교하였다.
일반적으로 하이퍼 파라미터 선정 후 훈련자료를 훈련세트(training set)와 검증세트(validation set)로 분리한 후 검증세트를 이용하여 모델의 성능을 평가한다. 단 자료의 크기가 작은 경우 검증세트에 대한 성능 평가의 신뢰가 떨어지는 것을 방지하기 위해서 k겹 교차검증(k-fold cross validation)을 실시한다. k겹 교차검증은 Fig.
최적의 하이퍼 파라미터를 결정하기 위해 베이지안 최적화와 k겹 교차검증을 실시하였고, 이 때 k=5의 겹수를 사용하였다. 또한 검증 자료 생성 시 불균형적인 클래스에서 샘플링 편향 현상이 일어나는 것을 방지하기 위해 계층적 샘플링(stratified sampling) 기법을 적용하였고, 성능 측정 지표로는 ROC (Receiver Operating Characteristic) 곡선의 AUC (Area Under the ROC Curve)를 사용하였다.

이론/모형

TPE 기반의 surrogate 모델, p(y|x)를 계산하기 위해 다음과 같이 Bayes’rule을 사용한다.
최적의 하이퍼 파라미터를 결정하기 위해 베이지안 최적화와 k겹 교차검증을 실시하였고, 이 때 k=5의 겹수를 사용하였다. 또한 검증 자료 생성 시 불균형적인 클래스에서 샘플링 편향 현상이 일어나는 것을 방지하기 위해 계층적 샘플링(stratified sampling) 기법을 적용하였고, 성능 측정 지표로는 ROC (Receiver Operating Characteristic) 곡선의 AUC (Area Under the ROC Curve)를 사용하였다. 총 300회의 반복을 실시하였으며 Intel Core i9-9820X, 3.
1a의 알고리즘 선택 단계는 다양한 알고리즘을 이용하여 모델을 평가하는 과정을 반복적으로 수행하는 작업이 필요하다. 하지만 본 연구에서는 하이퍼 파라미터 최적화에 초점을 맞추기 위하여 LightGBM (Light Gradient Boosting Machine) 하나의 알고리즘만을 사용한다.

성능/효과

먼저 5겹의 검증자료에 대한 평균 AUC 성능은 베이지안 최적화, 랜덤 탐색, 기본값 순으로 나타났고, 베이지안 최적화와 회라는 비교적 많은 수의 반복 탐색을 수행할 경우 랜덤 탐색 또한 효율적으로 작동한다는 것을 보여준다. 단, 베이지안 최적화와 랜덤 탐색의 반복횟수에 따른 성능을 비교해 보았을 때, Fig. 7에서 보이는 바와 같이 대부분의 반복횟수에서 베이지안 최적화가 안정적으로 높은 성능을 보이는 것을 확인할 수 있다.
먼저 5겹의 검증자료에 대한 평균 AUC 성능은 베이지안 최적화, 랜덤 탐색, 기본값 순으로 나타났고, 베이지안 최적화와 회라는 비교적 많은 수의 반복 탐색을 수행할 경우 랜덤 탐색 또한 효율적으로 작동한다는 것을 보여준다. 단, 베이지안 최적화와 랜덤 탐색의 반복횟수에 따른 성능을 비교해 보았을 때, Fig.
11). 세 결과 모두 훈련 단계에서의 높은 검증 성능을 보인 만큼, 셰일, 가스샌드, 오일샌드의 분포가 유사하게 예측되었다. 단, 베이지안 최적화의 경우 훈련자료의 예측 결과와 유사하게 상대적으로 많은 양의 셰일 분포를 보였다.
먼저 전체적인 분포의 경향을 살펴보면, 랜덤 탐색은 균일하게 무작위 값을 선택하는 반면, 베이지안 최적화는 특정 값에 치우친 값을 선정하는 경향을 보인다. 이는 베이지안 최적화의 경우 사전 지식을 반영하여 하이퍼 파라미터가 선택되는 원리로 해석될 수 있고, 그 탐색 범위가 베이지안 최적화를 통해 선택된 최적의 하이퍼 파라미터값(Table 2)과 가깝게 분포하는 것을 볼 때, 최적화가 성공적으로 진행된다는 것을 확인할 수 있다. 특히 범주형 하이퍼 파라미터의 경우, 랜덤 탐색은 균일한 분포를 보이는 반면, 베이지안 최적화는 부스팅 방식으로 DART를, 클래스 가중치로 balanced를 주로 선택하는 것을 볼 수 있다(Fig.
10a- c에서 볼 수 있듯이 oil sand와 gas sand의 분포에 비해, wet sand와 shale의 분포는 중복되는 부분이 상당량 존재하여 두 분포의 분리가 쉽지 않음을 예상할 수 있다. 이에 대해 랜덤 탐색(Figs. 10d-f)과 베이지안 최적화(Figs. 10g-i)의 예측 결과를 비교했을 때, 베이지안 최적화의 최종 모델이 상대적으로 높은 정확도로 wet sand와 shale의 분포를 분리하는 것을 확인할 수 있다.
클래스의 불균형을 보이는 부족한 훈련자료에서 모델 검증에 대한 신뢰도를 높이기 위한 방안으로 베이지안 최적화와 k겹 교차검증을 이용한 프레임워크를 제안하였고, 이를 Vincent field 자료에 적용하여 제안된 프레임워크의 효율성을 검증하였다. 지도학습 기반 암상 분류 모델의 알고리즘으로는 트리 계열 중 하나인 LightGBM을 사용하였고, 랜덤 탐색을 통해 얻어진 최종 모델과 비교하였을 때 베이지안 최적화가 높은 검증 AUC 성능을 보이는 것을 확인하였다. 마지막으로, 물리검층 자료를 통해 학습된 최종 모델을 탄성파 AVO 역산 결과에 적용하였고, 이를 통해 탄성파 영역에서의 shale, wet sand, oil sand, gas sand의 분포를 예측하였다.
본 연구에서는 비교적 적은 양의 데이터를 사용하기 때문에 모든 훈련 데이터를 사용하여 재학습하는 방식을 선택했다. 최종 LightGBM 분류 모델에서 특성 중요도(feature importance)를 측정하였고, 총 5개의 특성 중 중요도는 Vp/Vs, Lambda-Rho (LR), P-impedance (Zp), S-impedance (Zs), MuRho (MR) 순으로 나타났다. 이들 중 특성 중요도가 높은 Vp/Vs, LR, Zp 만을 이용하여 훈련자료의 예측 값을 시각화한 결과는 Fig.

후속연구

마지막으로, 물리검층 자료를 통해 학습된 최종 모델을 탄성파 AVO 역산 결과에 적용하였고, 이를 통해 탄성파 영역에서의 shale, wet sand, oil sand, gas sand의 분포를 예측하였다. 비록 본 연구에서는 암상 분류 예제만을 이용해서 베이지안 최적화의 효율성을 검증하였지만, 이 기법은 대부분의 지도학습 기반 모델의 성능을 향상시키는 방법으로 사용될 수 있으며, 하이퍼 파라미터 튜닝 프로세스에 소요되는 시간을 절약 할 수 있다, 따라서 제안된 TPE 기반 베이지안 최적화를 이용한 예측 프레임워크가 물리탐사 분야의 다양한 문제에 활용되기를 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	신경망 구조 탐색의 특징은 무엇인가?	신경망 구조 탐색은 AlexNet, VGGNet, ResNet 등과 같이 사람이 경험적, 실험적으로 신경망의 구조를 설계하는 대신, 학습을 통해 최적의 성능을 내는 구조를 자동으로 설계하는 방법을 말한다. 주로 강화학습(Reinforcement Learning), 유전 알고리즘(Evolutionary Algorithm) 등의 방법으로 학습을 진행하고, 대표적인 방법론으로는 NAS (Neural Architecture Search), NASNet, DARTS (Differentiable Architecture Search) 등이 있다(Zoph and Le, 2016).
	지도학습에는 어떤 알고리즘들이 존재하는가?	지도학습에는 로지스틱 회귀, 서포트 벡터 머신, 랜덤 포레스트, 그래디언트 부스팅, 심층신경망, 합성곱신경망, 순환신경망 등 다양한 알고리즘이 존재한다. 일반적으로 자료의 형태에 따라 선호되는 알고리즘이 있지만 (예를 들어 테이블 형태의 자료는 트리 기반 알고리즘, 영상 자료에는 합성곱 신경망, 시계열 자료에는 순환신경망이 주로 선호됨), NFL (No Free Lunch) 이론에서 말하는 바와 같이 최선의 모델을 찾기 위해서는 모든 모델을 평가해 보는 과정이 필요하다(Wolpert and Macready, 1997).

참고문헌 (26)

Araya-Polo, M., Jennings, J., Adler, A., and Dahlke, T., 2018, Deep-learning tomography, Lead Edge, 37(1), 58-66, doi:10.1190/tle37010058.1.

상세보기
Baldwin, J. L., Bateman, R. M., and Wheatley, C. L., 1990, Application of a neural network to the problem of mineral identification from well logs, The Log Analyst, 31(05), 279-293.
Bergstra, J. S., Bardenet, R., Bengio, Y., and Kegl, B., 2011, Algorithms for hyper-parameter optimization, Adv. Neural. Inf. Process. Syst., 2546-2554.
Choi, J., Yoon, D., Lee, S., and Byun, J., 2019, Petrofacies characterization using best combination of multiple elastic properties, J. Pet. Sci. Eng., 181, doi: 10.1016/j.petrol.2019.06.025.
Choi, J., Kim, B., Kim, S., and Byun, J., 2017, Probabilistic facies analysis using 3D crossplot of stochastic forwardmodeling results, 87th Ann. Internat. Mtg. Soc. Expl. Geophys., Expanded Abstracts, 3077-3081, doi: 10.1190/segam2017-17790996.1.
Delfiner, P., Peyret, O., and Serra, O., 1987, Automatic determination of lithology from well logs, SPE Formation Evaluation, 2(03), 303-310, doi: 10.2118/13290-PA.

상세보기
Frid-Adar, M., Klang, E., Amitai, M., Goldberger, J., and Greenspan, H., 2018, Synthetic data augmentation using GAN for improved liver lesion classification, 2018 IEEE 15th Int. Symp. Biomed. Imaging, 289-293, doi: 10.1109/ISBI.2018.8363576.
Jones, D. R., 2001, A taxonomy of global optimization methods based on response surfaces, Journal of Global Optimization, 21(4), 345-383.
Kanter, J. M., and Veeramachaneni, K., 2015, Deep feature synthesis: Towards automating data science endeavors, 2015 IEEE Int. Conf. Data. Sci. Adv. Anal., 1-10, doi: 10.1109/DSAA.2015.7344858.
Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., and Liu, T. Y., 2017, LightGBM: A Highly Efficient Gradient Boosting Decision Tree, Adv. Neural Infor. Process. Syst., 30, 3149-3157.
Klein, A., Falkner, S., Bartels, S., Hennig, P., and Hutter, F., 2017, Fast Bayesian optimization of machine learning hyperparameters on large datasets, International Conference on Artificial Intelligence and Statistics (AISTATS 2017), 528-536, doi: 10.1214/17-EJS1335SI.
Lee, S., Choi, J., Yoon, D., and Byun, J., 2018, Automatic labeling strategy in semi-supervised seismic facies classification by integrating well logs and seismic data, 88th Ann. Internat. Mtg. Soc. Expl. Geophys., Expanded Abstracts, 14-19, doi: 10.1190/segam2018-2998604.1.
Li, H., Yang, W., and Yong, X., 2018, Deep learning for groundroll noise attenuation, 88th Ann. Internat. Mtg. Soc. Expl. Geophys., Expanded Abstracts, 14-19, doi: 10.1190/segam2018-2981295.1.
Li, L., Jamieson, K., DeSalvo, G., Rostamizadeh, A., and Talwalkar, A., 2018, Hyperband: A novel bandit-based approach to hyperparameter optimization, J. Mach. Learn. Res., 18, 1-52.
Liu, H., Simonyan, K., and Yang, Y., 2018, Darts: Differentiable architecture search, arXiv preprint arXiv: 1806.09055.
Mockus, J., 2012, Bayesian approach to global optimization: theory and applications, Springer Science & Business Media, 37.
Nguyen, H. P., Liu, J., and Zio, E., 2020, A long-term prediction approach based on long short-term memory neural networks with automatic parameter optimization by Treestructured Parzen Estimator and applied to time-series data of NPP steam generators. Appl. Soft Comput., 89, 106116, doi:10.1016/j.asoc.2020.106116.

상세보기
Oh, S., Noh, K., Yoon, D., Seol, S. J., and Byun, J., 2018, Salt delineation from electromagnetic data using convolutional neural networks, IEEE Geosci. Remote Sens. Lett., 16(4), 519-523, doi: 10.1109/LGRS.2018.2877155.
Park, J., Yoon, D., Seol, S. J., and Byun, J., 2019, Reconstruction of seismic field data with convolutional U-Net considering the optimal training input data, 89th Ann. Internat. Mtg. Soc. Expl. Geophys., Expanded Abstracts, doi: 10.1190/segam2019-3216017.1.
Rashmi, K. V., and Gilad-Bachrach, R., 2015, DART: Dropouts meet Multiple Additive Regression Trees, Artificial Intelligence and Statistics, 489-497.
Snoek, J., Larochelle, H., and Adams, R. P., 2012, Practical Bayesian optimization of machine learning algorithms, Adv. Neural Infor. Process. Syst., 2951-2959.
Wolpert, D. H., and Macready, W. G., 1997, No free lunch theorems for optimization, IEEE Trans. Evol. Comput., 1(1), 67-82.

상세보기
Wrona, T., Pan, I., Gawthorpe, R. L., and Fossen, H., 2018, Seismic facies analysis using machine learning, Geophysics, 83(5), O83-O95.

상세보기
Yoon, D., Yeeh, Z., and Byun, J., 2020, Seismic Data Reconstruction Using Deep Bidirectional Long Short-Term Memory with Skip Connections, IEEE Geosci. Remote Sens. Lett., 1-5, doi: 10.1109/LGRS.2020.2993847.
Yoon, D., Kim, S., Kim, J., Park, G., Park, H., Byun, J., Suh, J., Lee, C., Jang, I., Jo, S., and Choi, Y., 2018, Introduction of Resource Engineering with Machine Learning, CIR press, 377-396 (in Korean).
Zoph, B., and Le, Q. V., 2016, Neural Architecture Search with Reinforcement Learning, arXiv preprint arXiv:1611.01578.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증