[논문]기계학습법을 통한 압축 벤토나이트의 열전도도 추정 모델 평가

윤석; 방현태; 김건영; 전해민

doi:10.12652/ksce.2021.41.2.0123

기계학습법을 통한 압축 벤토나이트의 열전도도 추정 모델 평가
Evaluation of a Thermal Conductivity Prediction Model for Compacted Clay Based on a Machine Learning Method 원문보기

KSCE Journal of Civil and Environmental Engineering Research = 대한토목학회논문집, v.41 no.2, 2021년, pp.123 - 131

윤석 (한국원자력연구원 방사성폐기물처분연구부) , 방현태 (한밭대학교 토목공학과) , 김건영 (한국원자력연구원 방사성폐기물처분연구부) , 전해민 (한밭대학교 건설환경공학과)

초록
AI-Helper

완충재는 고준위 방사성 폐기물을 처분하기 위한 공학적 방벽 시스템에서 중요한 구성요소 중 하나이며 사용 후 핵연료가 담긴 처분용기와 암반사이에 채워지는 물질이기 때문에 지하수 유입으로부터 처분용기를 보호하고, 방사성 핵종 유출을 저지하는 중요한 역할을 수행한다. 따라서 공학적 방벽 시스템의 처분용기로부터 발생하는 고온의 열량은 완충재를 통하여 전파되기에 완충재의 열전도도는 처분시스템의 안전성 평가에 매우 중요하다. 본 연구에서는 국내에서 생산되는 압축 벤토나이트 완충재의 열전도도 예측을 위한 경험적 회귀 모델의 정합성을 검증하고 정확도를 높이기 위해 예측모델의 구축에 기계학습법을 적용해 보았다. 벤토나이트의 건조밀도, 함수비 및 온도 값을 바탕으로 열전도도를 예측하고자 하였으며, 이때 다항 회귀, 결정 트리, 서포트 벡터 머신, 앙상블, 가우시안 프로세스 회귀, 인공신경망, 심층 신뢰 신경망, 유전 프로그래밍과 같은 기계학습 기법을 적용하였다. 기계학습 기법을 이용하여 예측한 결과, 부스팅 기반의 앙상블 기법, 유전 프로그래밍, 3차 함수 기반의 SVM, 가우시안 프로세스 회귀의 기계학습기법을 활용한 모델이 선형 회귀 분석 기법에 비해 좋은 성능을 보였으며, 특히 앙상블의 부스팅 기법과 가우시안 프로세스 회귀 기법을 사용한 모델들이 가장 좋은 성능을 보였다.

Abstract ▼ AI-Helper

The buffer is a key component of an engineered barrier system that safeguards the disposal of high-level radioactive waste. Buffers are located between disposal canisters and host rock, and they can restrain the release of radionuclides and protect canisters from the inflow of ground water. Since considerable heat is released from a disposal canister to the surrounding buffer, the thermal conductivity of the buffer is a very important parameter in the entire disposal safety. For this reason, a lot of research has been conducted on thermal conductivity prediction models that consider various factors. In this study, the thermal conductivity of a buffer is estimated using the machine learning methods of: linear regression, decision tree, support vector machine (SVM), ensemble, Gaussian process regression (GPR), neural network, deep belief network, and genetic programming. In the results, the machine learning methods such as ensemble, genetic programming, SVM with cubic parameter, and GPR showed better performance compared with the regression model, with the ensemble with XGBoost and Gaussian process regression models showing best performance.

주제어

표/그림 (5)

그림 Fig. 1. Engineered Barrier System for HLW Disposal (Yoon and Kim, 2021)
그림 Fig. 2. Thermal Conductivity Variation of the Compacted Bentonite
표 Table 1. Statistical Quantities for the Compacted Bentonite Dataset
표 Table 2. Root Mean Square Error of Thermal Conductivity Estimation Using the Machine Learning Methods
그림 Fig. 3. Estimation Results of the Best Performance Models On Each Machine Learning Method

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이러한 열전도도 회귀 모델들은 공학적 방벽의 성능평가를 위한 중요한 입력 변수로 적용되며 처분시스템에서 매우 중요한 역할을 하므로 이에 대한 정확성 검증이 요구된다. 따라서 본 논문에서는 열전도도에 미치는 다양한 변수와 제한된 개수를 가지는 데이터 세트에 활용되는 기계학습 기법들을 적용하여 그 성능을 선형적 회귀모델과 비교 및 검증하고자 하였다. 기계학습은 학습대상이 되는 데이터의 입력변수와 출력변수 사이에 존재하는 경향을 학습하여 모델을 구축하는 방법이다.
비지도 학습은 목표 데이터가 학습 데이터에 포함되지 않는 방법으로, 입력 데이터를 이용하여 군집을 만들거나 데이터의 분포 또는 특성에 따라 관계를 분석하는 방식으로 학습을 한다(Géron, 2017). 본 논문에서는 벤토나이트의 열전도도 예측모델 구축을 위하여 지도 학습에 기반을 둔 모델 학습 알고리즘을 제안하고 각각의 기법들의 성능을 검증한다. 기존의 선형 회귀모델에 대비하여 성능을 검증하고 개선하기 위하여 다항 회귀, 결정 트리, 서포트 벡터 머신(Support Vector Machine, SVM), 앙상블, 가우시안 프로세스 회귀(Gaussian Process Regression, GPR), 인공신경망, 심층 신뢰 신경망(Deep Belief Network, DBN) 및 유전 프로그래밍과 같은 다양한 기계학습 기법을 적용하였다.
유전 프로그래밍의 경우도 세대를 반복하면서 최적화를 진행하면서 데이터세트 전체를 사용한 최적화가 진행된다. 본 논문에서는, 상대적으로 높은 열전도도를 가지는 실험 데이터가 부족하여 충분히 학습이 불가능 했던 부분을 기계학습의 학습 기법을 통해 보완할수 있는 장점을 가진 모델들에서 상대적으로 높은 성능을 보인것으로 확인된다. 이러한 결과를 바탕으로 기계학습의 방법을 사용할 경우 상대적으로 적은 수의 데이터를 사용하여 선형 회귀모델을개선할 수 있음을 보여준다.
본 연구에서는 고준위의 방사성 폐기물을 심층 처분하는데 있어서 가장 중요한 구성요소 중 하나인 벤토나이트 완충재의 열전도도추정 모델에 기계학습법을 적용하여 제시하고자 하였다. 이를 통해선형적 회귀모델과 비교하여 기계학습을 적용한 모델의 성능을검증하고 이를 이용하여 향후 열-수리-역학 복합거동 모델개발의활용가능성을 확인하고자 하였다.
모델에 기계학습법을 적용하여 제시하고자 하였다. 이를 통해선형적 회귀모델과 비교하여 기계학습을 적용한 모델의 성능을검증하고 이를 이용하여 향후 열-수리-역학 복합거동 모델개발의활용가능성을 확인하고자 하였다. 함수비, 건조밀도, 그리고 온도변화를 독립변수로 이용하여 총 147 케이스에 대한 열전도도 회귀모델을 제시하였으며, 앙상블 모델의 XGBoost 기법이 가장 적은 RMSE 값(0.

가설 설정

본 논문에서는 실험 데이터가 가우시안 분포를 따른다고 가정하고 ε와 C 를 학습하는 데이터가 가지는 표준편차σ를 사용하여각각 0.1σ와 σ로 설정하였다. 또한 서포트 벡터머신의 회귀식이비선형을 가질 수 있도록 확장하기 위해 입력변수를 변환하거나가우시안 방사 기저 함수를 이용한 유사도에 관련한 입력변수를추가하여 모델을 구축하였다.
본 논문에서는 하나의 세대를 이루는 구성원의 수를 150으로설정하였다. 다음세대의 구성을 위한 교차의 경우 토너먼트 방식을사용하고 구성원 중 4개의 개체를 선정하여 그 중 다음세대를위한 개체를 선택하는 것을 반복하여 다음세대를 구성하였으며, 새로운 세대를 구성하며 250회를 반복하여 최적화를 수행하여예측 모델을 구축하였다.

제안 방법

벤토나이트 완충재의 건조밀도 및 함수비에 따른 열전도도 특성 규명에 관한 연구들이 많이 진행되어 있지만, 실제 처분 환경에서의 고온의 온도변화에 따른 열전도도변화에 대한 연구는 거의 진행된 적이 없기에 한국원자력연구원에서는 상온에서 80~90도 까지 온도 변화에 따른 벤토나이트 완충재의 열전도도 변화를 측정하여 총 147개의 데이터 세트를 구축하였으며, 이를 사용하여 Eq. (1)과 같이 건조밀도, 함수비 및 온도에 따른 열전도도 회귀식을 제안하였다.
Eq. (2)는 입력변수 상호간의 곱을 새로운특성으로 추가하여 입력변수들 간의 상호작용을 반영한 회귀식을도출하였다. Eq.
5로 설정하고 147개의 데이터 세트를 5개로 나누어 테스트를 위해추출하는 데이터를 바꾸어 가면서 성능평가를 수행하였다. 최종성능은 5개의 테스트그룹 각각에서 RMSE를 산출하여 그 평균을구하여 평가하였다.
01과 200으로설정하였다. 각각의 과정에서 사용되는 활성화 함수로는 Relu (Rectified Linear Unit)를 사용하였고 데이터 수가 제한적이므로한 번에 학습하는 데이터의 수는 1개로 설정하여 학습을 수행하고모델을 구축하였다.
개별적인 다수의 모델을 조합하여 회귀 모델을 구축하는 다양한앙상블 기법 중, 본 논문에서는 배깅과 부스팅의 기법에 기반한 4개의 모델을 구축하여 그 성능을 비교하였다. 첫 번째 모델은학습을 위한 데이터 세트에서 반복을 허용하여 무작위로 데이터를추출하고 이를 이용해 여러 개의 결정트리를 만드는 기본적인배깅 기법을 적용하였다.
다음세대의 구성을 위한 교차의 경우 토너먼트 방식을사용하고 구성원 중 4개의 개체를 선정하여 그 중 다음세대를위한 개체를 선택하는 것을 반복하여 다음세대를 구성하였으며, 새로운 세대를 구성하며 250회를 반복하여 최적화를 수행하여예측 모델을 구축하였다.
다항 회귀 모델은 입력 변수들과 목표 값의 관계에 대한 평균 제곱 오차(Mean Square Error, MSE)를 최소화하는 회귀 방정식을 추정하여 모델을 구축한다. 모델을 구축하고 최적화하기 위해 임의의 값들을 사용하여 초기 모델을 구축한 후 평균 제곱 오차를 사용한 비용함수를 정의하고, 학습을 반복하면서 비용함수를 최소
이를 위해 데이터 세트에서 경계가 되는 위치에 있는 점을지지 벡터로 정의하고 이를 바탕으로 함수의 추정과 최적화를수행한다(Smola and Schölkopf, 2004). 따라서 SVM 모델은지지 벡터로 설정된 점들 사이에 가장 많은 데이터가 포함 될수 있도록 최적의 지지 벡터를 선정하고 지지 벡터의 중심을 통과하는 선형의 함수를 추정하는 방식으로 모델을 생성한다. 선형의함수를 사용하여 모델을 제작하기 때문에 비선형의 데이터에 적용하기 위해 커널을 설정하여 차원을 변경하거나 가우시안 방사기저함수를 통하여 비선형의 데이터에도 사용가능한 모델을 구축할 수 있다.
따라서 선형적 모델 이외에 2차, 3차로 비선형 회귀식을 가질수 있도록 확장한 모델과 가우시안 방사 기저 함수(Gaussian Radial Basis Function, Gaussian RBF)를 이용한 입력변수를 추가하기위해 방사 기저 함수가 가지는 유사도를 0.35, 1.4, 5.7로 제한한모델을 포함하는 총 6개의 서로 다른 조건을 가진 모델을 구축하고각각의 성능을 비교하였다. 그 결과 3차 함수로 확장 가능하도록입력변수를 변환한 모델에서 가장 좋은 성능을 보여주었다.
1σ와 σ로 설정하였다. 또한 서포트 벡터머신의 회귀식이비선형을 가질 수 있도록 확장하기 위해 입력변수를 변환하거나가우시안 방사 기저 함수를 이용한 유사도에 관련한 입력변수를추가하여 모델을 구축하였다.
본 논문에서사용된 앙상블 방식은 다수의 결정 트리 모델을 구축하고 결합하는방식으로 예측 모델을 구축하므로 다양한 모델을 빠르게 구축하기위해 최종적으로 분류된 집단의 데이터 개수를 제한하지 않고분류된 데이터 집단의 재분류를 반복하는 횟수를 3회로 제한하여모델을 학습하였다. 또한 의사결정나무를 만들거나 가중치를 갱신하여 학습하는 과정은 100회를 반복하였으며 부스팅 기법을 사용하여 학습을 진행한 모델의 경우 학습률을 0.1로 설정하여 학습을진행하였다. 구축한 4개의 모델 중 XGBoost기법을 이용하여 학습을 진행한 앙상블 모델에서 가장 좋은 결과를 보여주었다.
본 논문에서는 데이터 집단을 반복하여 분류하는 횟수에는 제한을 두지 않았고 최종적으로 분류된 데이터 집단을 구성하는 최소한의 데이터의 수를 나무의 잎사귀에 비유하여 최소 리프 크기라고하는데, 이 최소 리프 크기를 3가지 조건으로 차이를 두어 예측모델을 구축하였다. 최종 분류된 데이터 집단을 구성하는 최소의데이터를 각각 4, 12, 36개로 설정하여 3개의 예측모델을 구축하였고 최종 구성 분류 그룹에서 최소 4개의 데이터를 가지는 조건의모델이 가장 좋은 결과를 보여주었다.
따라서 공분산 함수의 결정은 모델의 성능을 결정하는 핵심적인요소가 된다. 본 논문에서는 제곱지수, 5/2를 곱한 Matern, 지수, 유리 2차의 4가지 형태의 공분산 함수를 가정한 후 예측 모델을학습하고 성능을 비교하였다. 그 결과 5/2를 곱한 Matern 함수를공분산의 함수로 가정했을 때 가장 좋은 성능을 보임을 확인하였다.
하에서 학습을 진행하고 그 성능을 비교하였다. 본 논문에서사용된 앙상블 방식은 다수의 결정 트리 모델을 구축하고 결합하는방식으로 예측 모델을 구축하므로 다양한 모델을 빠르게 구축하기위해 최종적으로 분류된 집단의 데이터 개수를 제한하지 않고분류된 데이터 집단의 재분류를 반복하는 횟수를 3회로 제한하여모델을 학습하였다. 또한 의사결정나무를 만들거나 가중치를 갱신하여 학습하는 과정은 100회를 반복하였으며 부스팅 기법을 사용하여 학습을 진행한 모델의 경우 학습률을 0.
모델의 복잡도가 과도하게 높은 경우 가중치의 갱신이 원활하게이루어지지 못하거나 과적합이 일어날 가능성이 있으므로 학습하는 데이터의 숫자를 고려하여 한 개의 층에 30개 이하의 노드를가지는 2~3층의 네트워크를 가정하고 휴리스틱하게 최적의 조건을찾은 결과 2개의 층을 가지고 각 층마다 (20, 25)개의 노드를가진 인공신경망 모델이 가장 좋은 성능을 보여 주었다. 심층 신뢰 신경망(DBN)은 제한 볼츠만 머신(Restricted Boltzmann Machine, RBM)을 사용하여 출력값에 따른 입력변수를 재구성하여 데이터 세트의 분포를 추정하고 인공신경망을 통해 미세조정의거처 예측 모델을 구축하게 된다. 이중의 과정을 거치기 때문에복잡성을 줄이기 위해 1개의 층과 100개의 노드를 가진 네트워크를휴리스틱하게 결정하여 학습을 진행하였다.
최종성능은 5개의 테스트그룹 각각에서 RMSE를 산출하여 그 평균을구하여 평가하였다. 앙상블의 랜덤포레스트와 XGBoost를 사용한모델과 인공신경망 및 심층 신뢰 신경망 모델의 구축을 위해서는 Python의 라이브러리를 사용하였고 나머지 기계학습 모델은 MATLAB으로 구축하였다.
여러 개의 모델을 구축하고 그 결과를 평균 등의 방식으로 종합하거나 여러 번 반복적으로 모델을 구축하고 학습시키면서이전 모델의 결과를 반영하여 가중치를 계산하고 학습한다. 결정트리를 사용하여 앙상블 모델을 구축할 경우 배깅 및 부스팅과같은 기법이 주로 사용된다.
이러한 4개의 서로 다른 방식을 사용한 앙상블 모델을 동일한조건 하에서 학습을 진행하고 그 성능을 비교하였다. 본 논문에서사용된 앙상블 방식은 다수의 결정 트리 모델을 구축하고 결합하는방식으로 예측 모델을 구축하므로 다양한 모델을 빠르게 구축하기위해 최종적으로 분류된 집단의 데이터 개수를 제한하지 않고분류된 데이터 집단의 재분류를 반복하는 횟수를 3회로 제한하여모델을 학습하였다.
이를 위해 데이터 세트에서 경계가 되는 위치에 있는 점을지지 벡터로 정의하고 이를 바탕으로 함수의 추정과 최적화를수행한다(Smola and Schölkopf, 2004). 따라서 SVM 모델은지지 벡터로 설정된 점들 사이에 가장 많은 데이터가 포함 될수 있도록 최적의 지지 벡터를 선정하고 지지 벡터의 중심을 통과하는 선형의 함수를 추정하는 방식으로 모델을 생성한다.
심층 신뢰 신경망(DBN)은 제한 볼츠만 머신(Restricted Boltzmann Machine, RBM)을 사용하여 출력값에 따른 입력변수를 재구성하여 데이터 세트의 분포를 추정하고 인공신경망을 통해 미세조정의거처 예측 모델을 구축하게 된다. 이중의 과정을 거치기 때문에복잡성을 줄이기 위해 1개의 층과 100개의 노드를 가진 네트워크를휴리스틱하게 결정하여 학습을 진행하였다. 학습을 위한 DBN내부에서 동작하는 RBM의 매개변수로서 학습률과 학습 횟수는 각각 0.
신경망을 구성하는 뉴런은 상호 간에 전기 신호를 교환하고, 인간은 이를 통해 물체나 사건을 인식하고 판단한다. 인공 신경망은이러한 신경망의 구조를 가중치와 편향을 이용하여 인위적으로구성하고 이를 바탕으로 예측을 수행한다. 데이터가 신경망을 통과하면, 인공 신경망을 구성하는 뉴런들을 거치며 가중치가 부여되고이를 갱신하는 형태로 학습을 반복하며 가중치가 업데이트된다.
예측 모델의 구축을위해 선형 회귀모델 구축에 사용되었던 Table 1과 같은 통계량을가지는 건조밀도, 함수비, 온도의 입력변수에 따른 열전도도의값을 저장한 147개의 데이터 세트를 사용하였다. 입력변수들 각각이 가지는 값의 차이가 상대적으로 큰 경우에는 하나의 입력변수에상대적으로 큰 가중치가 부여될 위험이 있으므로, 예측 모델의정확도 향상을 위해 온도에 자연로그를 취해 다른 입력변수들과비슷한 크기를 가지도록 조정하였다. 학습을 위해 다항 회귀, 결정트리, SVM, 앙상블, 가우시안 프로세스 회귀, 인공신경망, 심층신뢰 신경망, 유전 프로그래밍의 학습 알고리즘이 사용되었고 각각의 알고리즘에 따라 매개변수가 다른 모델을 구축하여 성능을평가하였다.
이중의 과정을 거치기 때문에복잡성을 줄이기 위해 1개의 층과 100개의 노드를 가진 네트워크를휴리스틱하게 결정하여 학습을 진행하였다. 학습을 위한 DBN내부에서 동작하는 RBM의 매개변수로서 학습률과 학습 횟수는 각각 0.01과 20으로 설정하였고 RBM을 거친 모델의 미세조정을 위해사용되는 인공신경망의 학습률과 학습 횟수는 각각 0.01과 200으로설정하였다. 각각의 과정에서 사용되는 활성화 함수로는 Relu (Rectified Linear Unit)를 사용하였고 데이터 수가 제한적이므로한 번에 학습하는 데이터의 수는 1개로 설정하여 학습을 수행하고모델을 구축하였다.
입력변수들 각각이 가지는 값의 차이가 상대적으로 큰 경우에는 하나의 입력변수에상대적으로 큰 가중치가 부여될 위험이 있으므로, 예측 모델의정확도 향상을 위해 온도에 자연로그를 취해 다른 입력변수들과비슷한 크기를 가지도록 조정하였다. 학습을 위해 다항 회귀, 결정트리, SVM, 앙상블, 가우시안 프로세스 회귀, 인공신경망, 심층신뢰 신경망, 유전 프로그래밍의 학습 알고리즘이 사용되었고 각각의 알고리즘에 따라 매개변수가 다른 모델을 구축하여 성능을평가하였다. 성능 평가의 정확도를 향상하고 검증과정에서 모델에과적합이 발생하는 것을 방지하기 위해 데이터를 K개의 그룹으로나누어 하나의 그룹을 테스트를 위한 그룹으로 사용하고 나머지를학습을 위한 그룹으로 사용하여 K번 반복하여 검증하는 K겹 교차검증을 사용하여 결과의 유효성과 과적합 여부를 검증하였다.

대상 데이터

계산하여 예측 성능을 평가하였다. 예측 모델의 구축을위해 선형 회귀모델 구축에 사용되었던 Table 1과 같은 통계량을가지는 건조밀도, 함수비, 온도의 입력변수에 따른 열전도도의값을 저장한 147개의 데이터 세트를 사용하였다. 입력변수들 각각이 가지는 값의 차이가 상대적으로 큰 경우에는 하나의 입력변수에상대적으로 큰 가중치가 부여될 위험이 있으므로, 예측 모델의정확도 향상을 위해 온도에 자연로그를 취해 다른 입력변수들과비슷한 크기를 가지도록 조정하였다.

데이터처리

기계학습법을 사용하여 구축된 벤토나이트 완충재의 열전도도예측모델의 성능측정을 위해 데이터 분석에서 많이 사용되는 성능평가 지표 중 하나인 평균 제곱근 오차(Root Mean Square Error, RMSE)를 계산하여 예측 성능을 평가하였다. 예측 모델의 구축을위해 선형 회귀모델 구축에 사용되었던 Table 1과 같은 통계량을가지는 건조밀도, 함수비, 온도의 입력변수에 따른 열전도도의값을 저장한 147개의 데이터 세트를 사용하였다.
학습을 위해 다항 회귀, 결정트리, SVM, 앙상블, 가우시안 프로세스 회귀, 인공신경망, 심층신뢰 신경망, 유전 프로그래밍의 학습 알고리즘이 사용되었고 각각의 알고리즘에 따라 매개변수가 다른 모델을 구축하여 성능을평가하였다. 성능 평가의 정확도를 향상하고 검증과정에서 모델에과적합이 발생하는 것을 방지하기 위해 데이터를 K개의 그룹으로나누어 하나의 그룹을 테스트를 위한 그룹으로 사용하고 나머지를학습을 위한 그룹으로 사용하여 K번 반복하여 검증하는 K겹 교차검증을 사용하여 결과의 유효성과 과적합 여부를 검증하였다. K를
최종성능은 5개의 테스트그룹 각각에서 RMSE를 산출하여 그 평균을구하여 평가하였다. 앙상블의 랜덤포레스트와 XGBoost를 사용한모델과 인공신경망 및 심층 신뢰 신경망 모델의 구축을 위해서는 Python의 라이브러리를 사용하였고 나머지 기계학습 모델은 MATLAB으로 구축하였다.
기존의 선형 회귀모델에 대비하여 성능을 검증하고 개선하기 위하여 다항 회귀, 결정 트리, 서포트 벡터 머신(Support Vector Machine, SVM), 앙상블, 가우시안 프로세스 회귀(Gaussian Process Regression, GPR), 인공신경망, 심층 신뢰 신경망(Deep Belief Network, DBN) 및 유전 프로그래밍과 같은 다양한 기계학습 기법을 적용하였다. 함수비, 건조밀도 및 온도의 입력 데이터에 따른 열전도도의 데이터는 한국원자력연구원에서 실험을 통해 구축된 데이터 세트를 사용하였으며, 과적합(overfitting)을 방지하기 위해 5겹 교차검증을 사용하여 검증을 실시하였다.

이론/모형

본 논문에서는 벤토나이트의 열전도도 예측모델 구축을 위하여 지도 학습에 기반을 둔 모델 학습 알고리즘을 제안하고 각각의 기법들의 성능을 검증한다. 기존의 선형 회귀모델에 대비하여 성능을 검증하고 개선하기 위하여 다항 회귀, 결정 트리, 서포트 벡터 머신(Support Vector Machine, SVM), 앙상블, 가우시안 프로세스 회귀(Gaussian Process Regression, GPR), 인공신경망, 심층 신뢰 신경망(Deep Belief Network, DBN) 및 유전 프로그래밍과 같은 다양한 기계학습 기법을 적용하였다. 함수비, 건조밀도 및 온도의 입력 데이터에 따른 열전도도의 데이터는 한국원자력연구원에서 실험을 통해 구축된 데이터 세트를 사용하였으며, 과적합(overfitting)을 방지하기 위해 5겹 교차검증을 사용하여 검증을 실시하였다.
세 번째 모델은 학습 데이터를 이용해 결정트리 모델을 만들고 예측 값과 목표 값 간의 오차를 계산한 후, 그에 따른 가중치를 입력변수에 추가하는 경사하강법을 적용하여모델의 구축과 가중치의 갱신을 반복함으로써 최적화하는 방식으로 학습을 진행하는 LSBoost기법을 사용하였다. 네 번째 모델은약한 결정 트리 모델을 만들고 예측을 수행한 후 오분류가 발생한데이터에 가중치를 추가하여 재학습하는 과정을 반복하는 기법인 XGBoost기법을 사용하였다.
첫 번째 모델은학습을 위한 데이터 세트에서 반복을 허용하여 무작위로 데이터를추출하고 이를 이용해 여러 개의 결정트리를 만드는 기본적인배깅 기법을 적용하였다. 두 번째 모델은 배깅 기법에 기반을 두고트리에서 데이터를 분할하는 기준을 무작위로 선정하게 하여 무작위성을 고려한 다수 개의 결정트리를 만들고 결합하는 랜덤포레스트 기법을 사용하였다. 세 번째 모델은 학습 데이터를 이용해 결정트리 모델을 만들고 예측 값과 목표 값 간의 오차를 계산한 후, 그에 따른 가중치를 입력변수에 추가하는 경사하강법을 적용하여모델의 구축과 가중치의 갱신을 반복함으로써 최적화하는 방식으로 학습을 진행하는 LSBoost기법을 사용하였다.
두 번째 모델은 배깅 기법에 기반을 두고트리에서 데이터를 분할하는 기준을 무작위로 선정하게 하여 무작위성을 고려한 다수 개의 결정트리를 만들고 결합하는 랜덤포레스트 기법을 사용하였다. 세 번째 모델은 학습 데이터를 이용해 결정트리 모델을 만들고 예측 값과 목표 값 간의 오차를 계산한 후, 그에 따른 가중치를 입력변수에 추가하는 경사하강법을 적용하여모델의 구축과 가중치의 갱신을 반복함으로써 최적화하는 방식으로 학습을 진행하는 LSBoost기법을 사용하였다. 네 번째 모델은약한 결정 트리 모델을 만들고 예측을 수행한 후 오분류가 발생한데이터에 가중치를 추가하여 재학습하는 과정을 반복하는 기법인 XGBoost기법을 사용하였다.
모델을 구축하여 그 성능을 비교하였다. 첫 번째 모델은학습을 위한 데이터 세트에서 반복을 허용하여 무작위로 데이터를추출하고 이를 이용해 여러 개의 결정트리를 만드는 기본적인배깅 기법을 적용하였다. 두 번째 모델은 배깅 기법에 기반을 두고트리에서 데이터를 분할하는 기준을 무작위로 선정하게 하여 무작위성을 고려한 다수 개의 결정트리를 만들고 결합하는 랜덤포레스트 기법을 사용하였다.

성능/효과

(4)는 출력변수인열전도도와 입력변수들 간의 상관도를 산출하고 상관도가 높은입력변수부터 단계적으로 입력변수를 반영하여 도출된 회귀식이다. 각각의 방법을 사용하여 학습을 진행하고 성능을 평가한 결과상호작용항 추가 방법과 단계적 변수적용 방법을 사용한 모델이다른 다항 회귀 모델에 비하여 좋은 결과를 보여주었다.
1로 설정하여 학습을진행하였다. 구축한 4개의 모델 중 XGBoost기법을 이용하여 학습을 진행한 앙상블 모델에서 가장 좋은 결과를 보여주었다.
7로 제한한모델을 포함하는 총 6개의 서로 다른 조건을 가진 모델을 구축하고각각의 성능을 비교하였다. 그 결과 3차 함수로 확장 가능하도록입력변수를 변환한 모델에서 가장 좋은 성능을 보여주었다.
본 논문에서는 제곱지수, 5/2를 곱한 Matern, 지수, 유리 2차의 4가지 형태의 공분산 함수를 가정한 후 예측 모델을학습하고 성능을 비교하였다. 그 결과 5/2를 곱한 Matern 함수를공분산의 함수로 가정했을 때 가장 좋은 성능을 보임을 확인하였다.
다양한 기계학습의 방법론을 사용하여 벤토나이트 완충재의열전도도 예측 모델을 구축하고 각각의 성능을 RMSE로 평가하여비교한 결과 Table 2와 같이 선형 회귀모델의 RMSE인 0.054에비하여 부스팅 기법 기반의 앙상블, 유전프로그래밍, 3차 함수기반의 SVM, 가우시안 프로세스 회귀를 포함한 기계학습 모델에서 높은 성능을 보여주었다. 또한, 각각의 기계학습 방법론에서가장 좋은 성능을 보여준 모델의 예측 값과 실험을 통해 측정된값은 Fig.
달라진다. 모델의 복잡도가 과도하게 높은 경우 가중치의 갱신이 원활하게이루어지지 못하거나 과적합이 일어날 가능성이 있으므로 학습하는 데이터의 숫자를 고려하여 한 개의 층에 30개 이하의 노드를가지는 2~3층의 네트워크를 가정하고 휴리스틱하게 최적의 조건을찾은 결과 2개의 층을 가지고 각 층마다 (20, 25)개의 노드를가진 인공신경망 모델이 가장 좋은 성능을 보여 주었다. 심층 신뢰 신경망(DBN)은 제한 볼츠만 머신(Restricted Boltzmann Machine, RBM)을 사용하여 출력값에 따른 입력변수를 재구성하여 데이터 세트의 분포를 추정하고 인공신경망을 통해 미세조정의거처 예측 모델을 구축하게 된다.
043)을 보임을 확인하였다. 이는 선형 회귀모델의 RMSE값(0.054)보다 20 %이상 감소된 값으로, 기계학습법 적용결과 정확도가 보다 향상된 열전도도 모델을 도출할 수 있음을알 수 있었다. 또한 선형 회귀모델이 열전도도가 높아질수록 성능이저하되는 데 반해 기계학습을 사용한 모델은 대부분의 구간에서비교적 동일한 성능을 보여주었다.
본 논문에서는, 상대적으로 높은 열전도도를 가지는 실험 데이터가 부족하여 충분히 학습이 불가능 했던 부분을 기계학습의 학습 기법을 통해 보완할수 있는 장점을 가진 모델들에서 상대적으로 높은 성능을 보인것으로 확인된다. 이러한 결과를 바탕으로 기계학습의 방법을 사용할 경우 상대적으로 적은 수의 데이터를 사용하여 선형 회귀모델을개선할 수 있음을 보여준다. 향후에는 기계학습법을 통하여 벤토나이트 완충재의 열전도도뿐만 아니라 공학적방벽재의 열-수리-역학복합거동 모델을 개발하는데도 충분히 활용될 수 있을 것으로기대된다.
구축하였다. 최종 분류된 데이터 집단을 구성하는 최소의데이터를 각각 4, 12, 36개로 설정하여 3개의 예측모델을 구축하였고 최종 구성 분류 그룹에서 최소 4개의 데이터를 가지는 조건의모델이 가장 좋은 결과를 보여주었다.
또한 선형 회귀모델이 열전도도가 높아질수록 성능이저하되는 데 반해 기계학습을 사용한 모델은 대부분의 구간에서비교적 동일한 성능을 보여주었다. 특히 부스팅 기법에 바탕을 둔방법론을 사용한 앙상블과 가우시안 프로세스 회귀(GPR), 유전프로그래밍 모델에서 상대적으로 높은 성능을 보여주었다. 부스팅기법, 가우시안 프로세스 회귀(GPR), 유전 프로그래밍 모델은 모두학습하는 데이터에 따른 세부적인 최적화가 가능한 모델이다.
3과 같은 관계를 보여주었다. 특히 부스팅 기법에 바탕을둔 방법론을 사용한 앙상블과 5/2를 곱한 Matern함수, 유리2차함수 등의 공분산 함수를 사용한 가우시안 프로세스 회귀 및 유전프로그래밍 모델에서 전반적으로 높은 성능을 보여주었다.
이를 통해선형적 회귀모델과 비교하여 기계학습을 적용한 모델의 성능을검증하고 이를 이용하여 향후 열-수리-역학 복합거동 모델개발의활용가능성을 확인하고자 하였다. 함수비, 건조밀도, 그리고 온도변화를 독립변수로 이용하여 총 147 케이스에 대한 열전도도 회귀모델을 제시하였으며, 앙상블 모델의 XGBoost 기법이 가장 적은 RMSE 값(0.043)을 보임을 확인하였다. 이는 선형 회귀모델의 RMSE값(0.

후속연구

이러한 결과를 바탕으로 기계학습의 방법을 사용할 경우 상대적으로 적은 수의 데이터를 사용하여 선형 회귀모델을개선할 수 있음을 보여준다. 향후에는 기계학습법을 통하여 벤토나이트 완충재의 열전도도뿐만 아니라 공학적방벽재의 열-수리-역학복합거동 모델을 개발하는데도 충분히 활용될 수 있을 것으로기대된다.

참고문헌 (23)

Bang, H. T., Yoon, S. and Jeon, H. (2020). "Application of machine learning methods to predict a thermal conductivity model for compacted bentonite." Annals of Nuclear Energy, Vol. 142, 107395.

상세보기
Cho, W. J. (2019). Bentonite barrier material for radioactive waste disposal, Korea Atomic Energy Research Institute Report, KAERI/GP-535/2019 (in Korean).
Cho, W. J., Lee, J. W. and Kwon, S. K. (2011). "An empirical model for the thermal conductivity of compacted bentonite and a bentonite-sand mixture." Heat and Mass Transfer, Vol. 47, pp. 1385-1393.

상세보기
Choi, H. J., Kim, K. S., Cho, W. J., Lee, J. O. and Choi, J. W. (2014). HLW long-term management system development: Development of engineered barrier system performance, Korea Atomic Energy Research Institute Report, KAERI/TR-3859/2014 (in Korean).
Eberhart, R. C. and Shi, Y. (2011). Computational intelligence: concepts to implementations, Elsevier, Amsterdam, Nederland.
Fischer, A. and Igel, C. (2014). "Training restricted Boltzmann machines: An introduction." Pattern Recognition, Vol. 47, No. 1, pp. 25-39.

상세보기
Geron, A. (2017). Hands-on machine learning with Scikit-Learn and TensorFlow, O'Reilly Media, Inc., California, USA.
Japan Nuclear Cycle Development Institute (JNC) (1999). H12 project to establish technical basis for HLW disposal in Japan, Supporting Report 2. Japan Nuclear Cycle Development Institute.
Karnland, O. (2010). Chemical and mineralogical characterization of the bentonite buffer for the acceptance conctrol procedure in a KBS-3 repository, Svensk Karn-branslehantering AB Report, SKB TR-10-60.
Lee, J. O., Cho, W. J. and Kwon, S. K. (2011). "Thermal-hydro-mechanical properties of refernece bentonite buffer for a Korean HLW repository." Tunnel and Underground Space, Vol. 21, No. 4, pp. 264-273 (in Korean).

원문보기 상세보기
Lee, J. O., Lee, M, S., Choi, H. J., Lee, J. Y. and Kim, I. Y. (2014). Establishment of the concept of buffer for an HLW repository: An approach, Korea Atomic Energy Research Institute Report, KAERI/TR-5824 (in Korean).
Madsen, F. T. (1988). "Clay mineralogical investigation related to nuclear waste disposal." Clay Mincerals, Vol. 33, No. 1, pp. 109-129.

상세보기
Mitchell, T. (1997). Machine learning, McGraw Hill, New York, USA.
Polikar, R. (2006). "Ensemble based systems in decision making." IEEE Circuits and systems magazine, Vol. 6, No. 3, pp.21-45.

상세보기
Rasmussen, C. E. and Williams, C. K. I. (2006). Gaussian processes for machine learning, MIT Press, Cambridge, Massachusetts.
Smola, A. J. and Scholkopf, B. (2004). "A tutorial on support vector regression." Statistics and Computing, Vol. 14, No. 3, pp. 199-222.

상세보기
Tang, A. M., Cui, Y, J. and Le, T. T. (2008). "A study on the thermal conductivity of compacted bentonite." Applied Clay Science, Vol. 41, pp. 181-189.

상세보기
Vapnik, V. (1995). The nature of statistical learning theory, Springer, New York, USA.
Villar, M. V., Martin, P. L. and Barcala, J. M. (2006). "Modification of physical, mechanical and hydraulic properties of bentonite by thermo-hydraulic gradients." Engineering Geology, Vol. 81, No. 3, pp. 284-297.

상세보기
Xu, Y., Sun, D., Zeng, Z. and Lv, H. (2019). "Temperature dependence of apparent thermal conductivity of compacted bentonites as buffer material for high-level radioactive waste repository." Applied Clay Science, Vol. 174, pp. 10-14.

상세보기
Yoo, M., Choi, H. J., Lee, M. S. and Lee, S. Y. (2016). "Measurement of properties of domestic bentonite for a buffer of an HLW repository." Journal of the Korean Radioactive Waste Society, Vol. 14, No. 2, pp. 135-147 (in Korean).

원문보기 상세보기
Yoon, S., Cho, W. H, Lee, C. S. and Kim, G. Y. (2018). "Thermal conductivity of Korean compacted bentonite buffer materials for a nuclear waste repository." Energies, Vol. 11, No. 9, 2269.

상세보기
Yoon, S. and Kim, K. Y. (2021). "Measuring thermal conductivity and water suction for variably saturated bentonite." Nuclear Engineering and Technology, Vol. 53, pp. 1041-1048.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증