[논문]딥러닝을 이용한 정삼투 막모듈의 플럭스 예측

김재윤; 전종민; 김누리; 김수한

doi:10.11001/jksww.2021.35.1.093

딥러닝을 이용한 정삼투 막모듈의 플럭스 예측
Predicting flux of forward osmosis membrane module using deep learning 원문보기

上下水道學會誌 = Journal of Korean Society of Water and Wastewater, v.35 no.1, 2021년, pp.93 - 100

김재윤 (부경대학교 토목공학과) , 전종민 (부경대학교 토목공학과) , 김누리 (부경대학교 토목공학과) , 김수한 (부경대학교 토목공학과)

Abstract ▼ AI-Helper

Forward osmosis (FO) process is a chemical potential driven process, where highly concentrated draw solution (DS) is used to take water through semi-permeable membrane from feed solution (FS) with lower concentration. Recently, commercial FO membrane modules have been developed so that full-scale FO process can be applied to seawater desalination or water reuse. In order to design a real-scale FO plant, the performance prediction of FO membrane modules installed in the plant is essential. Especially, the flux prediction is the most important task because the amount of diluted draw solution and concentrate solution flowing out of FO modules can be expected from the flux. Through a previous study, a theoretical based FO module model to predict flux was developed. However it needs an intensive numerical calculation work and a fitting process to reflect a complex module geometry. The idea of this work is to introduce deep learning to predict flux of FO membrane modules using 116 experimental data set, which include six input variables (flow rate, pressure, and ion concentration of DS and FS) and one output variable (flux). The procedure of optimizing a deep learning model to minimize prediction error and overfitting problem was developed and tested. The optimized deep learning model (error of 3.87%) was found to predict flux better than the theoretical based FO module model (error of 10.13%) in the data set which were not used in machine learning.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

, 2018b). FO 막 모듈 내부 유로의 복잡성으로 인한 모델 예측 성능의 저하를 막기 위해 116개의 실험 데이터(Fig. 2)를 사용한 fitting process를 거쳤는데(Jeon et al., 2018b), 본 연구에서는 이들 데이터를 활용해 이론 수식을 배제한 딥러닝 모델을 개발하였다.
그러나, 딥러닝을 적용한다면 회귀식의 형태를 결정하는 고민 대신, 모델 예측 성능에 영향을 주는 파라미터에 대한 최적화를 실시함으로써 예측 오차를 비약적으로 감소시킬 수 있을 것으로 기대된다. 따라서, 본 연구에서는 딥러닝을 적용하여 FO 막모듈의 플럭스를 예측하는 모델을 개발, 최적화 하고, 이를 기존의 두 모델(즉, 이론 기반 모델과 회귀 모델)과 비교하여, FO 공정 모델링 분야에서의 딥러닝의 적용성을 평가하고자 한다.
본 논문에서는 FO 막모듈의 플럭스를 예측하기 위한 기존 모델을 개선하기 위해 최근 각광받고 있는 딥러닝을 적용한 모델을 개발하여 최적화하는 과정을 다루었다. 딥러닝 모델의 변동성을 최소화하기 위한 학습률, 학습횟수 조건을 먼저 결정하고, 검증 오차를 최소화하기 위한 은닉층 수, 뉴런 수를 결정하는 방법(Deep learning model 2 구축 방법)이 과적합도를 줄이는 등 모델의 성능 향상을 위해서 유리하다는 결론을 끌어내었다.
본 연구팀은 FO 막모듈 성능 예측을 위한 이론 기반 모델을 개발하였다 (Lee et al., 2017; Jeon et al., 2018b). FO 막 내외부에서 발생하는 농도분극 현상을 모델링하여 랩 스케일에서 검증하여 높은 정확도의 예측 성능을 확인하였고(Lee et al.

가설 설정

3. The concept of artificial neural network.

제안 방법

3.1절에서 딥러닝 모델의 변동성을 평가하고 이를 최소화하기 위한 학습률과 학습횟수를 각각 0.001과 200으로 결정하였다. 이들 조건을 고정하여 변동성을 최소화한 다음 단계는 모델의 예측 성능을 높이는 것이다.
3.1절에서는 본 연구에서 가용한 모든 데이터 셋 (116개)을 이용하여 학습 오차를 최소화하는 딥러닝 모델(Deep learning model 1)의 구축 조건을 학습률 0.005, 학습횟수 800회, 은닉층 수 5개, 뉴런 수 128개로 결정하였고, 3.2절에서는 train data와 test data를 각각 70개와 46개로 무작위적으로 구분하여 검증 오차를 최소화하는 딥러닝 모델(Deep learning model 2) 의구축 조건을 학습률 0.001, 학습횟수 200회, 은닉층 수 4층, 뉴런 수 1, 024개로 결정하였다.
, 2018b). FO 막 내외부에서 발생하는 농도분극 현상을 모델링하여 랩 스케일에서 검증하여 높은 정확도의 예측 성능을 확인하였고(Lee et al., 2017), 이를 모듈 스케일로 확대하여 모듈 실험 데이터와 비교하였다 (Jeon et al., 2018b). 모듈 스케일에서는 랩 스케일에서와 달리 FS와 DS 유로 형태의 복잡성으로 인해 정확도에 한계가 있었기 때문에, 모듈 실험 데이터를 활용한 fitting process를 이용해 이를 보완하였다.
, 2019)에서 다루었듯이, 이론 수식들을 배제하고 실험데이터 기반으로 구축된 모델(회귀 모델, 딥러닝 모델)의 단점은 과적합 문제이다. 과적합도를 해결하기 위해서는 충분히 많은 데이터를 통한 기계학습이 필수적이지만, 본연구에서 활용할 수 있는 데이터 수가 116개로 제한되어 있어 train data의 수를 10-90개로 변화시켜가며 학습데이터 수에 따른 과적합 정도를 분석하였고, 이를 본 연구팀에서 기존에 개발했던 이론 기반 모델과 회귀 모델과 비교하였다 (Table 2).
비교해야 한다. 딥러닝 모델 구축 시 가용할 수 있는 데이터(본 연구의 경우 116개)를 train data 와 test data로 나눠서 과적합 정도를 분석하는데, 기계학습 시 마다 모델의 성능이 변하기 때문에 모델 구축 작업을 100회 실시하여 각 오차의 평균값을 비교하게 된다. 모델 구축 시마다 train data는 원하는 수 (10-90개)가 될 때까지 무작위로 추출하여 데이터 편중(Bias)이 되지 않도록 주의한다.
딥러닝 모델의 예측 오차를 최소화하기 위해 모델 성능에 영향을 주는 학습률, 은닉층 수, 뉴런 수, 학습 횟수를 변동하는 과정을 수행하였다. 변동 시 기본 조건으로는 활성화 함수 relu, 은닉층 수 2층, 뉴런 수 32, 옵티마이저 adam의 학습률 0.
, 2018b). 모듈 스케일에서는 랩 스케일에서와 달리 FS와 DS 유로 형태의 복잡성으로 인해 정확도에 한계가 있었기 때문에, 모듈 실험 데이터를 활용한 fitting process를 이용해 이를 보완하였다. 또한, 20 여개의 비선형 수식들을 연립하여 계산하기 위한 알고리즘의 계산 시간이 많이 소요되는(1분 이상) 단점도 무시할 수 없었다.
변동하는 과정을 수행하였다. 변동 시 기본 조건으로는 활성화 함수 relu, 은닉층 수 2층, 뉴런 수 32, 옵티마이저 adam의 학습률 0.01, 학습횟수 200번으로 결정하였다. 은닉층 수(2층, 3층, 4층, 5층), 뉴런 수(16, 32, 64, 128), 학습률(0.
변동성을 최소화하기 위한 학습률과 학습횟수를 찾기 위해 학습 데이터를 116개로 고정하고, 이들 인자를 바꾸어 가면서 변동계수(CV) 값이 가장 낮은 조건을 찾았다. Fig.
서론에서 언급했듯이 본 연구팀은 FO 막 내외부에서 발생하는 농도분극 현상 등이론 수식을 이용한 이론 기반 모델을 개발하였고 이를 모델 스케일로 확장시켰다 (Lee et al., 2017; Jeon et al., 2018b). FO 막 모듈 내부 유로의 복잡성으로 인한 모델 예측 성능의 저하를 막기 위해 116개의 실험 데이터(Fig.
01, 학습횟수 200번으로 결정하였다. 은닉층 수(2층, 3층, 4층, 5층), 뉴런 수(16, 32, 64, 128), 학습률(0.01, 0.005, 0.0025, 0.001), 학습횟수(100, 200, 400, 800)를 변동 시키면서 normalized root mean square of errors(NRMSE)를 계산하여(식 3) 예측 오차를 비교하였다.
인자에는 은닉층 수와 뉴런 수가 있다. 이들을 변화시켜가며 검증 오차를 최소화하기 위한 모델 최적화 과정을 수행하였다. 학습에 사용된 train data는 70 개, 검증에 사용된 test data는 46개로 구분하였고, 모델 구축은 100회 시행하였으며, 모델 구축 시마다 train data와 test data는 무작위적으로 선정하였다.

대상 데이터

또한, 정확도를 높이기 위해 fitting process를 도입해야 한다면, 긴 계산 시간을 필요로 하는 이론 수식을 배제하고 fitting process를 전체적으로 도입하는 회귀 모델을 도입하는 아이디어도 고려해 볼 수 있다. 본 연구팀에서는 이론 기반 모델을 개발하고 검증하는데 사용된 실험 데이터 셋 116개를 가지고, FO 막모듈의 플럭스를 예측하는 회귀 모델을 개발하였다 (Jeon et al., 2019). 회귀 모델의 계산 시간은 1초 미만으로 이론기반 모델의 단점을 해소하였고 예측 오차도 더 우수하였지만, 모델의 성능을 높이기 위한 적절한 회귀 식을 결정하는 절차가 단순하지 않았다.
이들을 변화시켜가며 검증 오차를 최소화하기 위한 모델 최적화 과정을 수행하였다. 학습에 사용된 train data는 70 개, 검증에 사용된 test data는 46개로 구분하였고, 모델 구축은 100회 시행하였으며, 모델 구축 시마다 train data와 test data는 무작위적으로 선정하였다.

이론/모형

Table 1에 언급된 입력, 결과 변수와 Google의 Tensorflow를 사용하여 딥러닝 모델을 구축하였다 (www.tensorflow.org). 딥러닝 모델 적용 시 예측 성능을 높이기 위해서 모델 구축 전에 입력 변수 데이터를 정규화(Normalization)하는 과정이 필요하다.
본 연구에서 활성화 함수과 옵티마이저는 성능이 좋고 속도가 빨라 주로 선호되고 있는 Rectified Linear Unit(Relu, 식 2)와 adaptive moment estimation(Adam)을 각각 사용하였다 (Cho et al., 2016; Joo et al., 2020).
여기에서, 평균(Mean)과 표준편차(Standard deviation) 는 구축된 딥러닝 모델들(본 연구의 경우에서는 100 개 구축)의 NRMSE를 이용해서 구한다.
정규화는 데이터에 인자마다 크기 범위가 다른 것을 수식을 통해 가공하여 성능을 올리는 과정이다. 정규화를 위한 방법 중 min-max 방법을 통해 데이터의 정규화를 진행하였으며, 식 1은 min-max 방법을 계산하는 식이다 (Jo, 2019).

성능/효과

2.2절에 언급된 학습률, 은닉층 수, 뉴런 수, 학습 횟수 조건별로 116개의 데이터를 모두 학습에 사용하여 학습 오차를 최소화하기 위한 조건을 찾은 결과, 은닉층 5층, 학습률 0.005, 뉴런 수 128개, 학습횟수 800회인 것으로 나타났다. 2.
005, 뉴런 수 128개, 학습횟수 800회인 것으로 나타났다. 2.3절에서 언급된 딥러닝 모델의 변동성을 고려하여 각 조건별로 모델을 100회 구축하여 평균 NRMSE를 구해 비교하였고, 위 조건에서의 평균 NRMSE는 2.17%로 나타났다.
딥러닝 모델의 변동성을 최소화하기 위한 학습률, 학습횟수 조건을 먼저 결정하고, 검증 오차를 최소화하기 위한 은닉층 수, 뉴런 수를 결정하는 방법(Deep learning model 2 구축 방법)이 과적합도를 줄이는 등 모델의 성능 향상을 위해서 유리하다는 결론을 끌어내었다. 딥러닝 모델은 과적합도가 약간 높은 단점은 있지만, 이는 회귀 모델에서도 피할 수 없는 현상이고, 동일 조건의 회귀 모델 대비 검증 오차를 최대 3.
본 연구에서 딥러닝이 적용될 정삼투(Forward osmosis, FO) 공정의 경우 막모듈에 유입되는 흐름의 특성에 따라 평균 플럭스가 결정되기 때문에 딥러닝을 적용하기에 적합하다.
이들 조건을 고정하여 변동성을 최소화한 다음 단계는 모델의 예측 성능을 높이는 것이다. 예측 성능을 평가함에 있어서 학습에 사용된 데이터(Train data)에 대한 예측오차(NRMSE) 값을 사용하는 것보다는 학습에 사용되지 않은 검증 데이터 (Test data)에 대한 예측오차(즉, 검증오차)를 활용하는 것이 타당하다.
이때 NRMSE 값은 각 조건별로 100회 구축된 딥러닝 모델의 평균값을 의미한다. 은닉층 수가 같을 때 뉴런 수가 증가할수록 test data의 NRMSE는 감소하며, 뉴런 수가 같을 때 은닉층 수가 증가할수록 대체적으로 test data 의 NRMSE가 감소한다. 하지만, 뉴런 수가 1, 024개일 때 은닉층 수가 4층에서 5층으로 증가하면서 NRMSE 가 증가하였는데, 이는 모델의 은닉층 수와 뉴런 수가 너무 많아지면서 모델 성능이 하락한 것으로 해석된다.
4는 학습 오차를 최소화 하기 위한 조건에서 모델을 100회 구축하여 각 모델별로 NRMSE를 나타낸 것이다. 최소, 최대 NRMSE는 각각 1.27, 6.81%로 평균 NRMSE(2.17%)와 큰 차이를 보였다. 변동계수 (Coefficient of variation, CV, 식 5)는 41.

후속연구

회귀 모델의 계산 시간은 1초 미만으로 이론기반 모델의 단점을 해소하였고 예측 오차도 더 우수하였지만, 모델의 성능을 높이기 위한 적절한 회귀 식을 결정하는 절차가 단순하지 않았다. 그러나, 딥러닝을 적용한다면 회귀식의 형태를 결정하는 고민 대신, 모델 예측 성능에 영향을 주는 파라미터에 대한 최적화를 실시함으로써 예측 오차를 비약적으로 감소시킬 수 있을 것으로 기대된다. 따라서, 본 연구에서는 딥러닝을 적용하여 FO 막모듈의 플럭스를 예측하는 모델을 개발, 최적화 하고, 이를 기존의 두 모델(즉, 이론 기반 모델과 회귀 모델)과 비교하여, FO 공정 모델링 분야에서의 딥러닝의 적용성을 평가하고자 한다.
하락하였다. 본 연구에서 사용된 데이터셋 수의 한계(총 116개)로 인해 명확한 결론을 내릴 수는 없지만 학습 데이터 수를 충분히 늘리면 딥러닝 모델의 유일한 단점인 과적합도 해결될 가능성이 있고, 이것이 실현된다면 다양한 공정 모델링 분야에서 딥러닝 모델의 적용성이 높아질 것이다.

참고문헌 (20)

Bae, K.T., Kim, C.J. (2016). An agricultural estimate price model of artificial neural network by optimizing hidden layer, J. Korean Inst. Inform. Technol., 14(12), 161-169.

상세보기
Caruana, R., Lawrence, S., and Giles, L. (2002). Overfitting in neural nets: backpropagation, conjugate gradient, and early stopping, Adv. Neural. Inf. Process. Syst., 402-408.
Cho, Y.H., Seo, Y.D., Park, D.J., and Jeong, J.C. (2016). Study on the activation functions for efficient learning in DNN, J. Inst. Electron. Inform. Eng., 800-803.
Ciresan, D.C., and Giusti, A. (2012). Deep neural networks segment neuronal membranes in electron microscopy images, Adv. Neural. Inf. Process. Syst., 12(2), 2843-2851.
Ciresan, D.C., Meier, U., and Masci, J. (2012). Multi-Column Deep Neural Network for Traffic Sign Classification, Neural. Netw., 32, 333-338.

상세보기
Jang, I.D. and Wee, S.M. (2001). The analysis telecommunication service market with data mining, J. Korea Inform. Sci. Soc., 28(2), 1-3.
Jeon, J., Choi, J.Y., Sohn, J., and Kim, S. (2018a). Performance analysis of a spiral wound forward osmosis membrane module, J. Korea Soc. Environ. Eng., 40(12), 481-486.

상세보기
Jeon, J., Kim, N., Choi, J.Y., and Kim, S. (2019). Applicability of statistics-based forward osmosis module models, J. Korea Soc. Environ. Eng., 41(11), 611-618.

상세보기
Jeon, J., Jung, J., Lee, S., Choi, J.Y., and Kim, S. (2018b). A simple modeling approach for a forward osmosis system with a spiral wound module, Desalination, 433, 120-131.

상세보기
Ji, S., Park, J. (2020). Improvement of existing machine learning methods of digital signal by changing the step-size, J. Digit. Converg., 18(2), 261-268.

원문보기 상세보기
Jo, J.M. (2019). Effectiveness of normalization pre-processing of big data to the machine learning performances, J. Inst. Electron. Inform. Sci., 14(3), 547-552.
Joo, G., Park, C., and Im, H. (2020). Performances evaluation of machine learning optimizers, J. Inst. Korean Electr. Electron. Eng., 24(3), 766-776.
Kim, J.E., Blandin, G., Phuntsho, S., Verliefde, A., Le-Clech, P., and Shon, H.K. (2017). Practical considerations for operability of an 8" spiral wound forward osmosis module: Hydrodynamics, fouling behaviour and cleaning strategy, Desalination, 404, 249-258.

상세보기
Kim, J.E., Phuntsho, S., Ali, S.M., Choi, J.Y., and Shon, H.K. (2018). Forward osmosis membrane modular configurations for osmotic dilution of seawater by forward osmosis and reverse osmosis hybrid system, Water Res., 128, 183-192.

상세보기
Kim, S., Paudel, S., and Seo, G.T. (2015). Forward osmosis membrane filtration for microalgae harvesting cultivated in sewage effluent, Environ. Eng. Res., 20, 99-104.

원문보기 상세보기
Kum, D., Ryu, J., Sung, Y., Han, J., and Lim, K.J. (2017). Development and Assessment for extended daily streamflow regression equation of TMDL station using Machine Learning, Korean Soc. Water Environ., 289-290.
Lee, D.Y., and Chang, B.H. (2020a). A study on development of a prediction model for Korean music box office based on deep learning, Int. J. Cotents, 20(8), 10-18.
Lee, J., Choi, J.Y., Choi, J.S., and Kim, S. (2017). A statistics-based forward osmosis membrane characterization method without pressurized reverse osmosis experiment, Desalination, 403, 36-45.

상세보기
Lee, S.M., Park, K.D., and Kim, I.K. (2020b). Comparison of machine learning algorithms for Chl-a prediction in the middle of Nakdong River (focusing on water quality and quantity factors), J. Korean Soc. Water Wastewater, 34(4), 277-288.

원문보기 상세보기
Google Tensorflow. https://www.tensorflow.org (December 22, 2020).

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증