선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 최근 환경보전의 필요성을 크게 인식하며 CO, CO2, SO, SO2, NO, N2O, NO2 및 프레온 가스 등과 같은 공해물질을 줄이고, 이들을 관리하기 위한 연구가 선진국을 중심으로 이루어지고 있다. 본 논문 역시 환경보존의 필요성을 인식하며, 이에 따른 화력 발전소 대기오염물질의 배출패턴에 관한 모델을 정립하고 공기 오염물질인 NOx의 배출량을 예측하고자 한다. 특히, 화력발전소의 가스 터빈에서 발생되는 독성이 강한 NOx의 배출 메커니즘에 제안된 알고리즘을 도입하여 배출 패턴 모델을 구축하고 평가 한다[10].
- 본 논문에서는 기존 PNN의 overfitting 문제를 개선하기 위하여 새로운 방법을 제시하고, L2 regularization을 적용하여 개선된 PNN을 제안하여 Deep 네트워크구조의 가능성을 제시하였다. 제안된 PNN 구조의 특징은 복잡한 비선형계의 근사 동정과 예측이 가능하고, 입력 변수의 선택방법, 다항식 차수와 입력변수 수에 의한 부분표현식의 표현방법, 각 네트워크 구조의 선택방법 등에 따른 최적구조 설계를 통하여 주어진 시스템 특성에 맞는 구조로 적응능력을 향상시킨 모델 구조를 생성할수 있다.
- 3장에서는 연결가중치에 편차를 줄이기 위해서 사용한 L2 regularization을 설명한다. 이 방법으로 능형 회귀(ridge regression)모형에서 사용하는 패널티항을 제안된 패턴 분류기의 비용함수에 적용하여 견결가중치의 편차를 줄이는 동시에 실험 데이터의 일반화 성능을 향상시키는 방법과 PNN의 목적함수를 변형하여 새로 적용한 방법론에 관하여 설명한다. 그리고 4장 에서는 Machine Learning 데이터인 가스터빈 발전소의 NOx 배출공정 데이터와 Automobile Miles per Gallon(MPG) 데이터 그리고 Boston Housing Data(BHD)를 이용하여 정규화를 적용한 다항식 신경회로망의 성능을 평가한다.
제안 방법
- c) a)와 b)의 두 방법을 사용한 PNN의 Layer의 확장을 이용 하여, Overffiting을 감소를 통한 PNN의 딥 학습에 의한 딥 네트워크 구조생성을 통해 빅데이터의 효율적인 처리 가능성을 제시하였다.
- 최종 출력식 를 얻기 위해, 각 뉴런의 부분 표현 식을 구성한다. 그리고 선형회귀분석방법중 하나인 최소 자승법을 통하여 부분표현식의 계수를 상정하고, 중간변수 zk 를 구한다. 중간변수에 의한 입출력 데이터를 구성하여, 다음 계층에서도 이와 같은 형태의 연산을 반복하여 알고리즘의 종료 판정을 만족할 때 까지 반복한다.
- 또한 너무 많은 세대를 모델링 하는 경우 에는 결과 값의 큰 차이를 보지 못하며, 또한 많은 실행 시간과 계산량을 요구하게 된다. 따라서 이러한 약점을 보완하기 위하여 본 논문에서는 방법 2 의 경우를 택하여 5세대에서 7세 대 까지 알고리즘을 실행한 후 종료하는 방법을 사용한다.
- 이러한 문제를 입력변수간의 다중공선성(Muti-collinearity)이 발생함에 따른 것으로 보이며, 다항식 신경회로망에 L2regularization을 적용하였다[6-8]. 또한 이와 같이 Overfitting문제가 다중공선성 때문에 파라미터의 편차가 커지는 문제로 보고 각 층의 노드를 선택하는 과정에서 목적함수를 바꿔서 노드 선택에 변화를 주었다. 위와 같은 방법을 통해 다항식 신경회로망의 Overfitting 문제를 개선하였다.
- 방법 1에서는 각Layer의 노드 선택에 있어서 기존의 성능평가를 적용하여 L2 regularization을 적용하지 않았을 경우와 L2 regularization을 적용한 PNN 성능을 평가하는 실험을 진행한다.
- 방법 1에서는 각Layer의 노드 선택에 있어서 기존의 성능평가를 적용하여 L2 regularization을 적용하지 않았을 경우와 L2 regularization을 적용한 PNN 성능을 평가하는 실험을 진행한다. 방법 2는 각Layer 의 노드 선택에 있어서 식 (6)의 SSC값이 가장 적은 값을 선택하여 regularization을 적용하지 않았을 경우와 L2 regularization을 적용한 PNN 성능을 평가하였다. Test 데이터의 성능평가는 사용하는 데이터에 따라서 MSE(Mean Squared Error)와 RMSE(Root Mean Squared Error)을 사용하였다.
- 이러한 문제를 입력변수간의 다중 공선성을 원인으로 보고 노드의 계수의 값이 커지게 되어 안정적이지 못하고 변화가 민감하게 반응하게 . 방법 2에서는 다중공선성의 영향을 적게 받는 노드를 찾기 위하여 각 노드의 계수의 제곱 합을 구하여 값이 작은 노드를 다음 세대의 입력으로 사용하였다. 각 세대의 노드의 개수는 최초에는 #로 정의하였고, 2세대에서 최종 출력세대까지는 각 노드의 개수를 일정개수 W로 정의 하였다.
- 본 논문에서는 L2 정규화를 이용하여 PNN의 과적합 문제를 해결하기 위해 부분표현식의 파라미터 산출과정에 패널티항을 추가 하였다. 아래 그림은 λ의 설정에 따른 결과의 차이를 보여준 다.
- 본 논문의 경우 기존의 방법 1과 새로운 방법 2 두 가지 방법을 사용하여 모델을 추정해 간다. 방법 1의 경우 PNN의 층이 증가함에 따라 모델의 일반화 성능이 떨어지게 되어 overfitting 이 발생한다.
- 연결가중치는 데이터의 작은 변화나 회귀 모형식에서 예측변수를 추가하거나 제러함에 따라 상당히 민감하게 움직이며, 편차가 클수록 예측에 않좋은 영향을 주게 된다. 본 연구에서는 연결가중치의 편차를 줄이기 위해 L2 정규화를 사용하였으며 이 방법은 능형 회귀(ridge regression)모형에서 사용하는 패널티 항을 제안된 PNN의 성능평가에 적용하여 연결가중치의 편차를 줄이는 동시에 실험 데이터의 일반화 성능을 향상시켯다.
- 실험은 두 가지 방법으로 나누어서 실험 하였다. 방법 1에서는 각Layer의 노드 선택에 있어서 기존의 성능평가를 적용하여 L2 regularization을 적용하지 않았을 경우와 L2 regularization을 적용한 PNN 성능을 평가하는 실험을 진행한다.
- 또한 이와 같이 Overfitting문제가 다중공선성 때문에 파라미터의 편차가 커지는 문제로 보고 각 층의 노드를 선택하는 과정에서 목적함수를 바꿔서 노드 선택에 변화를 주었다. 위와 같은 방법을 통해 다항식 신경회로망의 Overfitting 문제를 개선하였다.
- regularization을 적용하여 개선된 PNN을 제안하여 Deep 네트워크구조의 가능성을 제시하였다. 제안된 PNN 구조의 특징은 복잡한 비선형계의 근사 동정과 예측이 가능하고, 입력 변수의 선택방법, 다항식 차수와 입력변수 수에 의한 부분표현식의 표현방법, 각 네트워크 구조의 선택방법 등에 따른 최적구조 설계를 통하여 주어진 시스템 특성에 맞는 구조로 적응능력을 향상시킨 모델 구조를 생성할수 있다. 하지만 층이 증가함에 따라 입력변수간의 다중공선성 문제 로 인한 과적합 또한 증가하기 때문에 이를 해결하기 위하여 노드의 계수의 제곱합을 노드의 평가에 사용하고 L2 regularization을 적용하여 개선시키고자 하였다.
- 입력변수는 cylinders, displacement, horse power, weight, acceleration, model year, origin으로 구성되어 있으며, 출력변수는 앞서 말한 gallon당 주행거리가 된다. 제안된 모델의 평가를 위하여 MPG 데이터를 학습데이터(60%)와 테스트 데이터(40%)로 데이터를 무작위로 나누어 실험했다. 성능지수는 RMSE를 사용하였고 다른 모델링과의 비교성능을 표 8에 나타내었다.
- 본 논문 역시 환경보존의 필요성을 인식하며, 이에 따른 화력 발전소 대기오염물질의 배출패턴에 관한 모델을 정립하고 공기 오염물질인 NOx의 배출량을 예측하고자 한다. 특히, 화력발전소의 가스 터빈에서 발생되는 독성이 강한 NOx의 배출 메커니즘에 제안된 알고리즘을 도입하여 배출 패턴 모델을 구축하고 평가 한다[10]. 가스 터빈 발전소의 NOx 배출 메카니즘 데이터는 총 5입력(Tamb, COM, LPT, Pcd, Texh) 1출력(NOx)의 260개의 데이터로 구성되어 있으며, 모델의 성능지수 평가방법은 식 (13)에 서와 같이 RMSE를 이용하였고 다른 모델링과의 비교성능을 표 5에 나타내었다.
- 하지만 층이 증가함에 따라 입력변수간의 다중공선성 문제 로 인한 과적합 또한 증가하기 때문에 이를 해결하기 위하여 노드의 계수의 제곱합을 노드의 평가에 사용하고 L2 regularization을 적용하여 개선시키고자 하였다.
대상 데이터
- Machine Learning 데이터인 가스터빈 발전소의 NOx 배출공정 데이터와 Automobile Miles per Gallon(MPG) 데이터 그리고 Boston Housing Data(BHD)를 이용하였다. 데이터는 전체데이터의 60%를 학습데이터로 전체 데이터의 40%를 평가 데이터로 사용하여 실험에 사용하였다.
- 특히, 화력발전소의 가스 터빈에서 발생되는 독성이 강한 NOx의 배출 메커니즘에 제안된 알고리즘을 도입하여 배출 패턴 모델을 구축하고 평가 한다[10]. 가스 터빈 발전소의 NOx 배출 메카니즘 데이터는 총 5입력(Tamb, COM, LPT, Pcd, Texh) 1출력(NOx)의 260개의 데이터로 구성되어 있으며, 모델의 성능지수 평가방법은 식 (13)에 서와 같이 RMSE를 이용하였고 다른 모델링과의 비교성능을 표 5에 나타내었다.
- Machine Learning 데이터인 가스터빈 발전소의 NOx 배출공정 데이터와 Automobile Miles per Gallon(MPG) 데이터 그리고 Boston Housing Data(BHD)를 이용하였다. 데이터는 전체데이터의 60%를 학습데이터로 전체 데이터의 40%를 평가 데이터로 사용하여 실험에 사용하였다.
- 하지만 층이 증가함에 따라 입력변수간의 다중공선성 문제 로 인한 과적합 또한 증가하기 때문에 이를 해결하기 위하여 노드의 계수의 제곱합을 노드의 평가에 사용하고 L2 regularization을 적용하여 개선시키고자 하였다. 성능 평가를 위해 Machine Learning 데이터인 Nox, MPG, BHD 데이터를 이용하였다. 이를 기존의 PNN 과 제안된 PNN을 비교하였고, 계수의 제곱합을 사용하는 방법 과, L2 regularization을 적용하였을 때 과적합의 발생이 늦추어진 것을 확인할 수 있었다.
- 이 데이터는 보스턴 지역의 부동산의 정보와 관련이 있으며, 13 입력-1출력으로 구성된 총 506개의 입출력데이터 쌍으로 이루어져 있다.(ftp://ftp.
- 제안된 모델의 성능 평가를 위해서 시스템 모델링에 널리 사용되는 비선형 데이터 Automobile Miles per Gallon(MPG)을 사용했다. (ftp://ics.
데이터처리
- 방법 2는 각Layer 의 노드 선택에 있어서 식 (6)의 SSC값이 가장 적은 값을 선택하여 regularization을 적용하지 않았을 경우와 L2 regularization을 적용한 PNN 성능을 평가하였다. Test 데이터의 성능평가는 사용하는 데이터에 따라서 MSE(Mean Squared Error)와 RMSE(Root Mean Squared Error)을 사용하였다. 식 (12)이 각각 MSE와 RMSE를 구하는 식을 나타낸다.
- 제안된 모델의 평가를 위하여 MPG 데이터를 학습데이터(60%)와 테스트 데이터(40%)로 데이터를 무작위로 나누어 실험했다. 성능지수는 RMSE를 사용하였고 다른 모델링과의 비교성능을 표 8에 나타내었다.
- 입력변수는 부동산에 영향을 미치는 요인들로 이루어져 있으며, 출력변수는 부동산의 평균가격을 나타낸다. 제안된 모델의 평가를 위하여 boston housing 데이터를 학습데이터(60%)와 검증데이터(40%)로 랜덤하게 나누었고, 성능 지수는 식(12)과 같이 RMSE를 사용하였고 다른 모델링과의 비교성능을 표 9에 나타내었다.
이론/모형
- 또한 간단히 표현될 수 있는 경우에는 간략화 된 구조로 나타내는 것이 효과적이지만 모든 경우를 2차식으로 표현하므로 시스템에 맞는 적응력이 떨어지는 것이 단점이다. 본 논문에서는 최적의 모델설계를 위하여 2변수 2차식 GMDH 알고리즘의 한계를 극복하고 기존의 신경회로망 구조와 같이 고정되니 않고 새로운 구조를 생성하는 네트워크 구조를 가지는 PNN(Polynomial Neural Networks) 알고리즘을 이용하였다[3][4]. 2변수 2차식만 으로 고정되어 한계가 드러난 GMDH 알고리즘을 다변수에 의해 변수의 개수를 확장하고, 2차식은 1차식(linear) 2차(quadratic), 3차(modified quadratic)등으로 차수 또한 확장한다.
- 과적합은 모델을 설계할 때 학습 데이터에 특징을 과도하게 학습한 나머지 예측 및 분류 율이 떨어지는 현상을 말한다. 이러한 문제를 입력변수간의 다중공선성(Muti-collinearity)이 발생함에 따른 것으로 보이며, 다항식 신경회로망에 L2regularization을 적용하였다[6-8]. 또한 이와 같이 Overfitting문제가 다중공선성 때문에 파라미터의 편차가 커지는 문제로 보고 각 층의 노드를 선택하는 과정에서 목적함수를 바꿔서 노드 선택에 변화를 주었다.
성능/효과
- regularization을 적용하여 PNN의 성능을 비교 하였다. 2입력에서 방법 1과 2에서의 PI와 EPI의 차이가 거의 없이 전개되었으며, 방법 1의 6층에서의 EPI가 2.6767로 L2 regularization을 적용함으로써 성능이 많이 개선됨을 확인 했다. 3입력에서는 방법 1의 성능이 1층 이후 개선되지 않고 4층부터 overfitting이 발생하였다.
- regularization 을 적용하여 PNN의 성능을 비교 하였다. 2입력에서 방법 1은 성능이 나아지는 것을 확인하였지만 PI와 EPI의 격차가 점차 벌어지는 것에 비하여 방법 2에서는 PI와 EPI의 격차가 점차 줄어들었고 7층에서의 EPI도 2.2968로 방법 1에서의 EPI인 2.7379 보다 낮은 성능을 보이며 일반화 성능 또한 방법 1보다 우수함을 알 수 있다. 3입력에서는 방법 1과 2에서의 성능이 4층까지 낮아지다 5층부터 overfitting이 발생하였다.
- 그러므로 입출력 관계나 모델의 함수 형이 특정하지 않은 비선형 관계의 경우에 2변수 2차식에 의한 부분 표현식을 계층적으로 조합하여 비선형 모델 추정식을 얻을 수 있다. 각 계층은 부분 표현식에 의한 회귀분석을 적용함으로써, 입출력 관계의 비선형 함수를 용이하게 얻을 수 있고, 매우 적은 데이터로 복잡하고 다변수인 비선형계의 동정과 예측이 가능했다. 그러나 자연계의 다양한 시스템을 예측하는데 있어 2변수로 국한을 하여 다양한 입력변수 들끼리의 상호의존적인 면을 약하게 하였으며, 2차식으로는 다소 복잡한 시스템을 표현하기에는 역부족이다.
- 이를 기존의 PNN 과 제안된 PNN을 비교하였고, 계수의 제곱합을 사용하는 방법 과, L2 regularization을 적용하였을 때 과적합의 발생이 늦추어진 것을 확인할 수 있었다. 결과적으로 계수의 제곱 합(Sum of Squared Coefficients : SSC)기법 및 L2 -norm regularization 기법의 도입을 통한 제안된 방법의 PNN은 기존의 PNN의 overfitting 문제를 효과적으로 개선할 수 있을 뿐 아니라, 딥구 조를 통한 빅데이터 처리의 효율적인 처리 가능성을 제시하였다. 또한 다른 모델링과 성능을 비교하여 딥 구조 PNN의 성능이 기존의 PNN뿐만 아니라 다른 모델링방법에 비해 선호된 성능의 네트워크 구조를 생성할 수 있음을 보였다.
- 결과적으로 계수의 제곱 합(Sum of Squared Coefficients : SSC)기법 및 L2 -norm regularization 기법의 도입을 통한 제안된 방법의 PNN은 기존의 PNN의 overfitting 문제를 효과적으로 개선할 수 있을 뿐 아니라, 딥구 조를 통한 빅데이터 처리의 효율적인 처리 가능성을 제시하였다. 또한 다른 모델링과 성능을 비교하여 딥 구조 PNN의 성능이 기존의 PNN뿐만 아니라 다른 모델링방법에 비해 선호된 성능의 네트워크 구조를 생성할 수 있음을 보였다.
- 그림 6(c)에서는 방법 1과 2 실험에 서의 각층의 SSC의 크기를 비교 했다. 방법 1의 SSC 크기는 4 층까지 불안정한 모습을 보이다 이후 안정되었고, 방법 2에서는 2입력일 때 2층에서 4.5445까지 오르는 모습을 보이다 이후 0.5 수준으로 비슷한 크기를 보이고 3입력에서도 거의 일정한 수준을 보여 방법 2의 모델에서 근사화 및 일반화 성능이 우수함을 알 수 있다.
- 3013로 올라가 PI와의 성능차가 매우 심하게 벌어지는 overfitting이 발생 하였다. 방법 2에서는 2입력일 때와 3입력일 때 PI와 EPI의 성능차가 거의 없었고, EPI의 성능도 매우 좋아진 것을 알 수 있었다. 그림 6(c)에서는 방법 1과 2 실험에 서의 각층의 SSC의 크기를 비교 했다.
- 3입력에서는 방법 1의 성능이 1층 이후 개선되지 않고 4층부터 overfitting이 발생하였다. 방법 2에서는 성능이 개선되어 성능의 우수함을 알 수 있다.
- 성능 평가를 위해 Machine Learning 데이터인 Nox, MPG, BHD 데이터를 이용하였다. 이를 기존의 PNN 과 제안된 PNN을 비교하였고, 계수의 제곱합을 사용하는 방법 과, L2 regularization을 적용하였을 때 과적합의 발생이 늦추어진 것을 확인할 수 있었다. 결과적으로 계수의 제곱 합(Sum of Squared Coefficients : SSC)기법 및 L2 -norm regularization 기법의 도입을 통한 제안된 방법의 PNN은 기존의 PNN의 overfitting 문제를 효과적으로 개선할 수 있을 뿐 아니라, 딥구 조를 통한 빅데이터 처리의 효율적인 처리 가능성을 제시하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.