수학적 해석모델은 물리적 현상을 파악하고 실험비용을 절감하는데 활발하게 사용되지만 편의를 위한 단순화 또는 파라미터가 가지고 있는 불확실성에 의해 해석모델에 의한 예측결과는 실제현상과 차이가 발생한다. 본 연구에서는 이러한 문제에 대해 통계적 기법을 이용하여 해석모델의 불확실성을 반영한 교정 및 검증 방법을 종이 헬리콥터를 통해 제시한다. 먼저, 같은 제원의 세 가지 종이 헬리콥터로 실시한 실험 데이터를 각 그룹으로 형성하여 두 가지 낙하해석모델에서 미지의 입력 파라미터인 항력계수를 교정하는데 사용했다. 그리고 확률분포로 예측된 낙하시간을 실험 데이터 분포와 비교하여 해석 모델을 검증하였다. 이 때, Markov Chain Monte Carlo 기법을 활용하여 항력계수의 불확실성을 정량화하였다. 또한 종이 헬리콥터의 그룹별 데이터에 대해 분산분석(Analysis of Variance)를 이용하여 제작오차와 실험오차의 관계를 비교하였고, 각 그룹이 모두 동일한 대상으로 간주해도 됨을 증명하였다.
수학적 해석모델은 물리적 현상을 파악하고 실험비용을 절감하는데 활발하게 사용되지만 편의를 위한 단순화 또는 파라미터가 가지고 있는 불확실성에 의해 해석모델에 의한 예측결과는 실제현상과 차이가 발생한다. 본 연구에서는 이러한 문제에 대해 통계적 기법을 이용하여 해석모델의 불확실성을 반영한 교정 및 검증 방법을 종이 헬리콥터를 통해 제시한다. 먼저, 같은 제원의 세 가지 종이 헬리콥터로 실시한 실험 데이터를 각 그룹으로 형성하여 두 가지 낙하해석모델에서 미지의 입력 파라미터인 항력계수를 교정하는데 사용했다. 그리고 확률분포로 예측된 낙하시간을 실험 데이터 분포와 비교하여 해석 모델을 검증하였다. 이 때, Markov Chain Monte Carlo 기법을 활용하여 항력계수의 불확실성을 정량화하였다. 또한 종이 헬리콥터의 그룹별 데이터에 대해 분산분석(Analysis of Variance)를 이용하여 제작오차와 실험오차의 관계를 비교하였고, 각 그룹이 모두 동일한 대상으로 간주해도 됨을 증명하였다.
Mathematical models are actively used to reduce the experimental expenses required to understand physical phenomena. However, they are different from real phenomena because of assumptions or uncertain parameters. In this study, we present a calibration and validation method using a paper helicopter ...
Mathematical models are actively used to reduce the experimental expenses required to understand physical phenomena. However, they are different from real phenomena because of assumptions or uncertain parameters. In this study, we present a calibration and validation method using a paper helicopter and statistical methods to quantify the uncertainty. The data from the experiment using three nominally identical paper helicopters consist of different groups, and are used to calibrate the drag coefficient, which is an unknown input parameter in both analytical models. We predict the predicted fall time data using probability distributions. We validate the analysis models by comparing the predicted distribution and the experimental data distribution. Moreover, we quantify the uncertainty using the Markov Chain Monte Carlo method. In addition, we compare the manufacturing error and experimental error obtained from the fall-time data using Analysis of Variance. As a result, all of the paper helicopters are treated as one identical model.
Mathematical models are actively used to reduce the experimental expenses required to understand physical phenomena. However, they are different from real phenomena because of assumptions or uncertain parameters. In this study, we present a calibration and validation method using a paper helicopter and statistical methods to quantify the uncertainty. The data from the experiment using three nominally identical paper helicopters consist of different groups, and are used to calibrate the drag coefficient, which is an unknown input parameter in both analytical models. We predict the predicted fall time data using probability distributions. We validate the analysis models by comparing the predicted distribution and the experimental data distribution. Moreover, we quantify the uncertainty using the Markov Chain Monte Carlo method. In addition, we compare the manufacturing error and experimental error obtained from the fall-time data using Analysis of Variance. As a result, all of the paper helicopters are treated as one identical model.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
회의 계산을 시행하였다. 그러나 MCMC 는 추정 파라미터가 많을수록 샘플링에 영향을 미치는 요소가 많아 지기 때문에 성능이 저하된다는 단점이 있지만 본 연구에서는 추정 파라미터가 항력계수로 하나이기 때문에 사용하기에 적합하다고 판단했다. 또한 본 연구에서는 MCM 기법을 구현하는 방법들 중 가장 널리 쓰이는 Metropolis-Hasting algoriyhm 을 이용하였다.
본 연구에서는 물리적 예측모델이 주어 졌을 때 실제 모델과의 분명한 차이를 극복하기 위한 통계적 교정과 검증의 방법을 제시하였다. 최종적으로는 추가적인 실험을 통해 예측에 필요한 주요 파라미터들을 확인해 요구 조건에 맞는 최적설계가 될 수 있도록 본 연구를 발전시킬 계획이다.
본 연구에서는 이러한 기법을 종이 헬리콥터 낙하해석모델에 적용하고 불확실성을 반영한 신뢰성있는 낙하시간 예측을 하고자 한다. 낙하실험 결과를 좌우하는 파라미터들 중에는 클립의 개수, 낙하높이, 항력계수, 제원이 있는데 그 중 항력계수가 불확실성을 가진 유일한 파라미터다.
67m / 1 clip 을 교정의 기준조건으로 설정하고 예측된 시간의 확률분포와 실험으로 얻어진 데이터 분포의 비교를 통해 해석모델의 검증을 시행하였다. 이를 통해 종이 헬리콥터의 무게와 낙하높이의 변화에 따른 예측 낙하시간이 실험에서 측정된 낙하시간과 얼마나 일치하는지를 알아 볼 수 있다.
가설 설정
그 조건 중 한 가지는 교정을 위한 기준 데이터로 활용되었으며 나머지 3 가지 조건에서의 데이터는 예측의 타당성을 검증하기 위해 활용되었다. 서로 다른 조건에서 수집되는 데이터들을 서로 독립이라 가정하였다.
항력계수의 평균과 표준편차를 기준으로 MCMC 샘플링 기법을 이용하여 N 개의 평균과 표준편차 그룹을 생성한다. 이때 N 개의 평균과 표준편차 그룹은 정규분포를 따른다고 가정한다.
제안 방법
(1) 하나의 공기저항력 모델을 이용하여 교정조건에서 측정된 7 회의 측정 시간에 대한 항력계수를 구한다. 항력계수의 평균과 표준편차를 기준으로 MCMC 샘플링 기법을 이용하여 N 개의 평균과 표준편차 그룹을 생성한다.
(3) 예측에 대한 검증을 위해 다른 조건에서 구해진 낙하시간 데이터를 이용하여 Empirical Distribution Function(EDF)로 나타내어 예측시간의 CDF 와 비교해서 생기는 면적(area metric)을 구한다. 예측된 CDF( F )와 EDF( Sn )사이의 면적 d(F, Sn)은
Linear 및 Quadratic 모델들이 실제 낙하시간예측에 적합한지를 검증하기 위해 클립개수와 높이에 대해 따른 총 4 가지 조건에서 실험을 수행하였다. 그 조건 중 한 가지는 교정을 위한 기준 데이터로 활용되었으며 나머지 3 가지 조건에서의 데이터는 예측의 타당성을 검증하기 위해 활용되었다.
대표적 연구로 Bayarri 등(1)이 있는데, 저항점 용접과 자동차 충돌문제에 대해서 필드데이터(field data)를 바탕으로 해석모델의 입력 파라미터를 교정하였다. 교정 방법으로 베이지안 확률이론을 활용하였으며, 그 결과 미지의 파라미터는 필드데이터에 의해 교정된 확률분포로 구해졌다.
의 통계적 기법을 통한 낙하해석모델의 교정 및 검증에 관한 연구가 있었다. 그 연구에서는 두 가지 낙하해석모델의 검증을 위해 같은 제원의 세 가지 종이 헬리콥터를 선정하여 불확실성을 가진 파라미터를 통계적 기법을 통해 교정하였다. Park(5)의 결과는 제원이 동일함에도 불구하고 각 종이 헬리콥터에 적합한 낙하해석모델은 상이했다.
이러한 문제를 해결하기 위해 최근에는 통계기법을 이용하여 불확실성을 정량화하고 이를 해석의 교정에 활용하는 연구들이 많이 발표되고 있다. 대표적 연구로 Bayarri 등(1)이 있는데, 저항점 용접과 자동차 충돌문제에 대해서 필드데이터(field data)를 바탕으로 해석모델의 입력 파라미터를 교정하였다. 교정 방법으로 베이지안 확률이론을 활용하였으며, 그 결과 미지의 파라미터는 필드데이터에 의해 교정된 확률분포로 구해졌다.
두 번째는 측정 오차로서, 낙하높이, 시간측정의 부정확성으로 인한 인적 요인과 외란으로 인한 환경적 요인을 포함한다. 따라서 본 연구에서는 제작오차를 줄이기 위하여 도면은 제도 소프트웨어를 이용하여 만들었으며, 한사람이 제작과정을 모두 맡았다. 낙하시간 측정을 위하여 낙하자 1명과 시간을 측정하는 관측자 4명을 두어 그 평균시간을 사용하였다.
본 절에서는 항력계수를 이용한 통계적 교정 및 예측적 검증의 절차를 설명한다. 본 실험에서는 4 가지 실험 조건 중 10.67m / 1 clip 을 교정의 기준조건으로 설정하고 예측된 시간의 확률분포와 실험으로 얻어진 데이터 분포의 비교를 통해 해석모델의 검증을 시행하였다. 이를 통해 종이 헬리콥터의 무게와 낙하높이의 변화에 따른 예측 낙하시간이 실험에서 측정된 낙하시간과 얼마나 일치하는지를 알아 볼 수 있다.
(2) 정규분포를 따르는 각 평균과 표준편차 그룹에서 한 개의 항력계수 샘플을 무작위로 생성하여 총 N 개의 항력계수를 생성한다. 선택된 공기저항력 모델에 검증을 위한 다른 실험조건을 적용시키고 이를 이용해 N 개의 항력계수에 대한 N 개의 낙하시간을 계산한다. 예측된 시간 분포를 Cumulative Distribution Function(CDF)로 나타낸다.
H1, H3 는 quadratic 모델이 더 적합하였고, H2 는 linear 모델이 적합하다는 결론이 나왔었다. 이를 본 실험결과와 비교하기 위해 3 가지 종이 헬리콥터에 대해 각각 Predictive Validation area metric 를 확인하였다
이를 위해 104회의 계산을 시행하였다. 그러나 MCMC 는 추정 파라미터가 많을수록 샘플링에 영향을 미치는 요소가 많아 지기 때문에 성능이 저하된다는 단점이 있지만 본 연구에서는 추정 파라미터가 항력계수로 하나이기 때문에 사용하기에 적합하다고 판단했다.
낙하시간 측정을 위하여 낙하자 1명과 시간을 측정하는 관측자 4명을 두어 그 평균시간을 사용하였다. 제작오차와 실험오차의 크기를 비교하기 위해서 동일한 제원을 가진 3개의 종이 헬리콥터를 만들어 실험하였으며, 실험을 7회씩 반복하였다. 실험높이는 6.
종이 헬리콥터는 제작비용이 적고, 해석모델도 간단하여 통계적 기법에 적용하기 좋은 모델이었다. 클립 수와 높이에 따라 총 4 가지 조건을 설정하여 그 중한 가지 조건을 항력계수 교정의 기준으로 설정하고, 다른 조건에서 낙하시간 예측을 위한 데이터를 얻기 위해 활용되었으며, 나머지 3 가지 조건에서의 데이터는 그 예측의 타당성을 검증하기 위해 활용되었다.
대상 데이터
따라서 본 연구에서는 제작오차를 줄이기 위하여 도면은 제도 소프트웨어를 이용하여 만들었으며, 한사람이 제작과정을 모두 맡았다. 낙하시간 측정을 위하여 낙하자 1명과 시간을 측정하는 관측자 4명을 두어 그 평균시간을 사용하였다. 제작오차와 실험오차의 크기를 비교하기 위해서 동일한 제원을 가진 3개의 종이 헬리콥터를 만들어 실험하였으며, 실험을 7회씩 반복하였다.
데이터처리
Table 5, 6 에서는 같은 제원임에도 각 종이 헬리콥터에 적합한 모델이 다름을 볼 수 있다. Park(5) 논문의 실험데이터에 대한 One-way ANOVA 를 통한 분석을 진행해 보았다.(Table 7) 그 결과 F-value 는 34.
먼저, ANOVA 를 이용하여 3 가지 동일 제원을 가진 종이 헬리콥터에서 제작오차의 영향이 반복측정오차에 비해 작아 각각의 데이터를 한 개체의 데이터로 볼 수 있었다. 그리고 낙하해석모델에서 항력계수가 가지고 있는 불확실성을 정량적으로 나타내어 낙하시간을 확률분포로 예측하기 위해 MCMC 기법을 활용하였고, 실제 낙하시간 데이터분포와 비교하여 해석모델에 대한 검증을 하였다. 그 결과 Quadratic 모델은 무게나 높이의 변화에 따른 조건들에 대해 적합한 해석모델이라는 것이 검증되었다.
또한 실험 데이터에 관해 ANOVA 를 수행하여 종이 헬리콥터의 제작오차와 측정오차의 비교와 해석모델의 교정 및 검증에 대한 결과분석을 한다. 그리고 종이 헬리콥터 해석모델에 대한 본 논문과 Park(5)의 논문의 검증결과를 ANOVA 를 통해 비교 분석한다.
3 장에서는 낙하해석모델에서 미지의 파라미터인 항력계수에 대한 통계적 교정 및 검증에 대한 소개와 절차를 언급한다. 또한 실험 데이터에 관해 ANOVA 를 수행하여 종이 헬리콥터의 제작오차와 측정오차의 비교와 해석모델의 교정 및 검증에 대한 결과분석을 한다. 그리고 종이 헬리콥터 해석모델에 대한 본 논문과 Park(5)의 논문의 검증결과를 ANOVA 를 통해 비교 분석한다.
세 가지 종이 헬리콥터에 대한 제작오차와 측정오차의 차이를 비교하기 위해 One -way ANOVA 을 시행하였다. Table 1 은 10.
종이 헬리콥터 무게의 경우 사용할 제품 30장의 무게를 잰 후 평균값을 내어 평량을 계산하고, 도면의 면적과 곱하여 구하는 방식을 택하였다. 클립 또한 30개 표본의 무게를 잰 후 평균값을 계산하였다. 측정값은 다음과 같다.
이론/모형
ANOVA 를 시행한 RAW DATA 는 Appendix Fall time data 의 Condition 1 에서 확인할 수 있다. One-Way ANOVA 의 자세한 사항은 참고문헌 (9)을 참조하도록 한다. Error 는 실험의 반복회수에 대한 측정오차를 나타내고, Factor 는 같은 제원의 3 개 종이 헬리콥터간의 제작오차를 나타내고 있다.
그러나 MCMC 는 추정 파라미터가 많을수록 샘플링에 영향을 미치는 요소가 많아 지기 때문에 성능이 저하된다는 단점이 있지만 본 연구에서는 추정 파라미터가 항력계수로 하나이기 때문에 사용하기에 적합하다고 판단했다. 또한 본 연구에서는 MCM 기법을 구현하는 방법들 중 가장 널리 쓰이는 Metropolis-Hasting algoriyhm 을 이용하였다.(7)
본 논문에서는 통계적 교정 및 검증 기법을 종이 헬리콥터의 낙하해석모델에 적용하여 보았다. 종이 헬리콥터는 제작비용이 적고, 해석모델도 간단하여 통계적 기법에 적용하기 좋은 모델이었다.
하지만 불확실성을 고려하지 않은 채 파라미터의 값을 결정한다면 좋은 결과를 얻지 못할 것이다. 불확실성을 정량화하여 파라미터를 교정시키는 방법 중, 본 연구에서는 Markov Chain Monte Carlo(MCMC) 기법을 사용하였다. 이 기법은 미지의 파라미터에 대한 실측 데이터가 주어졌을 때 Markov Chain 샘플링 방법을 통해 파라미터의 불확실성을 확률적으로 추정하는 방법이다.
(1) 하나의 공기저항력 모델을 이용하여 교정조건에서 측정된 7 회의 측정 시간에 대한 항력계수를 구한다. 항력계수의 평균과 표준편차를 기준으로 MCMC 샘플링 기법을 이용하여 N 개의 평균과 표준편차 그룹을 생성한다. 이때 N 개의 평균과 표준편차 그룹은 정규분포를 따른다고 가정한다.
성능/효과
의 논문에서는 H1, H2, H3 의 총 3 가지 종이 헬리콥터에 적합한 낙하 모델이 각각 달랐다. H1, H3 는 quadratic 모델이 더 적합하였고, H2 는 linear 모델이 적합하다는 결론이 나왔었다. 이를 본 실험결과와 비교하기 위해 3 가지 종이 헬리콥터에 대해 각각 Predictive Validation area metric 를 확인하였다
교정 조건이 area metric의 수치를 판단하는 기준이 되고 기준에 비해 얼마나 큰 지에 따라 공기저항력 모델의 적합성을 판단할 수 있다. Quadratic 모델에서는 교정조건에서 0.0571의 area metric을 나타낸 것을 기준으로 6.82m / 1clip은 2.53배, 6.82m / 2clips에서는 1.91배, 10.67m / 2clips 조건에서는 기준의 1.02배에 해당하는 area metric을 나타냄으로써 quadratic 모델을 이용하여 구한 항력계수가 낙하시간을 예측하는 것에 적합하다는 것을 알려준다. Linear 모델에서는 교정조건에서의 area metric을 기준으로 높이만 변한 조건에서는 2.
그리고 낙하해석모델에서 항력계수가 가지고 있는 불확실성을 정량적으로 나타내어 낙하시간을 확률분포로 예측하기 위해 MCMC 기법을 활용하였고, 실제 낙하시간 데이터분포와 비교하여 해석모델에 대한 검증을 하였다. 그 결과 Quadratic 모델은 무게나 높이의 변화에 따른 조건들에 대해 적합한 해석모델이라는 것이 검증되었다. Linear 모델은 종이 헬리콥터의 낙하 높이에 따른 변화가 있을 경우에만 시간예측에 대한 적합성을 보였고, 무게에 대한 변화에 따른 시간예측에 적합하지 않았다.
33 > 1 이므로 제작오차가 실험에 미치는 영향력은 측정오차보다 매우 크다라는 것을 볼 수 있고, 모델 H1, H2, H3 을 동일한 모델로 가정할 수 없다라는 것을 알 수 있다. 그 결과 본 실험에서 제작오차를 줄이기 위한 노력들을 하였고 그 효과가 나타남이 증명되었다.
먼저, ANOVA 를 이용하여 3 가지 동일 제원을 가진 종이 헬리콥터에서 제작오차의 영향이 반복측정오차에 비해 작아 각각의 데이터를 한 개체의 데이터로 볼 수 있었다. 그리고 낙하해석모델에서 항력계수가 가지고 있는 불확실성을 정량적으로 나타내어 낙하시간을 확률분포로 예측하기 위해 MCMC 기법을 활용하였고, 실제 낙하시간 데이터분포와 비교하여 해석모델에 대한 검증을 하였다.
후속연구
본 연구에서는 물리적 예측모델이 주어 졌을 때 실제 모델과의 분명한 차이를 극복하기 위한 통계적 교정과 검증의 방법을 제시하였다. 최종적으로는 추가적인 실험을 통해 예측에 필요한 주요 파라미터들을 확인해 요구 조건에 맞는 최적설계가 될 수 있도록 본 연구를 발전시킬 계획이다.
교정은 실험 데이터를 이용하여 파라미터의 값을 조정하는 과정으로 예측모델이 실험 데이터를 반영하기 위해 실시된다. 하지만 불확실성을 고려하지 않은 채 파라미터의 값을 결정한다면 좋은 결과를 얻지 못할 것이다. 불확실성을 정량화하여 파라미터를 교정시키는 방법 중, 본 연구에서는 Markov Chain Monte Carlo(MCMC) 기법을 사용하였다.
질의응답
핵심어
질문
논문에서 추출한 답변
낙하해석모델로 종이 헬리콥터를 선정한 이유는?
본 논문에서는 통계적 교정 및 검증 기법을 종이 헬리콥터의 낙하해석모델에 적용하여 보았다. 종이 헬리콥터는 제작비용이 적고, 해석모델도 간단하여 통계적 기법에 적용하기 좋은 모델이었다. 클립 수와 높이에 따라 총 4 가지 조건을 설정하여 그 중한 가지 조건을 항력계수 교정의 기준으로 설정하고, 다른 조건에서 낙하시간 예측을 위한 데이터를 얻기 위해 활용되었으며, 나머지 3 가지 조건에서의 데이터는 그 예측의 타당성을 검증하기 위해 활용되었다.
미지 파라미터를 교정하는 방법의 단점은?
이 경우 예측모델의 정확도를 높이기 위해 실제 시험데이터를 이용하여 미지 파라미터를 교정(Calibration)하는 방법이 많이 이용되고 있다. 그러나 이 과정에서 해석모델이나 시험의 오차, 제한된 시험횟수 등에 의해 발생하는 불확실성을 제대로 반영하지 않은 채 파라미터를 단일 값으로 교정하여 해석에 활용한다면 이는 잘못된 결론으로 이어질 위험이 있다.
공학분야에서 해석모델을 사용하는 이유는?
해석모델은 다양한 공학분야에서 물리적 현상을 파악하고 실험에 들어가는 시간적, 경제적 비용절감을 위해 활발하게 사용된다. 하지만 대부분의 경우 해석모델은 현상에 대한 지식부족 또는 편의를 위해해석모델을 수학적으로 단순화하거나 입력 파라미터를 알 수 없는 경우가 존재하기 때문에, 해석모델이 시험데이터를 완벽하게 반영하기가 매우 어렵다.
참고문헌 (9)
Bayarri, M.J., Berger, J.O., Higdon, D., Kennedy, M.C., Kottas, A., Paulo, R., Sacks, J., Cafeo, J.A., Cavendish, J., Lin, C.H. and Tu, J., 2002, "A Framework for Validation of Computer Models," National Institute of Statistical Sciences.
Siorek, T. and Haftka, R.T., 1998, "Paper Helicopter -Experimental Optimum Engineering Design Classroom Problem," AIAA Paper 98-4963 Proceedings, 7th AIAA/USAF/NASA/-ISSMO Symposium on Multidisciplinary Analysis and Optimization, pp. 2013-2020, St.Louis MO, Sept. 2-4.
Annis, D., 2005, "Rethinking the Paper Helicopter: Combining Statistical and Engineering Knowledge," The American Statistician, 59, No. 4, pp. 320-326.
LaTourette, K.J., "The Application of Differential Equations to Model the Motion of a Paper Helicopter," Saint John Fisher College
Park, C., Choi, J.-h. and Haftka, R.T., 2014, "Teaching a Verification and Validation Course Using Simulations and Experiments with Paper Helicopter," ASME 2014 Verification and Validation Symposium
Oberkampf and Barone, 2004
Yoo, M.Y. and Choi, J.H., 2013, "Probabilistic Calibration of Computer Model and Application to Reliability Analysis of Elasto-Plastic Insertion Problem," Trans. Korean Soc. Mech. Eng. A, Vol. 37, No. 9, pp. 1133-1140.
Ferson, S., Oberkampf, W. L. and Ginzburg, L., 2008, Model Validation and Predictive Capability for the Thermal Challenge Problem. Computer Methods in Applied Mechanics and Engineering, 197(29), pp. 2408-2430.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.