패턴 인식 분야에 있어서 데이터 분류는 해당 데이터에서 유용한 정보를 추출하기 위해서 반드시 수행해야 하는 과정 중 하나이다. AdaBoost 알고리즘은 Boosting 알고리즘을 실제 데이터 분석에 이용할 수 있도록 개량한 것으로, Random guessing이나 Random forest와 같이 정확한 결과를 도출할 확률이 50%보다 조금 높은 약한 분류기와 가중치 값의 조합을 통해 높은 분류 성능을 가지는 강한 분류기를 생성하는 방법을 뜻한다. 본 논문에서는 AdaBoost 알고리즘을 이용하여 비강수에코 중 강수에코와 그 특성이 유사하여 기상 예보를 수행하는 데 방해가 되는 채프에코를 식별하는 알고리즘의 구현에 대한 연구를 수행하였다. 기상 현상 관측을 위해 사용하는 레이더 데이터를 정적 클러스터링과 동적 클러스터링 과정을 통해서 유사도를 기반으로 한 클러스터를 생성한 후, 이를 예보관의 채프에코 판별 결과에 따라 채프에코와 비채프에코로 나누어 학습 데이터를 구성한 후 AdaBoost 알고리즘에 적용하여 분류기를 구현하였다. 제안한 AdaBoost 알고리즘의 성능을 검증하기 위하여 실제 채프에코가 발생한 레이더 데이터를 적용하였으며, 실험 결과를 통해서 제안한 알고리즘이 효과적으로 채프에코를 분류할 수 있음을 확인하였다.
패턴 인식 분야에 있어서 데이터 분류는 해당 데이터에서 유용한 정보를 추출하기 위해서 반드시 수행해야 하는 과정 중 하나이다. AdaBoost 알고리즘은 Boosting 알고리즘을 실제 데이터 분석에 이용할 수 있도록 개량한 것으로, Random guessing이나 Random forest와 같이 정확한 결과를 도출할 확률이 50%보다 조금 높은 약한 분류기와 가중치 값의 조합을 통해 높은 분류 성능을 가지는 강한 분류기를 생성하는 방법을 뜻한다. 본 논문에서는 AdaBoost 알고리즘을 이용하여 비강수에코 중 강수에코와 그 특성이 유사하여 기상 예보를 수행하는 데 방해가 되는 채프에코를 식별하는 알고리즘의 구현에 대한 연구를 수행하였다. 기상 현상 관측을 위해 사용하는 레이더 데이터를 정적 클러스터링과 동적 클러스터링 과정을 통해서 유사도를 기반으로 한 클러스터를 생성한 후, 이를 예보관의 채프에코 판별 결과에 따라 채프에코와 비채프에코로 나누어 학습 데이터를 구성한 후 AdaBoost 알고리즘에 적용하여 분류기를 구현하였다. 제안한 AdaBoost 알고리즘의 성능을 검증하기 위하여 실제 채프에코가 발생한 레이더 데이터를 적용하였으며, 실험 결과를 통해서 제안한 알고리즘이 효과적으로 채프에코를 분류할 수 있음을 확인하였다.
In pattern recognition field, data classification is an essential process for extracting meaningful information from data. Adaptive boosting algorithm, known as AdaBoost algorithm, is a kind of improved boosting algorithm for applying to real data analysis. It consists of weak classifiers, such as r...
In pattern recognition field, data classification is an essential process for extracting meaningful information from data. Adaptive boosting algorithm, known as AdaBoost algorithm, is a kind of improved boosting algorithm for applying to real data analysis. It consists of weak classifiers, such as random guessing or random forest, which performance is slightly more than 50% and weights for combining the classifiers. And a strong classifier is created with the weak classifiers and the weights. In this paper, a research is performed using AdaBoost algorithm for detecting chaff echo which has similar characteristics to precipitation echo and interrupts weather forecasting. The entire process for implementing chaff echo classifier starts spatial and temporal clustering based on similarity with weather radar data. With them, learning data set is prepared that separated chaff echo and non-chaff echo, and the AdaBoost classifier is generated as a result. For verifying the classifier, actual chaff echo appearance case is applied, and it is confirmed that the classifier can distinguish chaff echo efficiently.
In pattern recognition field, data classification is an essential process for extracting meaningful information from data. Adaptive boosting algorithm, known as AdaBoost algorithm, is a kind of improved boosting algorithm for applying to real data analysis. It consists of weak classifiers, such as random guessing or random forest, which performance is slightly more than 50% and weights for combining the classifiers. And a strong classifier is created with the weak classifiers and the weights. In this paper, a research is performed using AdaBoost algorithm for detecting chaff echo which has similar characteristics to precipitation echo and interrupts weather forecasting. The entire process for implementing chaff echo classifier starts spatial and temporal clustering based on similarity with weather radar data. With them, learning data set is prepared that separated chaff echo and non-chaff echo, and the AdaBoost classifier is generated as a result. For verifying the classifier, actual chaff echo appearance case is applied, and it is confirmed that the classifier can distinguish chaff echo efficiently.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
레이더 사이트의 위치에 따라 채프에코의 발생 특성이 다르기 때문에 이를 고려한다면 더욱 정확한 결과를 도출할 수 있을 것으로 보인다. 그리고 식별 알고리즘은 본 논문에서 제안한 AdaBoost 알고리즘과 같이 여러 개의 분류기를 가중치와 함께 적용하는 방식이지만, 기본적으로 사용되는 Decision Tree 이외에 퍼지 추론 시스템이나 확률 모델 적용을 통해 식별률을 향상시키는 방법을 모색하고자 한다. 또한 채프에코 이외에도 기상예보의 정확도를 감소시키는 원인이 되는 다양한 종류의 비강수에코를 식별 및 제거하기 위해 제안한 방법을 응용하여 적용할 수 있는 방법에 대해서도 연구를 수행하고자 한다.
그리고 식별 알고리즘은 본 논문에서 제안한 AdaBoost 알고리즘과 같이 여러 개의 분류기를 가중치와 함께 적용하는 방식이지만, 기본적으로 사용되는 Decision Tree 이외에 퍼지 추론 시스템이나 확률 모델 적용을 통해 식별률을 향상시키는 방법을 모색하고자 한다. 또한 채프에코 이외에도 기상예보의 정확도를 감소시키는 원인이 되는 다양한 종류의 비강수에코를 식별 및 제거하기 위해 제안한 방법을 응용하여 적용할 수 있는 방법에 대해서도 연구를 수행하고자 한다.
본 논문에서는 AdaBoost 알고리즘을 이용하여 레이더데이터 내에서 기상 예보에 악영향을 미치는 채프에코를 식별 및 제거하는 방법에 대한 연구를 수행하였다. 실제 채프 에코가 발생하여 기상 레이더가 탐지한 데이터를 이용하여 학습 데이터를 구성한다.
본 논문에서는 기상레이더 센터와 공동으로 연구하여 개발한 채프에코 식별 및 제거 시스템[6-7]을 바탕으로 레이더 데이터에서 채프 에코를 식별 및 제거하기 위해 AdaBoost 알고리즘을 이용하여 이진 분류기를 만드는 방법에 관한 연구를 수행하였다. AdaBoost 알고리즘은 다수의 규칙들을 가중치와 함께 조합하여 높은 성능을 가지는 이진 분류기를 만드는 방법이다.
제안 방법
이 클러스터링 방식은 One Pass Clustering 방법을 응용한 것으로, 기상 예보 과정에서 데이터 분석이 5분 이내에 종료되어야 하는 점을 감안하여 시간 복잡도를 최소한으로 설정하기 위해서 고안된 방법이다. 그리고 시간에 따른 클러스터링은 기상 레이더 데이터가 5～10분 정도 간격으로 생성되며 기상 현상이 시간에 따라 급격한 변화를 보이지 않는다는 점과 채프에코의 특성 중 시간에 따른 변화 특성을 활용하기 위해서 제안한 방법이다. 채프에코가 발생하면 5～7시간 정도 대기 중에 존재하면서 확산하는 특성을 이용하기 위하여 6시간 이전 데이터까지 시간을 거슬러 올라가면서 유사한 형태의 클러스터가 존재하는지 검색하고 이를 동위 클러스터(iso-cluster) 형태로 저장하게 된다.
실제 채프 에코가 발생하여 기상 레이더가 탐지한 데이터를 이용하여 학습 데이터를 구성한다. 그리고 이를 이용하여 AdaBoost 알고리즘을 학습시켜 이진 분류기를 구현하고, 테스트 데이터를 적용하여 결과를 도출한다. 검증을 위해서 도출된 결과와 기상 예보관이 해당 테스트 사례를 판단한 결과와 비교하여 검증하였다.
이는 다양한 분류기의 조합을 통해 성능 향상은 물론 복잡한 레이더 데이터 특성을 반영할 수 있으며 좋은 성능을 가지는 분류기를 개발하기 위함이다. 레이더 데이터에 관측되는 채프에코의 시간에 따른 확산 특성 및 반사도 형태 특성을 활용하기 위해 공간과 시간에 따른 클러스터링 기법이 적용되었으며, 이 때 형성된 클러스터들의 특성을 추출해 이진 분류기를 학습시키기 위한 데이터로 활용하였다.
x는 채프에코의 특성을 나타내는 벡터이며, 각 원소는 순서대로 채프에코의 생성형태(lfact), 생성 후 유지시간(iso_size), 시간에 따른 고도의 변화 경향(zdrop), 시간에 따른 평균 반사도 변화 경향(czmeandrop), 시간에 따른 최대 반사도 변화 경향 (czmaxdrop), 그리고 시간에 따른 크기 변화 경향(expan)이다. 실제 기상 예보를 수행하는 데 있어서 기상 예보관이 적용하는 지식을 바탕으로 추출된 정보이며, 채프에코 발생 형태와 시간에 따른 변화 경향을 이용해서 AdaBoost 알고리즘의 입력으로 설정하였다. 약한 분류기로는 Decision Tree를 사용하였다.
그림 5의 (a)와 (b)에서는 AdaBoost 알고리즘을 적용하여 대표적인 결과를 표출하였다. 실제 레이더 데이터를 표출한 그림과 채프에코가 제거된 그림, 그리고 채프에코만 표출한 그림을 차례대로 나타내었다. 실제 레이더 데이터를 표출한 그림에서 적색 사각형 영역으로 표출한 곳이 기상 예보관이 채프에코라고 판단한 영역으로 해당 영역을 참값으로 분류한다.
실제 채프에코가 발생한 경우의 기상 레이더 데이터를 바탕 제안하는 알고리즘을 검증하였다. 그림 5의 (a)와 (b)에서는 AdaBoost 알고리즘을 적용하여 대표적인 결과를 표출하였다.
실제 레이더 데이터를 표출한 그림에서 적색 사각형 영역으로 표출한 곳이 기상 예보관이 채프에코라고 판단한 영역으로 해당 영역을 참값으로 분류한다. 예보관의 경우 레이더 영상 외의 정보와 경험 기반의 지식을 통한 채프에코의 특성을 종합하여 식별할 수 있기 때문에 이를 참값으로 간주하고 실험 후 결과를 검증하였다. 그림 5의 (a)에서는 넓은 영역에 걸쳐 표출된 채프에코가 잘 검출된 것을 확인할 수 있지만 (b)에서는 일부 채프에코가 아닌 영역이 잘못 판단된 것을 알 수 있다.
채프에코가 발생하면 5～7시간 정도 대기 중에 존재하면서 확산하는 특성을 이용하기 위하여 6시간 이전 데이터까지 시간을 거슬러 올라가면서 유사한 형태의 클러스터가 존재하는지 검색하고 이를 동위 클러스터(iso-cluster) 형태로 저장하게 된다. 이때, 유사도를 판별하기 위하여 TSK Fuzzy Inference System을 사용하였으며, 입력으로는 centroid 간의 거리와 유사한 위치에 존재하는 클러스터의 크기를 사용하여 크기 변화가 작고 거리가 가까우면 동위 클러스터로 판단하는 방식으로 클러스터링이 수행된다.
표 1에서는 전국에 분포된 기상 레이더에서 관측한 채프에코 발생 사례를 토대로 하여 제안하는 채프에코 식별 및 제거 알고리즘을 적용한 결과를 정리하였다. 최대 92.
대상 데이터
본 논문에서는 AdaBoost 알고리즘을 이용하여 레이더데이터 내에서 기상 예보에 악영향을 미치는 채프에코를 식별 및 제거하는 방법에 대한 연구를 수행하였다. 실제 채프 에코가 발생하여 기상 레이더가 탐지한 데이터를 이용하여 학습 데이터를 구성한다. 그리고 이를 이용하여 AdaBoost 알고리즘을 학습시켜 이진 분류기를 구현하고, 테스트 데이터를 적용하여 결과를 도출한다.
데이터처리
그리고 이를 이용하여 AdaBoost 알고리즘을 학습시켜 이진 분류기를 구현하고, 테스트 데이터를 적용하여 결과를 도출한다. 검증을 위해서 도출된 결과와 기상 예보관이 해당 테스트 사례를 판단한 결과와 비교하여 검증하였다. 실험 결과 11개 레이더 사이트에 대해서 평균 84.
이론/모형
실제 채프에코가 발생한 경우의 기상 레이더 데이터를 바탕 제안하는 알고리즘을 검증하였다. 그림 5의 (a)와 (b)에서는 AdaBoost 알고리즘을 적용하여 대표적인 결과를 표출하였다. 실제 레이더 데이터를 표출한 그림과 채프에코가 제거된 그림, 그리고 채프에코만 표출한 그림을 차례대로 나타내었다.
단계 2 : 레이더 데이터 중 기상 예보를 위해 유효한 데이터 범위를 클러스터링 및 분류기에 적용하기 위하여 Threshold 기법을 적용한다.
이와 같은 원리로 관측된 결과가 정리되어 레이더 데이터가 생성되는데, 이는 그림 2의 (c)와 같이 도식화하여 표현할 수 있다. 데이터 크기 순서로 정렬하면 Radar-Sweep-Ray-Bin의 순서로 표현할 수 있으며, 각 명칭은 NASA TRMM Global Validation Program에서 개발한 Radar Software Library의 표기법을 바탕으로 적용한 것이다. 측정된 구 좌표계 레이더를 표출 하여 분석하기 위해서 lowest PPI(Plan Position Indicator), CAPPI(Constant Altitude Plan Position Indicator) 방법 등이 적용된다.
데이터 크기 순서로 정렬하면 Radar-Sweep-Ray-Bin의 순서로 표현할 수 있으며, 각 명칭은 NASA TRMM Global Validation Program에서 개발한 Radar Software Library의 표기법을 바탕으로 적용한 것이다. 측정된 구 좌표계 레이더를 표출 하여 분석하기 위해서 lowest PPI(Plan Position Indicator), CAPPI(Constant Altitude Plan Position Indicator) 방법 등이 적용된다. 하지만 채프에코 식별을 위해 클러스터링과 이진 분류기 방법을 적용하기 위해서는 구 좌표계보다 직교 좌표계에서 수행하는 것이 직관적으로 데이터를 분석하는 데 있어서 더욱 유리하기 때문에 단계 1에서 직교 좌표계로 좌표 변환을 수행하게 된다.
성능/효과
검증을 위해서 도출된 결과와 기상 예보관이 해당 테스트 사례를 판단한 결과와 비교하여 검증하였다. 실험 결과 11개 레이더 사이트에 대해서 평균 84.09%의 채프에코 식별률을 보여주고 있으며, 이는 제안하는 알고리즘이 채프에코 식별 및 제거를 수행하는 데 있어서 효율적으로 적용될 수 있음을 의미한다.
그림 5의 (a)에서는 넓은 영역에 걸쳐 표출된 채프에코가 잘 검출된 것을 확인할 수 있지만 (b)에서는 일부 채프에코가 아닌 영역이 잘못 판단된 것을 알 수 있다. 이 결과는 강수에코와 채프에코의 특성이 비슷하기 때문에 미미한 특성 차이가 발생할 경우 본 논문에서 제안한 AdaBoost 알고리즘이 잘못된 판단을 수행할 수 있음을 의미한다.
A, C는 채프에코를 채프에코로, 비채프에코를 비채프에코로 정확히 식별한 경우이며 B, D는 채프에코를 비채프에코로 혹은 그 반대의 경우로 잘못 식별한 경우이다. 이를 통해서 평균적으로 84.09%의 채프에코 식별률을 보이는 것을 확인할 수 있었다.
표 1에서는 전국에 분포된 기상 레이더에서 관측한 채프에코 발생 사례를 토대로 하여 제안하는 채프에코 식별 및 제거 알고리즘을 적용한 결과를 정리하였다. 최대 92.44%에서 최소 80.63%의 채프에코 식별률을 보였다. 채프에코 식별률은 식 2에서 나타난 것과 같이 구할 수 있다.
후속연구
향후 연구로는 본 논문에서 도출된 결과를 바탕으로 하여 레이더 사이트별로 최적화된 채프에코 식별 및 제거 알고리즘을 개발하고자 한다. 레이더 사이트의 위치에 따라 채프에코의 발생 특성이 다르기 때문에 이를 고려한다면 더욱 정확한 결과를 도출할 수 있을 것으로 보인다. 그리고 식별 알고리즘은 본 논문에서 제안한 AdaBoost 알고리즘과 같이 여러 개의 분류기를 가중치와 함께 적용하는 방식이지만, 기본적으로 사용되는 Decision Tree 이외에 퍼지 추론 시스템이나 확률 모델 적용을 통해 식별률을 향상시키는 방법을 모색하고자 한다.
향후 연구로는 본 논문에서 도출된 결과를 바탕으로 하여 레이더 사이트별로 최적화된 채프에코 식별 및 제거 알고리즘을 개발하고자 한다. 레이더 사이트의 위치에 따라 채프에코의 발생 특성이 다르기 때문에 이를 고려한다면 더욱 정확한 결과를 도출할 수 있을 것으로 보인다.
질의응답
핵심어
질문
논문에서 추출한 답변
비 기상에코의 종류로는 어떤 것들이 있는가?
하지만 기상 레이더에서 생성하는 데이터는 비, 눈, 구름 등과 같은 기상에코와 함께 비 기상에코를 포함하고 있어 데이터 처리 과정을 거치지 않고 이를 기상 예보에 직접 사용하는 것은 어렵다 [1]. 비 기상에코의 종류로는 지형에코(Ground Echo), 파랑에코(Sea Clutter), 이상전파에코(Anomalous Propagation), 채프에코(Chaff Echo) 등이있으며 정확한 기상 예보를 위해서 이들을 식별 및 제거하는 연구, 특히 기상 예보관의 판단을 도울 수 있도록 자동화된 기법을 이용하여 레이더 데이터의 품질 관리(Quality Control)를 수행하는 방법에 대한 연구가 필요하다 [2]. 비 기상에코 중에서도 특히 채프에코는 군용 항공기가 적군 레이더에 탐지되는 것을 피하기 위해 대기 중으로 살포하는 작은 금속조각이나 유리섬유로 이루어진 채프(Chaff)가 레이더 영상에 나타난 것을 의미하는데 강수에코와 관측 특성이 유사하다.
기상 레이더가 기상 예보에 있어 필수적인 장치인 이유는 무엇인가?
기상 레이더는 우수한 시간, 공간 분해능을 가지고 넓은 영역을 탐지할 수 있기 때문에 국지적인 위험기상의 실황감시 및 예보에 필수적인 데이터를 측정 및 저장하여 제공하는 역할을 수행할 수 있으므로 기상 예보에 있어 필수적인 장치이다. 하지만 기상 레이더에서 생성하는 데이터는 비, 눈, 구름 등과 같은 기상에코와 함께 비 기상에코를 포함하고 있어 데이터 처리 과정을 거치지 않고 이를 기상 예보에 직접 사용하는 것은 어렵다 [1].
Spatial Clustering 방식은 무엇을 위해 고안된 방법인가?
공간에 따른 클러스터링은 특정 시간에 발생한 레이더 데이터 내의 반사도 정보를 지정된 거리를 기준으로 하여 클러스터를 형성하는 과정으로, Spatial Clustering 이라고도 한다. 이 클러스터링 방식은 One Pass Clustering 방법을 응용한 것으로, 기상 예보 과정에서 데이터 분석이 5분 이내에 종료되어야 하는 점을 감안하여 시간 복잡도를 최소한으로 설정하기 위해서 고안된 방법이다. 그리고 시간에 따른 클러스터링은 기상 레이더 데이터가 5～10분 정도 간격으로 생성되며 기상 현상이 시간에 따라 급격한 변화를 보이지 않는다는 점과 채프에코의 특성 중 시간에 따른 변화 특성을 활용하기 위해서 제안한 방법이다.
참고문헌 (12)
Hye-Young Han, Bok-Haeng Heo, Sung-Hwa Jung, GyuWon Lee, Cheol-Hwan You, Jong-Ho Lee, "Elimination of Chaff Echoes in Reflectivity Composite from an Operational Weather Radar Network using Infrared Satellite Data," Atmosphere. Korean Meteorological Society, vol. 21, no. 3, pp. 285-301, 2011.
Lakshmanan Valliappa, Angela Fritz, Travis Smith, Kurt Hondl, Gregory Stumpf, "An Automated Technique to Quality Control Radar Reflectivity Data," Journal of Applied Meteorology and Climatology, vol. 46, pp. 288-305, 2007.
Yong Hyun Kim, Sungshin Kim, Hye-Young Han, Bok-Haeng Heo, Cheol-Hwan You, "Real-Time Detection and Filtering of Chaff Clutter from Single Polarization Doppler Radar Data," Journal of Atmospheric and Oceanic Technology, vol. 30, no. 5, pp. 873-895, 2013.
Hansoo Lee, Jungwon Yu, Jichul Park and Sungshin Kim, "Chaff Echo Detecting and Removing Method using Naive Bayesian Network," Journal of Institute of Control, Robotics and Systems, vol. 19, no. 10, pp. 901-906, 2013.
Ilkka Ellonen, Arto Kaarna, "Chaff Clutter Filtering from Radar Data with Discrete Wavelet Transform," 2008 IEEE Radar Conference, pp. 1-6, 2008.
Bok-Haeng Heo, Cheol-Hwan You, Won-Ki Kim, Won-Il Son, Ji-Young Koo, Hye-Young Han, "Chaff Echo Recognition and Removal Algorithm," Weather Radar Center Technical Notes WRC2010-01, 2010.
Jong-Seo Park, Dong-Joo Ham, Won-Ki Kim, Hye-Young Han, In-Kyeong Hwang, "Chaff Echo Recognition using Clustering and Fuzzy Inference Method," Weather Radar Center Technical Notes WRC2011-04, 2011.
Y. Freund, R. E. Schapire, "A Short Introduction to Boosting," Journal of Japanese Society for Artificial Intelligence, vol. 14, no. 5, pp. 771-780, 1999.
Robert E. Schapire, The boosting approach to machine learning: An overview, Nonlinear Estimation and Classification, Springer, pp. 149-172, 2003.
Robert E. Schapire, Yoav Freund, Boosting: Foundations and Algorithms, The MIT Press, 2012.
Wonju Lee, Minkyu Cheon, Chang-Ho Hyun, Mignon Park, "An Improvement of AdaBoost using Boundary Classifier," Journal of Korean Institute of Intelligent Systems, vol. 23, no. 2, pp. 166-171, 2013.
Yonghee Hong, Youngjoon Han, Hernsoo Hahn, "Facial Expression Recognition by Combining Adaboost and Neural Network Algorithm" Journal of Korean Institute of Intelligent Systems, vol. 20, no. 6, pp. 806-813, 2010.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.