[논문]이상탐지 기반의 효율적인 시계열 유사도 측정 및 순위화

최지현; 안현

doi:10.7472/jksii.2024.25.2.39

초록
AI-Helper

시계열 분석은 시간 순서로 정렬된 데이터로부터 다양한 정보와 인사이트를 발견하기 위한 방법으로 많은 조직에서 비즈니스 문제 해결을 위해 적용하고 있다. 그중에서 시계열 유사도 측정은 패턴이 비슷한 시계열들을 식별하기 위한 단계로서 시계열 검색 및 군집화와 같은 시계열 분석 응용에서 매우 중요하다. 본 연구에서는 전체 시계열이 아닌 이상치들을 중심으로 시계열 유사도 측정을 계산 효율적으로 수행하는 방법을 제안한다. 이와 관련하여 이상탐지를 통해 추출된 서브시퀀스 집합에 대한 유사도 측정 결과와 시계열 전체에 대한 유사도 측정 결과 사이의 순위 상관관계를 측정 및 분석하여 제안 방법을 검증한다. 실험 결과로써, 주식 종목 시계열 데이터에 이상치 비율 10% 을 적용한 유사도 측정으로부터 최대 0.9 이상의 스피어만 순위 상관계수를 확인하였다. 결론적으로 제안 방법을 통해 시계열 유사도 측정에 소요되는 계산량을 유의미하게 절감하는 동시에 신뢰 가능한 시계열 검색 및 군집화 결과를 기대할 수 있다.

Abstract ▼ AI-Helper

Time series analysis is widely employed by many organizations to solve business problems, as it extracts various information and insights from chronologically ordered data. Among its applications, measuring time series similarity is a step to identify time series with similar patterns, which is very...

Time series analysis is widely employed by many organizations to solve business problems, as it extracts various information and insights from chronologically ordered data. Among its applications, measuring time series similarity is a step to identify time series with similar patterns, which is very important in time series analysis applications such as time series search and clustering. In this study, we propose an efficient method for measuring time series similarity that focuses on anomalies rather than the entire series. In this regard, we validate the proposed method by measuring and analyzing the rank correlation between the similarity measure for the set of subsets extracted by anomaly detection and the similarity measure for the whole time series. Experimental results, especially with stock time series data and an anomaly proportion of 10%, demonstrate a Spearman's rank correlation coefficient of up to 0.9. In conclusion, the proposed method can significantly reduce computation cost of measuring time series similarity, while providing reliable time series search and clustering results.

Keyword

표/그림 (9)

그림 (그림 1) Isolation Forest의 개념 (Figure 1) The concept of Isolation Forest
그림 (그림 2) Autoencoder의 구조 (Figure 2) The architecture of Autoencoder
그림 (그림 3) 제안 방법의 수행 과정 (Figure 3) The overall procedure of the proposed method
표 (표 1) 데이터셋 변수 요약 (Table 1) Summary of the variables in the dataset
표 (표 2) 섹터별 시가총액 기준 상위 종목(11개) (Table 2) Top 11 stocks by market capitalization by sector
표 (표 3) 특정 종목(심볼: AMGN)의 주성분 분석 결과 (Table 3) Results of principal component analysis of the specific stock(symbol: AMGN)
표 (표 4) 스피어만 순위 상관계수 측정 결과 (Table 4) Measurement results of the Spearman's rank correlation coefficient
그림 (그림 4) 이상치 비율에 따라 측정된 스피어만 순위 상관계수 (Figure 4) Measured Spearman's rank correlation coefficients by outlier rate
표 (표 5) 스피어만 순위 상관계수의 평가 기준 (Table 5) Evaluation criteria for Spearman's rank correlation coefficient

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 이상탐지 기법에 의해 추출된 서브시퀀스 집합을 대상으로 시계열 유사도를 효율적으로 측정하는 방법을 제안한다. 이상치는 일반적인 데이터 패턴에서 벗어난 값으로서 제거의 대상으로 고려되지만, 본 연구에서는 시계열들을 구별하기 위한 효과적인 특징으로서 활용한다.

가설 설정

이상치는 일반적인 데이터 패턴에서 벗어난 값으로서 제거의 대상으로 고려되지만, 본 연구에서는 시계열들을 구별하기 위한 효과적인 특징으로서 활용한다. 즉, 이상탐지에 의해 식별된 서브시퀀스 집합에 해당되는 데이터 패턴이 시계열별로 유의미한 차이를 가진다는 것이 본 연구의 주요한 가정이다. 제안 방법은 선택된 기준 시계열의 이상치들에 해당되는 서브시퀀스 집합을 추출하여, 이들을 비교 대상 시계열들과 일대다(one-to-many) 방식으로 유사도를 측정한다.

제안 방법

본 논문에서는 이상탐지 기법에 의해 추출된 서브시퀀스 집합을 대상으로 시계열 유사도를 효율적으로 측정하는 방법을 제안한다. 이상치는 일반적인 데이터 패턴에서 벗어난 값으로서 제거의 대상으로 고려되지만, 본 연구에서는 시계열들을 구별하기 위한 효과적인 특징으로서 활용한다. 즉, 이상탐지에 의해 식별된 서브시퀀스 집합에 해당되는 데이터 패턴이 시계열별로 유의미한 차이를 가진다는 것이 본 연구의 주요한 가정이다.
즉, 이상탐지에 의해 식별된 서브시퀀스 집합에 해당되는 데이터 패턴이 시계열별로 유의미한 차이를 가진다는 것이 본 연구의 주요한 가정이다. 제안 방법은 선택된 기준 시계열의 이상치들에 해당되는 서브시퀀스 집합을 추출하여, 이들을 비교 대상 시계열들과 일대다(one-to-many) 방식으로 유사도를 측정한다.
위의 연구들과 다르게, 본 연구에서는 계산 대상을 이상탐지에 의해 식별된 서브시퀀스 집합으로 제한하여 시계열 유사도를 효율적으로 측정하는 방법을 제안한다.
고차원 데이터 분석에는 모델링의 복잡성 및 계산 비용의 증가와 같은 문제가 있으며, 이상치가 존재할 경우 전체적인 데이터의 경향성을 설명하지 못하고 왜곡시킬 수 있다. 그러므로, 본 연구에서는 다변량 시계열 데이터의 차원 축소를 위해 주성분 분석을 적용한다. 이는 데이터의 분산을 최대한으로 보존하는 주성분들을 찾으며 일반적으로 누적기여율(cumulative proportion)이 85% 이상을 만족할 때의 주성분들로 선택하여 차원 축소를 수행한다.
코사인 유사도(cosine similarity)는 내적 공간에서 두 변수의 사이각을 이용해 유사도를 측정하는 지표이다. 정규화된 두 변수의 절대적인 사이각을 기준으로 유사도를 측정하기 때문에 변수 간의 크기 차이에 영향을 받지 않으며 방향성을 고려하여 유사도를 측정한다.
측정된 유사도는 [-1, 1]의 범위를 가지며 1에 가까울수록 두 변수는 높은 유사성을 가진 것으로 해석한다. 본 연구에서는 n의 길이를 갖는 기준 시계열 및 비교 대상 시계열 내의 두 변수를 벡터 x와 y로 대입하여 코사인 유사도를 측정한다.
본 연구에서는 두 가지 이상탐지 기법(Isolation Forest, Autoencoder) 및 이상치 비율(0.05, 0.1, 0.15, 0.25), 그리고 PCA 적용 여부를 조합하여 실험을 수행하였다. 또한, 조합별 실험에서 네 가지 유사도(코사인 유사도, 피어슨 상관계수, FastDTW, SMAPE)를 측정하여 순위화한 결과에 스피어만 순위 상관계수를 각각 측정하여 비교하였다.

대상 데이터

실험에서는 기준 시계열로 활용되는 섹터별 시가총액 상위 11개 종목을 포함한 총 100개의 주가 데이터를 선택하여 유사도 측정을 수행하였다.

데이터처리

25), 그리고 PCA 적용 여부를 조합하여 실험을 수행하였다. 또한, 조합별 실험에서 네 가지 유사도(코사인 유사도, 피어슨 상관계수, FastDTW, SMAPE)를 측정하여 순위화한 결과에 스피어만 순위 상관계수를 각각 측정하여 비교하였다.

이론/모형

Autoencoder의 주된 목표는 재구성 오차(reconstruction error)를 최소화하면서 동시에 잠재 표현이 입력 데이터의 중요 특징을 포함하도록 하는 것이며, 이를 통해 데이터의 차원을 축소하거나 중요한 특징을 추출하는 데에 활용할 수 있다. 특히, 이상치의 경우 Autoencoder의 압축복원 과정에 의해 처리된 결과가 일반적으로 높은 재구성 오차를 보일 것으로 예상되므로 본 연구에서는 Autoencoder 모델을 이상탐지 기법으로써 활용한다.
SMAPE는 [0, 200]의 범위를 가지며, 값이 작을수록 모델의 예측이 정확한 것으로 해석된다. 본 논문에서는 zero division 문제를 방지하고 백분율 형태의 시계열 유사도를 측정하기 위해 SMAPE를 적용한다.
종목별 상이한 주식 가격의 범위를 정규화하기 위해 Robust scaling을 사용하였다. Robust scaling은 사분위수범위(IQR: Inter Quartile Range)와 중앙값(median)을 사용해 선형적으로 값을 변환하는 정규화 방법이다.

성능/효과

먼저, 이상탐지 기법 측면에서 Isolation Forest가 Autoencoder와 비교하여 대부분의 경우에서 더 높은 상관 계수를 보였다. 이는 Autoencoder가 고차원 데이터 모델링에 적합한 딥러닝 기법인 반면에, 실험에서 사용한 주가 데이터의 경우 6차원이므로 모델 학습에 충분하지 않았던 것으로 판단된다.
이는 Autoencoder가 고차원 데이터 모델링에 적합한 딥러닝 기법인 반면에, 실험에서 사용한 주가 데이터의 경우 6차원이므로 모델 학습에 충분하지 않았던 것으로 판단된다. 또한, PCA를 적용하여 차원 축소한 데이터를 사용했을 때 더 높은 상관계수가 측정되는 경향을 보였다.
전체 실험 결과 중에서는 이상치 비율 0.25에서 Isolation Forest와 PCA, 그리고 코사인 유사도를 적용했을 때 최대값인 0.9615의 상관계수가 측정되었다. 표 5의 스피어만 순위 상관계수의 평가 기준에 따라, 제안 방법에 의한 순위화 결과가 원본 시계열에 대한 유사도 측정결과에 의한 순위화 결과와 매우 강한 상관관계를 가지는 것을 알 수 있다.
9615의 상관계수가 측정되었다. 표 5의 스피어만 순위 상관계수의 평가 기준에 따라, 제안 방법에 의한 순위화 결과가 원본 시계열에 대한 유사도 측정결과에 의한 순위화 결과와 매우 강한 상관관계를 가지는 것을 알 수 있다.
3] 구간으로 세부적으로 나눠서 상관계수를 측정한 결과는 그림 4와 같다. 코사인 유사도 기준으로 이상치 비율이 10%에 근접하면서부터 0.9 이상의 상관계수가 측정되며, 이는 시계열의 전체 데이터가 아닌 서브시퀀스 집합에 대해서 측정하여도 높은 정확도의 유사도를 계산 효율적으로 측정할 수 있음을 나타낸다.
위의 결과에도 불구하고, 본 연구는 몇 가지 한계점을 가진다. 첫 번째, 다변량 데이터를 활용하였지만 변수의 수가 6개로 적기 때문에, 딥러닝 계열의 모델인 Autoencoder에는 적합하지 않았다. 향후에는 추가적인 이상탐지 모델과 고차원의 다중 시계열 데이터셋을 고려하여 제안 방법을 검증하고자 한다.

후속연구

첫 번째, 다변량 데이터를 활용하였지만 변수의 수가 6개로 적기 때문에, 딥러닝 계열의 모델인 Autoencoder에는 적합하지 않았다. 향후에는 추가적인 이상탐지 모델과 고차원의 다중 시계열 데이터셋을 고려하여 제안 방법을 검증하고자 한다.

참고문헌 (17)

Cleveland, R. B., Cleveland, W. S., McRae, J. E., and？Terpenning, I., "STL: A seasonal-trend decomposition,"？Journal of Official Statistics, Vol. 6, No. 1, pp. 3-73,？1990.？https://www.math.unm.edu/~lil/Stat581/STL
Chen, L. and Ng, R., "On the marriage of lp-norms？and edit distance," Proceedings of the Thirtieth？International Conference on Very Large Data Bases,？Vol. 30, pp. 792-803, 2004.？https://dl.acm.org/doi/10.5555/1316689.1316758
Muller, M., Information Retrieval for Music and？Motion, pp. 69-84, Springer, 2007.？https://doi.org/10.1007/978-3-540-74048-3_4
Keogh, E., Chakrabarti, K., Pazzani, M., and Mehrotra,？S., "Dimensionality reduction for fast similarity search？in large time series databases," Knowledge and？Information Systems, Vol. 3, pp. 263-286, 2001.？https://doi.org/10.1007/PL00011669

상세보기
Lin, J., Keogh, E., Lonardi, S., and Chiu, B., "A？symbolic representation of time series, with？implications for streaming algorithms," Proceedings of？the 8th ACM SIGMOD Workshop on Research Issues？in Data Mining and Knowledge Discovery, pp. 2-11,？2003. https://doi.org/10.1145/882082.882086
Hirschberg, D. S., "A linear space algorithm for？computing maximal common subsequences," Communications？of the ACM, Vol. 18, No. 6, pp. 341-343, 1975.？https://doi.org/10.1145/360825.360861

상세보기
Vlachos, M., Kollios, G. and Gunopulos, D.,？"Discovering similar multidimensional trajectories,"？Proceedings 18th International Conference on Data？Engineering, pp. 673-684, 2002.？https://doi.org/10.1109/ICDE.2002.994784
Khan, R., et al., "LCSS-based algorithm for computing？multivariate data set similarity: A case study of？real-time WSN data," Sensors, Vol. 19, No. 1, p. 166,？2019.？https://doi.org/10.3390/s19010166

상세보기
Latecki, L. J., et al., "Elastic partial matching of time？series," Knowledge Discovery in Databases: PKDD？2005: 9th European Conference on Principles and？Practice of Knowledge Discovery in Databases, pp.？577-584, 2005.？https://doi.org/10.1007/11564126_60

상세보기
Liu, F. T., Ting, K. M., and Zhou, Z. H., "Isolation？forest," 2008 Eighth IEEE International Conference on？Data Mining, pp. 413-422, 2008.？https://doi.org/10.1109/ICDM.2008.17
Yin, C., Zhang, S., Wang, J., and Xiong, N. N.,？"Anomaly detection based on convolutional recurrent？autoencoder for IoT time series," IEEE Transactions on？Systems, Man, and Cybernetics: Systems, Vol. 52, No.？1, pp. 112-122, 2020.？https://doi.org/10.1109/TSMC.2020.2968516

상세보기
Pearson, K., "LIII. On lines and planes of closest fit to？systems of points in space," The London, Edinburgh,？and Dublin Philosophical Magazine and Journal of？Science, Vol. 2, No. 11, pp. 559-572, 1901.？https://doi.org/10.1080/14786440109462720

상세보기
Salvador, S. and Chan, P., "Toward accurate dynamic？time warping in linear time and space," Intelligent Data？Analysis, Vol. 11, No. 5, pp. 561-580, 2007.？https://doi.org/10.3233/IDA-2007-11508

상세보기
Finance Data Reader, GitHub, Available online？(accessed on 29 January 2024).？https://github.com/FinanceData/FinanceDataReader
Wang, X., Yang, K., and Liu, T., "Stock price？prediction based on morphological similarity clustering？and hierarchical temporal memory," IEEE Access, Vol.？9, pp. 67241-67248, 2021.？https://doi.org/10.1109/ACCESS.2021.3077004

상세보기
Li, Y., et al., "Human activity recognition based on？multienvironment sensor data," Information Fusion,？Vol. 91, pp. 47-63, 2023.？https://doi.org/10.1016/j.inffus.2022.10.015

상세보기
Makridakis, S., Spiliotis, E., and Assimakopoulos, V.,？"The M4 Competition: 100,000 time series and 61？forecasting methods," International Journal of？Forecasting, Vol. 36, No. 1, pp. 54-74, 2020.？https://doi.org/10.1016/j.ijforecast.2019.04.014

상세보기

이 논문을 인용한 문헌

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 이상탐지 기반의 효율적인 시계열 유사도 측정 및 순위화
Efficient Time-Series Similarity Measurement and Ranking Based on Anomaly Detection

초록
AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (9)

표/그림 (9)

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (17)

이 논문을 인용한 문헌

활용도 분석정보

활용도 Top5 논문

관련 콘텐츠

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 이상탐지 기반의 효율적인 시계열 유사도 측정 및 순위화 Efficient Time-Series Similarity Measurement and Ranking Based on Anomaly Detection

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (9) 모든 표/그림 보기

표/그림 (9) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

참고문헌 (17)

이 논문을 인용한 문헌

활용도 분석정보

활용도 Top5 논문 더보기

관련 콘텐츠

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 이상탐지 기반의 효율적인 시계열 유사도 측정 및 순위화
Efficient Time-Series Similarity Measurement and Ranking Based on Anomaly Detection

초록
AI-Helper

표/그림 (9)

표/그림 (9)

AI 본문요약
AI-Helper

활용도 Top5 논문