[논문]Analyzing performance of time series classification using STFT and time series imaging algorithms

Sung-Kyu Hong; Sang-Chul Kim

doi:10.9708/jksci.2023.28.04.001

[국내논문] Analyzing performance of time series classification using STFT and time series imaging algorithms 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.28 no.4, 2023년, pp.1 - 11

Sung-Kyu Hong (Graduate School of Software Technology, Kookmin University) , Sang-Chul Kim (School of Computer Science, Kookmin University)

초록
AI-Helper

본 논문은 순환 신경망 대신 합성곱 신경망을 사용하여 시계열 데이터 분류 성능을 분석한다. TSC(Time Series Community)에는 GAF(Gramian Angular Field), MTF(Markov Transition Field), RP(Recurrence Plot)와 같은 전통적인 시계열 데이터 이미지화 알고리즘들이 있다. 실험은 이미지화 알고리즘들에 필요한 하이퍼 파라미터들을 조정하면서 합성곱 신경망의 성능을 평가하는 방식으로 진행된다. UCR 아카이브의 GunPoint 데이터셋을 기준으로 성능을 평가했을 때, 본 논문에서 제안하는 STFT(Short Time Fourier Transform) 알고리즘이 최적화된 하이퍼 파라미터를 찾은 경우, 기존의 알고리즘들 대비 정확도가 높고, 동적으로 feature map 이미지의 크기도 조절가능하다는 장점이 있다. GAF 또한 98~99%의 높은 정확도를 보이지만, feature map 이미지의 크기를 동적으로 조절할 수 없어 크다는 단점이 존재한다.

Abstract ▼ AI-Helper

In this paper, instead of using recurrent neural network, we compare a classification performance of time series imaging algorithms using convolution neural network. There are traditional algorithms that imaging time series data (e.g. GAF(Gramian Angular Field), MTF(Markov Transition Field), RP(Recurrence Plot)) in TSC(Time Series Classification) community. Furthermore, we compare STFT(Short Time Fourier Transform) algorithm that can acquire spectrogram that visualize feature of voice data. We experiment CNN's performance by adjusting hyper parameters of imaging algorithms. When evaluate with GunPoint dataset in UCR archive, STFT(Short-Time Fourier transform) has higher accuracy than other algorithms. GAF has 98~99% accuracy either, but there is a disadvantage that size of image is massive.

Keyword

표/그림 (39)

그림 Fig. 1. Fourier transform
그림 Fig. 2. Short time Fourier transform
그림 Fig. 3. spectrogram
그림 Fig. 4. Polar coordinate encoding
그림 Fig. 5. Trajectory encoding
그림 Fig. 6. GunPoint dataset sample
그림 Fig. 7. Time series images
그림 Fig. 8. Spectrogram
그림 Fig. 9. Scaled AlexNet
그림 Fig. 11. Zero Padding
그림 Fig. 12. Resolving graphics memory issues using processes from the multiprocessing module
표 Table 1. CNN architecture
표 Fig. 10. Scaled AlexNet Implementation
그림 Fig. 13. GAF result
그림 Fig. 14. MTF result
그림 Fig. 15. RP result
그림 Fig. 16. STFT result
그림 Fig. 17. STFT meshgrid
표 Table 2. Training datasets
표 Table 4. GunPoint MTF Test Accuracy
표 Table 5. GunPoint RP Test Accuracy
표 Table 6. GunPoint STFT(Spectrogram) Accuracy
표 Table 8. GunPointAgeSpan MTF Test Accuracy
표 Table 9. GunPointAgeSpan RP Test Accuracy
표 Table 3. GunPoint GAF Test Accuracy
표 Table 7. GunPointAgeSpan GAF Test Accuracy
표 Table 10. GunPointAgeSpan STFT(Spectrogram) Accuracy
표 Table 12. GunPointMaleVersusFemale MTF Test Accuracy
표 Table 13. GunPointMaleVersusFemale RP Test Accuracy
표 Table 16. GunPointOldVersusYoung MTF Test Accuracy
표 Table 18. GunPointOldVersusYoung STFT(Spectrogram) Accuracy
표 Table 20. PowerCons MTF Test Accuracy
표 Table 21. PowerCons RP Test Accuracy
표 Table 22. PowerCons STFT(Spectrogram) Accuracy
표 Table 11. GunPointMaleVersusFemale GAF Test Accuracy
표 Table 14. GunPointMaleVersusFemale STFT(Spectrogram) Accuracy
표 Table 15. GunPointOldVersusYoung GAF Test Accuracy
표 Table 17. GunPointOldVersusYoung RP Test Accuracy
표 Table 19. PowerCons GAF Test Accuracy

AI 본문요약
AI-Helper

제안 방법

본 논문에서는 푸리에 변환을 신호 분야에 국한하지 않고, 일반적인 시계열 데이터에 적용한다. 그리고, STFT를 통해 시계열 데이터를 스펙트로그램 이미지 형태로 변환하고, 앞서 언급한 세 가지 알고리즘들을 통해 변환된 이미지들을 CNN로 분류한 성능을 비교 및 분석한다.
본 논문에서는 이진 분류 (Binary Classification)에 대한 실험을 진행하며, 지표(Metric)는 정확도 (Accuracy)를 사용하여 각 이미지화 알고리즘의 하이퍼 파라미터를 수정하며 Scaled AlexNet을 학습한다. 최적화(Optimization)을 위해 모멘텀 (Momentum) 옵티마이저를 사용하였으며, learning rate은 0.
STFT 하이퍼 파라미터 튜닝 과정에서 좀 더 확실한 인사이트를 얻기 위해 비교적 많은 270가지의 경우의 수에 대해 학습을 진행했다. 해당 과정에서 발생한 그래픽 카드 메모리 부족 문제를 해결하기 위해 multiprocessing 모듈을 이용했다.
좀 더 정확한 결과를 도출하기 위해 n_fft를 30부터 120사이의 모든 값을 대입하여 270가지의 경우의 스펙트로그램 데이터셋을 생성한 뒤, CNN 모델을 학습시켰다. Fig.

대상 데이터

GunPoint 데이터셋은 학습 데이터 샘플의 개수는 50개, 테스트 데이터 샘플의 개수는 150개다. GunPoint 데이터셋의 레이블은 “Gun”과 “Point” 두 가지 시나리오로 나누어진다.

이론/모형

시계열 데이터 X는 n개의 타임 스텝으로 구성되었다고 가정한다. 데이터가 너무 커지는 것을 방지하기 위해 시계열 데이터에 Min-Max scale을 취한 후, Fig. 4의 극좌표계로 변환한다.
STFT 하이퍼 파라미터 튜닝 과정에서 좀 더 확실한 인사이트를 얻기 위해 비교적 많은 270가지의 경우의 수에 대해 학습을 진행했다. 해당 과정에서 발생한 그래픽 카드 메모리 부족 문제를 해결하기 위해 multiprocessing 모듈을 이용했다. Fig.
단, MTF의 normal strategy는 bin을 나누는 기준이 표준 정규 분포의 사분위수(quantile)로 나눈다. 데이터들의 값들의 분포를 표준 정규 분포로 스케일링하기 위해 sklearn 패키지의 StandardScaler 클래스를 이용했다.

참고문헌 (12)

R. M. Samant, M. R. Bachute, S. Gite and K. Kotecha, "Framework for Deep Learning-Based Language Models Using Multi-Task Learning in Natural Language Understanding: A Systematic Literature Review and Future Directions," IEEE Access, vol. 10, pp. 17078-17097, 2022, DOI: 10.1109/ACCESS.2022.3149798.？

상세보기
D. W. Otter, J. R. Medina and J. K. Kalita, "A Survey of the Usages of Deep Learning for Natural Language Processing," in IEEE Transactions on Neural Networks and Learning Systems, vol. 32, no. 2, pp. 604-624, Feb. 2021, DOI: 10.1109/TNNLS.2020.2979670.？

상세보기
Yang, C.-L.; Chen, Z.-X.; Yang, C.-Y. Sensor Classification Using Convolutional Neural Network by Encoding Multivariate Time Series as Two-Dimensional Colored Images. Sensors 2020, 20, 168. https://doi.org/10.3390/s20010168？

상세보기
Hassan Ismail Fawaz, Germain Forestier, Jonathan Weber, Lhassane Idoumghar, and Pierre-Alain Muller, "Deep learning for time series classification: a review", Data Mining and Knowledge Discovery, Vol. 33, No. 2, pp. 1-53, July 2019, DOI:10.1007/s10618-019-00619-1？

상세보기
Hee-Jae Lee, David Lee, and Sang-Goog Lee, "2D Emotion Classification using Short-Time Fourier Transform of Pupil Size Variation Signals and Convolutional Neural Network", Journal of Korea Multimedia Society Vol. 20, No. 10, pp. 1646-1654, October 2017, https://doi.org/10.9717/kmms.2017.20.10.1646？

원문보기 상세보기
Zhiguang Wang and Tim Oates, "Encoding Time Series as Images for Visual Inspection and Classification Using Tiled Convolutional Neural Network", Workshops at the Twenty-Ninth AAAI Conference on Artificial Intelligence, January 2015, https://www.researchgate.net/publication/275970614？
Zhiguang Wang and Time Oates, "Imaging Time-Series to Improve Classification and Imputation", Proceedings of the Twenty-Fourth International Joint Conference on Artificial Intelligence, pp. 3939-3945, 2015, https://www.researchgate.net/publication/277603742？
Debayle Johan, Hatami Nima, and Gavet Yann "Classification of Time-Series Images Using Deep Convolutional Neural Networks", Tenth International Conference on Machine Vision, pp. 23. April 2018, DOI:10.1117/12.2309486？
Dongho Seo, Junil Ahn, and Haewoon Nam, "Analysis Performance of Burst Signal Detection Using Recurrence Plot Algorithm", JKICS, 2019, Vol. 44, No.11, pp. 2074-2077, 2019, DOI:10.7840/kics.2019.44.11.2074？

상세보기
Hoang Anh Dau, Anthony Bagnall, Kaveh Kamgar, Chin-Chia Michael Yeh, Yan Zhu, Shaghayegh Gharghabi, Chotirat Ann Ratanamahatana, Eamonn Keogh, "The UCR Time Series Classification Archive," 2018, https://www.cs.ucr.edu/~eamonn/time_series_data_2018/
Sergey Ioffe and Christian Szegedy "Batch Noramlization: Accelerating Deep Network Training by Reducing Internal Covariate Shift", Proceedings of the 32nd International Conference on Machine Learning, Vol. 37, pp. 448-456, 2015, https://dl.acm.org/doi/10.5555/3045118.3045167？
Eamonn J. Keogh and Michael J. Pazzani "Scaling up Dynamic Time Warping for Datamining Applications", Proceedings of the sixth ACM SIGKDD international conference on Knowledge discovery and data mining, August 2000, pp.285-289, DOI:10.1145/347090.347153

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증