[논문]딥러닝 기반의 딥 클러스터링 방법에 대한 분석

권현; 이준

doi:10.33778/kcsa.2023.23.4.061

[국내논문] 딥러닝 기반의 딥 클러스터링 방법에 대한 분석
Analysis of deep learning-based deep clustering method 원문보기

융합보안논문지 = Convergence security journal, v.23 no.4, 2023년, pp.61 - 70

권현 (육군사관학교 AI.데이터과학과) , 이준 (호서대학교 게임소프트웨어학과)

초록
AI-Helper

클러스터링은 데이터의 정답값(실제값)이 없는 데이터를 기반으로 데이터의 특징벡터의 거리 기반 등으로 군집화를 하는 비지도학습 방법이다. 이 방법은 이미지, 텍스트, 음성 등 다양한 데이터에 대해서 라벨링이 없이 적용할 수 있다는 장점이 있다. 기존 클러스터링을 하기 위해 차원축소 기법을 적용하거나 특정 특징만을 추출하여 군집화하는 방법이 적용되었다. 하지만 딥러닝 기반 모델이 발전하면서 입력 데이터를 잠재 벡터로 표현하는 오토인코더, 생성 적대적 네트워크 등을 통해서 딥 클러스터링의 기술이 연구가 되고 있다. 본 연구에서, 딥러닝 기반의 딥 클러스터링 기법을 제안하였다. 이 방법에서 오토인코더를 이용하여 입력 데이터를 잠재 벡터로 변환하고 이 잠재 벡터를 클러스터 구조에 맞게 벡터 공간을 구성 및 k-평균 클러스터링을 하였다. 실험 환경으로 pytorch 머신러닝 라이브러리를 이용하여 데이터셋으로 MNIST와 Fashion-MNIST을 적용하였다. 모델로는 컨볼루션 신경망 기반인 오토인코더 모델을 사용하였다. 실험결과로 k가 10일 때, MNIST에 대해서 89.42% 정확도를 가졌으며 Fashion-MNIST에 대해서 56.64% 정확도를 가진다.

Abstract ▼ AI-Helper

Clustering is an unsupervised learning method that involves grouping data based on features such as distance metrics, using data without known labels or ground truth values. This method has the advantage of being applicable to various types of data, including images, text, and audio, without the need for labeling. Traditional clustering techniques involve applying dimensionality reduction methods or extracting specific features to perform clustering. However, with the advancement of deep learning models, research on deep clustering techniques using techniques such as autoencoders and generative adversarial networks, which represent input data as latent vectors, has emerged. In this study, we propose a deep clustering technique based on deep learning. In this approach, we use an autoencoder to transform the input data into latent vectors, and then construct a vector space according to the cluster structure and perform k-means clustering. We conducted experiments using the MNIST and Fashion-MNIST datasets in the PyTorch machine learning library as the experimental environment. The model used is a convolutional neural network-based autoencoder model. The experimental results show an accuracy of 89.42% for MNIST and 56.64% for Fashion-MNIST when k is set to 10.

Keyword

표/그림 (9)

그림 (그림 1) 딥 클러스터링의 구조
그림 (그림 2) MNIST에서 k에 따른 딥 클러스터링의 정확도와 시각화
표 <표 1> 오토인코더의 구조
그림 (그림 3) Fashion-MNIST에서 k에 따른 딥 클러스터링의 정확도와 시각화
그림 (그림 4) MNIST에서 epoch에 따른 딥 클러스터링의 정확도 결과
그림 (그림 5) Fashion-MNIST에서 epoch에 따른 딥 클러스터링의 정확도 결과
그림 (그림 6) k가 10일 때, MNIST와 Fashion-MNIST에서 활성화 함수를 ReLU와 Sigmoid를 적용 시 정확도 (k=10)
그림 (그림 7) MNIST에서 활성화 함수를 Sigmoid를 적용한 시각화 결과 (k=10)
그림 (그림 8) Fashion-MNIST에서 활성화 함수를 Sigmoid를 적용한 시각화 결과 (k=10)

AI 본문요약
AI-Helper

제안 방법

이 논문에서 우리는 딥러닝 기반의 딥 클러스터링에 대한 성능분석을 하였다. 이 방법에서 컨볼루션 모델(Convolution neural network)[9]을 이용하여 입력 데이터를 잠재 벡터로 형성하고 이잠재 벡터를 클러스터링하는 방법에 대해서 분석을 하였다.
이 논문에서 우리는 딥러닝 기반의 딥 클러스터링에 대한 성능분석을 하였다. 이 방법에서 컨볼루션 모델(Convolution neural network)[9]을 이용하여 입력 데이터를 잠재 벡터로 형성하고 이잠재 벡터를 클러스터링하는 방법에 대해서 분석을 하였다.
이 연구의 공헌점은 다음과 같다. 첫번째로, 딥러닝 기반의 딥 클러스터링에 대한 구조와 동작 원리에 대해서 분석하였다. 또한, 국방적용 가능 분야에 대해서도 분석을 하였다.
세 번째로, 딥러닝 기반의 딥 클러스터링의 성능 분석을 위해서 MNIST[10]와 Fashion-MNIST[11]에 대해서 분석을 하였고 타겟 모델은 컨볼루션 모델 기반의 오토인코더로 하였다.
두 번째로 세미-지도학습 기반의 딥 클러스터링 방법은 부분적으로 정답값(실제값)이 있는데이터가 있고 부분적으로 정답값이 없는 데이터에 적용될 수 있는 방법이다. 이 방법은 정답값이 있는 데이터를 이용한 방법으로 손실함수구성시 정답값에 해당되는 제약조건의 정보를한개를 더 추가하여 손실함수를 구축하여 이 손실함수를 최소화하여 잠재 벡터를 생성하는 방법을 제안한다. 이 방법은 기존 정답값이 있는데이터를 통해서 좀 더 향상된 딥 클러스터링의성능을 가져올 수가 있다.
세 번째로, 멀티 뷰 학습 기반 딥 클러스터링은 서로다른 딥러닝 모델에서 입력 데이터에대한 각각의 잠재 벡터를 구성한다. 이 방법은다양한 모델에서 나온 입력 데이터에 대한 잠재벡터를 이용하여 싱글 뷰 딥 클러스터링 기반에각각 방법들을 앙상블로 구성한다.
이 섹션에서 k개에 따른 MNIST와 Fashion-MNIST에 대한 딥 클러스터링의 시각화 및 epoech에 따른 정확도를 보여준다. 또한, 활성화 함수에 따른 성능에 대한 분석을 하였다.
이 논문에서 우리는 딥러닝 기반의 딥 클러스터링에 대한 성능분석을 하였다. 이 방법에서 컨볼루션 모델(Convolution neural network)기반의 오토인코더를 이용하여 입력 데이터를 잠재 벡터로 형성하고 이 잠재 벡터를 클러스터링하는 방법에 대해서 분석을 하였다. 실험결과로 k가 10일때, MNIST에 대해서 89.

대상 데이터

데이터셋은 MNIST[10]와 Fashion-MNIST[11]을 사용하였다. MNIST는 손글씨 데이터셋으로 0부터 9까지의 숫자데이터셋이다.

데이터처리

첫번째로, 딥러닝 기반의 딥 클러스터링에 대한 구조와 동작 원리에 대해서 분석하였다. 또한, 국방적용 가능 분야에 대해서도 분석을 하였다.
두 번째로, 딥러닝 모델을 통해서 입력데이터를 잠재 벡터를 변환하고 변화된 벡터를 K-mean 평균으로 시각화하고 성능을 측정하였다. 또한, 활성화 함수에 따른 성능차이에 대해서 분석을 하였다.
두 번째로, 딥러닝 모델을 통해서 입력데이터를 잠재 벡터를 변환하고 변화된 벡터를 K-mean 평균으로 시각화하고 성능을 측정하였다. 또한, 활성화 함수에 따른 성능차이에 대해서 분석을 하였다.

이론/모형

통상 차원 축소 방법을 적용하거나 특정 특징들만 추출하는 방법들이 적용되지만 최근 딥러닝 모델을 이용하여 데이터를 특징벡터로 압축하여 표현하는 방법들이 있다. 딥러닝 기반에서 특징벡터로 압축하는 방식으로 오토인코더(Autoencoder) 방법[8]이 사용된다. 오토인코더 방식은 인코더(encoder), 잠재 벡터(latent vector), 디코어(decoder)로 구성되어 있으며 인코더로 입력값을 압축하여 잠재 벡터를 생성한다.
이 논문에서 우리는 딥러닝 기반의 딥 클러스터링에 대한 성능분석을 하였다. 이 방법에서 컨볼루션 모델(Convolution neural network)[9]을 이용하여 입력 데이터를 잠재 벡터로 형성하고 이잠재 벡터를 클러스터링하는 방법에 대해서 분석을 하였다. 기존 연구에서 클러스터링을 하기 위해 딥러닝 기반이 아닌 차원 축소 방법 등을 이용하여 사용자가 정한 특징들에 대해서만 벡터 공간에 표현을 해야 했기 때문에 사용자가 특징들을 잘못 선정할 경우, 클러스터링의 성능이 저하되는 문제가 있다.
이 연구에서는 싱글 뷰 학습 기반 딥 클러스터링 방법[18]을 적용하여 오토인코더를 이용하여 잠재 벡터를 형성한다. 이 잠재 벡터를 클러스터 구조를 반영하기 위해 직교행렬을 곱하여 새로운 벡터로 표현 하고 k-평균 기법을 적용한 클러스터링 방법이다.

성능/효과

세 번째로, 멀티 뷰 학습 기반 딥 클러스터링은 서로다른 딥러닝 모델에서 입력 데이터에대한 각각의 잠재 벡터를 구성한다. 이 방법은다양한 모델에서 나온 입력 데이터에 대한 잠재벡터를 이용하여 싱글 뷰 딥 클러스터링 기반에각각 방법들을 앙상블로 구성한다.
네 번째로, 전송 이전 기반 딥 클러스터링은 고차원이고 데이터의 양이 부족한 환경에서추가적인 정보를 추가하여 딥 클러스터링의 성능을 개선한 방법이다. 두가지 종류의 잠재 벡터로 구성된 것이 있고 두가지 종류가 서로 유사성이 있다고 한다면 두가지 종류의 잠재 벡터를 동시에 사용하여 딥 클러스터링의 성능을 개선한 방법이다.
세 번째로, 두 번째 단계에서 구한 Y는 클러스터 구조에 대한 정보를 가지고 있다. 클러스터 구조 정보 측면에서 Y의 각 차원은 중요성이 있다.
기존에는 차원 축소를 하거나 특정 특징만 추출하여 일부 정보를 인의적으로 제거하는 방식을 적용하였다. 하지만 딥러닝 기반으로 잠재 벡터로 압축이 가능하고 직교 행렬 등으로 클러스터의 구조를 고려한 벡터공간으로 표현함으로써 차원이 높은 데이터를 잘 군집화 하는 것을 실험적으로 볼수가 있었다.
4% 정확도를 갖는다. 하지만 제안한 방법은 이에비해 Fashion-MNIST에서 89.42% 정확도와 SVHN에서 56.64% 정확도로 성능이 향상된 것을 볼 수가 있다.
데이터셋 측면에서, MNIST에서 딥 클러스터링에 대한 성능이 좋은 것을 볼 수가 있었고 epoch의 수는 3이상일 경우 거의 유사한 특징을 볼 수가 있었다. 활성화 함수는 ReLU 함수가 적절하였으며 Sigmoid 함수 적용시 성능 저하가 생기는 것을 볼 수가 있었다.
데이터셋 측면에서, MNIST에서 딥 클러스터링에 대한 성능이 좋은 것을 볼 수가 있었고 epoch의 수는 3이상일 경우 거의 유사한 특징을 볼 수가 있었다. 활성화 함수는 ReLU 함수가 적절하였으며 Sigmoid 함수 적용시 성능 저하가 생기는 것을 볼 수가 있었다. 반면에 Fashion-MNIST는 전체적으로 MNIST에 비해 성능이 저하된 것을 볼 수가 있었다.
이 방법에서 컨볼루션 모델(Convolution neural network)기반의 오토인코더를 이용하여 입력 데이터를 잠재 벡터로 형성하고 이 잠재 벡터를 클러스터링하는 방법에 대해서 분석을 하였다. 실험결과로 k가 10일때, MNIST에 대해서 89.42% 정확도를 가지고 Fashon-MNIST에 56.64% 정확도를 가졌다. 데이터의 라벨링이 없이 군집에 대해서 성능이 있는 것을 볼 수 있었다.

후속연구

먼저, 딥 싱글 뷰 클러스터링 방법은 한가지 딥러닝 모델을 통해서 잠재 벡터를 생성하는것을 의마한다. 하지만 이러한 방법은 해당 딥러닝 모델의 높은 상관관계가 있기 때문에 다른 딥러닝 모델에 적용하기가 제한될 수가 있다. 이러한 방법으로 오토인코더를 이용하는 방법, 생성적대적 방법(Generatvie adversarial net)이 있다.
또한, 실시간 식별된 적 탐지하였을 때, 어떤 패턴 등이 있어 유사한 군집끼리 클러스터링 할 필요가 있다. 이러한 환경에서 딥 클러스터링을 적용하게 되면 각 데이터에 따라서 군집화하고 분류하는 데 도움이 될 것이라고 판단이 된다.

참고문헌 (20)

Ezugwu, Absalom E., et al. "A comprehensive？survey of clustering algorithms: State-of-the-art？machine learning applications, taxonomy,？challenges, and future research prospects."？Engineering Applications of Artificial Intelligence 110 (2022): 104743.

상세보기
Zada, Islam, et al. "Performance evaluation？of simple K-mean and parallel K-mean？clustering algorithms: big data business process？management concept." Mobile Information？Systems 2022 (2022): 1-15.

상세보기
Varshney, Ayush K., Pranab K. Muhuri,？and QM Danish Lohani. "PIFHC: The？probabilistic intuitionistic fuzzy hierarchical？clustering algorithm." Applied Soft Computing 120 (2022): 108584.

상세보기
Shu, Hua, et al. "Density-based clustering？for bivariate-flow data." International Journal？of Geographical Information Science 36.9 (2022): 1809-1829.
Myles, Anthony J., et al. "An introduction to？decision tree modeling." Journal of Chemometrics:？A Journal of the Chemometrics Society 18.6 (2004): 275-285.

상세보기
Podani, Janos, and Denes Schmera. "On？dendrogram-based measures of functional？diversity." Oikos 115.1 (2006): 179-185.
Cunningham, Padraig. "Dimension reduction."？Machine learning techniques for multimedia:？Case studies on organization and retrieval (2008): 91-112.
Bank, Dor, Noam Koenigstein, and Raja？Giryes. "Autoencoders." arXiv preprint arXiv: 2003.05991 (2020).
Yamashita, Rikiya, et al. "Convolutional？neural networks: an overview and application？in radiology." Insights into imaging 9 (2018): 611-629.

상세보기
Liu, Jie, and Chenghua Fu. "MNIST data？set recognition research based on TensorFlow？framework." International Core Journal of？Engineering 7.2 (2021): 410-414.
Xiao, Han, Kashif Rasul, and Roland Vollgraf.？"Fashion-mnist: a novel image dataset for？benchmarking machine learning algorithms."？arXiv preprint arXiv:1708.07747 (2017).
Bengio Yoshua, Courville Aaron, and Vincent？Pascal. Representation learning: a review？and new perspectives. TPAMI, 35(8):1798-1828, 2013.
Geoffrey E Hinton and Ruslan R Salakhutdinov.？Reducing the dimensionality of data with？neural networks. Science, 313(5786):504-507, 2006.

상세보기
Olivier Chapelle and Alexander Zien. Semisupervised？classification by low density？separation. In AISTATS, volume 2005,？pages 57-64. Citeseer, 2005.
Kamalika Chaudhuri, Sham M Kakade, Karen？Livescu, and Karthik Sridharan. Multiview？clusieee t neur net lear. In ICML,？pages 129-136, 2009.
Yazhou Ren, Shudong Huang, Peng Zhao,？Minghao Han, and Zenglin Xu. Self-paced？and auto-weighted multi-view clustering.？Neurocomputing, 383:248-256, 2019.
Sinno Jialin Pan and Qiang Yang. A survey？on transfer learning. KDE, 22(10):1345-1359, 2010.
Guo, Wengang, Kaiyan Lin, and Wei Ye.？"Deep embedded K-means clustering."？2021 International Conference on Data？Mining Workshops (ICDMW). IEEE, 2021.
Imambi, Sagar, Kolla Bhanu Prakash, and？G. R. Kanagachidambaresan. "PyTorch."？Programming with TensorFlow: Solution？for Edge Computing Applications (2021): 87-104.
Monnier, Tom, Thibault Groueix, and Mathieu？Aubry. "Deep transformation-invariant？clustering." Advances in Neural Information？Processing Systems 33 (2020): 7945-7955.

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증