[논문]스킵연결이 적용된 오토인코더 모델의 클러스터링 성능 분석

조인수; 강윤희; 최동빈; 박용범

doi:10.3745/ktsde.2020.9.12.403

스킵연결이 적용된 오토인코더 모델의 클러스터링 성능 분석
Clustering Performance Analysis of Autoencoder with Skip Connection 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.9 no.12, 2020년, pp.403 - 410

조인수 (단국대학교 컴퓨터공학부) , 강윤희 (백석대학교 ICT학부) , 최동빈 (단국대학교 컴퓨터공학부) , 박용범 (단국대학교 소프트웨어학과)

초록
AI-Helper

오토인코더의 데이터 복원(Output result) 기능을 이용한 노이즈 제거 및 초해상도와 같은 연구가 진행되는 가운데 오토인코더의 차원 축소 기능을 이용한 클러스터링의 성능 향상에 대한 연구도 활발히 진행되고 있다. 오토인코더를 이용한 클러스터링 기능과 데이터 복원 기능은 모두 동일한 학습을 통해 성능을 향상시킨다는 공통점이 있다. 본 논문은 이런 특징을 토대로, 데이터 복원 성능이 뛰어나도록 설계된 오토인코더 모델이 클러스터링 성능 또한 뛰어난지 알아보기 위한 실험을 진행했다. 데이터 복원 성능이 뛰어난 오토인코더를 설계하기 위해서 스킵연결(Skip connection) 기법을 사용했다. 스킵연결 기법은 기울기 소실(Vanishing gradient)현상을 해소해주고 모델의 학습 효율을 높인다는 장점을 가지고 있을 뿐만 아니라, 데이터 복원 시 손실된 정보를 보완해 줌으로써 데이터 복원 성능을 높이는 효과도 가지고 있다. 스킵연결이 적용된 오토인코더 모델과 적용되지 않은 모델의 데이터 복원 성능과 클러스터링 성능을 그래프와 시각적 추출물을 통해 결과를 비교해 보니, 데이터 복원 성능은 올랐지만 클러스터링 성능은 떨어지는 결과를 확인했다. 이 결과는 오토인코더와 같은 신경망 모델이 출력된 결과 성능이 좋다고 해서 각 레이어들이 데이터의 특징을 모두 잘 학습했다고 확신할 수 없음을 알려준다. 마지막으로 클러스터링의 성능을 좌우하는 잠재변수(latent code)와 스킵연결의 관계를 분석하여 실험 결과의 원인에 대해 파악하였고, 파악한 결과를 통해 잠재변수와 스킵연결의 특징정보를 이용해 클러스터링의 성능저하 현상을 보완할 수 있다는 사실을 보였다. 이 연구는 한자 유니코드 문제를 클러스터링 기법을 이용해 해결하고자 클러스터링 성능 향상을 위한 선행연구이다.

Abstract ▼ AI-Helper

In addition to the research on noise removal and super-resolution using the data restoration (Output result) function of Autoencoder, research on the performance improvement of clustering using the dimension reduction function of autoencoder are actively being conducted. The clustering function and data restoration function using Autoencoder have common points that both improve performance through the same learning. Based on these characteristics, this study conducted an experiment to see if the autoencoder model designed to have excellent data recovery performance is superior in clustering performance. Skip connection technique was used to design autoencoder with excellent data recovery performance. The output result performance and clustering performance of both autoencoder model with Skip connection and model without Skip connection were shown as graph and visual extract. The output result performance was increased, but the clustering performance was decreased. This result indicates that the neural network models such as autoencoders are not sure that each layer has learned the characteristics of the data well if the output result is good. Lastly, the performance degradation of clustering was compensated by using both latent code and skip connection. This study is a prior study to solve the Hanja Unicode problem by clustering.

주제어

표/그림 (14)

그림 Fig. 1. The Noise n is Added to Data x to Produce an Input value x' and the Target Value is used as the x Value
그림 Fig. 2. Represents the Process of rRstoring Data using Skip Connection[14]
그림 Fig. 3. Residual Learning: a Building Block[15]
그림 Fig. 5. The CA Model Structure using Skip Connection is Expressed. The Dimensional Changes of MNIST among the Three Datasets are Shown
그림 Fig. 4. Represented in a Graph of Output Result Performance (PSNR) and Clustering Performance (NMI)
표 Table 1. Computing Power and Open Platform
그림 Fig. 6. A Graph Showing Output Result (Data Restoration) Values before and after Applying Skip Connection to CA(a) and DA(b) Models using PSNR. The Model with Skip Connectoin (Blue) for all Three Datasets Shows Good Output Result Performance. It Represents 'Hanja Image', 'MNIST' and 'FashionMNIST' in Turn from the Left
그림 Fig. 7. A Graph Showing Clustering Values before (Yellow, Orange) and after (Blue, Gray) Applying Skip Connection to CA and DA Models using NMI. It Represents 'Hanja Image', 'MNIST' and 'FashionMNIST' in Turn from the Left
표 Table 2. Infomation of Dataset
그림 Fig. 8. The Hanja Dataset is Applied to CA Model, and the Clustering Result is Expressed in Scatter Diagram. The CA Model with Skip Connection (Right) and the CA Model without Application (Left). Each Axis Represents a Value for that Dimension
그림 Fig. 9. A Picture of Feature Map Visualized through Upsampling Based on the Best Layer among Layers with Skip Connection. Feature Map (left) of the Model to which Skip Connection is Applied, Feature Map (Middle) of the Model to which Skip Connection is not Applied, and Feature Map (Right) of the Skip Connection Branch
그림 Fig. 10. Introduction of Clustering Method by Adding Feature Information of Skip Connection to Latent Code
표 Table 3. output Result of Hanja Image
그림 Fig. 11. Compare Results using Skip Connection Branch and Potential Variables when Performing Clustering (Orange). From above, MNIST, FashionMNIST, and Hanja Dataset were Tested Respectively

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이 실험은 Resnet에서 실행한 실험과는 달리깊은 신경망을 사용하지 않아 더 세밀한 특징 학습이 불가능한 상태이다. 따라서 이 실험은 깊은 학습과 관계없이 스킵연결을 이용해 인코더와 디코더와의 대칭적 연결을 함으로써데이터 복원 성능의 변화를 보고자 하는 실험이다.
하지만 정작 스킵 연결기법이 잠재변수가 데이터의 특징을 학습하는데 있어 어떤 영향을 끼치는지 정확히 제시하고 있지 않다. 본 논문은 스킵 연결의 사용이 잠재변수 학습에 미치는 영향을 실험을 통해 보여준다. 스킵연결 기법을 적용한 오토인코더 모델과 적용하지 않은 모델을 가지고 데이터 복원 성능과 클러스터링 성능을 비교하는 실험을 통해 두 성능이 반드시 비례하지 않음을 실험결과를 통해 밝혔다.
높다는 연구 결과가 있다[14]. 이 논문에서는 스킵연결기법을 적용한 모델과 적용하지 않은 모델을 활용하여 각각 클러스터링 성능과 데이터 복원 성능을 비교하는 실험을 통해, 앞에서 전재로 한 가정의 사실여부를 확인하였다. Table 1은실험에 쓰인 컴퓨팅파워와 오픈플랫폼 정보를 나타낸다.
이 논문은 하나의 라벨 내에 여러 이미지를 포함하는 한자유니코드의 문제를 클러스터링 기법으로 해결하기 위한 선행논문으로써[16], 클러스터링 성능이 높은 오토인코더 모델을설계하는데 기여한다.
결국, 잠재변수의 정보는 데이터를 복원하는 역할에 있어서 영향력이 저조하기 때문에 스킵연결로부터 받은 정보가 복원되는 것을 보조하는 역할 밖에 하지 못한다. 이를 바탕으로 스킵연결을보조하는 정도로 학습된 잠재변수에 스킵연결의 특징 정보가합쳐진 상태로 클러스터링을 수행한다면 클러스터링의 성능이 올라갈 것인지 실험했다. Fig.

가설 설정

4에서는 일반 오토인코더 모델을 가지고 실험하여, 데이터 복원 성능이 증가하면 클러스터링 성능도 같이 증가함을 보였다. 이 결과를 통해서 데이터 복원 성능을 높이는 것을 목표로 설계한 오토인코더 모델이 클러스터링 성능도향상시킬 수 있을 것이라는 가정을 세우고 실험을 진행했다.

제안 방법

CA를 사용하여 먼저 기본적인 오토인코더 모델에서의 실험결과를 확인했다. DA는 데이터 복원 성능이 다른모델에 비해 상대적으로 저조하다는 특징을 가진 모델로서, 일반적이 CA모델과는 다르게 결과에 영향을 줄 수 있는 변수를 두어 일반적이지 않은 상황에서의 결과를 보여준다.
Resnet에서 사용된 스킵연결은 심층신경망의 근본적인 문제에 대해 공헌을 하였다. 심층신경망은 망이 깊어 질수록 기울기 소실 현상이 심해져, 역전파학습 시 앞단의 레이어가 제대로 학습이 이루어지지 않는 문제가 발생한다[22].
SNEe _과 _간의 Kullback leibler(KL)거리를 최소화하도록 학습을 진행한다. Equation (9)에서 쓰이는 KLe 두확률분포의 차이를 계산하는데 사용하는 함수이다.
이는 곧, 심층신경망 모델의 데이터 복원 성능이 좋다는 의미가 반드시 모델의 각 레이어들이 모두 데이터특징을 잘 학습했다고 말하기 어려움을 증명한다. 또한 스킵연결을 적용한 모델의 클러스터링 성능 저하 현상을 보완하기 위해, 클러스터링 수행 시 잠재변수와 스킵 연결의 특징정보를 함께 사용하는 방법을 제안한다.
오픈 데이터셋으로서는 MNIST에서 제공하는 손글씨 이미지와 FashisionMnist라 불리는 의류이미지를 사용했다 [21, 20]. 또한 클러스터링 기법을 통한 한자 유니코드의 문제해결에 도움을 주고자 고서(지촌집)에서 추출한 12종의 한자 이미지를 나머지 하나의 실험 데이터셋으로 사용했다. Table 2 는 데이터에 크기와 개수에 관한 정보를 보인 것이다.
스킵연결을 적용한 모델 3개와 적용하지 않은 모델 3개를 가지고 데이터 복원 성능과 클러스터링 성능을 비교한다.
확인했다. 스킵연결을 통해 정보를 받는 마지막 레이어의 위치를 기반으로 각 모델에서 특징맵를 추출해 보았다. 이 특징맵은 잠재변수로부터 차원이 복구된 형태이므로 잠재변수가 학습된 정도를 반영한다.
스킵연결이 적용된 CA와 적용되지 않은 CA를 가지고 특징맵을 분석해 봄으로써 평가에 대한 사실 여부를 확인했다. 스킵연결을 통해 정보를 받는 마지막 레이어의 위치를 기반으로 각 모델에서 특징맵를 추출해 보았다.
앞에서 실험한 동일한 모델을 가지고 클러스터링의 성능을비교하였다. 인코더의 결과로 추출한 30차원의 잠재변수를가지고 T-SNE 기법을 이용해 2차원으로 구성한 후, 거리기반 클러스터링 기법인 K-means를 이용해 결과를 도출 했다.
인코더의 결과로 추출한 30차원의 잠재변수를가지고 T-SNE 기법을 이용해 2차원으로 구성한 후, 거리기반 클러스터링 기법인 K-means를 이용해 결과를 도출 했다. 주요 특징 추출을 이용해 오토인코더 모델을 사용하였지만, T-SNE을 이용해 차원 축소를 추가로 함으로써 클러스터링 성능을 개선한다.
인코더의 결과로 추출한 30차원의 잠재변수를가지고 T-SNE 기법을 이용해 2차원으로 구성한 후, 거리기반 클러스터링 기법인 K-means를 이용해 결과를 도출 했다. 주요 특징 추출을 이용해 오토인코더 모델을 사용하였지만, T-SNE을 이용해 차원 축소를 추가로 함으로써 클러스터링 성능을 개선한다. T-SNEe 가까운 요소를 더 가까이 있게 하고 멀리있는 요소를 더 멀어지게 함으로써 거리기반 클러스터링 성능을 높여준다.

대상 데이터

Convolution autoencoder (CA)와 Denoising autoencoder (DA) 모델에 각각 3가지 데이터셋을 가지고 학습을 진행한다. 스킵연결을 적용한 모델 3개와 적용하지 않은 모델 3개를 가지고 데이터 복원 성능과 클러스터링 성능을 비교한다.
실험에 사용한 모델은 Convolution을 적용한 오토인코더모델인 CA와 입력데이터에 노이즈를 강제로 추가하여 학습하는 DA를 사용하였다. 두 모델의 구조는 거의 동일하며 DA 의 경우 입력단에 노이즈를 추가한다.
이 실험에서 사용하는 데이터셋은 여러 데이터에 대한 보편화된 결과를 위해 3종류의 다른 데이터들을 선정하였다. 오픈 데이터셋으로서는 MNIST에서 제공하는 손글씨 이미지와 FashisionMnist라 불리는 의류이미지를 사용했다 [21, 20].

이론/모형

데이터 복원 성능을 비교하기 위해서 최대신호잡음비(Peak Signal-to-noise ratio, PSNR)를 척도로 사용하였다. PSNRe영상 이미지 품질평가에 주로 사용되는 척도로써, 비교하는 두이미지간의 차이가 적을수록 수치가 증가한다.
선정하였다. 오픈 데이터셋으로서는 MNIST에서 제공하는 손글씨 이미지와 FashisionMnist라 불리는 의류이미지를 사용했다 [21, 20]. 또한 클러스터링 기법을 통한 한자 유니코드의 문제해결에 도움을 주고자 고서(지촌집)에서 추출한 12종의 한자 이미지를 나머지 하나의 실험 데이터셋으로 사용했다.
클러스터링 성능을 비교하기 위해 Normalized Mutual information(NMI) 척도를 사용하였다. NMIe 확률계산을 이용하여 K-means를 통해 얻은 클러스터링 값이 정답과 얼마나 유사한지 평가하는 척도이다.

성능/효과

7에서 클러스터링의 성능 결과를 확인할 수 있다. CA 와 DA모델에 각각 스킵연결이 적용된 모델과 적용하지 않은 모델로 나누어 총 4개의 모델의 클러스터링 성능을 비교해본 결과, 스킵연결을 적용한 모델이 적용하지 않은 모델보다 성능이 떨어지는 결과를 보였다. 평균적으로 40이상의 수치가 더 감소하였다.
8은 스킵연결 기법이 클러스터링 성능을 저하시킨다는 것을 시각적으로 보인다. CA를 통해 한자 이미지를 클러스터링 했을 때, 12종류 클래스 모두 정확히 그룹화가 이루어진 것을 확인했다. 그에 반해 스킵연결을 적용한 CA의 클러스터링결과는 전체적으로 그룹화가 잘 안되어있는 결과를 보인다.
본 논문은 스킵 연결의 사용이 잠재변수 학습에 미치는 영향을 실험을 통해 보여준다. 스킵연결 기법을 적용한 오토인코더 모델과 적용하지 않은 모델을 가지고 데이터 복원 성능과 클러스터링 성능을 비교하는 실험을 통해 두 성능이 반드시 비례하지 않음을 실험결과를 통해 밝혔다. 이는 곧, 심층신경망 모델의 데이터 복원 성능이 좋다는 의미가 반드시 모델의 각 레이어들이 모두 데이터특징을 잘 학습했다고 말하기 어려움을 증명한다.
오토인코더에 스킵연결 기법을 적용한 모델은 데이터 복원성능을 PSNR척도를 기준으로 5이상 높이는 결과를 보였지만, 레이어가 데이터의 특징을 학습하는데 있어 방해 효과를 발생시키기 때문에 클러스터링 성능은 NMI 척도를 기준으로 40 이상의 수치가 감소하는 결과를 보였다. 이런 사실은 오토인코더와 같은 신경망모델이 출력된 결과 성능이 좋다고 해서 모든 레이어들이 데이터의 특징을 잘 학습했다고 확신할 수 없다는 것을 증명한다.

후속연구

따라서 주요특징을 잘 학습했는지 여부가 성능을 결정짓는 클러스터링과 같은 기법은 출력된 결과(데이터 복원 결과)를 보고 성능을 정확하게 판단할 수 없음을 의미한다. 스킵 연결과 잠재변수의 정보를 같이 사용하여 클러스터링 성능 저하 현상을 50% 이상 보완한 것처럼, 연구를 통해 스킵 연결과 레이어들의 학습 관계를 분석하여 데이터 복원 성능뿐만 아니라 클러스터링 성능도 올리는 방법도 제안할만한 과제이다. 본 논문에서 작업한 코드는 github을 통해 공유되어 있다.

참고문헌 (25)

C. Ding and X. He. "K-means clustering and principal component analysis." ICML, 2004.
R. Raskin and H. Terry, "A principal components analysis of the Narcissistic Personality Inventory and further evidence of its construct validlity," Journal of Personality and Social Psychology, Vol.54, pp.890-902, 1988.
van der Maaten, L. and Hinton, G. "Visualizing data using t-sne," Journal of Machine Learning Research, Vol.9, 2008.
G. E. Hinton and S. T. Roweis. "Stochastic Neighbor Embedding," In Advances in Neural Information Processing Systems, Vol.15, pp.833-840, Cambridge, MA, USA, 2002. The MIT Press.
X., Peng, J. Feng, J. Lu, W. Y. Yau, and Z. Yi, "Cascade subspace clustering," In: AAAI Conference on Artificial Intelligence (AAAI). pp.2478-2484, 2017.
X. Peng, S. Xiao, J. Feng, W.Y. Yau, and Z. Yi, "Deep subspace clustering with sparsity prior," In: International Joint Conference on Artificial Intelligence (IJCAI), 2016.
J. Xie, R. Girshick, and A. Farhadi, "Unsupervised deep embedding for clustering analysis," In: International Conference on Machine Learning (ICML) (2016).
H. Liu, R. Xiong, J. Zhang, and W. Gao, "Image denoising viaadaptive soft-thresholding based on non-local samples," in 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp.484-492.
F. Chen, L. Zhang, and H. Yu, "External patch prior guided internal clustering for image denoising," in 2015 IEEE International Conference on Computer Vision (ICCV), pp.603-611, 2015.
R. Timofte, V. D. Smet, and L. J. V. Gool, "A+: adjusted anchored neighborhood regression for fast superresolution," in Proc. Asian Conf. Comp. Vis., pp.111-126, 2014.
J. Yang, Z. Lin, and S. Cohen, "Fast image super-resolution based on in-place example regression," in 2013 IEEE Conference on Computer Vision and Pattern Recognition, pp.1059-1066, 2013.
M. A. Kramer, "Autoassociative neural networks," Computers & Chemical Engineering, Vol.16, No.4, pp.313-328, 1992.

상세보기
Xiao-Jiao Mao, Chunhua Shen, and Yu-Bin Yang, "Image restoration using convolutional autoencoders with symmetric skip connections," CoRR, abs/1606.08921, 2016a.
J. Long, E. Shelhamer, and T. Darrell, "Fully convolutional networks for semantic segmentation," In Computer Vision and Pattern Recognition, 2015.
K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," In Computer Vision and Pattern Recognition, 2016
Jeonghyeon Lee, "Problems with Chinese Ideographs Search in Unicode and Solutions to Them," Informatization Policy, Vol.19, No.3, pp.50-63, 2012.
P. Vincent, H. Larochelle, Y. Bengio, P. A. Manzagol, "Extracting and composing robust features with denoising autoencoders," In: International Conference on Machine learning, pp.1096-1103, 2008.
K. He, G. Gkioxari, P. Dollar, and R. Girshick, "Mask r-cnn," arXiv:1703.06870, 2017.
G. Montufar, R. Pascanu, K. Cho, and Y. Bengio, "On the number of linear regions of deep neural networks," In Neural Information Processing Systems, 27, 2014.
H. Xiao, K. Rasul, and R. Vollgraf. Fashion-mnist: "a novel image dataset for benchmarking machine learning algorithms," arXiv preprint arXiv:1708.07747, 2017.
P. Grother, "NIST special database 19 handprinted forms and characters database," National Institute of Standards and Technology, 1995.
Hochreiter, S. "The vanishing gradient problem during learning recurrent neural nets and problem solutions," International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems, Vol.6, No.2, pp.107-116, 1998.

상세보기
X. Huo, X. Liu, E. Zheand and J. Yin, "Deep Clustering with Convolutional auto-encoders, International Conference on Neural Information Processing, pp.373-382, 2017.
P. Ji, T. Zhang, H. Li, M. Salzmann, and I. Reid, "Deep subspace clustering networks," in Neural Information Processing Systems, QC, Canada, pp.24-33, Dec. 2017.
S. Yang, W. Zhu, and Y. Zhu, "Residual encoder-decoder network for deep subspace clustering," arXiv:1910.05569, 2019, [online] Available: https://arxiv.org/abs/1910.05569

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증