$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

DNN 모델을 이용한 기계 학습 기반 k-최근접 질의 처리 최적화 기법
k-NN Query Optimization Scheme Based on Machine Learning Using a DNN Model 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.20 no.10, 2020년, pp.715 - 725  

위지원 (충북대학교 정보통신공학부) ,  최도진 (충북대학교 정보통신공학부) ,  이현병 (충북대학교 정보통신공학부) ,  임종태 (충북대학교 정보통신공학부) ,  임헌진 (충북대학교 정보통신공학부) ,  복경수 (원광대학교 SW융합학과) ,  유재수 (충북대학교 정보통신공학부)

초록
AI-Helper 아이콘AI-Helper

본 논문에서는 고차원의 특징 벡터에서 질의와 가장 가까운 k개의 데이터를 찾는 k-최근접 질의 최적화 방법을 제안한다. k-최근접 질의는 k개의 데이터를 포함할 가능성이 있는 범위를 기반으로 범위 질의로 변환되어 처리하는 기법이다. 본 논문에서는 처리 비용을 감소시키고 검색 속도를 가속화 할 수 있는 최적의 범위를 도출하기 위해 k-최근접 질의 처리 시 DNN 모델을 이용한 최적화 기법을 제안한다. 제안하는 기법은 온라인 모듈과 오프라인 모듈로 구성된다. 온라인 모듈에서는 클라이언트로부터 요청을 받아 실제 질의를 처리한다. 오프라인 모듈에서는 과거 최적화 기법의 결과를 학습 로그로 사용한 DNN 모델로 최적의 범위를 도출하고 온라인 모듈로 전달한다. 제안하는 기법의 우수성 및 타당성의 입증을 위하여 다양한 성능 평가를 수행한다.

Abstract AI-Helper 아이콘AI-Helper

In this paper, we propose an optimization scheme for a k-Nearest Neighbor(k-NN) query, which finds k objects closest to the query in the high dimensional feature vectors. The k-NN query is converted and processed into a range query based on the range that is likely to contain k data. In this paper, ...

주제어

표/그림 (11)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 본 논문에서는 k-최근접 질의 처리에 대한 기계 학습기반의 최적화 기법을 제안하였다. 제안한 질의 처리 최적화 기법은 기계 학습 모델 DNN을 이용하였다.
  • 본 절에서는 기계 학습을 위한 파라미터 실험과 제안하는 최적화 기법과 기존 최적화 기법을 비교하여 타당성을 제시하고 우수성을 검증한다. 성능 평가 환경은 [표 1]과 같다.
  • 스파크를 이용하여 오프라인에서는 사전에 k-최근접 질의를 수행하면서 얻어낸 최적의 범위의 질의점, 탐색 범위, k 값 등을 기반으로 지도(supervised)학습을 진행한다. 학습을 위해 정답 세트와 예측 세트의 차이를 평균 제곱 오차인 MSE(Mean Squared Error)을 학습을 통해 지속해서 줄여나가는 것을 목표로 한다. 정답 세트는 기존의 처리 비용 및 밀집도 기반으로 도출한 최적 범위를 기록한 k최근접 질의 로그를 이용한다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
이미지 검색의 2가지 방법인 의미 기반 검색과 내용 기반 검색은 무엇인가? 이미지 검색은 크게 의미 기반(Semantic-based)검색과 내용 기반(Content-based) 검색으로 나뉜다. 의미 기반 이미지 검색은 태그의 키워드나 웹 사이트의 텍스트를 이용하여 검색한다. 내용 기반 이미지 검색은 객체가 가지고 있는 특징들(예를 들어 색상, 굴곡 등)을 이용하여 객체를 검색하는 기술을 일컫는다. 특징은 한 가지만 사용하여 객체를 검색할 수도 있고 여러 가지 특징을 혼합하여 사용할 수도 있다.
k-최근접은 무엇인가? 근접 데이터를 찾는 것은 다양한 방법을 이용하여 연구되고 있다[1]. 그 중 k-NN은 k개의 값을 주어 이웃한 데이터를 k를 찾아내는 것으로 활용 분야가 매우 다양한 기본적인 알고리즘이다[2-5]. k-NN은 굉장히 효과적인 방법이지만 데이터양 또는 차원의 수에 따라 비례하여 높아지는 처리 비용이 발생하는 문제점이 존재한다.
kd-트리는 무엇인가? [9]에서는 kd-트리와 iDistance를 이용하여 하이브리드(Hybrid) 색인을 구축하였다. kd-트리는 k차원 의데이터를 분할하는 기법으로 이진 탐색 트리를 다차원공간으로 확장한 것이다. iDistance는 거리 기반 색인기법으로 고차원 데이터를 1차원인 거리로 표현한 뒤 B+-Tree에 색인하는 기법이다.
질의응답 정보가 도움이 되었나요?

참고문헌 (24)

  1. Wen Li, Ying Zhang, Yifang Sun, Wei Wang, Wenjie Zhang, and Xuemin Lin, "Approximate nearest neighbor search on high dimensional data-experiments, analyses, and improvement," IEEE Transactions on Knowledge and Data Engineering, 2019. 

  2. Abu-Aisheh, Zeina, Romain Raveaux, and Jean-Yves Ramel, "Efficient k-nearest neighbors search in graph space," Pattern Recognition Letters, Vol.134, pp.77-86, 2020. 

  3. Yiwei Pan; Zhibin Pan, Yikun Wang, and Wei Wang, "A new fast search algorithm for exact k-nearest neighbors based on optimal triangle-inequality-based check strategy," Knowledge-Based Systems, 189, 105088, 2020. 

  4. Zhiyin Zhang, Xiaocheng Huang, Chaotang Sun, Shaolin Zheng, Bo Hu, Jagannadan Varadarajan, Yifang Yin, Roger Zimmerman, and Guanfeng Wang, "Sextant: Grab's Scalable In-Memory Spatial Data Store for Real-Time K-Nearest Neighbour Search,", 20th IEEE International Conference on Mobile Data Management (MDM). IEEE, 2019. 

  5. Gallego, Antonio-Javier, Jorge Calvo-Zaragoza, and Juan Ramon Rico-Juan, "Insights into efficient k-Nearest Neighbor classification with Convolutional Neural Codes," IEEE Access, 2020. 

  6. Vajda, Szilard and K. C. Santosh, "A fast k-nearest neighbor classifier using unsupervised clustering," International conference on recent trends in image processing and pattern recognition. Springer, Singapore, 2016. 

  7. Peng Dai, Yuan Yang, Manyi Wang, and Ruqiang Yan, "Combination of DNN and improved KNN for indoor location fingerprinting," Wireless Communications and Mobile Computing, 2019. 

  8. K. Atefi, H. Hashim, and M. Kassim, "Anomaly Analysis for the Classification Purpose of Intrusion Detection System with K-Nearest Neighbors and Deep Neural Network," 2019 IEEE 7th Conference on Systems, Process and Control (ICSPC), Melaka, Malaysia, 2019. 

  9. 최도진, 박송희, 김연동, 위지원, 이현병, 임종태, 복경수, 유재수, "스파크 환경에서 내용 기반 이미지 검색을 위한 효율적인 분산 인-메모리 고차원 색인 기법," 정보과학회논문지, 제47권, 제1호, pp. 95-108, 2020. 

  10. H. Wei, Y. Du, F. Liang, C. Zhou, Z. Liu, J. Yi, and D. Wu, "A kd tree-based Algorithm to Parallelize Kriging Interpolation of Big Spatial Data," Journal of GIScience & Remote Sensing, Vol.52, No.1, pp.40-57, 2015. 

  11. H. V. Jagadish, B. C. Ooi, K. L. Tan, C. Yu, and R. Zhang, "iDistance: An Adaptive B+-tree based Indexing Method for Nearest Neighbor Search," Journal of Transactions on Database Systems (TODS), Vol.30, No.2, pp.364-397, 2005. 

  12. J. Schmidhuber, "Deep Learning in Neural Networks: An Overview," Neural networks, Vol.61, pp.85-117, 2015. 

  13. R. H. R. Hahnloser, R. Sarpeshkar, M. A. Mahowald, R. J. Douglas, and H. S. Seung, "Digital Selection and Analogue Amplification Coexist in aCortex-Inspired Silicon Circuit," Nature, Vol.405, pp.947-951,2000. 

  14. D. G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004. 

  15. Diederik P. Kingma and Jimmy Ba, "Adam: A method for stochastic optimization," arXiv preprint arXiv:1412-6980, 2014. 

  16. J. Maillo, S. Garcia, J. Luengo, F. Herrera, and I. Triguero, "Fast and Scalable Approaches to Accelerate the Fuzzy k-Nearest Neighbors Classifier for Big Data," in IEEE Transactions on Fuzzy Systems, Vol.28, No.5, pp.874-886, 2020. 

  17. J. Maillo, S. Garcia, J. Luengo, F. Herrera, and I. Triguero, "Fast and Scalable Approaches to Accelerate the Fuzzy k-Nearest Neighbors Classifier for Big Data," in IEEE Transactions on Fuzzy Systems, Vol.28, No.5, pp.874-886, 2020. 

  18. J. M. Lee, "Fast k-nearest neighbor searching in static objects," Wireless Personal Communications, Vol.93, No.1, pp.147-160, 2017. 

  19. Utsav Sheth, Sanghamitra Dutta, Malhar Chaudhari, Haewon Jeong, Yaoqing Yang, Jukka Kohonen,Teemu Roos, Pulkit Grover, "An Application of Storage-Optimal MatDot Codes for Coded Matrix Multiplication: Fast k-Nearest Neighbors Estimation," in IEEE International Conference on Big Data, Seattle, WA, USA, pp.1113-1120, 2018. 

  20. K. Li and Jitendra Malik, "Fast k-nearest neighbour search via prioritized DCI," arXiv preprint arXiv:1703.00440, 2017. 

  21. H. C. V. Ngu and J. H. Huh, "B+-Tree Construction on Massive Data with Hadoop," Journal of the Cluster computing, Vol.22, No.1, pp.1011-1021, 2019. 

  22. Mishra, Gaurav, and Sraban Kumar Mohanty, "A fast hybrid clustering technique based on local nearest neighbor using minimum spanning tree," Expert Systems with Applications 132,28-43, 2019. 

  23. H. J. Jang et al. "Nearest base-neighbor search on spatial datasets," Knowledge and Information Systems, Vol.62, No.3, pp.867-897, 2020. 

  24. D. H. Yan et al, "K-nearest Neighbors Search by Random Projection Forests," IEEE Transactions on Big Data, 2019. 

저자의 다른 논문 :

관련 콘텐츠

이 논문과 함께 이용한 콘텐츠

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로