선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이는 일반 플리커 이미지를 사용할 때보다 더 정확하게 분류 머신을 학습시키기 위한 것이다. 또한 제한된 훈련 데이터셋이 아닌 실제 대용량 이미지 공유 사이트에서 얻을 수 있는 확장 가능한 이미지 데이터셋을 이용하기 위해서이다.
제안 방법
- 구현에서는 SIFT 알고리즘을 사용해 이미지의 특징점(keypoints)을 추출하고 K-means 군집화 알고리즘으로 BoVW(Bag of Visual Words)를 구성하였다. BoVW로 이미지의 히스토그램을 생성하고 SVM(support vector machine) 분류기에 학습을 시켜 테스트 이미지를 분류하였다. 이때, 테스트 이미지에 GBVS 모델을 적용함으로써 불필요한 배경부분을 제거하여 이미지 분류의 정확도를 높였다.
- BoVW를 가지고 각 이미지에 해당하는 히스토그램을 만들고 히스토그램 값을 특징 벡터값으로 해석하여 SVM 분류기에 넣고 학습을 시킨다. 테스트 이미지의 히스토그램을 만들어 SVM에서 비교함으로써 이미지를 판단했다.
- BoVW 기반의 이미지 내용 추출 과정은 먼저 이미지에서 특징점들을 추출한다. SURF나 SIFT와 같은 특징 추출하는 알고리즘을 통해 이미지에서 변화에 강인한 특징을 추출한다. 추출된 특징들로 K-means 군집화 과정을 수행함으로써 BoVW를 구성할 수 있다.
- 검색어와 검색 대상 이미지 각 태그들 사이의 연관성을 코사인 유사도로 계산한 후 그 값이 높은 순서대로 대표 태그를 선택한다. 의미 연관성을 이용해 플리커 이미지를 검색한 결과 효과적인 검색결과를 보임을 입증했다.
- 먼저 위키피디아의 링크된 문서들을 하나의 벡터로 보고 링크들 사이의 가중치를 계산한다. 그렇게 되면 두 벡터 사이의 코사인 유사도 값을 이용해서 유사성을 구할 수 있다.
- 먼저 추출된 이미지의 특징 벡터들을 사용해서 활성화 지도(Activation maps)들을 형성한다. 그리고 활성화 지도들 중에서 현저함(conspicuity)이 높은 부분들의 조합을 정규화한다.
- 본 연구에서는 테스트 이미지에서 관심영역을 선택한 후 BoVW로 히스토그램을 구성하고 SVM을 통해 이미지를 분류하였다.
- BoVW로 이미지의 히스토그램을 생성하고 SVM(support vector machine) 분류기에 학습을 시켜 테스트 이미지를 분류하였다. 이때, 테스트 이미지에 GBVS 모델을 적용함으로써 불필요한 배경부분을 제거하여 이미지 분류의 정확도를 높였다.
- 군집화에서 클러스터의 개수인 K에 따라 이미지 단어의 수가 결정된다. 이미지를 이 단어들로 표현한 후, SVM과 같은 학습 머신에 훈련 데이터를 학습시키고 테스트 이미지를 분류한다.
- BoVW를 가지고 각 이미지에 해당하는 히스토그램을 만들고 히스토그램 값을 특징 벡터값으로 해석하여 SVM 분류기에 넣고 학습을 시킨다. 테스트 이미지의 히스토그램을 만들어 SVM에서 비교함으로써 이미지를 판단했다.
- 하지만 본 연구는 플리커 등 대용량 이미지 공유 사이트에서 볼 수 있는 정제되지 않은 이미지들을 대상으로 하였으므로 본격적인 실험에서는 위키피디아 기반의 의미정보를 이용하여 이미지 태그들의 우선순위를 찾아 이미지를 수집했던 기존 연구를 활용하였다[1]. 기존 연구에서는 실제 인터넷 상에서 검색된 이미지를 분류 대상으로 하기 위해서 플리커 이미지들을 사용했다.
대상 데이터
- 실험에서는 먼저, 전통적인 이미지 분류의 성능을 테스트할 때 사용되는 데이터 집합인 Caltech101 dataset[11]을 이용하여 제안하는 알고리즘의 정확도를 평가했다. Caltech101 dataset에는 101개의 카테고리가 있고 총 9,146개의 이미지가 있다. Caltech101 dataset은 California Institute of Technology에서 2003년 9월에 Computer Vision 기술개발에 기여하기 위해 만들어진 정제된 이미지 집합이다[11].
- 기존 연구에서는 실제 인터넷 상에서 검색된 이미지를 분류 대상으로 하기 위해서 플리커 이미지들을 사용했다. 기존 연구의 태그 의미 연관성으로 얻어진 이미지 데이터를 사용해서 총 5,005개의 이미지를 수집하였고, bird(새), car(자동차), cup(컵), house (집), sea(바다) 다섯 개의 카테고리별로 각 700개씩 총 3,500장을 임의로 뽑아 훈련 이미지로 사용하였다. 테스트 이미지로는 각 카테고리에서 임의로 30개씩 뽑아 총 150개의 이미지를 대상으로 분류하는 실험을 하였다.
- 본 연구에서는 위키피디아 기반의 태그 의미 연관성을 이용하여 검색된 이미지들을 훈련 데이터로 사용하였다. 이는 일반 플리커 이미지를 사용할 때보다 더 정확하게 분류 머신을 학습시키기 위한 것이다.
- 실험에서는 위키피디아 기반의 태그 의미연관성을 이용한 검색으로 수집된 데이터 셋을 이용하였다. 태그들 간의 의미연관성을 비교하여 우선순위에 따라 태그들의 순서를 재배치하는 방법은 웹사이트에 이미지를 업로드하는 시점에 이루어질 수 있으므로 검색에서는 계산량이 현격히 줄어든다.
- 기존 연구의 태그 의미 연관성으로 얻어진 이미지 데이터를 사용해서 총 5,005개의 이미지를 수집하였고, bird(새), car(자동차), cup(컵), house (집), sea(바다) 다섯 개의 카테고리별로 각 700개씩 총 3,500장을 임의로 뽑아 훈련 이미지로 사용하였다. 테스트 이미지로는 각 카테고리에서 임의로 30개씩 뽑아 총 150개의 이미지를 대상으로 분류하는 실험을 하였다.
데이터처리
- 실험에서는 먼저, 전통적인 이미지 분류의 성능을 테스트할 때 사용되는 데이터 집합인 Caltech101 dataset[11]을 이용하여 제안하는 알고리즘의 정확도를 평가했다. Caltech101 dataset에는 101개의 카테고리가 있고 총 9,146개의 이미지가 있다.
이론/모형
- 구현에서는 SIFT 알고리즘을 사용해 이미지의 특징점(keypoints)을 추출하고 K-means 군집화 알고리즘으로 BoVW(Bag of Visual Words)를 구성하였다. BoVW로 이미지의 히스토그램을 생성하고 SVM(support vector machine) 분류기에 학습을 시켜 테스트 이미지를 분류하였다.
- 그렇기 때문에 이미지의 특징적인 부분만 추출하는 연구가 많이 있었다[4]. 본 연구에서는 관심영역을 추출하기 위해 GBVS 모델을 사용하기로 한다. GBVS 모델은 간단하면서도 효율적인 방법으로 관심영역을 추출하는 데 좋은 성능을 보이고 있다[5].
- 이렇게 만들어진 words 집합이 BoVW가 되는 것이다. 이미지 특징 사이에 유사도를 판단하기 위해 유클리드 거리 계산을 이용한다.
성능/효과
- 그 이유는 GBVS는 배경을 제거하기 때문에 sea 이미지에서 충분한 특징점을 얻지 못했기 때문이다. BoVW+GBVS를 사용한 결과 이전 연구보다 전반적으로 좋은 성능을 나타냄을 알 수 있었고 특히 이미지 검색에서 검색어가 장면(scene)을 나타내지 않고 특정 객체(object)를 나타내는 경우에는 효과적일 것임을 알 수 있었다.
- 66%의 정확도를 나타냈다. 그 결과 평균 66.00%의 정확도를 나타냈다.
- 관심영역이란 불필요한 정보를 갖고 있는 영역이 제거된 영역이다. 따라서 GBVS 모델을 적용해서 이미지를 분류할 때 방해가 되는 영역을 제거할 수 있었고 선택된 관심영역을 테스트하여 정확도를 증가시켰다.
- 이전 연구를 통해 SIFT 기반의 BoVW를 사용해 이미지 분류를 효과적으로 할 수 있다는 것이 입증되었는데, 본 연구에서는 BoVW+GBVS를 같이 사용해서 정확도를 더 높이는 결과를 보였다. 또한 카테고리의 종류가 객체인지 장면인지에 따라 다른 결과가 나타남을 알 수 있었다.
- 검색어와 검색 대상 이미지 각 태그들 사이의 연관성을 코사인 유사도로 계산한 후 그 값이 높은 순서대로 대표 태그를 선택한다. 의미 연관성을 이용해 플리커 이미지를 검색한 결과 효과적인 검색결과를 보임을 입증했다.
- 이전 연구를 통해 SIFT 기반의 BoVW를 사용해 이미지 분류를 효과적으로 할 수 있다는 것이 입증되었는데, 본 연구에서는 BoVW+GBVS를 같이 사용해서 정확도를 더 높이는 결과를 보였다. 또한 카테고리의 종류가 객체인지 장면인지에 따라 다른 결과가 나타남을 알 수 있었다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.