]일반적으로 기존의 동영상 처리 방법들은 처리 대상 동영상 데이터의 메타 데이터 정보에 기반한다. 하지만, 동영상 데이터의 메타 데이터 정보는 해당 동영상의 상세한 의미적인 정보까지 표현하는데는 한계를 갖는다. 따라서, 메타 데이터 정보에 기반한 동영상 처리 기술은 다양한 동영상 정보를 보다 효율적으로 처리하는데 한계를 갖는다. 본 논문에서는 다양한 동영상 정보들을 효율적으로 분류하기 위한 방법으로 영상 정보에 기반한 직접 분류 방법을 제안한다. 본 논문에서 제안하는 영상 분류 방법에서는 관리자가 기준으로 제시한 동영상에 대한 마이닝을 수행하여 해당 동영상의 특성정보를 추출하여 동영상 분류의 기준이 되는 동영상 특성정보 프로파일을 생성한다. 이어서, 분류 대상 동영상들에 대해서 각 동영상을 기준 동영상의 특성정보 프로파일과 비교하여 유사성을 분석하고, 이론 기준으로 각 동영상을 분류한다. 또한, 분류 과정에서의 수행 속도를 향상 시키기 위한 방법으로 통합 프로과일 생성 및 비교 기법을 제시하며, 동영상 분류 과정에서의 정확도를 높이기 위한 가중치 기반 비교 방법을 제시한다. 끝으로 다양한 동영상 데이터를 활용한 유사도 비교 실험을 통해 제안된 방법의 효율성을 검증한다.
]일반적으로 기존의 동영상 처리 방법들은 처리 대상 동영상 데이터의 메타 데이터 정보에 기반한다. 하지만, 동영상 데이터의 메타 데이터 정보는 해당 동영상의 상세한 의미적인 정보까지 표현하는데는 한계를 갖는다. 따라서, 메타 데이터 정보에 기반한 동영상 처리 기술은 다양한 동영상 정보를 보다 효율적으로 처리하는데 한계를 갖는다. 본 논문에서는 다양한 동영상 정보들을 효율적으로 분류하기 위한 방법으로 영상 정보에 기반한 직접 분류 방법을 제안한다. 본 논문에서 제안하는 영상 분류 방법에서는 관리자가 기준으로 제시한 동영상에 대한 마이닝을 수행하여 해당 동영상의 특성정보를 추출하여 동영상 분류의 기준이 되는 동영상 특성정보 프로파일을 생성한다. 이어서, 분류 대상 동영상들에 대해서 각 동영상을 기준 동영상의 특성정보 프로파일과 비교하여 유사성을 분석하고, 이론 기준으로 각 동영상을 분류한다. 또한, 분류 과정에서의 수행 속도를 향상 시키기 위한 방법으로 통합 프로과일 생성 및 비교 기법을 제시하며, 동영상 분류 과정에서의 정확도를 높이기 위한 가중치 기반 비교 방법을 제시한다. 끝으로 다양한 동영상 데이터를 활용한 유사도 비교 실험을 통해 제안된 방법의 효율성을 검증한다.
Generally, conventional video searching or classification methods are based on its meta-data. However, it is almost Impossible to represent the precise information of a video data by its meta-data. Therefore, a processing method of video data that is based on its meta-data has a limitation to be eff...
Generally, conventional video searching or classification methods are based on its meta-data. However, it is almost Impossible to represent the precise information of a video data by its meta-data. Therefore, a processing method of video data that is based on its meta-data has a limitation to be efficiently applied in application fields. In this paper, for efficient classification of video data, a classification method of video data that is based on its low-level data is proposed. The proposed method extracts the characteristics of video data from the given video data by clustering process, and makes the profile of the video data. Subsequently. the similarity between the profile and video data to be classified is computed by a comparing process of the profile and the video data. Based on the similarity. the video data is classified properly. Furthermore, in order to improve the performance of the comparing process, generating and comparing techniques of integrated profile are presented. A comparing technique based on a differentiated weight to improve a result of a comparing Process Is also Presented. Finally, the performance of the proposed method is verified through a series of experiments using various video data.
Generally, conventional video searching or classification methods are based on its meta-data. However, it is almost Impossible to represent the precise information of a video data by its meta-data. Therefore, a processing method of video data that is based on its meta-data has a limitation to be efficiently applied in application fields. In this paper, for efficient classification of video data, a classification method of video data that is based on its low-level data is proposed. The proposed method extracts the characteristics of video data from the given video data by clustering process, and makes the profile of the video data. Subsequently. the similarity between the profile and video data to be classified is computed by a comparing process of the profile and the video data. Based on the similarity. the video data is classified properly. Furthermore, in order to improve the performance of the comparing process, generating and comparing techniques of integrated profile are presented. A comparing technique based on a differentiated weight to improve a result of a comparing Process Is also Presented. Finally, the performance of the proposed method is verified through a series of experiments using various video data.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 기존의 영상기반 분류 방법과는 다른 영상 정보 기반의 직접 분류 방법을 제안한다. 본 논문에서 제안하는 영상 분류 방법에서는 관리자가 기준으로 제시한 동영상의 특성 정보를 추출하여 데이터 마이닝 기법을 적용하여 각 기준 동영상별로 특성 프로파일을 생성한다.
[9, 10, 12, 13, 14], 또한 더 정확한 검색을 위해서 링크를 설명하는 문자 정보의 색인과 동영상 데이터의 내용기반이 모두 사용되고 있다[2, 15]. 본 논문에서는 동영상 데이타의 특성 정보를 데이타마이닝의 클러스터링 방법을 사용하여 그 특징을 부각시켜 비교의 효율성을 높인다[8].
이 프로파일과 인터넷의 임의의 동영상의 특성 정보를 비교하는 것으로 기본적인 검색을 위한 비교 방법의 설계가 가능하다. 본 논문에서는 이 방법을 확장하여 서로 다른 검색자들의 프로파일들을 하나로 묶어 통합하여 각각의 검색자들의 프로파일들과 번갈아 같은 방식의 비교를 하는 것보다 효율적인 방법을 제시한다. 또한 프로파일을 통합하는 과정에서 각 클러스터들이 그 프로파일이 나타내는 동영상의 특징들을 표현하는데 기여하는 정도를 나타내는 중요도를 미리 저장하여 좀 더 정확하고 효율적인 유사성 판정을 할 수 있다.
본 논문에서는 효율적인 동영상 분류 및 검색을 지원하기 위한 방법을 제안하였다. 제안된 방법에서는 먼저 사용자가 제시한 기준 동영상 집합으로부터 특성 정보를 추출하여 이를 클러스터링 과정을 통해 해당 동영상 데이터 집합을 나타내는 특성 정보 프로파일을 구축한다.
본 절에서는 본 논문에서 제안한 동영상 분류 방법의 효율성을 검증하기 알아보기 위해서 단순화된 모의실험용 동영상 데이터에 대해서 논문에서 제안된 분류 방법을 검증하였다. 서로 다른 동영상 간의 유사도 비교 결과 및 앞서 제시한 검색 옵션의 변화에 따른 검색 결과를 그래프로 나타내고 그 결과를 분석한다.
가설 설정
(그림 9) (a) 가 기준 동영상으로 제공되고 "열차가 출현하는 모든 동영상”을 검색하고자 하는 경우 별도의 과정 없이 전체 동영상을 대상으로 비교 작업을 수행하는 경우 (그림 9) (b) 와 같이 열차를 포함하는 동영상이지만 다른 영역에 노이즈를 포함하는 동영상은 유사도가 매우 낮게 판단되어 검색되지 않을 것이다. 이 경우 검색 대상 동영상이 (그림 9) (b) 와 같다고 하면 해당 영상을 (그림 9) (a) 에서와 같이 일정 크기의 세부 영역으로 분할하고 노이즈가 포함되지 쉬운 영역(즉, A2, A3, A6, A7, A8, A12 및 A13)으로부터 추출된 특성 정보를 무시하거나 또는 매우 낮은 가중치를 부여하여 노이즈로 인해 비교 정확도가 악화되는 현상을 방지할 수 있다.
그림 6은 분류 대상 동영상의 각 프레임과 통합 프로파일의 세그먼트 들 간의 포함 관계를 분석한 결과이다. 이때, 의미 있는 클러스터로 정의되기 위한 최소 지지도는 60%이고, 동영상이 해당 프로파일과 유사하다고 판단할 수 있는 유사도는 50%로 가정한다.
제안 방법
판정 방법으로 실험 집합에 대해 시연한다. 9 가지 동영상에 대해서 유사한 동영상 각 10개씩을 질의 동영상으로 주고 통합 프로파일을 구축하였다. 그리고 각 동영상 종류에 따른 임의의 동영상을 검색 대상으로 설정하고 시스템을 동작시켰다.
9 가지 동영상에 대해서 유사한 동영상 각 10개씩을 질의 동영상으로 주고 통합 프로파일을 구축하였다. 그리고 각 동영상 종류에 따른 임의의 동영상을 검색 대상으로 설정하고 시스템을 동작시켰다. 각각 동영상의 프로파일에 대해 각 검색 대상 동영상의 유사도 도표를 구하면 다음과 같다.
비교 동영상의 특성 정보가 주어지면, 그 특성에 해당하는 통합 프로파일 선분에서 그 특성에 해당하는 세그먼트가 존재하는지를 검색한다. 그리고 검색된 세그먼트가 어떤 클러스터로 구성되었는지, 그리고 그것의 지지도가 얼마인지를 알아내어 현재 비교하는 특성에 얼마나 유사한지를 구하여 저장한다. 이런 과정을 각각의 특성들에 대해서 모두 수행하고, 각 특성마다 얻어진 지지도 값을 프로파일을 기준으로 평균을 구하게 되면, 모든 특성을 고려한 동영상과 프로파일들 간의 유사도가 계산이 된다.
분류 대상 동영상들의 특성 정보를 기준 동영상별 특성 프로 파 일과 비교하여 각 동영상별 유사성을 분석하고 이를 기준으로 동영상들을 분류한다. 또한, 분류 과정에서 수행 속도를 향상시키기 위한 통합 프로파일 관리 기법 및 이를 이용한 동영상 비교 기법을 제시한다.
또한, 동영상 및 특성정보 프로파일 비교 과정에서 다수의 프로파일이 존재하는 경우 각각 개별적으로 비교하는 것이 아니라 하나의 통합 프로파일을 생성하고 이를 이용하여 비교하여 비교과정에서의 효율성을 높인다. 또한, 비교 결과의 정확성을 높이기 위한 방법으로 논리적, 물리적 영역별로 가중치를 차별화하는 프로파일 비교 방법을 제시하였다. 이를 통해, 비교 대상 동영상에 포함되는 무의미한 노이즈 정보를 제거하는 효과도 얻을 수 있다.
먼저, 멀티미디어 컨텐츠의 내용을 사람이 아닌 기계가 인식할 수 있는 형태로 추출하는데 있어서는 해당 컨텐츠의 색상이나 질감이 주로 사용된다. 또한, 화상 또는 영상에서 경계 인식을 통하여 물체의 형태를 맵으로 추출한다. 더불어, 물체의 형태를 기본적인 도형들의 집합으로 보고 도형의 묶음으로 이루어진 추상화된 형태 정보를 추출하여 사용한다[7, 13].
이때, 각 영역별로 가중치를 차별화 하는 경우 기준 프로파일에서도 해당 영역으로부터 생성된 특성 정보에는 보다 높은 가중치를 부여하고 다른 영역으로부터 생성된 특성 정보에는 낮은 가중치를 부여한다. 먼저, (그림 12)에서는 동적 영역에 대한 가중치를 보다 높게 부여하는 경우의 유사도 변화 실험으로서 동영상 0 및 동영상 5와 이들로부터 생성된 프로파일 0 및 프로파일 5를 이용하여 실험하였다. (그림 12)에서 알 수 있듯이, 동영상 0과 5는 전체 화면의 각 구역에 동일한 가중치를 부여하여 비교한 경우에는 유사도가 매우 낮은 값으로 구해진다.
본 논문에서는 기존의 영상기반 분류 방법과는 다른 영상 정보 기반의 직접 분류 방법을 제안한다. 본 논문에서 제안하는 영상 분류 방법에서는 관리자가 기준으로 제시한 동영상의 특성 정보를 추출하여 데이터 마이닝 기법을 적용하여 각 기준 동영상별로 특성 프로파일을 생성한다. 분류 대상 동영상들의 특성 정보를 기준 동영상별 특성 프로 파 일과 비교하여 각 동영상별 유사성을 분석하고 이를 기준으로 동영상들을 분류한다.
본 논문에서는 동영상 정보 분석을 위한 일반적인 접근 방법에서와 유사하게에서와 같은 동영상의 특성 정보들을 활용한다.
본 논문에서 제안하는 영상 분류 방법에서는 관리자가 기준으로 제시한 동영상의 특성 정보를 추출하여 데이터 마이닝 기법을 적용하여 각 기준 동영상별로 특성 프로파일을 생성한다. 분류 대상 동영상들의 특성 정보를 기준 동영상별 특성 프로 파 일과 비교하여 각 동영상별 유사성을 분석하고 이를 기준으로 동영상들을 분류한다. 또한, 분류 과정에서 수행 속도를 향상시키기 위한 통합 프로파일 관리 기법 및 이를 이용한 동영상 비교 기법을 제시한다.
본 절에서는 본 논문에서 제안한 동영상 분류 방법의 효율성을 검증하기 알아보기 위해서 단순화된 모의실험용 동영상 데이터에 대해서 논문에서 제안된 분류 방법을 검증하였다. 서로 다른 동영상 간의 유사도 비교 결과 및 앞서 제시한 검색 옵션의 변화에 따른 검색 결과를 그래프로 나타내고 그 결과를 분석한다.
이런 과정을 각각의 특성들에 대해서 모두 수행하고, 각 특성마다 얻어진 지지도 값을 프로파일을 기준으로 평균을 구하게 되면, 모든 특성을 고려한 동영상과 프로파일들 간의 유사도가 계산이 된다. 이들 중 가장 유사도가 높거나 최소유사도 이상인 프로파일을 선택하여 해당 동영상을 검색 결과로 삽입한다. (그림 4)는 통합 프로파일과 동영상의 비교 과정을 타나내 며 상세 수행 과정은 다음과 같다.
따라서, 검색자가 원하는 특징들을 갖춘 질의 동영상을 다수 수집하여 이들로부터 해당 동영상 집합의 특성을 명확히 추출할 필요성이 대두되었다. 이를 위해 제시된 모든 동영상들을 각각 하나의 트랜잭션으로 간주하고 이로부터 특성 정보들을 클러스터링하는 클러스터링 기법을 사용한다. 클러스터링(clustering)을 과정을 통해 하나의 동영상 데이터 집합에 속하는 유사한 동영상들로부터 해당 동영상 데이터 집합의 특성 정보(즉, 특성 정보 집합 (cluster))를 추출할 수 있다.
모의실험 데이타는 결과를 쉽게 알아볼 수 있고, 동적/ 정적 역역 가중치 변화 및 각 영역별 가중치 변화를 효율적으로 설명할 수 있도록 수집되었다. 이를 이용하여 가중치 변화에 따른 비교 결과의 변화를 효율적으로 분석할 수 있도록 각 실험의 표본 데이터 집합을 설정하였다.
이 통합 프로파일을 제작하기 위해서는 먼저 동영상으로부터 특성 정보를 추출한다. 이어서 추출된 특성 정보를 클러스터링 기법을 적용하여 특성 정보 프로파일을 생성한다. 본 논문에서는 동영상 정보 분석을 위한 일반적인 접근 방법에서와 유사하게<표 1>에서와 같은 동영상의 특성 정보들을 활용한다.
제안된 방법에서는 먼저 사용자가 제시한 기준 동영상 집합으로부터 특성 정보를 추출하여 이를 클러스터링 과정을 통해 해당 동영상 데이터 집합을 나타내는 특성 정보 프로파일을 구축한다. 이어서, 분류 또는 검색 대상 동영상에 대해서, 해당 동영상과 기준이 되는 특성정보 프로파일을 비교하여 유사도를 계산하여 해당 동영상을 분류한다. 본 논문에서 제안돤 방법에서는 검색 및 분류의 기준이 질의를 텍스트 형태로 표현하는 것이 아니라 실제 동영상 정보를 기준으로 제시하여 검색 및 분류 과정에서의 편의성을 높일 수 있다.
본 논문에서는 효율적인 동영상 분류 및 검색을 지원하기 위한 방법을 제안하였다. 제안된 방법에서는 먼저 사용자가 제시한 기준 동영상 집합으로부터 특성 정보를 추출하여 이를 클러스터링 과정을 통해 해당 동영상 데이터 집합을 나타내는 특성 정보 프로파일을 구축한다. 이어서, 분류 또는 검색 대상 동영상에 대해서, 해당 동영상과 기준이 되는 특성정보 프로파일을 비교하여 유사도를 계산하여 해당 동영상을 분류한다.
가중치를 준 실험과의 비교를 위해 가중치를 주지 않은 기본적인 비교.판정 방법으로 실험 집합에 대해 시연한다. 9 가지 동영상에 대해서 유사한 동영상 각 10개씩을 질의 동영상으로 주고 통합 프로파일을 구축하였다.
대상 데이터
본 실험에서 사용한 동영상은 균일한 색을 가진 바닥 위에 설치된 레일을 등속으로 주행하는 실험용 열차를 위에서 바닥을 바라보는 시각에서 촬영한 것을 사용한다. 각 동영상은 열차가 시야에서 나타나기 시작하면서 사라질 때까지의 시간을 하나의 동영상 단위로 설정하였고, 각 동영상마다 3-4초의 길이를 가진다.
이론/모형
각 동영상은 열차가 시야에서 나타나기 시작하면서 사라질 때까지의 시간을 하나의 동영상 단위로 설정하였고, 각 동영상마다 3-4초의 길이를 가진다. 동영상의 형식은 인터넷에서 쉽게 접할 수 있는 MPEG4 표준의 MS 윈도우 미디어 형식을 사용한다. 포멧 은 320x240 해상도와 24비트 색상을 가지며, 초당 15프레임으로 구성된다.
성능/효과
기본 알고리즘과 비교하여 중첩된 반복부의 횟수는 두 번으로 같지만, 해당 클러스터를 처리하는 안쪽 반복부의 반복 횟수가 기본 알고리즘은 프로파일의 총 숫자와 같으나, 통합 프로파일을 사용한 알고리즘은 해당 세그먼트를 구성 하고 있는 프로파일만을 순서대로 반복하는 것으로 처리 가 능하므로 효율이 있다
본 논문에서는 이 방법을 확장하여 서로 다른 검색자들의 프로파일들을 하나로 묶어 통합하여 각각의 검색자들의 프로파일들과 번갈아 같은 방식의 비교를 하는 것보다 효율적인 방법을 제시한다. 또한 프로파일을 통합하는 과정에서 각 클러스터들이 그 프로파일이 나타내는 동영상의 특징들을 표현하는데 기여하는 정도를 나타내는 중요도를 미리 저장하여 좀 더 정확하고 효율적인 유사성 판정을 할 수 있다.
모의실험 데이타는 결과를 쉽게 알아볼 수 있고, 동적/ 정적 역역 가중치 변화 및 각 영역별 가중치 변화를 효율적으로 설명할 수 있도록 수집되었다. 이를 이용하여 가중치 변화에 따른 비교 결과의 변화를 효율적으로 분석할 수 있도록 각 실험의 표본 데이터 집합을 설정하였다.
이어서, 분류 또는 검색 대상 동영상에 대해서, 해당 동영상과 기준이 되는 특성정보 프로파일을 비교하여 유사도를 계산하여 해당 동영상을 분류한다. 본 논문에서 제안돤 방법에서는 검색 및 분류의 기준이 질의를 텍스트 형태로 표현하는 것이 아니라 실제 동영상 정보를 기준으로 제시하여 검색 및 분류 과정에서의 편의성을 높일 수 있다. 또한, 동영상 및 특성정보 프로파일 비교 과정에서 다수의 프로파일이 존재하는 경우 각각 개별적으로 비교하는 것이 아니라 하나의 통합 프로파일을 생성하고 이를 이용하여 비교하여 비교과정에서의 효율성을 높인다.
참고문헌 (15)
E. Shakshuki, H. Ghenniwa, and M. Kamel. 'A multi-agent system architecture for information gathering', Proceedings of the International Workshop on Database and Expert Systems Applications, pp.732-736, 2000
J. Favela and V. Meza. 'TIVA applications: Image-retrieval agent: integrating image content and text', Proceedings of the IEEE International Conference on Intelligent Systems, pp.36-39, 1999
F. Ferri, C. Ghiselli, P. Grifoni, and M. Padula, 'Toward a retrieval of HTML documents using a semantic approach', Proceeding, of the IEEE International Conference on Multimedia and Expo, pp.1571-1574, 2000
S. Cazalens, E. Desmontils, C. Jacquin, and P. Lamarre. 'A Web site indexing process for an Internet information retrieval agent system', Proceedings of the First International Conference on Web Information System Engineering, pp.254-258, 2000
M. Schmidt and U. Ruckert, 'Content based information retrieval using an embedded neural associative memory', Proceedings of the International Workshop on Parallel and Distributed Processing, pp.443-450, 2001
W. Li, B. Xu. H. Yang, C.-C. Chu, and C.-W. Lu. 'Application of genetic algorithm in search engine', Proceedings of the International Symposium on Multimedia Software Engineering, pp.366-371, 2000
A. Vailaya, M. Figueiredo. A. K. Jain, and H. J. Zhang, 'Image classification for content based indexing', IEEE Transactions on Image Processing, Vol.10, No.1, pp.117-130, 2001
X. Xiaowei, M. Ester, H.-P. Kriegel, and J.Sander. 'A distribution-based clustering algorithm for mining in large spatial databases', In Proceedings or the 14th International Conference on Data Engineering, pp,324-331, 1998
O. Kao and G.R. Joubert 'A content based Internet search engine for analysis and archival of MPEG-1 compressed newsfeeds', Proceedings of the IEEE International Conference on Multimedia and Expo, pp.1155-1158, 2000
H.-H. Yu and W. Wolf. 'Hierarchical, multi resolution method for dictionary-driven content based image retrieval', Proceedings of the IEEE International Conference on Image Processing, pp. 823-826, 1997
M.J. Swain, 'Searching for multimedia on the World Wide Web', Proceedings of the IEEE International Conference on Multimedia Computing and Systems, pp.32-37, 1999
S.-F. Chang; W. Chen, H. J. Meng, H. Sundaram, and D. Zhong, 'A fully automated content-based video search engine supporting spatiotemporal queries', IEEE Transactions on Circuits and Systems for Video Technology, Vol.8, No.5, pp.602-615, 1998
J. Makhoul, F. Kubala, T. Leek, L. Daben, L. Nguyen, R. Schwartz, and A. Srivastava. 'Speech and language technologies for audio indexing and retrieval.' IEEE Transactions on Multimedia, Vol.88, No.8, pp.1338-1353, 2000
C. H. Yeh and C. J. Kuo 'Index-based fast search algorithm of image database on Internet,' Proceedings of the IEEE International Conference on Multimedia and Expo, pp.1195-1198, 2000
P. Martin and P. W. Eklund. 'Knowledge retrieval and the World Wide Web,' IEEE Transactions on Intelligent Systems, Vol.15, NO.3, pp.18-25, 2000
※ AI-Helper는 부적절한 답변을 할 수 있습니다.