멀티미디어 컨텐츠가 급격히 증가함에 따라 사용자들은 다양한 유통 경로를 통하여 많은 멀티미디어 컨텐츠를 이용할 수 있게 되었다. 내용기반 영상 검색시스템은 영상 데이터의 내용을 다양한 시각적 특정 값들로 표현하여, 수많은 영상 중에서 사용자가 원하는 영상을 검색하고 원하지 않는 영상을 필터링 하도록 한다. 그러나 멀티미디어 데이터의 편집은 영상 데이터의 고유한 시각적 특정 값들을 왜곡시켜 잘못된 검색 결과나 필터링 결과를 제공하여 내용기반 영상 검색시스템의 성능을 저하시킨다. 본 논문에서는 이러한 영상편집효과 가운데 글자삽입, 프레임의 삽입, 그리고 여러 영상으로의 구성과 같은 편집효과에 대해 분석하고 이러한 편집효과를 제거하는 알고리즘을 고려한 내용기반 검색시스템을 제안하였으며, 실험을 통해 향상된 검색 결과를 확인할 수 있었다.
멀티미디어 컨텐츠가 급격히 증가함에 따라 사용자들은 다양한 유통 경로를 통하여 많은 멀티미디어 컨텐츠를 이용할 수 있게 되었다. 내용기반 영상 검색시스템은 영상 데이터의 내용을 다양한 시각적 특정 값들로 표현하여, 수많은 영상 중에서 사용자가 원하는 영상을 검색하고 원하지 않는 영상을 필터링 하도록 한다. 그러나 멀티미디어 데이터의 편집은 영상 데이터의 고유한 시각적 특정 값들을 왜곡시켜 잘못된 검색 결과나 필터링 결과를 제공하여 내용기반 영상 검색시스템의 성능을 저하시킨다. 본 논문에서는 이러한 영상편집효과 가운데 글자삽입, 프레임의 삽입, 그리고 여러 영상으로의 구성과 같은 편집효과에 대해 분석하고 이러한 편집효과를 제거하는 알고리즘을 고려한 내용기반 검색시스템을 제안하였으며, 실험을 통해 향상된 검색 결과를 확인할 수 있었다.
With the rapid increase of the number of multimedia contents, people consume a lot of multimedia contents through various distribution channels. Content-based image retrieval uses visual features that represent the contents of images. And users can retrieve or filter images based on the contents of ...
With the rapid increase of the number of multimedia contents, people consume a lot of multimedia contents through various distribution channels. Content-based image retrieval uses visual features that represent the contents of images. And users can retrieve or filter images based on the contents of the images using the features. But, the editing of the multimedia contents distorts the original visual features of the multimedia contents, thereby the performance of content-based image retrieval system could be lowered. In this paper, we describe the image editing effects that lower the performance of the retrieval system and propose algorithms that can remove the image editing effect and improve content-based image retrieval system.
With the rapid increase of the number of multimedia contents, people consume a lot of multimedia contents through various distribution channels. Content-based image retrieval uses visual features that represent the contents of images. And users can retrieve or filter images based on the contents of the images using the features. But, the editing of the multimedia contents distorts the original visual features of the multimedia contents, thereby the performance of content-based image retrieval system could be lowered. In this paper, we describe the image editing effects that lower the performance of the retrieval system and propose algorithms that can remove the image editing effect and improve content-based image retrieval system.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
특히, 영상에 삽입된 글자, 영상 외곽에 삽입된 프레임, 그리고 여러 영상으로 구성된 영상은 영상의 특징을 심하게 변질시킨다. 이러한 영상 편집으로 인한 잘못된 검색 또는 필터링을 방지하기 위해 영상 편집효과를 고려한 새로운 접근 방법을 제안한다.
본 논문에서는 영상 편집에 의한 내용기반 검색시스템의 성능저하를 실험을 통해 확인 및 분석하고검색 성능 향상을 위해 전처리 과정을 통하여 편집효과를 제거한다. 또한 편집효과를 고려한 내용기반 검 색시스템을 제안하여 기존의 내용기반 검색시스템의 성능을 향상시킬 수 있음을 확인하였다.
[9]에서 는 영상의 색, 질감, 형태의 모든 특징을 함께 웨이브 릿 변환에 적용하였다. 또한 영상의 웨이브릿 계수를 통한 내용 표현 문제 뿐 아니라 데이터 압축 문제도 하나의 통합된 프레임워크에서 연구하였다.
본 논문에서는 실험을 통하여 편집된 영상에 대한 내용기반 검색시스템의 성능을 살펴보고, 편집효과를 시각적으로 제거한 후에 내용기반 필터링시스템의 성능을 살펴보았다. 실험에서 사용된 내용기반 필 터링 시스템은 확률에 기반한 베 이시 안(Bayesian) 분류기를 사용하였으며, 베이시안 분류기의 학습에 사용된 영상은 검출 성능 평가시 제외하였다.
(그림 6)은 입력된 영상의 글자 삽입 여부를 판단 하는 블록도를 나타내고, (그림 7)은 글자가 삽입된 영상에서 글자가 삽입된 영역을 처리하는 과정을 나타낸다. 본 논문에서는 균질질감 (Homogeneous Texture)에서 추출한 1~6번 특징값을 입 력으로 하는 베 이즈 분류기 (Bayesian Classifier)를 적용하여 글자가 삽입된 영상을 검출하였다. 이렇게 글자가 삽 입된 영상으로 검출된 영상에 대해서는 글자가 삽입 된 영역을 찾아서 제거하는 과정을 거친다.
프레임이 삽입된 영상의 전처리는 프레임을 제거 하여 프레임 삽입으로 인한 영향을 최대한 줄여주는 데 목적을 두고 있다. 프레임。「삽입된 영상은 프레 임의 특성을 고려하여 다음과 같은 방법으로 전처리 과정을 수행한다.
본 논문에서는 내용기반 검색시스템의 성능을 저 하시키는 영상 편집효과를 분석하였으며, 이러한 영 상편집효과들이 영상의 특징정보인 색상, 질감, 형태 등을 왜곡시켜 내용기반 검색시스템의 성능을 저증} 시키는 것을 확인하였다. 이러한 문제를 해결하기위 해, 영상의 편집효과를 검출하고 제거하는 전처리 알 고리즘과 제안된 전처리 알고리즘을 적용한 내용기반 영상 검색시스템을 제안하였으며, 내용기반 필터 링 시스템에 적용하여 제안한 시스템의 유용성을 확 인하였다.
제안 방법
정확하고 빠른 영상 검색을 위해, [6]에서는 영상 데 이터로부터 형태적 특징정보와 색상 특징정보를 추 출하여 원하는 영상을 검색할 수 있도록 하였다. 칼 라 히스토그램과 형태 정보를 추출하여 영상의 비교 에 사용하였으며, 정확하고 빠르게 비교 검색하기 위해서 색상 성분에 대한 특징정보를 트리로 만들고, 형태관련 특징정보를 변형된 트리로 인덱싱하는 방법을 제안하였다. 특징정보를 포함하는 일반적인 질 의 영상뿐만 아니라, 스케치된 영상을 입력받는 대표 적인 시스템은 IBM 연구소에서 개발된 QBIC이다 [7], 이 시스템은 사용자에게 영상의 색상이나 질감, 모양 등과 같은 다양한 속성에 기반하여 시각적 질의 를 제공할 뿐만 아니라 제한된 범위내의 비디오 검색 이 가능하다.
반면에 VisualSEEk 은 웹에 기반하여 원하는 영상을 검색 하는 내용기반 영상 검색시스템으로써 QBIC에서와 유사한 검색을 제공할 뿐만 아니라 영상 내의 객체영 역에 대한 색상과 객체영역의 공간정보 사이의 상관 관계를 더 자세히 묘사할 수 있는 인터페이스를 제공 한다[8]. 이 시스템은 객체영역의 크기와 공간적 위 치정보에 대한 향상된 인덱싱 기법을 이용함으로써 복잡하게 결합된 다양한 색상 및 공간 그리고 색상 및 질감에 기반한 영상 질의를 제공한다. 정지영상에 대한 내용기반 검색의 다른 방법은 영상의 가공되지 않은 원본 데이터 (raw data)로부터 직접 특징을 추 출하는 것이 아니라 일단 직교변환 등을 시켜 변환된 데이터로부터 특징들을 추출하는 방법이다.
현재의 글자영역 의 검출 알고리즘들은 대부분 높은 연산량이 필요하다. 그러나 본 논문에서는 글자 삽입여부 및 글자영역의 검출이 내용기반영상 검색의 전처리로 적용되 므로, 글자 삽입 영역 검출의 높은 연산량을 피하기 위해 글자가 삽입된 영상여부를 먼저 판별하고 글자 가 삽입되었다고 판단되는 영상에 대하여 글자가 삽 입된 영역을 검출하도록 하였다.
글자가 삽입된 영상으로 판별된 영상에 대해서는 글자가 삽입된 영역과 삽입되지 않은 영역을 판별하 고, 글자가 삽입된 영역에 대해서는 글자에 의한 질 감특징을 감소하는 전처리를 수행하였다. 먼저 전체 영역을 가로 세로 각각 4개, 즉 16블록으로 나누고 각각의 블록에 대해 질감정보중 1~6의 특징값을 계 산한다, 16개 블록은 이 특징값을 입력으로 글자가 삽입된 블록과 삽입되지 않은 블록으로 K-means 알 고리 즘을 이용하여 클러 스터링 된다.
글자가 삽입된 영상으로 판별된 영상에 대해서는 글자가 삽입된 영역과 삽입되지 않은 영역을 판별하 고, 글자가 삽입된 영역에 대해서는 글자에 의한 질 감특징을 감소하는 전처리를 수행하였다. 먼저 전체 영역을 가로 세로 각각 4개, 즉 16블록으로 나누고 각각의 블록에 대해 질감정보중 1~6의 특징값을 계 산한다, 16개 블록은 이 특징값을 입력으로 글자가 삽입된 블록과 삽입되지 않은 블록으로 K-means 알 고리 즘을 이용하여 클러 스터링 된다. 글자가 삽입 된 것으로 판별된 영역에 대해서는 11 tap의 평균화 필 터를 통해 글자의 질감특성을 제거하는 과정이 글자 삽입 영역 처리 블록에서 수행된다.
血。3:수직 직 선으로부터 수직 영사값과 국부 표준편차를 구하고 수직 경계선을 파악한다. 그리고 같은 방법을 이용하여 수평 경계선를 파악한다.
본 논문은 편집효과를 제거하는 시간을 최소화하기 위해 각각의 편집효과 제거 알고리즘을 편집효과 의 검출(Detection)과 전처리 (Preprocessing)로 분리하였다. 편집효과의 검출은 입력영상에 대해 편집 의 적용 유무를 확인하는 과정이고, 편집효과의 전처 리는 확인된 편집 종류에 따라 프레임 제거, 부분영 상으로의 분리, 글자 삽입 블록의 처리와 같은 편집 효과 제거의 역할을 한다.
글차가 삽입된 영상은 전체영상을 블록 단위로 나누어 글자가 삽입된 블록을 평탄화한다. 그러나 평탄화 된 블록은 영상 내 영상 (Picture-in-Picture)으로 판 단되기 쉽기 때문에 삽입된 글자를 제거하는 알고리 즘은 여러영상을 분해하는 알고리즘이 수행된 후에 적용되도록 하였다 또한, 프레임이 삽입된 영상에서 프레임을 제거하고 원본영상만을 추출하는 알고리 즘의 특성에 따라 프레 임을 제거하는 알고리즘은 여 러영상을 분해하는 알고리즘보다 먼저 수행되도록 결정하였다. 따라서, 편집효과를 제거하는 시간과 편 집효과를 제거하는 순서를 고려한다면 (그림 11)와 같이 편집효과 제거 알고리즘을 구성할 수 있고, 이를 적용한 내용기반 영상 검색시스템은 (그림 12)과 같이 설계될 수 있다.
제안한 전처리가 적용되었을 때 내용기반 검색시스템의 성능향상을 확인하기 위해 유해영상 필터링 시스템에 제안한 방법을 적용하였다. 이때 사용된 내용기반 필터링 시스템은 (표 1)의 결과를 얻는 데 사용한 MPEG-7의 에지, 칼라히스토그램, 균질질감 을 입력으로 받는 베이시안 분류기이다.
편집효과에 의해 검출률이 낮아진다는 것이 올바 른 가정이라면, 편집효과를 제거함으로써 검출률의 향상을 예상할 수 있다. 실험을 통해, 다음과 같은 규칙에 따라 편집효과를 시각적으로 제거하여 영상 을 직접 재구성 하였다. 먼저 글자가 삽입된 영상은 전체영상에서 글자가 삽입된 영역을 사각영역으로 결정하고, 그 사각영역을 흰색으로 채워 영상을 재구 성한다.
대상 데이터
본 논문에서는 실험을 통하여 편집된 영상에 대한 내용기반 검색시스템의 성능을 살펴보고, 편집효과를 시각적으로 제거한 후에 내용기반 필터링시스템의 성능을 살펴보았다. 실험에서 사용된 내용기반 필 터링 시스템은 확률에 기반한 베 이시 안(Bayesian) 분류기를 사용하였으며, 베이시안 분류기의 학습에 사용된 영상은 검출 성능 평가시 제외하였다. 베이시 안 분류기는 두 종류의 영상(유해영상, 비유해영상) 을 MPEG-7에서 정의하는 칼라히스토그램, 에지, 질 감정보를 이용하여 학습하여 유해영상을 검출하도 록 하였다.
이론/모형
수평 영사값(Projection Value)의 변화가 매우 크다. 따라서, 추출하고자 하는 부분영상과 프레임의 경계는 1차원의 영사값에 표준편차(Standard Deviation) 를 적용하여 구할 수 있는데, 삽입된 프레임이 복잡 한 형태일 수도 있다는 점을 고려하여 국부표준편차 (Local Standard Deviation)® 적용한다. 또한 삽입 된 프레임의 특성상 프레임이 외곽에 위치하기 때문 어}, 임계값과 계산된 국부표준편차의 비교 범위는 외곽으로부터 영상의 수직 .
성능/효과
본 논문에서는 영상 편집에 의한 내용기반 검색시스템의 성능저하를 실험을 통해 확인 및 분석하고검색 성능 향상을 위해 전처리 과정을 통하여 편집효과를 제거한다. 또한 편집효과를 고려한 내용기반 검 색시스템을 제안하여 기존의 내용기반 검색시스템의 성능을 향상시킬 수 있음을 확인하였다. 먼저, 본 논문의 2장에서는 내용기반 검색시스템에서 사용되는 대표적인 특징정보와 영상 편집에 의한 특징정보 들의 왜곡을 확인 및 분석을 하였다.
먼저, 글자가 삽입된 영상의 경우, 영상에 삽입 된 글자가 원본영상의 질감을 왜곡시키는 것을 확인할 수 있다. 영상에서 객체는 중앙에 위치하기 때문에 글자는 대부분 외곽에 삽입되며, 글자의 크 기나 형태는 다양하다.
(표 1)은 편집되지 않은 영상과 편집된 영상들에 대한 내용기반 필터링시스템의 성능을 보 여준다. 편집된 영상에 대한 검출률에서 볼 수 있듯 이, 글자가 삽입된 영상, 프레임이 삽입된 영상, 그리고 하나의 영상이 각기 다른 내용을 가지는 여러영상 으로 구성된 영상에 대해서는 편집되지 않은 영상보다 낮은 검출률을 보이는 것을 알 수 있다.
(표2)에서 볼 수있듯.이, , 공간영역에서"편집효과를 제거하여 재구성한 경우, 편집효과를 제거하기전과 비교해서 검출률이 향상되는 것을 확인할 수 있으며, 이러한 방법으로 영상의 편집효과를 효과적으로 제 거한다면 검색 및 필터링 시스템의 성능향상이 가능 함을 알 수 있다.
(표 3)은 전처리기에서의 편집효과 검출성능을 나타낸다. 실험결과에서 볼 수 있듯이 세 가지 편집효 과의 검출률이 84~89%을 나타낸다. 실험에서 검출 되지 않은 편집효과들은 삽입된 글자의 양이 적거나, 삽입된 프레임의 형태가 사각의 테두리가 아닌 복잡 한 형태인 경우였다.
실험결과에서 볼 수 있듯이 세 가지 편집효 과의 검출률이 84~89%을 나타낸다. 실험에서 검출 되지 않은 편집효과들은 삽입된 글자의 양이 적거나, 삽입된 프레임의 형태가 사각의 테두리가 아닌 복잡 한 형태인 경우였다. 여러영상으로 구성된 영상가운 데 잘 검출되지 않는 경우는 부분영상들의 경계가 불명확한 특징을 가지고 있었다.
(표 4)는 제안한 전처리 알고리즘이 적용된 유해 영상 필터링시스템의 성능 향상을 보여주고 있다. 필 터링 성능은 전처 리가 적용되지 않았을 때 보다 약 24% 정도 향상되는 것을 확인할 수 있다. 이는 시각 적으로 편집효과를 줄여주는 전처리 알고리즘이 내 용기반 검색시스템의 성능향상을 보장하는 것을 의미한다.
본 논문에서는 내용기반 검색시스템의 성능을 저 하시키는 영상 편집효과를 분석하였으며, 이러한 영 상편집효과들이 영상의 특징정보인 색상, 질감, 형태 등을 왜곡시켜 내용기반 검색시스템의 성능을 저증} 시키는 것을 확인하였다. 이러한 문제를 해결하기위 해, 영상의 편집효과를 검출하고 제거하는 전처리 알 고리즘과 제안된 전처리 알고리즘을 적용한 내용기반 영상 검색시스템을 제안하였으며, 내용기반 필터 링 시스템에 적용하여 제안한 시스템의 유용성을 확 인하였다. 그러나 복잡한 형태의 프레임이 삽입된 영 상에 대한 검출률을 개선하고 그림 속 그림 (Picture- in-Picture) 형태로 삽입된 영상과 삽입된 글자검출 에 대해 좀 더 정밀한 전처리 방법에 대한 연구가 필요하다.
후속연구
우로 1개의 직선이 검출되는 프레임과는 다 르게 1개 이상의 직선이 검출될 수 있고, 부분영상들 의 경계선의 길이가 짧다면 임계값을 이용한 판단여 부가 어려워진다. 따라서, 비슷한 칼라나 질감을 가지는 1개의 프레임을 제거하는 것보다 여러영상을 부분영상으로 분리하기 위해 좀더 복잡한 알고리즘 이 요구된다. 식 (4)는 수직 .
이러한 문제를 해결하기위 해, 영상의 편집효과를 검출하고 제거하는 전처리 알 고리즘과 제안된 전처리 알고리즘을 적용한 내용기반 영상 검색시스템을 제안하였으며, 내용기반 필터 링 시스템에 적용하여 제안한 시스템의 유용성을 확 인하였다. 그러나 복잡한 형태의 프레임이 삽입된 영 상에 대한 검출률을 개선하고 그림 속 그림 (Picture- in-Picture) 형태로 삽입된 영상과 삽입된 글자검출 에 대해 좀 더 정밀한 전처리 방법에 대한 연구가 필요하다. 또한, 대용량 영상 검색시스템에 적용하기 위해서는 연산량이 작은 전처리 알고리즘에 대한 연구가 요구된다.
그러나 복잡한 형태의 프레임이 삽입된 영 상에 대한 검출률을 개선하고 그림 속 그림 (Picture- in-Picture) 형태로 삽입된 영상과 삽입된 글자검출 에 대해 좀 더 정밀한 전처리 방법에 대한 연구가 필요하다. 또한, 대용량 영상 검색시스템에 적용하기 위해서는 연산량이 작은 전처리 알고리즘에 대한 연구가 요구된다.
이 논문을 인용한 문헌
활용도 분석정보
상세보기
다운로드
내보내기
활용도 Top5 논문
해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다. 더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.