선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 동영상 요약 및 검색 시스템을 구현했다. 크게 시스템은 서버 부분과 클라이언트 부분으로 나뉘는데 서버 부분은 정적 요약, 내용 정보 입력부와 이를 위해 선행되는 인덱싱 부분, 그리고 서버와 클라이언트를 연결하기 위한 데이터베이스로 구성된다.
- 위해서는 데이터베이스를 이용해야 한다. 본 논문에서는 이를 위해 관계형 데이터베이스로 데이터베이스를 구현하였다. 기본적으로 여러 장르를 하나의 데이터베이스로 관리하는 것이 특징이다.
- 본 시스템에서는 이러한 SequentialSumary를 적용하기 위하여 웹에서 XML로 작성된 SecmentialSummary를 볼 수 있도록 하였다. 즉, 동적 요약을 생성시킬 때마다 Sequential-Summary DS가 하나씩 생기는 것이다.
제안 방법
- 또한 전체 프레임 개수와 프레임당 추출 시간을 살펴 보면 전체 프레임 개수가 KeyFrame과 가까운 경우가 다른 경우보다 프레임당 추출 시간이 빠른 것을 알 수 있다 이와 같은 실험 결과를 통해 Format SDK를 이용해 프레임을 추출하는 경우에는 KeyFrame을 중심으로 해당 프레임을 찾아가기 때문에 프레임당 추출 시간이 KeyFrame만 추출하는 경우가 가장 빠르게 나온다는 것을 알 수 있었다. 그러므로 본 시스템에서는 전체 프레임에 알고리즘을 적용하지 않고 KeyFrame에만 알고리즘을 적용하여 성능을 높이는 방안을 고려하였다. 실험 결과 29분 45초의 같은 동영상 데이터에 대해 1분 15초 정도의 수행 시간에 비슷한 성능을 보였다.
- 나눌 수 있다. 기존의 시스템들 대부분이 검색이나 요약 중 하나의 기능만 제공하는 데 반해 본 논문의 시스템은 검색, 요약에 관한 기능을 같이 제공하여 사용자가 쉽게 자신의 의도대로 사용할 수 있도록 하였다. 그림 12는 뉴스에서의 검색 조건을 나타내는 그림이다.
- 본 논문에서는 목적 함수를 이용한 동영상 요약 알고리즘 W〕을 시스템에 적용시켰다. 목적 함수를 이용한 동영상 알고리즘이라는 것은 동영상 요약을 이루는 샷들이 가져야 하는 바람직한 특성들을 목적함수로 표현하고, 이런 목적함수를 이용하여 사용자가 정하는 가중치에 따라 가장 높은 샷들의 집합을 찾아내는 알고리즘이다.
- 한다. 본 논문에서는 이와 같은 과정을 위해 자동으로 동영상을 신과 샷으로 나누어주는 알고리즘을 이용하였는데 이 장에서는 이러한 자동 인덱싱 과정을 설명하도록 하겠다.
- 기존에 나온 신 경계 자동 인덱싱은 크게 비디오 데이터를 이용한 방법[5]과 오디오 데이터를 이용한 방법⑹, 비디오, 오디오 데이터를 같이 이용하는 방법⑺으로나눌 수 있다. 본 논문에서는 첫 번째 방법인 비디오 데이터를 이용한 방법을 이용하였다.
- 나타내는 그림이다. 본 논문의 시스템은 기존의 시스템과는 다르게 ASF 파일 형식의 특징을 이용하여 보다 빠른 샷 경계 검출 방법을 구현하였다 본 논문에서는 샷 경계를 판단하는 기준으로 인접한 프레임간의 밝기차 (Luminance Difference)를 이용하였다. 우선 인접한 두 프레임의 밝기 정보를 추출하고 히스토그램을 구한다.
- 그림 18은 동적 요약에 의해 나오는 SequentialSummary DS를 보여주는 그림이다. 본 시스템에서는 웹에서 MPEG-7에 따르는 문서를 보여주기 위해서 XSL을 이용한다. 즉, MPEG-7은 XML을 근간으로 형성된 문서이므로, 웹에서의 서비스는 XML의 스타일 문서인 XSL을 사용하여 사용자에게 제공된다.
- Title은 그 종류에 따라서 각각 뉴스, 드라마, 영화, 축구로 나뉘어 진다. 영화의 개봉날짜와 드라마의 방영날짜와 같이 비슷한 의미를 갖는내용들이 있지만 확장성과 좀 더 정확한 의미 부여를 위해서 각각의 테이블들은 통합되지 않고 독립된 테이블로 두었다. 따라서 Title의 종류가 정해지면 최하위 계층인 샷까지 계층적인 구조가 정해진다.
- 검색에 관한 질의는 어떤 동영상을 원한다는 형식의 질의문으로 앞에서 설명했던 서버측 데이터베이스를 검색하여 원하는 동영상을 찾게 된다. 요약에 관한 질의는 하나의 동영상에 대해 어떤 형태의 요약을 원한다는 형식의 질의로 사용자의 요구에 따라 다양한 형식의 요약이 가능하도록 요약 CGKCommon Gateway Interface) 를 통해 사용자의 입력을 받아들이도록 하였다.
- 본 논문의 시스템은 기존의 시스템과는 다르게 ASF 파일 형식의 특징을 이용하여 보다 빠른 샷 경계 검출 방법을 구현하였다 본 논문에서는 샷 경계를 판단하는 기준으로 인접한 프레임간의 밝기차 (Luminance Difference)를 이용하였다. 우선 인접한 두 프레임의 밝기 정보를 추출하고 히스토그램을 구한다. 본 논문에서는 히스토그램의 빈의 개수를 64개로 정하고 실험을 하였다 히스토그램을 비교하는데 이용한 방법은 Chi-Square 방법'E을 이용하였다.
- 웹 서비스를 위해서 사용한 웹 서버는 인터넷 정보 서비스(IIS)이며, 인터넷 정보 서비스에서 작동하는 ASP를 이용하여 웹 프로그래밍을 하였다.
- 알고리즘에서는 골 장면일 때 가장 높은 가중치를 주고 다음은 재연 장면 이전 샷. 확대 장면, 축소 장면 순으로 높은 가중치를 두어 골 장면과 재연 장면 이전 샷 위주로 요약을 만들게 하였다.
이론/모형
- 고급 수준 내용 정보 데이터베이스는 육하 원칙에 따라 구분하였다. 고급 수준 내용 정보를 입력하는 방법은 크게 세 가지 방법이 있을 수 있다 그림 11은 세 가지 방법을 비교하는 그림이다.
- 본 논문에서는 MPEG-7과의 연계를 위하여 MPEG-7내의 SequentialSummary DS를 이용하였다. SequentialSummary DS는 이미지나 오디오와 동기화된 비디오 프레임들의 요약을 기술하기 위해서 사용된다.
- 우선 인접한 두 프레임의 밝기 정보를 추출하고 히스토그램을 구한다. 본 논문에서는 히스토그램의 빈의 개수를 64개로 정하고 실험을 하였다 히스토그램을 비교하는데 이용한 방법은 Chi-Square 방법'E을 이용하였다. 실험 결과 본 논문의 알고리즘은Recall, Precision 모두 90% 정도 나오는 것을 알 수 있었다.
- 걸린다는 단점이 있다. 즉, n 개의 샷으로 구성된 동영상을 위해서는 각 샷에 대해 요약 파일에 첨가를 시킬 것인지 그렇지 않을 것인지를 결정하기 위해 2n번의 계산이 필요하기 때문에 전체 알고리즘을 수행하는 데 시간이 오래 걸리는 데 이를 해결하기 위해 Simulated Annealing (SA) 알* 고리즘 ]을 이용한다. 그림 4는 SA 알고리즘을 설명하는 그림이다.
성능/효과
- 모든 프레임을 디코딩하는 작업이 선행되어야 하고, 각 프레임마다 빈의 개수에 따라 히스토그램을 구해야 하고 각 히스토그램의 차이를 계산해야 하기 때문이다. 29분 45초의 동영상 데이터에 대해 샷 경계 자동 인덱싱 알고리즘을 적용한 결과 약 9분 정도의 수행 시간이 걸렸다.
- 구현했다. 기존의 여러 시스템과는 다르게 검색과 요약에 관한 기능을 한 시스템 내에서 가능하도록 하였고, 현재 인터넷에서 많이 쓰이는 ASF 파일 형식을 이용함으로 해서 현재 실제로 사용될 수 있는 시스템을 구성하였으며 ASF 파일 형식의 특징을 이용하여 샷 자동 경계 검출 방법의 속도를 크게 향상시켰다.
- - 만 추출하는 경우가 다른 경우보다 프레임당 디코딩 시간이 빠른 것을 알 수 있다. 또한 전체 프레임 개수와 프레임당 추출 시간을 살펴 보면 전체 프레임 개수가 KeyFrame과 가까운 경우가 다른 경우보다 프레임당 추출 시간이 빠른 것을 알 수 있다 이와 같은 실험 결과를 통해 Format SDK를 이용해 프레임을 추출하는 경우에는 KeyFrame을 중심으로 해당 프레임을 찾아가기 때문에 프레임당 추출 시간이 KeyFrame만 추출하는 경우가 가장 빠르게 나온다는 것을 알 수 있었다. 그러므로 본 시스템에서는 전체 프레임에 알고리즘을 적용하지 않고 KeyFrame에만 알고리즘을 적용하여 성능을 높이는 방안을 고려하였다.
- 본 논문에서 구현한 시스템을 이용하여 인터넷 서비스에서 동영상에 대한 검색/요약 기능을 제공함으로써 적절하게 사용자의 요구를 만족시키는 기능을 제공해 줄 수 있다. 또한 본 논문에서 개발되는 다양한 기술들을 이용하여 보다 효율적으로 멀티미디어 데이터를 저장, 관리할 33수 있을 것이다.
- 본 논문에서는 히스토그램의 빈의 개수를 64개로 정하고 실험을 하였다 히스토그램을 비교하는데 이용한 방법은 Chi-Square 방법'E을 이용하였다. 실험 결과 본 논문의 알고리즘은Recall, Precision 모두 90% 정도 나오는 것을 알 수 있었다.
후속연구
- 있다. 또한 본 논문에서 개발되는 다양한 기술들을 이용하여 보다 효율적으로 멀티미디어 데이터를 저장, 관리할 33수 있을 것이다. 앞으로는 각 장르에 알맞은 인덱싱 알고리즘.
- 본 논문에서 구현한 동영상 요약 및 검색 시스템은 동영상 데이터를 효율적으로 관리/검색할 수 있는 기능 및 동영상을 원하는 목적에 맞추어서 손쉽게 편집/요약할 수 있는 기능을 제공할 수 있기 때문에 동영상에 대한 편집/관리 업무에 대한 시간적, 경제적 효율성을 극대화 할 수 있을 것이다. 또한 사용자에게도 동영상에 대한 요약 기능을 제공함으로써 단시간 내에 동영상의 내용을 알아볼 수 있어 다양한 요구를 만족시키는 기능을 제공해줄 수 있을 것이다.
- 클라이언트 부분은 검색을 위한 부분과 동적 요약을 위한 부분으로 구성된다. 본 논문에서 구현한 동영상 요약 및 검색 시스템은 동영상 데이터를 효율적으로 관리/검색할 수 있는 기능 및 동영상을 원하는 목적에 맞추어서 손쉽게 편집/요약할 수 있는 기능을 제공할 수 있기 때문에 동영상에 대한 편집/관리 업무에 대한 시간적, 경제적 효율성을 극대화 할 수 있을 것이다. 또한 사용자에게도 동영상에 대한 요약 기능을 제공함으로써 단시간 내에 동영상의 내용을 알아볼 수 있어 다양한 요구를 만족시키는 기능을 제공해줄 수 있을 것이다.
- 앞으로는 각 장르에 알맞은 인덱싱 알고리즘. 요약 알고리즘을 개발하여 보다 견고한 동영상 요약 및 검색 시스템을 구축하도록 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.