초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문에서는 비디오 자막 이미지를 인식하기 위해 필요한 영상 향상의 단계로서 다중 결합을 적용한다. 또한 다중 결합을 위한 동일한 자막의 판단 및 결합된 결과를 재평가하기 위한 방법을 제안한다. 입력된 칼라 이미지로부터 RLS(Run Length Smearing)가 적용된 에지 이미지를 얻고, 수직 및 수평 히스토그램 분포를 이용하여 자막과 자막 영역에 대한 정보를 추출한다. 프레임 내의 자막 영역의 중첩 정도를 이용하여 동일 자막을 판단하고, 동일한 자막을 갖는 프레임들끼리 다중 결합을 수행함으로써 향상된 이미지를 얻는다. 끝으로 결합된 영상에 대한 평가를 수행하여 잘못 결합된 이미지들로 인한 오류를 해결하고 재평가한다. 제안한 방법을 통해, 배경 부분의 잡영이 완화된 자막 이미지를 추출하여 인식의 정확성과 신뢰성을 높일 수 있었다. 또한 동일한 자막의 시작 프레임과 끝 프레임의 위치 파악은 디지털 비디오의 색인 및 검색에 효과적으로 이용될 수 있을 것이다.

본 논문에서는 비디오 자막 이미지를 인식하기 위해 필요한 영상 향상의 단계로서 다중 결합을 적용한다. 또한 다중 결합을 위한 동일한 자막의 판단 및 결합된 결과를 재평가하기 위한 방법을 제안한다. 입력된 칼라 이미지로부터 RLS(Run Length Smearing)가 적용된 에지 이미지를 얻고, 수직 및 수평 히스토그램 분포를 이용하여 자막과 자막 영역에 대한 정보를 추출한다. 프레임 내의 자막 영역의 중첩 정도를 이용하여 동일 자막을 판단하고, 동일한 자막을 갖는 프레임들끼리 다중 결합을 수행함으로써 향상된 이미지를 얻는다. 끝으로 결합된 영상에 대한 평가를 수행하여 잘못 결합된 이미지들로 인한 오류를 해결하고 재평가한다. 제안한 방법을 통해, 배경 부분의 잡영이 완화된 자막 이미지를 추출하여 인식의 정확성과 신뢰성을 높일 수 있었다. 또한 동일한 자막의 시작 프레임과 끝 프레임의 위치 파악은 디지털 비디오의 색인 및 검색에 효과적으로 이용될 수 있을 것이다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 논문에서는 다중 결합을 이용한 이미지 향상에 필요한 동일 자막 프레임을 판별하고, 결합 결과를 재평가하는 방법을 제안하였다. 제안된 방법을 적용하여, 동일한 자막 프레임이면서 추출 영역이 일정치 않은 경우라도 동일한 자막들을 판정해낼 수 있었다.
• 비디오 영상에서 동일한 자막은 연속적인 프레임들의 동일한 위치에 나타나며, 자막의 크기나 명도값, 폰트에 있어서 유사한 정보를 갖는다. 본 논문에서는 이러한 특징을 이용하여, 자막 영역의 중첩 정도를 계산하여 동일 자막 프레임을 판단한다. 동일 자막 프레임들간의 다중 결합을 통해 배경 부분을 제거하여 향상된 이미지를 추출한다.
• 본 논문에서는 자막 영역을 추출하기 위해서 칼라 이미지를 명도 이미지로 변환하여 에지 이미지를 얻는다. 에지 이미지로부터 자막 영역을 강조하기 위해서 수평 및 수직 방향으로 RLS를 적용한다.
• 그러나, [1]의 연구에서는 다중 영상의 AND 결합을 적용하기 전에 동일한 자막을 갖는 프레임 판별이 이루어졌다는 가정 하에 연구가 수행되었다. 본 논문은 다중 결합을 이용한 이미지 향상에 필요한 동일한 자막의 판단 및 결합된 결과를 평가하여 오류를 수정하고 재평가하는 과정을 수행한다. 자막 이미지 향상을 위해 본 연구에서는 그림 1에 서와 같이 두 단계의 이미지 향상 방법을 적용하였다, 1단계 향상에 관한 연구는 본 논문에서 수행된다.

제안 방법

• 에지 이미지로부터 자막 영역을 강조하기 위해서 수평 및 수직 방향으로 RLS를 적용한다. RLS가 적용된 에지 이미지로부터 수직 및, 수평 히스토그램 분포를 분석하여 에지 밀도가 조밀한 영역을 자막 후보 영역으로 찾아낸다. 추출된 후보 영역이 정확한 자막 영역인가를 검증하기 위해서, 본 논문에서는 비디오 자막의 사전 위치 정보와 에지 밀도를 이용한다.
• 본 논문에서는 이러한 특징을 이용하여, 자막 영역의 중첩 정도를 계산하여 동일 자막 프레임을 판단한다. 동일 자막 프레임들간의 다중 결합을 통해 배경 부분을 제거하여 향상된 이미지를 추출한다.
• 자막 추출 과정에서 하나의 자막이 수직으로 분할되어 나타나는 경우가 발생한다. 본 연구에서는 비디오 자막한을 대상으로 하기 때문에, 수평으로 인접한 영역들이 같은 높이에서 존재하면 두 영역의 결합을 시도한다. 영역의 결합 조건은 참고문헌[4]를 참조하여 결정하였다.
• 비교 프레임 결정을 위해서, 자막이 추출된 두 프레임 사이에 자막이 추출되지 않은 프레임의 개수를 파악한다. 파악된 개수는 두 프레임으로부터 추출된 자막이 서로 동일할 가능성이 있는지를 결정하는 기준으로 사용된다.
• 밝은 화소의 갯수가 급격히 변하는 시점을 새로운 자막의 시작 프레임으로 설정한다. 설정된 시작 프레임을 기준으로 두그룹으로 나누어 각각 다중 결합을 수행한 후 재평가한다.
• 실험 환경은 Pentimum HI 600MHz PC로 Visual C++ 6.0을 이용하여 제안한 방법들을 구현하였다. 실험에 사용된 영상 데이터 는 일반 영화 비디오 30 frame/sece: 8/ham必ec로 샘플링하여, 크기 640 X 480 해상도의 AVI 포맷으로 변환하여 사용하였다.
• 본 논문에서는 자막 영역을 추출하기 위해서 칼라 이미지를 명도 이미지로 변환하여 에지 이미지를 얻는다. 에지 이미지로부터 자막 영역을 강조하기 위해서 수평 및 수직 방향으로 RLS를 적용한다. RLS가 적용된 에지 이미지로부터 수직 및, 수평 히스토그램 분포를 분석하여 에지 밀도가 조밀한 영역을 자막 후보 영역으로 찾아낸다.
• 본 논문은 다중 결합을 이용한 이미지 향상에 필요한 동일한 자막의 판단 및 결합된 결과를 평가하여 오류를 수정하고 재평가하는 과정을 수행한다. 자막 이미지 향상을 위해 본 연구에서는 그림 1에 서와 같이 두 단계의 이미지 향상 방법을 적용하였다, 1단계 향상에 관한 연구는 본 논문에서 수행된다. 2단계의 연구는 저자들의 이전 연구인 참고문헌[1]을 참고바랍니다.
• RLS가 적용된 에지 이미지로부터 수직 및, 수평 히스토그램 분포를 분석하여 에지 밀도가 조밀한 영역을 자막 후보 영역으로 찾아낸다. 추출된 후보 영역이 정확한 자막 영역인가를 검증하기 위해서, 본 논문에서는 비디오 자막의 사전 위치 정보와 에지 밀도를 이용한다.

대상 데이터

• 0을 이용하여 제안한 방법들을 구현하였다. 실험에 사용된 영상 데이터 는 일반 영화 비디오 30 frame/sece: 8/ham必ec로 샘플링하여, 크기 640 X 480 해상도의 AVI 포맷으로 변환하여 사용하였다. 표 1은 동일 자막 판별을 위한 실험 결과 데이타이다.

이론/모형

• 본 연구에서는 비디오 자막한을 대상으로 하기 때문에, 수평으로 인접한 영역들이 같은 높이에서 존재하면 두 영역의 결합을 시도한다. 영역의 결합 조건은 참고문헌[4]를 참조하여 결정하였다. 그림 2는 자막 영역 추출을 위해 제안된 방법을 수행하는 과정에서 생성된 이미지들을 보여준다.

성능/효과

• 제안된 방법을 적용하여, 동일한 자막 프레임이면서 추출 영역이 일정치 않은 경우라도 동일한 자막들을 판정해낼 수 있었다. 또한 동일 자막 프레임들의 다중 결합을 통해 자막 이미지들이 가지고 있던 복잡한 배경들이 제거되는 결과를 얻을 수 있었다. 동일자막들의 처음과 끝 프레임의 위치를 판정함으로써 비디오 검색 및 색인을 위해 활용될 수 있을 것이다.
• 본 논문에서는 다중 결합을 이용한 이미지 향상에 필요한 동일 자막 프레임을 판별하고, 결합 결과를 재평가하는 방법을 제안하였다. 제안된 방법을 적용하여, 동일한 자막 프레임이면서 추출 영역이 일정치 않은 경우라도 동일한 자막들을 판정해낼 수 있었다. 또한 동일 자막 프레임들의 다중 결합을 통해 자막 이미지들이 가지고 있던 복잡한 배경들이 제거되는 결과를 얻을 수 있었다.
• 표 2에서 문제가 되는 IV와 V의 경우를 수정하기 위해 서로 다룬 자막 프레임을 분류하는 작업을 수행하면 그림 6, 7과 같이 분류되어 각각 다중 결합된다. 한글영상 1과 영어영상은 IV와 V 에 해당하는 자막들 모두가 성공적으로 분류되었고, 한글영상 2는 IV와 V에 해당하는 자막들 중 단 한 개를 제외하고는 모두 성공적으로 분류되었다. 그리고, 영어 자막에서 동일한 자막 프레임들인데도 불구하고 배경의 급격한 변화로 인해, 두 그룹으로 나뉘는 잘못된 경우가 한 번 발생하였다.

후속연구

• 또한 동일 자막 프레임들의 다중 결합을 통해 자막 이미지들이 가지고 있던 복잡한 배경들이 제거되는 결과를 얻을 수 있었다. 동일자막들의 처음과 끝 프레임의 위치를 판정함으로써 비디오 검색 및 색인을 위해 활용될 수 있을 것이다. 향후 연구 과제로는 하나의 자막이 분리 추출된 경우에 자막 영역을 결합하는 방법을 보완하고 추출된 자막 이미지의 인식 실험을 통해 제안한 방법의 성능을 평가하는 것이다.
• 향후 연구 과제로는 하나의 자막이 분리 추출된 경우에 자막 영역을 결합하는 방법을 보완하고 추출된 자막 이미지의 인식 실험을 통해 제안한 방법의 성능을 평가하는 것이다. 또한 제안한 방법을 다양한 종류의 영상들에 대해서도 적용할 수 있도록 일반화하는 연구가 필요하다.
• 동일자막들의 처음과 끝 프레임의 위치를 판정함으로써 비디오 검색 및 색인을 위해 활용될 수 있을 것이다. 향후 연구 과제로는 하나의 자막이 분리 추출된 경우에 자막 영역을 결합하는 방법을 보완하고 추출된 자막 이미지의 인식 실험을 통해 제안한 방법의 성능을 평가하는 것이다. 또한 제안한 방법을 다양한 종류의 영상들에 대해서도 적용할 수 있도록 일반화하는 연구가 필요하다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기