$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

영화 비디오 자막 추출 및 추출된 자막 이미지 향상 방법
Methods for Video Caption Extraction and Extracted Caption Image Enhancement 원문보기

정보과학회논문지. Journal of KIISE. 소프트웨어 및 응용, v.29 no.4, 2002년, pp.235 - 247  

김소명 (LG전자 디지털 TV 연구소) ,  곽상신 (OrCom 주임 연구원) ,  최영우 (숙명여자대학교 정보과학부) ,  정규식 (숭실대학교 정보통신전자공학부)

초록
AI-Helper 아이콘AI-Helper

디지털 비디오 영상을 효과적으로 색인하고 검색하기 위해서 비디오의 내용을 함축적으로 표현하고 있는 비디오 자막을 추출하여 인식하는 연구가 필요하다. 본 논문에서는 압축되지 않은 비디오 영화 영상에 인위적으로 삽입한 한글 및 영어 자막을 대상으로 자막 영역을 추출하고, 추출된 자막 이미지를 향상시키는 방법을 제안한다. 제안한 방법의 특징은 동일한 내용의 자막을 갖는 프레임들의 위치를 자동으로 찾아서 동일 자막 프레임들을 다중 결합하여 배경에 포함되어 있는 잡영의 일부 또는 전부를 우선 제거한다. 또한, 이 결과 이미지에 해상도 중대, 히스토그램 평활화, 획 기반 이진화, 스무딩의 이미지 향상 방법을 단계적으로 적용하여 인식 가능한 수준의 이미지로 향상시킨다. 제안한 방법을 비디오 영상에 적용하여 동일한 내용의 자막 그룹 단위로 자막 이미지를 추출하는 것이 가능해졌으며, 잡영이 제거되고 복잡한 자소의 획이 보존된 자막 이미지를 추출할 수 있었다. 동일한 내용의 자막 프레임의 시작 및 글위치를 파악하는 것은 비디오 영상의 색인과 검색에 유용하게 활용될 수 있다. 한글 및 영어 비디오 영화 자막에 제안한 방법을 적용하여 향상된 문자 인식 결과를 얻었다.

Abstract AI-Helper 아이콘AI-Helper

For an efficient indexing and retrieval of digital video data, research on video caption extraction and recognition is required. This paper proposes methods for extracting artificial captions from video data and enhancing their image quality for an accurate Hangul and English character recognition. ...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 동일 자막 프레임들을 판단하는 것은 비디오의 자막을 추출하는 많은 연구들이 효과적인 정보 검색을 수행하기 위해서 반드시 필요한 과정이다. 따라서, 본 연구에서는 동일 자막 프레임들을 판단하는 방법을 제안하는 것에 중점을 두었다.
  • 또한, 비디오 영상에 포함되어 있는 한글 이미지와 같이 획이 쉽게 뭉쳐지는 것을 방지할 수 있는 이미지 개선 방법들도 제안하고자 한다.
  • 향후 연구 과제로는 실시간 처리가 가능하도록 이미지 처리 시간을 단축시키는 것과 인식 모듈을 자막 폰트의 종류, 스타일 등에 맞추어 최적화시키는 것이다. 또한, 이미지 및 동영상에 자연스럽게 포함되어 있는 장면 텍스트 정보를 추출하는 방법을 개발하는 것이다.
  • 이 방법을 사용하면 문자 획의 경계가 보다 선명하게 나타나지만, 이미지의 크기에 따라 처리 시간이 급격히 증가하는 단점이 있다. 본 논문에서는 비교적 처리 과정이 간단하고 처리시간이 빠른 선형 보간법을 이용하여 해상도를 증대시키며, 이 방법의 단점은 뒤에 적용되는 이미지 향상 과정들을 사용하여 보완하고자 한다.
  • 본 논문에서는 비디오 영상의 자막 이미지를 정확하게 인식하고 내용에 따른 인덱싱을 하기 위해서 동일한 내용의 자막을 갖는 프레임의 위치를 자동으로 찾는 방법을 제안하였다. 또한, 이 결과에 따라 다중 결합과 해상도 증대, 히스토그램 평활화, 획 기반 이진화 및 스무딩 방법을 각각 제안하여 이미지의 수준을 향상시켰다.
  • 본 논문에서는 위에서 지적한 문제점들을 개선하기 위해서 우선 동일한 내용의 자막 프레임들의 위치를 자동으로 판단하는 방법을 제안하고, 이 방법에 따라 프레임들을 그룹화 시킨 후 같은 그룹 내의 프레임들을 다중결합하여 그룹 단위로 배경 잡영이 제거된 자막 이미지를 만든다. 또한 한글의 복잡한 자소에서 쉽게 발생하는 획의 뭉침을 개선하기 위한 이미지 향상 방법들도 제안한다.
  • 본 연구에서는 위에서 살펴본 것과 같이 기존의 연구들에서 언급하지 않은 동일한 자막 프레임의 위치를 자동으로 판단하는 방법을 제안하여 내용 기반 비디오 색인과 잡영 제거를 위한 다중 결합에 도움을 주고자 한다. 또한, 비디오 영상에 포함되어 있는 한글 이미지와 같이 획이 쉽게 뭉쳐지는 것을 방지할 수 있는 이미지 개선 방법들도 제안하고자 한다.
  • 본 절에서는 자막 영역을 추출하는 방법과 동일한 자막 프레임들을 판단하는 방법을 기술한다.
  • 본 연구에서는 이미지질의 향상에 초점을 맞추었으며, 이 과정에서 소요되는 처리 시간은 현재 고려하지 않았다. 비디오 영상의 종류 및 특성에 따라 이미지 향상 방법들을 선택적으로 적용함으로서 처리 시간 문제를 추후에 해결하고자 한다.
  • 이 실험에 사용된 인식 모듈은 모두 자막 인식에 최적화되어 있지 않기 때문에 추후 인식 모듈의 개선으로 더욱 정확한 인식결과를 기대할 수 있다. 이 실험 결과는 단지 이미지 향상 과정의 필요성을 확인하기 위한 것이다.
  • 그러나 서로 다른 자막프레임에 동일한 라벨이 부여된 경우는 그림 7(b)와 같이 서로 다른 자막들이 겹쳐져서 문자의 획이 훼손되어 인식이 더욱 어려워진다. 이러한 문제점을 해결하기 위해서 본 논문에서는 서로 다른 내용의 자막이 결합되면 밝은 화소의 개수가 급격히 감소한다는 특징을 이용하여 다음과 같은 과정을 수행한다. 다중 결합된 자막 이미지에서 밝은 화소의 개수를 검사하여 그 값이 급격하게 감소되었다고 판단되면, 결합된 프레임들을 다시 한 프레임씩 결합하면서 설정된 자막 영역의 밝은 화소의 개수를 계속 검사한다.
본문요약 정보가 도움이 되었나요?

참고문헌 (19)

  1. Y. Shong, H. Shang, A. K. Jain, 'Automatic Caption Localization in Compressed Video,' IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 4, pp. 385-392, 2000 

  2. Y. K. Lim, S. H. Choi and S. W. Lee, 'Text Extraction in MPEG Compressed Video for Content-based Indexing', Proceedings of 15th International Conference of Pattern Recognition, Vol. 3, pp. 409-412, Spain, 2000 

  3. 곽상신, 김소명, 최영우, 정규식, '효율적인 비디오 자막 인식을 위한 영상 향상 방법', 제12회 영상처리 및 이해에 관한 워크샵 발표논문집, pp. 342-346, 2000 

  4. J.-C. Shim, C. Dorai and R. Bolle, 'Automatic Text Extraction from Video for Content-Based Annotation and Retrieval', Proceedings of 14th International Conference of Pattern Recognition, Vol. 1, pp. 618-620, Brisbane, 1998 

  5. H. Li and D. Doermann, 'Automatic Identification of Text in Digital Video Key Frames', Proceedings of 14th International Conference of Pattern Recognition, Vol. 1, pp. 129-132, Brisbane, 1998 

  6. Hae-Kwang Kim, 'Efficient Automatic Text Location Method and Content-Based Indexing and Structuring of Video Database', Journal of Visual Communication and Image Representation, Vol. 7, No. 1-4, pp.336-344, 1996 

  7. 이미숙, 방건, 임영규, 홍영기, 김두식, 이성환, '내용 기반 색인 및 검색을 위한 실시간 뉴스 비디오 파서의 설계 및 구현', 한국정보과학회 가을 학술발표논문집, Vol. 24, No.1, pp. 268-365, 1997 

  8. T. Sato,T. Kanade, E. K. Hughes and M. A. Smith, 'Video OCR for Digital News Archives,' IEEE Workshop on Content-Based Access of Image and Video Databases, pp. 52-60, India, 1998 

  9. H. Li, O. Kia and D. Doermann, 'Text Enhancement in Digital Video', Proceedings of SPIE Conference on Document Recognition and Retrieval VI, Vol. 3651, pp. 2-9, 1999 

  10. V. Wu, R. Manmatha and E. M. Riseman, 'Finding text in images', 2nd ACM International Conference on Digital Libraries, Philadelphia, pp. 3-12, 1997 

  11. 전병태, 배영래, 양영규, '다단계 특징 추출에 의한 일반화된 자막 영역 추출 방법', 제12회 영상처리 및 이해에 관한 워크샵 발표논문집, pp. 429-434, 2000 

  12. 전병태, 정세윤, 이재연, 배영래, '뉴스 아이콘 자막 및 내용 자막 추출', 한국정보과학회 가을 학술발표 논문집, Vol. 24, No.2, pp.127-130, 1997 

  13. Pyeong-Kee Kim, 'Automatic text location in complex color images using local color quantization,' Proceedings of the IEEE Region10 Conference, Vol. 1, pp. 625-632, 1999 

  14. 이성환, 시각장애인을 위한 착용형 컴퓨터 시각 기술의 현황 및 전망', 제13회 영상처리 및 이해에 관한 워크샵 발표논문집, pp. 3-8, 2001 

  15. Yu Zhong, Kalle Karu, Anil K. Jain, 'Locating text in complex color image,' Pattern Recognition, Vol. 28, No. 10, pp. 1523-1535, 1995 

  16. Anil K. Jain, Bin Yu, 'Automatic text location in images and video frames,' Pattern Recognition, Vol. 31, No. 12, pp. 2055-2076, 1998 

  17. R. Gonzalez and R. Woods, Digital Image Processing, Addison-Wesley, 1992 

  18. M. Kamel and A Zhao, 'Extraction of Binary Character/Graphics Images from Grayscale Document Images', Graphical Models and Image Processing, Vol. 55, No. 3, pp. 203-217, 1993 

  19. W. Niblack, An Introduction to Image Processing, Prentice Hall, 1986 

저자의 다른 논문 :

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로