선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 자연 이미지에 포함되어 있는 텍스트 를 추출하기 위해 3가지의 텍스트 추출 방법을 제안하였다. 제안한 3가지의 알고리즘은 단순한 이미지와 복잡 HAM 실험 결과 이미지 [이 실험 결과 이미지한 이미지 모두에서 상당히 정확하게 텍스트를 추출함 을 보였다.
제안 방법
- 본 논문에서는 명도 정보를 이용한 장면 텍스트 추출에 관한 연고를 주 대상으로 한다. 기존의 명도 정보를 이용한 장면 텍스트 추출 의 단점으로는 복잡한 배경 영상에서의 텍스트 추출률 이 많이 낮다는 점을 들 수 있는데, 이에 본 논문에서는 3가지의 장면 텍스트 추출 방법을 제안하여 명도 정보를 이용한 장면 텍스트 추출의 단점을 개선하였다. 첫 번째 제안한 방법은 그레이 값 스트레칭과 전체 '이미지 그레이 값의 평균값을 이용한 이치화로 복잡한 배경 영 상에서의 불필요한 부분의 제거에 의한 장면 텍스트 영역 추출이며, 두 번째 제안한 방법은 이미지 세그멘테이 션 방법 중의 하나로 널리 사용되고 있는 분할(Split)/ 합병 (Merge) 방법을 적용한 장면 텍스트 추출 방법이다.
- 전처 리로는 입력 이미지로 들어온 컬러 영상의 R -G -B 값 3바이트 영상(24비트 자연 색상)을 각 바이트(R -G-B) 의 낮은 6비트를 제거하게 되면, 64 컬러를 갖는 군집화 된(Chistering) 영상으로 바뀌게 된다. 다시 이 영상을 가지고 비슷한 컬러를 갖는 영역끼리 합병 한 후에 남 아 있는 영역에서 텍스트 영역을 추출하였다. 장인영[71 등은 입력 이미지로 컬러 정지 영상(자연색)을 사용하였다.
- 이때 이미지의 가로와 세로 길이에 비해 너무 큰 크기를 갖거나 작은 크기를 갖는 외곽 사각형 들은 텍스트 후보 영역에서 제외하게 되며, 제외되고 남 은 영역들은 텍스트 후보 영역으로 추출을 하게 된다. 다음으로는 문자 단위의 텍스트 후보 영역을 가지고 워 드 단위의 텍스트 후보 영역을 만들기 위해서 외각 사 각형 사이의 거리 및 외곽 사각형들의 포함 관계를 이용하여 워드 단위로 외각 사각형을 추출한다. 그림 4는 워드 단위로 추출된 텍스트 영역 이미지를 보여주고 있다.
- 전처리는 컬러 히스토그램을 계산한 후에 비슷한 컬러 영역별로 분할/ 합병 알고리즘을 적용하였다. 또한 전처리 부분에서 지 워져 버린 텍스트 영역을 복원한 후에 텍스트 영역을 추출하는 방법을 제안하였다. Choi[6] 등은 입력 이미지 로 컬러 정지 영상을 사용하였다.
- 이러한 점을 보완하기 위해 고주파 통과 필터를 적용하여 고주파 성분과 저주파 성분이 구별 될 수 있게 하였 다(그림 2
- 이렇게 분할된 이미지 영역들의 크기가 원본 이미지의 가로와 세로 길이에 비해 너무 큰 크기를 갖거나 작은 크기를 갖게 되면 비텍스트 영역으로 간주하고 지우게 된다. 이렇게 지우고 난 이미지를 이진화 및 채움 연산을 수행하고 연결영역 평균분석 (Connected Region Mean Analysis)과 영역채 움요소분석 (Region Fill Factor Analysis) 연산을 수행 하고 난 후에, 텍스트 영역 추출을 하게 된다.
- 전처리 후의 이미지에 대해서 전체 픽셀에 대한 평균 값을 구한 후에 평균값을 기준으로 이진화를 수행하고 텍스트 영역 주변에 존재하는 긴 선 제거 및 잡영 제거 를 수행 한 후에 텍스트 영역에 대한 후보 영역 추출 과정을 통해 워드 단위로 텍스트 영역을 추출한다.
- Zhong[5] 등은 입력 이미지로 그레이 정지 이미지를 사용하였다. 전처리는 IxN 크기를 갖는 윈도 우를 사용하여 지역 공간적 변화 값을 계산한다. 텍스트 '영역은 명도 값의 공간적 변화가 큰데 전처리 단계에서 구해진 특징 값을 이용하여 수평 방향의 분산 이미지를 구하는 방법을 제안하였다.
- JainU] 등은 입력 이미지로 정지 영상, 웹 이 미지, 동영상을 사용하였다. 전처리는 다중 값(Multivalued) 이미지 분해에 의한 9단계의 지역적 편차 이미 지를 구하게 되며, BAG 알고리즘과 연결 요소 분석을 통한 텍스트 영역을 추출하였다. Hoya[2] 등은 입력 이 미지로 그레이 정지 영상을 사용하였다.
- Lienhart[3] 등은 입력 이미지로 동영상 프레임을 입력 이미지로 사용하였다. 전처리는 분할/병합 알고리즘올 적용하였으며, 블록 매칭과 대비(Contrast)분석올 이용한 텍스트 영역을 추 출하였다. Messelodi[4] 등은 입력 이미지로 이진 정지 영상, 그레이 정지 영상을 사용하였다.
- Messelodi[4] 등은 입력 이미지로 이진 정지 영상, 그레이 정지 영상을 사용하였다. 전처리는 지형적 특징, 지역적 대비 특징 및 필터들을 사용하였다. 추출 되어진 텍스트 영역 각각의 중심점과 투영된 프로파일 을 이용하여 텍스트의 기울기를 추정하는 방법 등을 제 안하였다.
- Gu[8] 등은 입력 이미지로 컬러 정지 영상(자연색) 을 사용하였다. 전처리는 컬러 이미지를 그레이 이미지 로 변환 후에 미분 탑 햇츠(Differential Top-hats)근}는 모폴로지 분할 알고리즘과 방향성 필터 (Directional Filter)를 사용하여 텍스트 영역과 잡영 영역을 분리하는 방법을 적용하여 텍스트를 영역을 추출하였다.
- Choi[6] 등은 입력 이미지로 컬러 정지 영상을 사용하였다. 전처리는 컬러 이미지를 그레이 이미지로 변환 한 후, Median 필터와 Canny 에지 필터를 적용하여 텍스트 후보 영역을 찾은 후, 긴 선 제거 및 모폴로지 연산을 적용한 후에 텍스트 영역 후보를 추출하였다.
- Choi[6] 등은 입력 이미지 로 컬러 정지 영상을 사용하였다. 전처리로는 17x1 수 직 윈도우 및 1x21 수평 윈도우를 사용하여 수직 및 수 평 방향의 컬러 변화(Variation) 영상 2개를 구한 후에, 2개의 이미지를 논리 곱 연산 및 모폴로지 연산을 수행 한 후에 텍스트 영역을 추출하였다. 제안한 다른 방법으 로는 입력 이미지로 컬러 정지 영상을 사용하였다.
- 제안한 HAM시스템에서는 GIA와 SMA시스템이 개 별적으로 텍스트 추출을 수행하고, 각각 .추출된 결과에 대해서 OR 연산을 수행하여 장면 텍스트 영역을 추출 한다.
- 기존의 명도 정보를 이용한 장면 텍스트 추출 의 단점으로는 복잡한 배경 영상에서의 텍스트 추출률 이 많이 낮다는 점을 들 수 있는데, 이에 본 논문에서는 3가지의 장면 텍스트 추출 방법을 제안하여 명도 정보를 이용한 장면 텍스트 추출의 단점을 개선하였다. 첫 번째 제안한 방법은 그레이 값 스트레칭과 전체 '이미지 그레이 값의 평균값을 이용한 이치화로 복잡한 배경 영 상에서의 불필요한 부분의 제거에 의한 장면 텍스트 영역 추출이며, 두 번째 제안한 방법은 이미지 세그멘테이 션 방법 중의 하나로 널리 사용되고 있는 분할(Split)/ 합병 (Merge) 방법을 적용한 장면 텍스트 추출 방법이다. 마지막 세 번째 방법으로는 위의 2가지 모델을 조합 한 방법이다.
- 전처리는 지형적 특징, 지역적 대비 특징 및 필터들을 사용하였다. 추출 되어진 텍스트 영역 각각의 중심점과 투영된 프로파일 을 이용하여 텍스트의 기울기를 추정하는 방법 등을 제 안하였다. Zhong[5] 등은 입력 이미지로 그레이 정지 이미지를 사용하였다.
- 제안한 HAM시스템에서는 GIA와 SMA시스템이 개 별적으로 텍스트 추출을 수행하고, 각각 .추출된 결과에 대해서 OR 연산을 수행하여 장면 텍스트 영역을 추출 한다. 그림 17은 HAM시스템에 의해 추출된 텍스트 추 출 결과들을 보여준다.
- 전처리는 IxN 크기를 갖는 윈도 우를 사용하여 지역 공간적 변화 값을 계산한다. 텍스트 '영역은 명도 값의 공간적 변화가 큰데 전처리 단계에서 구해진 특징 값을 이용하여 수평 방향의 분산 이미지를 구하는 방법을 제안하였다. 이 방법은 수직 방향의 분산 이미지를 구하지 못하는 점 때문에 세로 방향의 문자열 은 찾지 못하는 단점이 존재하였다.
- 남아 있는 텍스트 후보 영역에서 텍스트 영역과 배경의 분리 는 2가지 경우로 생각하였다. 텍스트가 배경보다 더 밝 은 명도를 갖는 경우와 배경이 텍스트 보다 더 밝은 명 도를 갖는 경우로 나누었다. 다음은 본 논문에서 사용한 알고리즘을 설명한다.
대상 데이터
- 장면 텍스트 추출에 관한 연구는 크게 명도 정보를 이용한 텍스트 추출 연구와 색 정보를 이용한 텍스트 추출 연구로 분류할 수 있다. 본 논문에서는 명도 정보를 이용한 장면 텍스트 추출에 관한 연고를 주 대상으로 한다. 기존의 명도 정보를 이용한 장면 텍스트 추출 의 단점으로는 복잡한 배경 영상에서의 텍스트 추출률 이 많이 낮다는 점을 들 수 있는데, 이에 본 논문에서는 3가지의 장면 텍스트 추출 방법을 제안하여 명도 정보를 이용한 장면 텍스트 추출의 단점을 개선하였다.
- 0 환경에서 실험을 수행하였다. 입 력된 이미지의 크기는 제한을 두지 않았으며, 취득한 이 미지들은 단순한 영상과 복잡한 배경을 갖는 다양한 영 상들을 실험에 사용하였다.
- 장면 텍스트 추출 실험에 사용한 이미지는 학교, 병 원, 지하철역, 도로 간판, 상가 간판 및 현수막 등의 실 내외에서 취득한 120개의 자연 이미지와 2003 ICDAR Contest Test용 이미지 251개 총 3기개 이미지를 대상으로 Visual C++ 6.0 환경에서 실험을 수행하였다. 입 력된 이미지의 크기는 제한을 두지 않았으며, 취득한 이 미지들은 단순한 영상과 복잡한 배경을 갖는 다양한 영 상들을 실험에 사용하였다.
- 전처리로는 17x1 수 직 윈도우 및 1x21 수평 윈도우를 사용하여 수직 및 수 평 방향의 컬러 변화(Variation) 영상 2개를 구한 후에, 2개의 이미지를 논리 곱 연산 및 모폴로지 연산을 수행 한 후에 텍스트 영역을 추출하였다. 제안한 다른 방법으 로는 입력 이미지로 컬러 정지 영상을 사용하였다. 전처 리로는 입력 이미지로 들어온 컬러 영상의 R -G -B 값 3바이트 영상(24비트 자연 색상)을 각 바이트(R -G-B) 의 낮은 6비트를 제거하게 되면, 64 컬러를 갖는 군집화 된(Chistering) 영상으로 바뀌게 된다.
이론/모형
- CRMA 방법은 앞서 구 해진 이미지에 Blob Coloring[1 이을 수행하여 각각 독 립된 영역을 구한 후, 각 영역들의 평균값을 구하여 비슷한 평균값이 가로 방향이나 세로 방향으로 일직선상 에 임계값 이상 놓여 있으면 일차 텍스트 영역 후보로 지정한다. 독립된 각 영역의 평균값을 구하는데 사용된 이미지는 합병 연산 직후에 구해진 그레이 값을 사용하 였는데, 그 이유는 합병 연산 후에 나온 이미지가 비슷한 영역별로 가장 잘 분할되어 있기 때문이다, 2차 텍스 트 후보 영역 검증에서는 RFFA 방법을 사용하였다. RFFA 방법은 CRMA 방법을 거친 1차 텍스트 후보 영 역들의 최외곽사각형(Boundary Box)을 구한 후에 최외 곽사각형 내에 검정색(픽셀값 0)과 하얀색(픽셀값 255) 의 비율이 임계값 미만일 경우는 텍스트 후보 영역에서 제외한다.
- Zhong[5] 등은 입력 이미지로 컬러 정지 영상(자연색)을 사용하였다. 전처리는 컬러 히스토그램을 계산한 후에 비슷한 컬러 영역별로 분할/ 합병 알고리즘을 적용하였다. 또한 전처리 부분에서 지 워져 버린 텍스트 영역을 복원한 후에 텍스트 영역을 추출하는 방법을 제안하였다.
성능/효과
- 2개 시스템의 문제점을 보안하기 위해 HAM에 의한 장면 텍스트 추출을 시도한 결과 상호 보완적인 장면 텍스트 추출 결과를 얻을 수 있었다. 그림 16은 HAM 에 대한 전체 구성도를 나타낸다.
- False 개수에 서는 HAM 시스템은 254개를 보였으나 [6]시스템에서는 450개의 성능을 보였다. False의 개수는 텍스트 영역 이 아닌 영역을 텍스트로 잘못 추출한 경우의 수를 의 미하는데, 이 부분에서도 HAM 시스템이 [6]시스템 보다 더 좋은 성능을 보여줬다. 표 1, 2는 문자 단위 텍스 트 영역 추출 결과를 보여준다.
- 그림 18은 동일한 영상에 대해서 GIA, SMA 그리고 HAM 방법에 의한 추출 결과를 보여준다. 결과에서 보면 제안한 3가지 방법 중에서 HAM 방법이 가장 우수한 추출 결과를 보여주고 있다.
- 두 가지 종류의 데이타를 사용한 실험결과를 통해서 단순한 이미지, 복잡한 이미지 모두에서 제안한 방법이 좀더 정확한 텍스트 추출이 가능함을 알 수가 있었다. 그러나 실험에서도 알 수 있듯이 2개 시스템을 결합한 HAMe 텍스트 추출률이 더 올라갔지만, 이와 반대로 비 텍스트 영역을 텍스트 영역으로 추출하는 False의 개수가 증가함을 알 수가 있다. 마찬가지로 참고문헌 [6]에서 개발한 장면 텍스트 추출 시스템에서도 이와 유사한 점을 보였다.
- 두 가지 종류의 데이타를 사용한 실험결과를 통해서 단순한 이미지, 복잡한 이미지 모두에서 제안한 방법이 좀더 정확한 텍스트 추출이 가능함을 알 수가 있었다. 그러나 실험에서도 알 수 있듯이 2개 시스템을 결합한 HAMe 텍스트 추출률이 더 올라갔지만, 이와 반대로 비 텍스트 영역을 텍스트 영역으로 추출하는 False의 개수가 증가함을 알 수가 있다.
- 표 1은 자연 이미지 120개에 대한 3가지 제안 방법의 성능을 보여준다. 실험 결과에서 보면 제안한 3가지 방법 중에서 HAM 방법이 GIA와 SMA에 방법보다 더 우수한 결과를 보여줌을 알 수가 있다. 표 2는 제안한 방법 중에서 가장 우수한 성능을 보여준 HAM 방법과 동일한 데이타에 대한 참고문헌 [6]시스템의 성능을 보 여준다.
- 마찬가지로 참고문헌 [6]에서 개발한 장면 텍스트 추출 시스템에서도 이와 유사한 점을 보였다. 이 시스템은 명암정보, 색 연속성, 색 분산 3가지 연산을 수행하여 한 개의 결과 값으로 결합 을 하기 때문에 비교적 단순한 영상에서는 비 텍스트 영역이 나타나지 않았으나 배경이 복잡한 영상에서는 비 텍스트 영역이 텍스트 영역의 2배 이상 나타나는 것을 알 수가 있었다. 그림 19는 HAM에 의해서 추출한 실험 영상 결과와 참고문헌 [61에서 개발한 시스템의 결과를 보여주고 있다.
- 본 논문에서는 자연 이미지에 포함되어 있는 텍스트 를 추출하기 위해 3가지의 텍스트 추출 방법을 제안하였다. 제안한 3가지의 알고리즘은 단순한 이미지와 복잡 HAM 실험 결과 이미지 [이 실험 결과 이미지한 이미지 모두에서 상당히 정확하게 텍스트를 추출함 을 보였다. 이러한 연구 결과는 앞으로 시각 장애인 보 행 보조 시스템, 로봇 자동 주행 시스템' 비디오 자동 검색 및 색인 시스템, 텍스트 자동 번역 시스템, 이미지 와 함께 포함되어 전송되는 스팸 메일 필터 등과 같은 다양한 분야에서 널리 활용될 수 있다.
- 표 2는 제안한 방법 중에서 가장 우수한 성능을 보여준 HAM 방법과 동일한 데이타에 대한 참고문헌 [6]시스템의 성능을 보 여준다. 표 2에서 두 시스템의 결과를 비교해보면 True 개수에서 HAM 시스템은 923개이고, [6]시스템은 866개의 성능을 보였다. Erroi■개수에서도 HAMe 88개 이고, [6]시스템은 130개의 성능올 보였다.
후속연구
- 제안한 3가지의 알고리즘은 단순한 이미지와 복잡 HAM 실험 결과 이미지 [이 실험 결과 이미지한 이미지 모두에서 상당히 정확하게 텍스트를 추출함 을 보였다. 이러한 연구 결과는 앞으로 시각 장애인 보 행 보조 시스템, 로봇 자동 주행 시스템' 비디오 자동 검색 및 색인 시스템, 텍스트 자동 번역 시스템, 이미지 와 함께 포함되어 전송되는 스팸 메일 필터 등과 같은 다양한 분야에서 널리 활용될 수 있다.
- 최근 고도 정보화 사회로의 급진적 발전 추세에 따라 개인용 컴퓨터에 화상 카메라, 디지털 카메라, 디지털 캠코더, 카메라 폰 등의 부착 및 이들을 통한 정지 영상 및 동영상의 생성이 보편화되고 있다. 이러한 영상 내의 텍스트 정보들을 추출 및 인식 할 수 있다면 시각 장애 인 보행 보조 시스템, 로봇 자동 주행 시스템, 비디오 자동 검색 및 색인 시스템, 텍스트 자동 번역 시스템 이미지와 함께 포함되어 전송되는 스팸 메일 필터 등과 같은 다양한 분야에서 널리 활용될 수 있다.
- 향후 연구 과제로는 추출된 텍스트 후보 영역의 검증 을 위해 SVM, HMM 등을 이용한 다양한 검증 방법 개발과 추출된 텍스트 후보 영역에 대한 문자 인식 방법을 개발하는 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.