선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 본 논문에서는 스크래치의 공간정보만을 이용한 스크래치 제거 시스템을 개발하였다. 스크래치의 중요한 공간정보로는 텍스처 정보와 형태 정보가 있다.
- 본 논문에서는 다양한 종류의 스크래치를 자동으로 검출 및 복원할 수 있는 공간정보를 이용한 자동 스크래치 제거 시스템을 제안하였다. 개발된 시스템은 다양한 특징의 스크래치가 포함된 오래된 영상과 인위적으로 스크래치를 생성한 영상에 대해 실험하였다.
제안 방법
- 제안한 시스템은 스크래치 검출과 스크래치 복원으로 구성되어 있다. 스크래치 검출 단계에서는 신경망 기반의 텍스처분류기를 사용하여 스크래치와 비 스크래치 영역을 분류하고 스크래치의 형태적인 특징을 이용하여 설계된 원소구조를 모폴로지 기반의 형태 필터를 사용하여 잘못 분류된 비스크래치 영역을 필터링한다.
- 다양한 종류의 스크래치를 자동으로 검출하기 위해본 논문의 스크래치 검출 단계에서는 스크래치의 텍스처 특징과 형태적 특징을 이용한다. 제안된 방법에서 오래된 필름의 각 프레임은 스크래치의 텍스처 특징을 이용하여 스크래치와 비스크래치영역으로 분류하고, 분류 단계에서 잘못 검출된 비스크래치 영역을 스크래치의 형태적 특징을 이용하여 필터링한다.
- 특징과 형태적 특징을 이용한다. 제안된 방법에서 오래된 필름의 각 프레임은 스크래치의 텍스처 특징을 이용하여 스크래치와 비스크래치영역으로 분류하고, 분류 단계에서 잘못 검출된 비스크래치 영역을 스크래치의 형태적 특징을 이용하여 필터링한다. 따라서 스크래치 검출기는 신경망 기반의 텍스처분류기, 모 폴로 지기 반의 형태필터링의 두 모듈로 구성된다.
- 제안된 방법에서 입력 영상을 스크래치 영역과 비 스크래치 영역으로 구분하기 위한 텍스처분류기로 신경망을 사용한다. 신경망 기반의 텍스처분류기를 전체영상에 적용하는 것은 많은 시간을 필요로 한다.
- 한다. 따라서 이들을 필터링하기 위하여 제안된 방법에서는 스크래치의 형태적 정보를 이용한다.: 스크래치는 주로 세로 방향의 폭이 최소 3-5 화소인 가늘고 긴 선의 형태로 나타난다.
- 식 (1) 의 风는 horizontal 성분을 추출하기 위해 정의되었으며, 식 ⑵의 Br, B]느 diagonal 성분을 추출하기 위해 정의되었다. 위에 정의된 원소구조를 사용한 모폴로지연산을 수행함으로써 오검출된 영역을 필터링하고 정확한 스크래치 영역만을 검출하도록 한다.
- 하지만 검출 결과에서비 스크래치인 작은 노이즈들이 여전히 존재한다. 따라서 노이즈 필터링에서는 연결 성분 분석을 이용하여 작은 노이즈들을 필터링한다. 즉, 각 성분의 크기가 매우 작은 경우, 스크래치가 아니라 노이즈에 의해 발생한 것으로 간주한다.
- 양선형 보간법은 주변 정보를 가지고 손상된 영역을 메움으로써 복원하는 방법이다. 제안된 양선형 보간법은 새로운 화소를 인접한 네 개의 화소의 값의 가중치의 합으로 생성한다.가중치는 네 개의 화소로부터 복원하고자 하는 화소까지의 수평 거리와 수직거리의 곱에 반비례하도록 정의된다.
- 제안된 스크래치 복원 알고리즘은 검출된 스크래치 영역에 대해 단순한 선형 보간 법을 이용하여 스크래치의 중앙에 위치하는 화소들을 모두 복원한 뒤, 양 선형보간법을 이용하여 복원하고자 하는 화소의 앞뒤 행에 위치하는 스크래치의 주변 좌우 화소 값들을 이용하여 최종적으로 손상된 영역을 복원한다. 양선형 보간법을 이용한 스크래치 복원 알고리즘은 다음과 같다.
- 스크래치 검출을 위해 스크래치를 가진 영상들 중 100개의 영상을 수동으로 선택한 후각 영상에서 스크래치 화소들을 검출하여 스크래치 클래스로 할당하였다. 이 장면 중 20개의 영상은 학습을 위해 사용하였고, 나머지 80개의 영상은 테스트 영상으로 사용하였다.
- 한다. 이를 위해 “Titanic”에 인위적으로 스크래치를 생성한 다음 제안된 방법으로 스크래치를 제거한 결과 프레임(0)과 손상되지 않은 원본 프레임 (R) 의 차이의 합을 스크래치 영역으로 나누는 (MAD) 식(4) 을 이용하여 복원 오차율(E)을 구하였다.
- 제거 시스템을 제안하였다. 개발된 시스템은 다양한 특징의 스크래치가 포함된 오래된 영상과 인위적으로 스크래치를 생성한 영상에 대해 실험하였다. 실험 결과는 제안된 방법이 다양한 특징의 스크래치를 검출 및 복원이 가능하고, 상업적으로 사용될 수 있는 잠재력을 보였다.
대상 데이터
- 제안된 스크래치 제거 방법의 효율성을 증명하기 위하여 오래된 필름 및 인위적인 데이터를 가지고 실험하였다. 영화 데이터는 오래된 필름인 “TGight”, “Star”, “Sit-down”이 사용되었고, 인위적으로 스크래치를 삽입한 “Titanic”이 사용되었다.
- 영화 데이터는 오래된 필름인 “TGight”, “Star”, “Sit-down”이 사용되었고, 인위적으로 스크래치를 삽입한 “Titanic”이 사용되었다. 오래된 필름 "Knight”, "'Star", *S*it down”은 필름 복원 시스템을 평가하기 위하여 일반적으로 많이 사용하는 데이터이다.
- 이 장면 중 20개의 영상은 학습을 위해 사용하였고, 나머지 80개의 영상은 테스트 영상으로 사용하였다. 실험에서 사용된 신경망은 75개의 입력 노드와 18개의 은닉 노드, 2개의 출력 노드로 구성된다.
- 이 장면 중 20개의 영상은 학습을 위해 사용하였고, 나머지 80개의 영상은 테스트 영상으로 사용하였다. 실험에서 사용된 신경망은 75개의 입력 노드와 18개의 은닉 노드, 2개의 출력 노드로 구성된다.
- 일반적으로 인위적인 데이터는 이상적인 결과가 알려져 있기 때문에 양적으로 평가가 가능하다. 인위적인 데이터는 해상도가 800x352 로 잘 알려진 타이타닉 영상으로 제작하였다.
데이터처리
- 제안한 방법의 효율성을 검증하기 위하여 표1에 제시한 모든 종류의 스크래치에 대해 실험하였고, 그 결과를 Le在의 방법과 비교 분석 하였다. 분석 결과, 제안된 방법이 다양한 종류의 스크래치에 대해 강건하며 효율적임을 보여준다.
- 제안된 방법의 효율성을 검증하기 위하여 Lee回의 방법과 결과를 비교하였다.
이론/모형
- Joyeux의방법은 lD~extrema detector를 이용하여 스크래치 후보를 정하고 이를 Kalman filter에 적용하여 스크래치 후보들을 추적한다. 이로써 최종적으로 스크래치를 검출하고, 이를 MAP(Maximization of the posterior probability)를 이용하여 복원한다.口』Joyeux의 방법은 스크래치를 제거하기 위하여 시간정보와 공간정보를 동시에 사용하기 때문에 많은 계산량을 요구하는 단점을 가진다.
- 口』Joyeux의 방법은 스크래치를 제거하기 위하여 시간정보와 공간정보를 동시에 사용하기 때문에 많은 계산량을 요구하는 단점을 가진다. L氏의 방법은 Gaussian filter와 Median filter를 사용하여 블록 단위로 스크래치를 검출하고, Inpainting 알고리즘을 이용하여 스크래치를 복원한다.冏 Lee의 방법은 공간적인 정보만을 사용하지만, 단순한 배경과 특정 스크래치에만 적용할 수 있다는 제약을 가진다.
- : 스크래치는 주로 세로 방향의 폭이 최소 3-5 화소인 가늘고 긴 선의 형태로 나타난다. 이러한 스크래치의 특성을 기반으로 하여 Kim의 논문[5]에서 정의된 원소구조 BhPl’Br을 사용한다
성능/효과
- Le在의 방법과 비교 분석 하였다. 분석 결과, 제안된 방법이 다양한 종류의 스크래치에 대해 강건하며 효율적임을 보여준다.
- 즉, 각 성분의 크기가 매우 작은 경우, 스크래치가 아니라 노이즈에 의해 발생한 것으로 간주한다. 검출 후, Q에서 스크래치 영역의 중앙에 위치하는 모든 화소에 대해 최근 접 화소보 간 법을 이용하여 모두 복원한 보간법을 이용하여 모두 복원한 뒤, 양선형 보간법을 이용하여 최종적으로 스크래치가 제거된 영상 O(t)을 생성한다.
- 그림 5(a)는 원본 영상위에 스크래치 추출 결과를 맵핑한 영상 이고, 그림 5(b)는 양선형 보간법을 이용하여 복원한 결과 영상을 보여준다. 복원된 결과에서 볼 수 있듯이 제안된 복원방법은 비교적 간단한 알고리즘 임에도 불구하고 정확하게 복원할 수 있음을 보였다.
- 그림 6에서 보이는 것처럼 제안된 방법은 자동적이면서 정확한 secondaiy/alone/positive 스크래치를 검 줄하고 복원이 가능하다는 것을 보여준다. 그림 6에서 검출 결과들을 시각적으로 비교하였을 때 성능 차이를 발견할 수 없었다.
- 그림 6-7에서 보이는 것과 같이, 실험 결과는 제안된 방법이 Lee의 방법보다 더 나은 성과를 가진다는 것을 보여준다.
- 개발된 시스템은 다양한 특징의 스크래치가 포함된 오래된 영상과 인위적으로 스크래치를 생성한 영상에 대해 실험하였다. 실험 결과는 제안된 방법이 다양한 특징의 스크래치를 검출 및 복원이 가능하고, 상업적으로 사용될 수 있는 잠재력을 보였다. 또한 제안된 복원방법은 빠르고 구현이간단하다는 장점을 가진다.
- 실험 결과는 제안된 방법이 다양한 특징의 스크래치를 검출 및 복원이 가능하고, 상업적으로 사용될 수 있는 잠재력을 보였다. 또한 제안된 복원방법은 빠르고 구현이간단하다는 장점을 가진다. 하지만 복원된 스크래치 주변이 흐릿해지는(blob) 현상이 나타나는 한계점을 가진다.
후속연구
- 개발된 스크래치 제거시스템이 실제로 사용되기 위해서는 오래된 필름에서 생기는 다양한 스크래치를 복잡한 배경에서도 빠르게 검출하고 손상영역을 정확하게 복원할 수 있는 기술이 개발되어야 한다.
- 제안된 복원방법의 정확성을 객관적으로 증명하기 위해서는 인위적으로 생성된 스크래치를 가지는 영상에 적용되어야 한다. 이를 위해 “Titanic”에 인위적으로 스크래치를 생성한 다음 제안된 방법으로 스크래치를 제거한 결과 프레임(0)과 손상되지 않은 원본 프레임 (R) 의 차이의 합을 스크래치 영역으로 나누는 (MAD) 식(4) 을 이용하여 복원 오차율(E)을 구하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.