초록 ▼

영상 자동 복원 시스템은 디지털화된 필름이나 비디오 영상에 발생한 시각적 훼손을 영상처리 또는 컴퓨터 비젼 기술을 이용하여 자동으로 복원하는 시스템이다. 1950년대 이전에 촬영된 모든 영상은 니트로-셀룰로이드(nitro-celluloid) 영상필름에 기록되어 있으며, 이 물질의 물리적인 특성(매우 짧은 수명기간)으로 인해 많은 영상 내용이 훼손되고 있는 실정이다. 보존된 비디오나 필름의 량과, 영상의 수작업 복원 시의 장시간, 고비용을 고려할 때 자동으로 복원하는 영상 자동 복원 시스템이 필수적이다.

본 연구는 1차년

영상 자동 복원 시스템은 디지털화된 필름이나 비디오 영상에 발생한 시각적 훼손을 영상처리 또는 컴퓨터 비젼 기술을 이용하여 자동으로 복원하는 시스템이다. 1950년대 이전에 촬영된 모든 영상은 니트로-셀룰로이드(nitro-celluloid) 영상필름에 기록되어 있으며, 이 물질의 물리적인 특성(매우 짧은 수명기간)으로 인해 많은 영상 내용이 훼손되고 있는 실정이다. 보존된 비디오나 필름의 량과, 영상의 수작업 복원 시의 장시간, 고비용을 고려할 때 자동으로 복원하는 영상 자동 복원 시스템이 필수적이다.

본 연구는 1차년도 연구결과인 긁힘과 스파크 복원 알고리즘의 복원 속도를 고속화하기 위한 병렬처리 하드웨어 시스템 개발과 병렬처리 복원 시스템에 적합한 긁힘과 복원 알고리즘의 병렬화를 목표로 수행되었다.

1) 1차년도 산출물인 긁힘, 스파크 복원 알고리즘의 복원 성능과 속도를 개선하기 위해 텔레시네 (telecine) 알고리즘, 역-텔레시네 (reverse telecine) 알고리즘과 삿 탐지 (shot detection) 알고리즘 구현하였으며, 2) 영상 자동복원을 고속화하기 위해 GPGPU(그래픽장치를 이용한 범용컴퓨팅 기술)를 사용한 병렬처리 시스템을 개발하였고, 3) 본 연구를 통해 개발된 병렬처리 시스템에 적합한 긁힘 및 스파크 훼손 복원 병렬처리 알고리즘 개발하였다.

국가기록원 소장 디지털화 영상은 비월주사(interlaced scanning) 영상으로 직접 영상처리 기술을 적용하기에는 부적합 형태이다. 본 연구에서는 역-텔레시네(reverse telecine) 알고리즘을 사용하여 국가기록원 영상을 먼저 순차주사(progressive scanning) 영상으로 전환하였으며, 순차주사 형태로 전환된 영상에 긁힘과 스파크 복원과 샷 전환 탐지 등의 영상처리 알고리즘을 적용하였으며, 마지막으로 훼손이 복원된 영상은 텔레시네 알고리즘을 사용하여 다시 비월주사 영상으로 변환되었다. 영상복원의 고속화를 위한 병렬처리 시스템은 Windows 7 시스템과 nVidia사의 CPU 시스템과 CUDA 라이브러리를 사용하는 하이브리드 형태(hybrid type)의 시스템으로 구현되었다. Windows 7 시스템의 CPU와 nVidia사의 GPU는 비동기식 (Asynchronous)로 작동하고, 병렬처리에 적합한 알고리즘만을 GPU 상에서 수행하도록 알고리즘을 개발하였다.

본 연구는 통해 개발된 병렬처리 복원 시스템은 Windows 7 시스템과 nVidia사의 GPU 시스템으로 구성된 하드웨어와 CUDA 병렬처리 라이브러리, OpenCV 영상처리 라이브러리, 마이크로소프트 (Microsoft)사의 Visual Studio 개발 툴, 노키아(Nokia)사의 Qt 툴 등으로 구성되었다. 복원 속도는 1 초에 7 프레임을 처리하며, 1차년도의 결과(1초에 0.2 프레임 복원)과 비교할 때 약 15배 개선되었다. 복원 율은 긁힘의 경우에 90%의 복원율(1차년도의 복원율은 64%)을 보였으며, 스파크의 경우에는 탐지 및 복원에 대한 정확한 기준을 정할 수가 없었으며, 인공 훼손 기준 약 80%의 복원 율을 보였다.

(출처 : 연구결과보고서 요약문 4p)

Abstract ▼

Automatic Image(Film) Restoration Systems restores visual artifacts, which are commonly encountered in archive films, mainly due to early filming technologies and storage conditions, and uses image processing or computer vision methods for automatic restoration on digitalized images(film). Until the

Automatic Image(Film) Restoration Systems restores visual artifacts, which are commonly encountered in archive films, mainly due to early filming technologies and storage conditions, and uses image processing or computer vision methods for automatic restoration on digitalized images(film). Until the late fifties, most of these films were taken into intro-celluloid material. Chemical changes due to the film material's age as well as improper handling have caused the irretrievable damages. There is a strong demand for an automatic film restoration system when considering the vast amount of film and the time and cost of manual restoration.

The purpose of this research are to develop a real-time parallel-processing scratch and spark restoration algorithms, implementing the parallel-processing hardware system for the software algorithms. This research
1) develops reverse-telecine algorithm, telecine algorithm, shot-detection algorithm to improve the performance and speed of the first-year’s scratch and spark algorithms
2) designs and implementes a parallel-processing image restoration system using GPGPU(general-purpose graphics processing units)
3) convert the first-year scratch and spark algorithms to a fast parallel-processing algorithms

For the image restoration, the interlaced images of the National Archives of Korea are converted to progressive images using the reverse-telecine algorithm first. Then the converted images are used as the input of the scratch and spark algorithms, which detect and restore the damages(scratch and spark) in the images. The restored image are converted to the interlaced images by the telecine algorithm again. The hardware of the parallel-processing system is a hybrid system, which consists of a Windows 7 System(Intel 1-7 processor) and nVidia’s GPU system. Windows 7 system and nVidia system runs asynchronously and the parallel-processing restoration algorithms are developed to run on the system efficiently.

The parallel—processing restoration algorithm restored about 7 frames per second, which is about 15 times faster than the restoration rate of the first-year result (0.5 frame per second). In the case of the restoration rate, the scratch algorithm showed the improvement from 64% (the first-year’s result) to about 90% and the system showed about 80% of restoration rate for the artificial spark damages (there was no restoration rate for the first-year result).

(출처 : Summary 5p)

목차 Contents

• 표지 ... 1
• 제출문 ... 2
• 목차 ... 3
• 연구결과보고서 요약문 ... 4
• Summary ... 5
• 제1장 총괄연구개발과제의 최종 연구개발 목표 ... 6
• 1절 총괄연구개발과제의 목표 ... 6
• 2절 총괄연구개발과제의 목표달성도 ... 8
• 3절 국내·외 기술개발 현황 ... 8
• 제2장 총괄연구개발과제의 최종 연구개발 내용 및 방법 ... 14
• 1절 Inverse Telecine 알고리즘 ... 14
• 2절 장면전환(Scene-cut) 탐지 알고리즘 개발 ... 15
• 3절 병렬처리 시스템 구현 ... 20
• 4절 인공훼손을 사용한 시스템 검증 ... 37
• 5절 기 수행과제와의 중복성 검토 ... 38
• 제3장 총괄연구개발과제의 최종 연구개발 결과 ... 40
• 제1절 파일별 종합 정보 ... 40
• 제4장 총괄연구개발과제의 연구결과 고찰 및 결론 ... 64
• 제5장 총괄연구개발과제의 연구성과 ... 66
• 5.1. 활용성과 ... 66
• 5.2. 활용계획 ... 67
• 제6장 기타 중요변경사항 ... 68
• 제1절 예산 변경 ... 68
• 제7장 참고문헌 ... 69
• 제8장 첨부서류 ... 76
• 총괄 연구과제 요약 ... 134
• 끝페이지 ... 136