초록 ▼

비디오 컬러화 방법 및 장치를 개시한다.본 실시예는, 다중 흑백 영상(multiple black-and-white image)을 획득하여, 다양한 손실(diverse loss)을 기반으로 사전에 트레이닝된 딥러닝(deep learning) 기반 추론 모델(inference model)에 입력한다. 특성 추출(feature extraction), 적응적 융합 변환(adaptive fusion transform: AFT) 및 특성 개선(feature enhancement) 기능을 포함하는 추론 모델이 컬러화된 비디오를 자동으로 생성하는

비디오 컬러화 방법 및 장치를 개시한다.본 실시예는, 다중 흑백 영상(multiple black-and-white image)을 획득하여, 다양한 손실(diverse loss)을 기반으로 사전에 트레이닝된 딥러닝(deep learning) 기반 추론 모델(inference model)에 입력한다. 특성 추출(feature extraction), 적응적 융합 변환(adaptive fusion transform: AFT) 및 특성 개선(feature enhancement) 기능을 포함하는 추론 모델이 컬러화된 비디오를 자동으로 생성하는 비디오 컬러화(video colorization) 장치 및 방법을 제공한다.

대표청구항 ▼

비디오 컬러화 장치가 이용하는 비디오 컬러화 방법에 있어서,복수의 흑백 영상(multiple black-and-white images) 중의 하나인 지정 화면(indicated frame)으로부터 분할추출 모델을 이용하여 분할 맵(segmentation map)을 추출하고, 사전에 트레이닝된 딥러닝(deep learning) 기반 ALP 추출부를 이용하여 상기 분할 맵으로부터 ALP(Adaptive Local Parameter)를 생성하는 과정;상기 지정 화면으로부터 전역특성 추출 모델을 이용하여 전역특성 맵(global featu

비디오 컬러화 장치가 이용하는 비디오 컬러화 방법에 있어서,복수의 흑백 영상(multiple black-and-white images) 중의 하나인 지정 화면(indicated frame)으로부터 분할추출 모델을 이용하여 분할 맵(segmentation map)을 추출하고, 사전에 트레이닝된 딥러닝(deep learning) 기반 ALP 추출부를 이용하여 상기 분할 맵으로부터 ALP(Adaptive Local Parameter)를 생성하는 과정;상기 지정 화면으로부터 전역특성 추출 모델을 이용하여 전역특성 맵(global feature map)을 추출하고, 사전에 트레이닝된 딥러닝 기반 AGP 추출부를 이용하여 상기 전역특성 맵으로부터 AGP(Adaptive Global Parameter)를 생성하는 과정; 및적응적 융합 변환(Adaptive Fusion Transform: AFT)에 기반하는, 사전에 트레이닝된 딥러닝 기반 추론 모델을 이용하여 상기 복수의 흑백 영상으로부터 컬러화된 화면(colorized frame)을 생성하는 과정을 포함하되, 상기 ALP는, 상기 지정 화면의 컬러에 대한 국부적인 특성(local feature)이고,상기 AGP는, 상기 지정 화면의 컬러에 대한 전역적인 특성(global feature)이며, 상기 AFT는, 상기 ALP 및 상기 AGP의 특성을 반영하여 상기 추론 모델의 내부에서 생성되는 중간 출력을 변환하는 것을 특징으로 하는 비디오 컬러화 방법.