본 논문에서는 U-Net 구조의 딥러닝에서 이미지 정렬 기반의 색상 매 핑을 이용한 흑백 이미지 채색화 방법을 제안하였다. 기존의 채색화 방법 은 참조 이미지의 색상 채널에 의존하거나 학습된 색상 가중치에 의존한 채색화 방법으로 참조 이미지나 학습된 데이터에 따라 주관적으로 채색 된다. 이는 학습 데이터셋에 없는 다수의 객체나 부족한 정보로 인하여 채색 손실이 발생하게 되어 채색 정확도가 낮은 결과를 보인다. 제안하는 방법은 복잡한 배경과 다수의 객체가 있는 흑백 이미지에서 의 채색 정확도를 향상시키기 위해 참조 이미지와 입력 이미지 간의 색 상 채널을 이미지 ...
본 논문에서는 U-Net 구조의 딥러닝에서 이미지 정렬 기반의 색상 매 핑을 이용한 흑백 이미지 채색화 방법을 제안하였다. 기존의 채색화 방법 은 참조 이미지의 색상 채널에 의존하거나 학습된 색상 가중치에 의존한 채색화 방법으로 참조 이미지나 학습된 데이터에 따라 주관적으로 채색 된다. 이는 학습 데이터셋에 없는 다수의 객체나 부족한 정보로 인하여 채색 손실이 발생하게 되어 채색 정확도가 낮은 결과를 보인다. 제안하는 방법은 복잡한 배경과 다수의 객체가 있는 흑백 이미지에서 의 채색 정확도를 향상시키기 위해 참조 이미지와 입력 이미지 간의 색 상 채널을 이미지 정렬 알고리즘을 통해 매핑하였다. 이미지 정렬을 통해 매핑하는 방법으로 VGG-16 구조를 통한 SIFT 알고리즘을 이용하여 입 력 및 참조 이미지 간의 대응점을 탐색하였다. 그 후 각 이미지의 대응점 에 맞게 입력 ab 채널에 색상 매핑을 하였다. 전처리 단계에서 정렬된 참조 이미지의 색상 채널과 입력 흑백 이미지 의 휘도 정보를 U-Net 구조의 네트워크에 입력하여 이미지 채색을 진행 하였다. U-Net 구조에서 손실이 많은 인코더 부분에서 컨볼루션 계층과 배치 정규화를 통해 손실을 최소화 하였으며, 디코더에서는 불필요한 컨 볼루션 연산을 제거하여 일관성 있는 채색 구조를 제안하였다. 본 논문의 U-Net 네트워크는 오토인코더 구조로 이루어져 있으며 사 전 학습된 7개(사람, 식물, 동물, 음식, 풍경, 교통, 인공물)의 범주로 구성 된 ImageNet데이터셋 중에 700,000개의 질감정보를 학습 데이터로 사용 하였다. 학습에 제외된 이미지들의 흑백 이미지를 구성하여 실험 이미지 로 사용하였다. 실험 비교를 위해 학습기반 채색화 알고리즘인 오토인코 더와 VGG-16 채색화 방법과 기존 예제 기반 채색 방법인 U-Net 채색 화 방법을 제안하는 방법의 PSNR(Peak Signal-to-Noise Ratio)과 채색 정확도(Coloring Accuracy)를 비교하였다. 실험 결과 제안하는 방법은 기존 방법인 오토인코더 채색화 방법 보다 윤곽선의 손실이 없는 채색 결과를 보였으며, VGG-16 구조보다 얼룩지 지 않는 일관적인 형태의 채색결과를 보여 채색정확도가 0.22 향상된 결 과를 보였다. 또한 U-Net 채색화 방법 대비 PSNR 0.192dB, 채색정확도 가 0.189 향상된 결과를 보였다.
본 논문에서는 U-Net 구조의 딥러닝에서 이미지 정렬 기반의 색상 매 핑을 이용한 흑백 이미지 채색화 방법을 제안하였다. 기존의 채색화 방법 은 참조 이미지의 색상 채널에 의존하거나 학습된 색상 가중치에 의존한 채색화 방법으로 참조 이미지나 학습된 데이터에 따라 주관적으로 채색 된다. 이는 학습 데이터셋에 없는 다수의 객체나 부족한 정보로 인하여 채색 손실이 발생하게 되어 채색 정확도가 낮은 결과를 보인다. 제안하는 방법은 복잡한 배경과 다수의 객체가 있는 흑백 이미지에서 의 채색 정확도를 향상시키기 위해 참조 이미지와 입력 이미지 간의 색 상 채널을 이미지 정렬 알고리즘을 통해 매핑하였다. 이미지 정렬을 통해 매핑하는 방법으로 VGG-16 구조를 통한 SIFT 알고리즘을 이용하여 입 력 및 참조 이미지 간의 대응점을 탐색하였다. 그 후 각 이미지의 대응점 에 맞게 입력 ab 채널에 색상 매핑을 하였다. 전처리 단계에서 정렬된 참조 이미지의 색상 채널과 입력 흑백 이미지 의 휘도 정보를 U-Net 구조의 네트워크에 입력하여 이미지 채색을 진행 하였다. U-Net 구조에서 손실이 많은 인코더 부분에서 컨볼루션 계층과 배치 정규화를 통해 손실을 최소화 하였으며, 디코더에서는 불필요한 컨 볼루션 연산을 제거하여 일관성 있는 채색 구조를 제안하였다. 본 논문의 U-Net 네트워크는 오토인코더 구조로 이루어져 있으며 사 전 학습된 7개(사람, 식물, 동물, 음식, 풍경, 교통, 인공물)의 범주로 구성 된 ImageNet 데이터셋 중에 700,000개의 질감정보를 학습 데이터로 사용 하였다. 학습에 제외된 이미지들의 흑백 이미지를 구성하여 실험 이미지 로 사용하였다. 실험 비교를 위해 학습기반 채색화 알고리즘인 오토인코 더와 VGG-16 채색화 방법과 기존 예제 기반 채색 방법인 U-Net 채색 화 방법을 제안하는 방법의 PSNR(Peak Signal-to-Noise Ratio)과 채색 정확도(Coloring Accuracy)를 비교하였다. 실험 결과 제안하는 방법은 기존 방법인 오토인코더 채색화 방법 보다 윤곽선의 손실이 없는 채색 결과를 보였으며, VGG-16 구조보다 얼룩지 지 않는 일관적인 형태의 채색결과를 보여 채색정확도가 0.22 향상된 결 과를 보였다. 또한 U-Net 채색화 방법 대비 PSNR 0.192dB, 채색정확도 가 0.189 향상된 결과를 보였다.
In this paper, we proposed a grayscale image colorization method using image align based color mapping in deep learning of U-Net structure. The existing colorization method was subjectively colored based on the reference image and the learned data by a colorization method depending o...
In this paper, we proposed a grayscale image colorization method using image align based color mapping in deep learning of U-Net structure. The existing colorization method was subjectively colored based on the reference image and the learned data by a colorization method depending on the color channel of the reference image or the learned color weight. As a result, coloring loss occurs due to a large number of objects that are not included in the learning data set and information that is lacking and the result that the coloring accuracy is low can be seen. The proposed method uses an image align algorithm to map the color channels between the reference image and the input image to improve the coloring accuracy in black and white images with complex backgrounds and many objects. ab channel according to the corresponding points of each image. The color channels of the reference image and the luminance information of the input chrome image align the pre-processing stage were input to the network of U-Net structure for image coloring. The U-Net structure was lossy and minimizes loss through the convolution layer and placement normalization in the encoder part, and the decoder was consistent by removing unnecessary convolution operations. A coloring structure was proposed. The U-Net network in this paper consists of an auto-encoder structure, consisting of 7 pre-trained categories (human, plant, animal, food, landscape, traffic, artifact) in the ImageNet dataset of 700,000 The individual texture information was used as learning data. A grayscale image of the images excluded from learning was constructed and used as an experimental image. For comparison of experiments, PSNR (Peak Signal-to-Noise Ratio) of Autoencoder, which is a learning-based colorization algorithm, VGG-16 colorization method, and U-Net colorization method, which is a existing colorization method. And Coloring Accuracy was compared. As a result of the experiment, the proposed method showed a coloring result with no loss of contours than the conventional auto-encoder coloring method, and showed a consistent staining result than the VGG-16 structure. In addition, PSNR 0.19dB and Coloring Accuracy Ratio 0.189 increased compared to the existing method.
In this paper, we proposed a grayscale image colorization method using image align based color mapping in deep learning of U-Net structure. The existing colorization method was subjectively colored based on the reference image and the learned data by a colorization method depending on the color channel of the reference image or the learned color weight. As a result, coloring loss occurs due to a large number of objects that are not included in the learning data set and information that is lacking and the result that the coloring accuracy is low can be seen. The proposed method uses an image align algorithm to map the color channels between the reference image and the input image to improve the coloring accuracy in black and white images with complex backgrounds and many objects. ab channel according to the corresponding points of each image. The color channels of the reference image and the luminance information of the input chrome image align the pre-processing stage were input to the network of U-Net structure for image coloring. The U-Net structure was lossy and minimizes loss through the convolution layer and placement normalization in the encoder part, and the decoder was consistent by removing unnecessary convolution operations. A coloring structure was proposed. The U-Net network in this paper consists of an auto-encoder structure, consisting of 7 pre-trained categories (human, plant, animal, food, landscape, traffic, artifact) in the ImageNet dataset of 700,000 The individual texture information was used as learning data. A grayscale image of the images excluded from learning was constructed and used as an experimental image. For comparison of experiments, PSNR (Peak Signal-to-Noise Ratio) of Autoencoder, which is a learning-based colorization algorithm, VGG-16 colorization method, and U-Net colorization method, which is a existing colorization method. And Coloring Accuracy was compared. As a result of the experiment, the proposed method showed a coloring result with no loss of contours than the conventional auto-encoder coloring method, and showed a consistent staining result than the VGG-16 structure. In addition, PSNR 0.19dB and Coloring Accuracy Ratio 0.189 increased compared to the existing method.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.