[논문]다중 도메인 학습을 이용한 화면 촬영 영상 내 모아레 무늬 제거 기법

박현국; 비엔지아안; 이철

doi:10.5909/jbe.2021.26.1.3

다중 도메인 학습을 이용한 화면 촬영 영상 내 모아레 무늬 제거 기법
Screen-shot Image Demorieing Using Multiple Domain Learning 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.26 no.1, 2021년, pp.3 - 13

박현국 (동국대학교 멀티미디어공학과) , 비엔지아안 (동국대학교 멀티미디어공학과) , 이철 (동국대학교 멀티미디어공학과)

초록
AI-Helper

본 논문은 다중 도메인 학습을 이용하여 화면 촬영 영상 내 모아레 무늬를 효과적으로 제거하는 기법을 제안한다. 제안하는 기법은 먼저 화소값 영역과 주파수 영역에서 입력 영상의 모아레 무늬를 각각 제거한다. 다음으로 모아레 영상에서 clean edge map을 추정하고, 추정된 clean edge map을 가이드 정보로 사용하여 화소값 영역과 주파수 영역에서 얻은 결과 영상의 품질을 향상시킨다. 마지막으로, 독립적으로 향상된 두 결과 영상을 적응적으로 결합하며 모아레 무늬가 제거된 최종 결과 영상을 생성한다. 컴퓨터 모의 실험결과를 통해 제안하는 기법이 기존의 알고리즘보다 모아레 무늬를 더욱 효과적으로 제거할 수 있음을 확인한다.

Abstract ▼ AI-Helper

We propose a moire artifacts removal algorithm for screen-shot images using multiple domain learning. First, we estimate clean preliminary images by exploiting complementary information of the moire artifacts in pixel value and frequency domains. Next, we estimate a clean edge map of the input moire image by developing a clean edge predictor. Then, we refine the pixel and frequency domain outputs to further improve the quality of the results using the estimated edge map as the guide information. Finally, the proposed algorithm obtains the final result by merging the two refined results. Experimental results on a public dataset demonstrate that the proposed algorithm outperforms conventional algorithms in quantitative and qualitative comparison.

주제어

표/그림 (11)

그림 그림 1. LCDMoire 데이터셋의 모아레 영상 예시[20] Fig. 1. Example moire images in the LCDMoire dataset[20]
그림 그림 2. 제안하는 전체 네트워크 구조 Fig. 2. Overview of the proposed demoireing algorithm
그림 그림 3. Pixel Network의 구조 Fig. 3. Overview of the Pixel Network
그림 그림 4. MRFB의 구조 Fig. 4. Structure of MRFB
그림 그림 5. TMB의 구조 Fig. 5. Structure of TMB
그림 그림 6. DCT Network의 구조^[8] Fig. 6. Overview of the DCT Network^[8]
그림 그림 7. Edge Network의 구조 Fig. 7. Overview of the Edge Network
그림 그림 8. Refinement Network의 구조 Fig. 8. Architecture of the Refinement Network
그림 그림 9. 모아레 제거 결과 영상. 2, 4, 6, 8행은 빨간색 상자를 확대한 영상을 나타낸다. (a) 모아레 영상, (b) ground-truth, (c) CAS-CNN [7], (d) DMCNN [3], (e) DDCNN [8], (f) 제안하는 기법. Fig. 9. Demoireing results for the validation set. (a) Moire image, (b) ground-truth, and outputs of (c) CAS-CNN [7], (d) DMCNN [3], (e) DDCNN [8], and (f) the proposed algorithm
표 표 1. CAS-CNN [7], DMCNN [3], DDCNN [8], 및 제안하는 기법의 정량적 비교. Table 1. Quantitative comparison of CAS-CNN [7], DMCNN [3], DDCNN [8], and the proposed algorithm
표 표 2. 서로 다른 네트워크의 효과 분석 Table 2. Impacts of different combinations of networks

참고문헌 (27)

M. Schoberl, W. Schnurrer, A. Oberdorster, S. Fossel, and A. Kaup, "Dimensioning of optical birefringent anti-alias filters for digital cameras," in Proceeding of IEEE International Conference on Image Processing, Sep. 2010.
I. Pekkucuksen and Y. Altunbasak, "Multiscale gradients based color filter array interpolation," IEEE Transactions Image Processing, vol, 22, no. 1, pp. 157-165, Jan. 2013.

상세보기
Y. Sun, Y. Yu, and W. Wang, "Moire photo restoration using multiresolution convolutional neural networks," IEEE Transactions Image Processing, vol. 27, no. 8, pp. 4160-4172, Aug. 2018.

상세보기
X. Cheng, Z. Fu, and J. Yang, "Multi-scale dynamic feature encoding network for image demoireing," in Proceedings of IEEE/CVF International Conference on Computer Vision Workshops, Oct. 2019, pp. 3486-3493.
B. He, C. Wang, B. Shi, and L. Duan, "Mop moire patterns using MopNet," in Proceedings of IEEE International Conference on Computer Vision, Oct./Nov. 2019, pp. 2424-2432.
B. Zheng, S. Yuan, G. Slabaugh, and A. Leonardis, "Image demoireing with learnable bandpass filters," in Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun. 2020, pp. 3636-3645.
L. Cavigelli, P. Hager, and L. Benini, "CAS-CNN: A deep convolutional neural network for image compression artifact suppression," in Proceedings of International Joint Conference on Neural Networks, May 2017, pp. 752-759.
A. G. Vien, H. Park, and C. Lee, "Dual-domain deep convolutional neural networks for image demoireing," in Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, Jun. 2020, pp. 1934-1942.
J. Yang, F. Liu, H. Yue, X. Fu, C. Hou, and F. Wu, "Textured image demoireing via signal decomposition and guided filtering," IEEE Transactions Image Processing, vol. 26, no. 7, pp. 3528-3541, Jul. 2017.

상세보기
B. He, C. Wang, B. Shi, and L.-Y. Duan, "FHDe2Net: Full high definition demoireing network." in Proceedings of European Conference on Computer Vision, Sep. 2020, pp. 713-729.
B. Liu, X. Shu, and X. Wu, "Demoireing of camera-captured screen images using deep convolutional neural network," arXiv preprint arXiv:1804.03809, 2018.
P. Liu, H. Zhang, K. Zhang, L. Lin, and W. Zuo, "Multi-level wavelet CNN for image restoration," in Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, Jun. 2018, pp. 886-895.
B. Zheng, Y. Chen, X. Tian, F. Zhou, and X. Liu, "Implicit dual-domain convolutional network for robust color image compression artifact reduction," IEEE Transactions on Circuits and Systems for Video Technology, vol. 30, no. 11, pp. 3982-3994, Nov. 2020.

상세보기
X. Luo, J. Zhang, M. Hong, Y. Qu, Y. Xie, and C. Li, "Deep wavelet network with domain adaptation for single image demoireing," in Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, Jun. 2020, pp. 1687-1694.
L. Liu, J. Liu, S. Yuan, G. Slabaugh, A. Leonardis, W. Zhou, and Q. Tian, "Wavelet-based dual-branch network for image demoireing," in Proceedings of European Conference on Computer Vision, Aug. 2020, pp 86-102.
X. Cheng, Z. Fu, and J. Yang, "Multi-scale dynamic feature encoding network for image demoireing," in Proceedings of IEEE/CVF International Conference on Computer Vision Workshops, Oct. 2019, pp. 3486-3493.
Y. Zhang, Y. Tian, Y. Kong, B. Zhong, and Y. Fu, "Residual dense net- work for image super-resolution," in Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun. 2018, pp. 2472-2481.
W. Shi, J. Caballero, F. Huszar, J. Totz, A. P. Aitken, R. Bishop, D. Rueckert, and Z. Wang, "Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network," in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Jun. 2016, pp. 1874-1883.
F. Yu and V. Koltun, "Multi-scale context aggregation by dilated convolutions," in Proceedings of International Conference Learning Representations, May 2016.
S. Yuan, R. Timofte, G. Slabaugh, and A. Leonardis, "AIM 2019 challenge on image demoireing: Dataset and study," in Proceedings of IEEE/CVF International Conference on Computer Vision Workshops, Oct. 2019, pp. 3526-3533.
G. Huang, Z. Liu, L. V. D. Maaten, and K. Q. Weinberger, "Densely connected convolutional networks," in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Jul. 2017, pp. 2261-2269.
T. Tong, G. Li, X. Liu, and Q. Gao, "Image super-resolution using dense skip connections," in Proceedings of IEEE International Conference on Computer Vision, Jul. 2017, pp. 4809-4817.
S. Woo, J. Park, J.-Y. Lee, and I. S. Kweon, "CBAM: Convolutional block attention module," in Proceedings of European Conference on Computer Vision, Sep. 2018, pp. 3-19.
O. Ronneberger, P. Fischer, and T. Brox, "U-Net: Convolutional networks for biomedical image segmentation," in Proceedings of Medical Image Computing and Computer-Assisted Intervention, Nov. 2015, pp. 234.241.
X. Wang, R. Girshick, A. Gupta, and K. He, "Non-local neural networks." in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Jul. 2018, pp. 7794-7803.
I. Loshchilov and F. Hutter, Decoupled weight decay regularization. in Proceedings in International Conference on Learning Representations, 2018.
Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image quality assessment: From error visibility to structural similarity," IEEE Transactions Image Processing, vol. 13, no. 4, pp. 600-612, Apr. 2004.

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증