[논문]왜곡 정보 모듈을 이용한 이미지 디블러 방법

김정환; 김원준

doi:10.5909/jbe.2022.27.3.351

왜곡 정보 모듈을 이용한 이미지 디블러 방법
Distortion-guided Module for Image Deblurring 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.27 no.3, 2022년, pp.351 - 360

김정환 (건국대학교 인공지능학과) , 김원준 (건국대학교 전기전자공학부)

초록
AI-Helper

영상 흐려짐은 피사체의 움직임, 카메라의 흔들림 등의 요인으로 발생하는 현상이다. 최근 합성곱 심층신경망(Convolution Neural Network, CNN)을 활용하여 흐려짐 현상을 복원하는 연구가 활발하게 진행되었으며, 원본과 정답 영상의 차이를 이용하여 복원 과정을 가이드하는 방법이 뛰어난 성능을 보였다. 본 논문에서는 왜곡 정보를 기반으로 흐려진 영상 복원 성능을 개선하는 방법을 제안한다. 이를 위해 학습 시, 원본과 정답 영상 차이에 대한 이진화를 수행하여 복원 과정을 가이드 할 수 있도록 하는 트랜스포머(Transformer) 기반 신경망 모듈을 설계하였다. 제안하는 방법은 학습 과정에서 잠재 특징을 기반으로 전역적 추론을 통해 예측한 왜곡 위치 정보 분포를 흐려짐 복원 과정에 반영한다. 다양한 영상 흐려짐 복원 신경망에 제안하는 모듈을 적용하여 복원 성능을 효과적으로 향상시킬 수 있음을 확인하였다.

Abstract ▼ AI-Helper

Image blurring is a phenomenon that occurs due to factors such as movement of a subject and shaking of a camera. Recently, the research for image deblurring has been actively conducted based on convolution neural networks. In particular, the method of guiding the restoration process via the difference between blur and sharp images has shown the promising performance. This paper proposes a novel method for improving the deblurring performance based on the distortion information. To this end, the transformer-based neural network module is designed to guide the restoration process. The proposed method efficiently reflects the distorted region, which is predicted through the global inference during the deblurring process. We demonstrate the efficiency and robustness of the proposed module based on experimental results with various deblurring architectures and benchmark datasets.

주제어

표/그림 (11)

그림 그림 1. 제안하는 왜곡 위치 정보 가이드 모듈(왼쪽)과 복원기의 상세 구조(오른쪽) Fig. 1. Entire structure of the proposed distortion guided module(left) and details of the decoder(right)
그림 그림 2. 제안하는 왜곡 위치 정보 가이드 모듈을 MIMO-UNet 구조에 적용한 예 Fig. 2. Example of applying the proposed module to MINO-UNet
그림 그림 3. GoPro 데이터셋[4]에 대한 흐려진 영상 복원 결과. (a): 입력 영상. (b): 정답 영상 (c): MIMO-UNet의 복원 결과 (d): 제안하는 모듈을 적용한 모델의 복원 결과 Fig. 3. Deblurring result of GoPro dataset[4]. (a): input image, (b): ground truth, (c): restoration result of MIMO-UNet, (d): restoration result of proposed method
그림 그림 4. HIDE 데이터셋[12]에 대한 흐려진 영상 복원 결과. (a): 입력 영상. (b): 정답 영상 (c): MIMO-UNet의 복원 결과 (d): 제안하는 모듈을 적용한 모델의 복원 결과 Fig. 4. Deblurring result of HIDE dataset[12]. (a): input image, (b): ground truth, (c): restoration result of MIMO-UNet, (d): restoration result of proposed method
표 표 1. GoPro 데이터셋^[4]에서의 정량적 평가 비교 Table 1. Quantitative evaluations on GoPro dataset^[4]
그림 그림 5. 제안하는 방법의 복원 실패 예시. (a): 입력 영상, (b): 정답 영상, (c): 제안하는 모듈을 적용한 모델의 복원 결과, (d): 흐려짐이 발생한 위치 지도, (e): 제안하는 모듈을 적용한 모델에서 출력된 흐려짐이 발생한 위치 지도 Fig. 5. Examples of fail restoration of the proposed method. (a): input image, (b): ground truth, (c): restoration result of proposed method, (d): ground truth of blur mask, (e): blur mask result of proposed method
표 표 2. HIDE 데이터셋^[12]에서의 정량적 평가 비교 Table 2. Quantitative evaluations on HIDE dataset^[12]
표 표 3. RealBlur-J 데이터셋^[13]에서의 정량적 평가 비교 Table 3. Quantitative evaluations on RealBlur-J dataset^[13]
그림 그림 6. (a): 제안하는 모듈에 합성곱 신경망을 적용하여 출력된 잠재 특징, (b): 제안하는 모듈에 트랜스포머를 적용하여 출력된 잠재 특징, (c): 입력 영상, (d): 정답 영상, (e): 흐려짐이 발생한 위치 지도 Fig. 6. (a): latent feature of convolution, (b): latent feature of transformer, (c): input image, (d): ground truth, (e): ground truth of blur mask
그림 그림 7. (a): 카메라 블러가 발생한 영상 (b): 정답 영상, (c): 제안하는 모듈에 합성곱 신경망을 적용하여 출력된 복원 결과, (d): 제안하는 모듈에 트랜스포머를 적용하여 출력된 복원 결과 Fig. 7. (a): camera shaked blur image, (b): ground truth, (c): restoration result of convolution based module, (d): restoration result of transformer based module
표 표 4. 제안하는 모듈의 구조 따른 정량적 실험 결과 Table 4. Quantitative experimental results according to the structure

참고문헌 (17)

R. Fergus, B. Singh, A. Hertzmann, S.T. Roweis, and W.T. Freeman, "Removing camera shake from a single photograph," ACM Transactions on Graphics (TOG), vol. 25, no. 3, pp. 787-794, Jul. 2006. doi: https://doi.org/10.1145/1141911.1141956

상세보기
Q. Shan, J. Jia, A. Agarwala, "High-quality motion deblurring from a single image,"ACM Transactions on Graphics (TOG), vol. 27, no. 3, pp. 73:1-73:10, Aug. 2008. doi: https://doi.org/10.1145/1360612.1360672

상세보기
S. Cho and S. Lee, "Fast motion deblurring,"ACM Transactions on Graphics (TOG), vol. 28, no. 5, pp. 145:1-145:8, Dec. 2009. doi: https://doi.org/10.1145/1618452.1618491

상세보기
S. Nah, T. H. Kim, and K. M. Lee, "Deep multi-scale convolutional neural network for dynamic scene deblurring," in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recognit., pp. 3883-3891, Jul. 2017. doi: https://doi.org/10.1109/CVPR.2017.35
H. Zhang, Y. Dai, H. Li, and P. Koniusz, "Deep stacked hierarchical multi-patch network for image deblurring," in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recognit., pp. 5978-5986, Jun. 2019. doi: https://doi.org/10.1109/CVPR.2019.00613
S. Lim, J. Kim, and W. Kim, "Deep spectral-spatial network for single image deblurring," IEEE Signal Process. Lett., vol. 27, no. 1, pp. 835-839, Dec. 2020. doi: https://doi.org/10.1109/LSP.2020.2995106

상세보기
S. J. Cho, S. W. Ji, J. P. Hong, S. W. Jung, and S. J. Ko, "Rethinking coarse-to-fine approach in single image deblurring," in Proc. IEEE Int. Conf. Comput. Vis., pp. 4641-4650, Oct. 2021. doi: https://doi.org/10.1109/ICCV48922.2021.00460
J. Zhang, J. Pan, J. Ren, Y. Song, L. Bao, R. Lau, and M. Yang, "Dynamic scene deblurring using spatially variant recurrent neural networks," in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recognit., pp. 2521-2529, Jun. 2018. doi: https://doi.org/10.1109/CVPR.2018.00267
O. Kupyn, T. Martyniuk, J. Wu, and Z. Wang, "DeblurGAN-v2: deblurring (orders-of-magnitude) faster and better," in Proc. IEEE Int. Conf. Comput. Vis., pp. 8878-8887, Oct. 2019. doi: https://doi.org/10.1109/ICCV.2019.00897
K. Purohit, M. Suin, A. N. Rajagopalan, and V. N. Boddeti, "Spatially-adaptive image restoration using distortion-guided networks," in Proc. IEEE Int. Conf. Comput. Vis., pp. 2309-2319, Oct. 2021. doi: https://doi.org/10.1109/ICCV48922.2021.00231
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, "Attention is all you need," in Proc. Neural Inf. Process. Syst., pp. 5998-6008, Dec. 2017. doi: https://dl.acm.org/doi/10.5555/3295222.3295349
Z. Shen, W. Wang, X. Lu, J. Shen, H. Ling, T. Xu, and L. Shao, "Human-aware motion deblurring," in Proc. IEEE Int. Conf. Comput. Vis., pp. 5572-5581, Oct. 2019. doi: https://doi.org/10.1109/ICCV.2019.00567
J. Rim, H. Lee, J. Won, and S. Cho, "Real-world blur dataset for learning and benchmarking deblurring algorithms," in Proc. Eur. Conf. Comput. Vis., pp. 184-201, Aug. 2020. doi: https://doi.org/10.1007/978-3-030-58595-2_12
R. Guo, D. Niu, L. Qu, and Z. Li, "SOTR: segmenting objects with transformers," in Proc. IEEE Int. Conf. Comput. Vis., pp. 7157-7166, Oct. 2021. doi: https://doi.org/10.1109/ICCV48922.2021.00707
K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recognit., pp. 770-778, Jun. 2016. doi: https://doi.org/10.1109/CVPR.2016.90
A. Paszke, S. Gross, S. Chintala, G. Chanan, E. Yang, Z. Devito, Lin, A. Desmaison, L. Antiga, A. Lerer, "Automatic differentiation in pytorch". in Proc. Conference and Workshop on Neural Information Processing Systems (NIPS), pp. 1-4, 2017. doi: https://openreview.net/pdf?idBJJsrmfCZ
D. P. Kingma and J. Ba, "Adam: a method for stochastic optimization," in Proc. Int. Conf. Learn. Representation, pp. 1-15, May 2015. doi: https://doi.org/10.48550/arXiv.1412.6980

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증