$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

ADMM과 깊은 합성곱 신경망 잡음 제거기 이미지 Prior에 기반한 이미지 디블러링
Image Deblurring Based on ADMM and Deep CNN Denoiser Image Prior 원문보기

한국방송∙미디어공학회 2020년도 하계학술대회, 2020 July 13, 2020년, pp.680 - 683  

권준형 (서울대학교 전기정보공학부 뉴미디어통신공동연구소) ,  소재웅 (서울대학교 전기정보공학부 뉴미디어통신공동연구소) ,  조남익 (서울대학교 전기정보공학부 뉴미디어통신공동연구소)

초록
AI-Helper 아이콘AI-Helper

오래 전부터 모델 기반 최적화 방법이 이미지 디블러링을 위해 널리 사용되어 왔고, 최근에는 학습 기반 기술이 영상 디블러링에서 좋은 성과를 보이고 있다. 본 논문은 ADMM과 깊은 합성곱 신경망 잡음 제거기 이미지 prior를 이용하여 모델 기반 최적화 방법의 장점과 학습 기반 방법의 장점을 모두 활용할 수 있는 방법을 제안한다. 본 방법을 이용하여 기존 방법보다 더 좋은 디블러링 성능을 얻을 수 있었다.

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

제안 방법

  • 첫 번째와 마지막 레이어를 제외한 나머지 레이어는 dilated conv +배치 정규화 + ReLU로 이루어진 convblock을 사용 하였다. 7개의 dilated conv 레이어의 dilated factor는 첫 번째 레이어부터 마지막 레이어 순서대로 1, 2, 3, 4, 3, 2, 1로 설정하였고. 모든 레이어의 피쳐맵 개수는 64로 고정하였다.
  • IRCNN과의 결과 비교를 위해 IRCNN에서와 같이 가우시안 블러 커널, Levin et al.[8]에서 사용한 블러 커널 두 가지로 총 세 가지의 블러 커널을 이용하여 Set3의 블러 처리된 이미지를 만들었다. 세 가지의 블러 커널을 그림 2에 시각화하였다.
  • 본 논문에서는 변수 분리 기법 중 하나인 ADMM을 사용하였고, 이미지 prior를 직접 설계하는 대신 외부 데이터를 이용하여 학습시킨 잡음 제거기에 기반하여 영상 디블러링을 수행하였다. HQS보다 보조 변수를 하나 더 사용하는 ADMM을 사용하여 IRCNN보다 평균적으로 더 좋은 디블러링 결과을 보였다.
  • 본 실험 에서는 잡음 레벨을 σ=2:2:50 으로 한 총 25가지의 잡음 제거기를 BSDS500 데이터셋[7]을 이용하여 학습시켰고, 잡음 레벨 σ를 50부터 2까지 2씩 감소시켜 총 25번의 iteration을 ADMM 내에서 반복하였다.
  • 사용한 잡음 제거기는 총 7개의 3×3 dilated conv 레이어로 구성 되고, 이 중 첫 번째 dilated conv 레이어는 dilated conv + ReLU로, 마지막 dilated conv 레이어는 뒤에 아무것도 추가하지 않은 dilated conv를 사용하였다.
  • 복잡한 이미지 prior를 대신하기 위해 본 논문에서 사용한 깊은 합성곱 신경망 잡음 제거기의 구조는 IRCNN과 같은 구조를 사용하였다. 일반적인 conv 레이어 대신 dilated conv 레이어[4]를 사용함으로써 효과적으로 receptive field를 확대하였고, 학습 속도를 빠르게 하기 위해 배치 정규화(batch normalization)[5]와 잔차 학습(residual learning)[6]을 도입하였다

대상 데이터

  • 성능 평가에는 영상 디블러링 뿐만 아니라 다양한 이미지 복원 (image restoration) 분야에서 쓰이는 데이터셋인 Set3의 이미지들을 사용하였다. IRCNN과의 결과 비교를 위해 IRCNN에서와 같이 가우시안 블러 커널, Levin et al.

데이터처리

  • 세 가지의 블러 커널을 그림 2에 시각화하였다. 정량적으로 성능을 평가하기 위해 PSNR을 측정하여 비교하였고, 디블러링을 수행한 실험 결과는 표 1에 정리하였다
  • 본 논문에서는 HQS 대신 다른 변수 분리 기법 중 하나인 ADMM (Alternating Direction Method of Multipliers)을 사용하여 논블라인드 영상 디블러링을 수행하였다. 제안된 방법의 성능을 평가하기 위하여, 이미지 디블러링에서 널리 쓰이는 데이터셋인 Set3에 대해 실험한 결과를 비교하였다

이론/모형

  • 관측된 블러 이미지 y에서 원본 이미지 x를 추정하는 것은 ill-posed 문제이므로, 이미지 디블러링은 일반적으로 어려운 문제이다. 따라서 모델 기반 최적화 방법(model-based optimization method)은 블러 커널이 주어지는 경우인 논블라인드 이미지 디블러링 (non-blind image deblurring)을 해결하기 위해 아래 수식과 같이 사후 확률 최대화 기법(MAP, Maximum a posteriori)을 이용한다
  • 복잡한 이미지 prior를 대신하기 위해 본 논문에서 사용한 깊은 합성곱 신경망 잡음 제거기의 구조는 IRCNN과 같은 구조를 사용하였다. 일반적인 conv 레이어 대신 dilated conv 레이어[4]를 사용함으로써 효과적으로 receptive field를 확대하였고, 학습 속도를 빠르게 하기 위해 배치 정규화(batch normalization)[5]와 잔차 학습(residual learning)[6]을 도입하였다.
  • 본 논문에서는 HQS 대신 다른 변수 분리 기법 중 하나인 ADMM (Alternating Direction Method of Multipliers)을 사용하여 논블라인드 영상 디블러링을 수행하였다. 제안된 방법의 성능을 평가하기 위하여, 이미지 디블러링에서 널리 쓰이는 데이터셋인 Set3에 대해 실험한 결과를 비교하였다.
본문요약 정보가 도움이 되었나요?
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로