[논문]DenseNet 기반의 이미지 압축

박운성; 김문철

문제 정의

신경망 기반의 이미지 압축도 마찬가지로 고주파수 성분이 많이 사라지게 된다. 따라서 이를 해결하기 위해 본 논문에서는 입력 이미지 이외에 추가입력으로 고주파수 성분에 대한 정보를 넣어주어서 고주파수 성분에 대한 복원이 더 잘 이루어지도록 하였다. 제안한 이미지 압축 구조의 디코더 부분은 그림 2에 묘사하였다.
본 논문에서는 이러한 문제점을 해결하기 위해 파라미터를 줄이는 데에 효과적인 신경망 구조를 이미지 압축에 적용하는 방법을 제안한다. 구체적으로 이전의 층을 참조하여 다음 층을 만들어내는 신경망을 사용하여 적은 파라미터에도 효과적으로 정보가 전달될 수 있도록 하였다.
따라서 상대적으로 더 적은 개수의 채널을 사용하여도 깊은 층의 신경망을 학습할 수 있고, 정보 전달이 잘 이루어질 수 있다. 본 논문은 적은 파라미터를 사용하여도 정보 전달이 잘 이루어질 수 있는 DenseNet을 기반으로 한 이미지 압축 방법을 제안하였다.

제안 방법

특히 중간에 존재하는 병목 층으로 인해 정보가 중간에 손실되기 때문에 원래 입력 이미지에 가까운 이미지로 출력하는 것이 어렵다. 그래서 최근에 이전의 특징 맵을 나중의 특징 맵과 더하는 식의 신경망 구조인 ResNet 을 사용하여 위의 문제점을 어느 정도 해결하였다. 그러나 이를 위해서는 많은 수의 채널수가 각층마다 필요하여 신경망을 학습할 때 필요한 파라미터 수가 상당히 많아진다.
기존의 ResNet 기반의 이미지 압축은 학습을 위해 상대적으로 많은 파라미터를 사용해야만 했지만, 제안하는 DenseNet 기반의 이미지 압축은 각 층의 특징맵이 이후의 모든 층의 특징맵으로 연결되기 때문에 학습에 도움이 되고, 상대적으로 적은 채널을 사용하여 비슷한 성능을 얻을 수 있다. 또한 압축으로 잃어버린 고주파수 성분과 관련된 정보를 추가 입력으로 넣어주어서 주관적인 화질 성능을 올리도록 하였다. 추후의 연구는 GAN을 활용한 주관적인 화질 성능 향상이 있고, 정지 영상이 아닌 동영상에 대한 압축 네트워크를 구성하는 것이다.
본 실험에 사용된 네트워크는 총 3 개이다. 먼저 본 논문에서 제안한 DenseNet 기반의 일반적인 이미지 압축 네트워크이고, 두 번째는 추가 입력으로 JPEG2000으로 압축한 이미지와 원본 이미지와의 차이를 넣어주는 네트워크이다. 마지막으로 비교를 위해 비슷한 개수의 파라미터를 사용한 ResNet 기반의 이미지 압축 네트워크이다.
본 논문에서 제안한 DenseNet 기반의 이미지 압축 구조는 오토 인코더의 인코더 부분과 디코더 부분으로 나눌 수 있다. 먼저 인코더 부분을 그림 1 에 묘사하였다.
서로 다른 네트워크의 공정한 비교를 위해 같은 수의 파라미터로 신경망을 구성하였다. 때문에 ResNet은 기존의 논문에서 제시했던 채널 수보다 더 적게 구성하였고, 이를 학습했을 때 표 1의 결과처럼 학습을 완벽하게 하지 못했다.
최종적으로 크기를 2 배로 늘리는 컨볼루션 신경망을 2 개 통과시킨 후 컨볼루션 신경망으로 최종 복원을 하면 결과 이미지가 생성된다. 이를 입력 이미지에 가깝도록 MSE 관점에서 학습을 하였다.
제안하는 DenseNet 기반의 이미지 압축 구조의 인코더의 입력으로 이미지가 들어오면 두 개의 컨볼루션 신경망을 통해 크기가 1/4 로 줄어들게 된다. 이후의 특징 맵은 Dense 블록을 통해 더 높은 레벨의 특징 맵을 추출해내고, 마지막으로 크기를 1/2 로 줄이는 컨볼루션 신경망을 통과시켜서 병목 층의 특징 맵을 만들어낸다. 그래서 병목 층 이전의 신경망 구조를 비선형 변환에 해당하는 부분이라고 생각할 수 있다.
제안하는 DenseNet 기반의 이미지 압축 구조의 디코더의 입력으로 양자화된 병목 층의 특징 맵이 들어오면 컨볼루션 신경망을 통해 크기가 2 배로 늘어나게 된다. 이후의 특징 맵은 Dense 블록을 통해 복원을 위한 더 높은 레벨의 특징 맵을 추출해낸다.
비선형 함수는 ReLu를 사용하였고, 모든 네트워크는 학습할 때 Adam Optimizer[14]를 사용하였다. 최종적으로 입력 이미지와 출력 이미지와의 MSE 를 100 epoch 동안 학습시켰다. 그리고 학습이나 테스트는 모두 NVIDIA Titan XP GPU를 통해 진행되었다.

대상 데이터

본 실험에 사용된 네트워크는 총 3 개이다. 먼저 본 논문에서 제안한 DenseNet 기반의 일반적인 이미지 압축 네트워크이고, 두 번째는 추가 입력으로 JPEG2000으로 압축한 이미지와 원본 이미지와의 차이를 넣어주는 네트워크이다.
제안하는 DenseNet 기반의 이미지 압축은 신경망 구조로 DenseNet[12]을 사용한다. DenseNet은 이미지 분류에 사용하기 위해 처음 제안된 신경망 구조로, 기존의 ResNet을 조금 더 발전시킨 형태의 신경망 구조이다.
학습 이미지는 ETH Zurich에서 이미지 압축 Challenge를 위해 제공했던 이미지 중에서 585 개의 2k 이미지를 사용했다. 테스트 이미지는 마찬가지로 ETH Zurich에서 제공한 41 개의 2k 이미지[13]를 사용하였다. 배치 크기는 32 개의 128×128 을 사용하였고, 컨볼루션 필터 크기는 크기를 줄일 때는 4×4, DenseNet에서의 컨볼루션 필터 크기는 3×3 을 사용하였다.
이때 각 신경망 구조의 파라미터 수는 약 34 만 개를 사용하도록 채널 수를 조절하였다. 학습 이미지는 ETH Zurich에서 이미지 압축 Challenge를 위해 제공했던 이미지 중에서 585 개의 2k 이미지를 사용했다. 테스트 이미지는 마찬가지로 ETH Zurich에서 제공한 41 개의 2k 이미지[13]를 사용하였다.

데이터처리

본 논문에서 제안한 DenseNet 기반의 이미지 압축의 성능을 ResNet 기반의 이미지 압축의 성능과 비교하였다. 이때 각 신경망 구조의 파라미터 수는 약 34 만 개를 사용하도록 채널 수를 조절하였다.
마지막으로 비교를 위해 비슷한 개수의 파라미터를 사용한 ResNet 기반의 이미지 압축 네트워크이다. 이들의 성능을 같은 압축률로 압축했을 때의 41 개의 테스트 이미지에 대한 PSNR, MS-SSIM[15] 평균값으로 비교를 하였다.

이론/모형

배치 크기는 32 개의 128×128 을 사용하였고, 컨볼루션 필터 크기는 크기를 줄일 때는 4×4, DenseNet에서의 컨볼루션 필터 크기는 3×3 을 사용하였다. 비선형 함수는 ReLu를 사용하였고, 모든 네트워크는 학습할 때 Adam Optimizer[14]를 사용하였다. 최종적으로 입력 이미지와 출력 이미지와의 MSE 를 100 epoch 동안 학습시켰다.

성능/효과

이는 상대적으로 더 적은 채널을 가지고 정보 전달을 잘 할 수 있는 DenseNet의 구조가 도움이 되었다고 생각한다. DenseNet2의 경우 추가 입력을 사용한 네트워크인데, 이 네트워크의 결과는 PSNR 관점에서는 추가 입력을 사용하지 않은 네트워크보다 안 좋지만, 주관적인 화질을 더 잘 측정할 수 있는 MS-SSIM 관점에서 측정한 결과 더 좋은 성능을 보였다. 이는 압축으로 인해 사라진 고주파수 성분만 따로 추가 입력으로 보내면 이를 병목 층에서의 특징맵에 반영할 수 있는 것으로 보인다.
본 논문에서는 이러한 문제점을 해결하기 위해 파라미터를 줄이는 데에 효과적인 신경망 구조를 이미지 압축에 적용하는 방법을 제안한다. 구체적으로 이전의 층을 참조하여 다음 층을 만들어내는 신경망을 사용하여 적은 파라미터에도 효과적으로 정보가 전달될 수 있도록 하였다.
본 논문에서는 DenseNet 기반의 이미지 압축 구조를 제안하여 기존 ResNet 기반의 이미지 압축보다 더 좋은 압축 성능을 보였다. 기존의 ResNet 기반의 이미지 압축은 학습을 위해 상대적으로 많은 파라미터를 사용해야만 했지만, 제안하는 DenseNet 기반의 이미지 압축은 각 층의 특징맵이 이후의 모든 층의 특징맵으로 연결되기 때문에 학습에 도움이 되고, 상대적으로 적은 채널을 사용하여 비슷한 성능을 얻을 수 있다.

후속연구

또한 압축으로 잃어버린 고주파수 성분과 관련된 정보를 추가 입력으로 넣어주어서 주관적인 화질 성능을 올리도록 하였다. 추후의 연구는 GAN을 활용한 주관적인 화질 성능 향상이 있고, 정지 영상이 아닌 동영상에 대한 압축 네트워크를 구성하는 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

DenseNet 기반의 이미지 압축
DenseNet based Image Compression 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

DenseNet 기반의 이미지 압축 DenseNet based Image Compression 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

DenseNet 기반의 이미지 압축
DenseNet based Image Compression 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper