[논문]CNN 기반의 VVC 인-루프 필터 설계

문현철; 김재곤

CNN 기반의 VVC 인-루프 필터 설계
CNN Based In-loop Filter in Versatile Video Coding (VVC) 원문보기

문현철 (한국항공대학교) , 김재곤 (한국항공대학교)

본 논문에서는 새로이 시작된 비디오 압축 표준인 VVC(Versatile Video Coding)의 인-루프(in-loop) 필터링을 위한 CNN 구조를 제안한다. 제안하는 CNN 구조는 복호화된 영상을 입력으로 하고 원본 영상과 복호화된 영상의 오차를 손실함수로 사용하여 학습을 진행한다. 또한, 비디오 부호화에서의 다양한 크기의 CU(Coding Unit)를 고려한 다양한 크기의 컨볼루션 필터를 사용하여 특징을 추출하는 구조에 기반하고 있다. 실험을 통하여 제안한 CNN 기반의 필터링이 VVC 의 시험모델인 VTM(VVC Test Model)의 인-루프 필터링의 성능을 개선할 수 있음을 확인하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 CNN 기반의 VVC 인-루프 필터를 제시하였다. 다양한 크기의 CU 를 고려하여 다양한 크기의 필터를 포함한 CNN 구조를 사용하였다.
본 논문에서는 필터링 기능과 잡음 제거에 용이한 CNN 의 특징을 고려하여 비디오 압축의 블록 경계에서의 아티팩트와 양자화 잡음을 제거하기 위한 인-루프 필터에 적용하는 방안을 제시한다.

제안 방법

본 논문의 구성은 다음과 같다. 2 절에서는 본 논문에서 제안하는 인-루프 필터에 적용할 CNN 구조를 기술하고, 3 절에서는 기존의 기법과 제안하는 기법의 실험결과 및 성능비교를 제시한다. 마지막으로, 4 절에서는 결론을 맺는다.
본 논문에서는 CNN 기반의 VVC 인-루프 필터를 제시하였다. 다양한 크기의 CU 를 고려하여 다양한 크기의 필터를 포함한 CNN 구조를 사용하였다. 실험결과 기존의 VCC 의 인-루프 필터와 비교했을 때 0.
본 논문에서 제안하는 CNN 기반의 인-루프 필터의 성능을 확인하기 위한 실험은 All Intra 모드에서 6 개의 시퀀스 BasketballDrill, BQMall, PartyScene, BlowingBubbles, BQSquare 그리고 PeopleOnstreet 를 학습 데이터를 사용했으며, 다양한 QP 의 값(27, 32, 37)으로 부호화한 시퀀스를 혼합하여 학습을 진행하였다. 테스트 시퀀스로는 테스트 시퀀스와 겹치지 않도록 BasketballDrill, BQMall 의 각각의 1~100 번째 프레임을 사용하였다.
학습과정에서는 출력영상을 압축전의 원본영상과 입력영상의 차이인 잔차영상을 출력하게 유도하고, 최종 출력영상은 입력영상과 잔차영상을 더한 영상으로 정의한다. 이 최종 출력영상과 입력영상의 평균최소자승오차(MSE: Mean Squared Error)를 손실함수(loss function)로 학습을 진행한다. 제안한 구조의 CNN 기반의 인-루프 필터를 적용할 때는 출력영상과 입력영상을 더한 최종 결과영상을 얻는다.
제안 기법은 다양한 QP 에서 성능개선을 보이지만 낮은 QP 에 대해서는 상대적으로 개선 정도가 낮으며 이에 대한 개선이 필요한다. 또한, BD-Rate 의 성능과 보다 다양한 시퀀스에서의 실험을 통한 성능 확인과 Random Access 및 Low Delay 의 부호화 모드에서의 성능을 확인할 예정이다.
제안하는 CNN 기반의 인-루프 필터의 구조는 SRCNN 및 VRCNN 구조를 기반으로 한다. 그림 1 의 제안하는 구조의 입력영상은 복호화된 영상을 입력으로 한다.

대상 데이터

본 논문에서 제안하는 CNN 기반의 인-루프 필터의 성능을 확인하기 위한 실험은 All Intra 모드에서 6 개의 시퀀스 BasketballDrill, BQMall, PartyScene, BlowingBubbles, BQSquare 그리고 PeopleOnstreet 를 학습 데이터를 사용했으며, 다양한 QP 의 값(27, 32, 37)으로 부호화한 시퀀스를 혼합하여 학습을 진행하였다. 테스트 시퀀스로는 테스트 시퀀스와 겹치지 않도록 BasketballDrill, BQMall 의 각각의 1~100 번째 프레임을 사용하였다. 실험결과는 VVC(Versatile Video Coding)의 참조 SW 코덱인 VTM-1.

데이터처리

테스트 시퀀스로는 테스트 시퀀스와 겹치지 않도록 BasketballDrill, BQMall 의 각각의 1~100 번째 프레임을 사용하였다. 실험결과는 VVC(Versatile Video Coding)의 참조 SW 코덱인 VTM-1.0 의 결과를 기준으로 비교하였다.

성능/효과

다양한 크기의 CU 를 고려하여 다양한 크기의 필터를 포함한 CNN 구조를 사용하였다. 실험결과 기존의 VCC 의 인-루프 필터와 비교했을 때 0.24 dB PSNR 이득을 얻을 수 있었고, 주관적 화질 비교에서도 두드러진 화질 개선을 확인할 수 있었다.
이 최종 출력영상과 입력영상의 평균최소자승오차(MSE: Mean Squared Error)를 손실함수(loss function)로 학습을 진행한다. 제안한 구조의 CNN 기반의 인-루프 필터를 적용할 때는 출력영상과 입력영상을 더한 최종 결과영상을 얻는다. 그림 1 의 제안하는 CNN 구조는 식 (1) ~ (3)으로 표현된다.
표 1 의 실험결과는 각 경우에서의 실험에 사용한 4 개의 QP 22, 27, 32, 37 에서의 평균 PSNR 을 나타낸 것으로, 제안하는 CNN 기법은 VCC 의 인-루프 필터 대비 평균 0.24dB 가 향상됨을 확인할 수 있었으며, 필터 크기를 다양하게 적용할 수 있는 기존의 VRCNN 과 비교했을 때 약 0.02dB 의 향상을 확인할 수 있다.

후속연구

제안 기법은 다양한 QP 에서 성능개선을 보이지만 낮은 QP 에 대해서는 상대적으로 개선 정도가 낮으며 이에 대한 개선이 필요한다. 또한, BD-Rate 의 성능과 보다 다양한 시퀀스에서의 실험을 통한 성능 확인과 Random Access 및 Low Delay 의 부호화 모드에서의 성능을 확인할 예정이다. 또한, 향후 JVET 에 제안된 VVC 의 인-루프 필터와 성능 비교을 진행할 예정이다.
또한, BD-Rate 의 성능과 보다 다양한 시퀀스에서의 실험을 통한 성능 확인과 Random Access 및 Low Delay 의 부호화 모드에서의 성능을 확인할 예정이다. 또한, 향후 JVET 에 제안된 VVC 의 인-루프 필터와 성능 비교을 진행할 예정이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

CNN 기반의 VVC 인-루프 필터 설계
CNN Based In-loop Filter in Versatile Video Coding (VVC) 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

CNN 기반의 VVC 인-루프 필터 설계 CNN Based In-loop Filter in Versatile Video Coding (VVC) 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

CNN 기반의 VVC 인-루프 필터 설계
CNN Based In-loop Filter in Versatile Video Coding (VVC) 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper