초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문에서는 최신의 비디오 코덱 표준인 HEVC(High Efficiency Video Coding)의 화면 내 예측 부호화의 성능 향상을 위하여 SRCNN(Super Resolution Convolutional Neural Networks)을 이용하는 방법을 제안한다. SRCNN 은 비교적 최신 기술인 CNN(Convolutional Neural Network)을 사용하여 이미지를 추가적인 데이터 없이 보간 하여 해상도를 증가시키는 기술이다. HEVC 에서는 화면 내 예측의 잔차신호를 부호화 하기 위해 많은 비트를 소모하는데, 본 논문에서는 이 잔차신호들의 해상도를 낮추어 부호화 되는 비트를 줄이며, 복호화기에서 SRCNN 을 이용하여 원래의 해상도로 복원을 수행하여 압축성능을 향상 시키는 방법에 대하여 제안한다. 제안하는 기술은 HM 16.6 에 구현하였으며, CNN 트레이닝에 Caffe 라이브러리를 사용하였다.

본 논문에서는 최신의 비디오 코덱 표준인 HEVC(High Efficiency Video Coding)의 화면 내 예측 부호화의 성능 향상을 위하여 SRCNN(Super Resolution Convolutional Neural Networks)을 이용하는 방법을 제안한다. SRCNN 은 비교적 최신 기술인 CNN(Convolutional Neural Network)을 사용하여 이미지를 추가적인 데이터 없이 보간 하여 해상도를 증가시키는 기술이다. HEVC 에서는 화면 내 예측의 잔차신호를 부호화 하기 위해 많은 비트를 소모하는데, 본 논문에서는 이 잔차신호들의 해상도를 낮추어 부호화 되는 비트를 줄이며, 복호화기에서 SRCNN 을 이용하여 원래의 해상도로 복원을 수행하여 압축성능을 향상 시키는 방법에 대하여 제안한다. 제안하는 기술은 HM 16.6 에 구현하였으며, CNN 트레이닝에 Caffe 라이브러리를 사용하였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 화면 내 예측 부호화는 영상의 공간적인 중복만을 이용하여 예측 신호를 생성하여 부호화 하는 기술로 대부분의 비트를 예측후에 발생한 잔차신호를 부호화 하기 위하여 사용한다. 본 논문에서는 잔차신호 부호화의 오버헤드를 줄이기 위하여SRCNN을 활용하는 방법을 제안한다. 본 논문의 2 장에서는 SRCNN에 대하여 설명한다.

제안 방법

• 구체적인 성능 계산 과정은 다음과 같다. 우선 HEVC 부호화기로 영상을 부호화 하고 각각의 TB(Transform Block)으로부터 3 가지 정보인 복원 블록, 1/4 크기의 복원블록 그리고 비트량 차이를 추출하였다. 복원 블록은 TB 의 양자화 계수를 가지고 복원한 블록이다.
• 제안하는 방법을 HEVC 에 구현하기 위해서는 컨벌루션 계층과 ReLU(Rectified Linear Unit)가 정수연산으로 구현 되어야 한다. 현실적으로 이러한 구현을 C++ 코드로 직접 구현하기 위해서는 오랜 시간이 소요되기 때문에 본 논문에서는 우선 직접적으로 구현하지 않고, 코스트 계산을 통해 간접적으로 제안하는 방법의 성능을 예측하였다.

대상 데이터

• 이미지의 확대 배율도 4 배로 할 경우 잘 트레이닝이 되지 않아 2 배로 설정하였다. 트레이닝에 사용된 이미지는 본 저자가 카메라로 직접 촬영한 무손실 사진을 Full-HD (1920x1080)해상도급으로 다운 스케일링 하여 사용하였다.

이론/모형

• 𝑓₁ × 𝑓₁ 크기의 입력은 bicubic interpolation 을 통해 미리 확대를 하기 때문에 디콘볼루션[6]이나 언풀링과 같은 레이어를 통해 중간에 맵의 크기를 확대할 필요가 없다. Loss function 으로는 일반적으로 사용하는 MSE(Mean Square Error)를 사용한다. SRCNN 은 비교적 작은 크기의 레이어와 적은 파라메터들을 사용하기 때문에 한번의 앞 전파(forward propagation)를 수행할 때 신경망 알고리즘 치고는 적은 약 50 만번 혹은 300 만번의 곱셈 연산과 가감연산만을 수행한다(입력 단위의 크기에 따라 다름).

후속연구

• 차후 연구에서는 단순히 SRCNN 을 HEVC 에 바로 적용하는 것은 비효율 적이기 때문에, HEVC 에 맞는 신경망 모델을 수립하는 방법에 대해 연구 주제로 가질 예정이다. 신경망의 입력으로 화면 내 예측신호와 다운 샘플링된 잔차신호를 입력받고 신경망을 거쳐 원래 해상도의 잔차신호를 예측하는 방법으로 구현한다면, 압축률을 많이 올릴 수 있을 것으로 기대된다.
• 제안하는 방법을 HEVC 에 구현하기 위해서는 컨벌루션 계층과 ReLU(Rectified Linear Unit)가 정수연산으로 구현 되어야 한다. 현실적으로 이러한 구현을 C++ 코드로 직접 구현하기 위해서는 오랜 시간이 소요되기 때문에 본 논문에서는 우선 직접적으로 구현하지 않고, 코스트 계산을 통해 간접적으로 제안하는 방법의 성능을 예측하였다.
• 차후 연구에서는 단순히 SRCNN 을 HEVC 에 바로 적용하는 것은 비효율 적이기 때문에, HEVC 에 맞는 신경망 모델을 수립하는 방법에 대해 연구 주제로 가질 예정이다. 신경망의 입력으로 화면 내 예측신호와 다운 샘플링된 잔차신호를 입력받고 신경망을 거쳐 원래 해상도의 잔차신호를 예측하는 방법으로 구현한다면, 압축률을 많이 올릴 수 있을 것으로 기대된다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기