[논문]영상 프레임 디코딩 복잡도 예측을 통한 DVFS 전력감소 방식

안희준; 정승호

doi:10.7840/kics.2013.38b.1.46

문제 정의

본 논문에서 저자들은 논문[1]에서 제안하고 증명한 최소 전력소모 DVFS 스케쥴링 알고리즘을 화면당 계산 복잡도를 알지 못하는 (실시간) 상황으로 확장하기 위한 방안과 알고리즘을 제시하였다. 프레임당 디코딩 양과 계산 복잡도가 상관도가 높다는 사실을 이용하였다.
이 알고리즘은 수학적으로 최적의 결과를 가져오지만, 사전에 정확한 화면당 디코딩 계산양을 알고 있다는 조건을 만족하여야 하는데, 이는 디코더의 응용에 따라 만족되기 어려운 경우가 존재한다. 본 논문에서는 프레임의 데이터크기로 프레임의 디코딩 계산양을 예측하는 알고리즘을 활용하여, 이제약사항을 극복하는 알고리즘을 제안한다. 이 아이디어의 근간에는 상당 수준이상의 정확도가 보장된 계산양 예측 알고리즘을 고안하게 된다면 이를 기반으로 최적알고리즘을 적용하였을 때 약간의 완충 버퍼를 사용하면 버퍼 고갈과 넘침이 일어나지 않고, 기존의 최적 DVFS 알고리즘의 성능을 확보할 수 있을 것이라는 점이다.
본 논문은 이와 같은 아이디어를 만족하는 구체적인 동작 알고리즘을 구성하고 실제 데이터를 사용하여 실용성을 검증하는 것이 목적이며, 이에 따라 다음과 같이 구성하였다..

가설 설정

에서 제안한 방식으로 성능을 보장하면서 디스플레이 버퍼를 이용해 DVFS 스케줄링을 한다. 실시간성을 보장하기 위해 시뮬레이션에선 최악의 경우 디코딩 시간을 알고 있다고 가정한다. 각 프레임 별로 식 (12)와 같이 주파수 스케일링 계수를 구해서 k번째 프레임을 디코딩 할 때, f_max × r_k 로 CPU 클럭을 할당한다.
예를 들어 연구 ^[4]에서 저자들은 동영상의 화면 당 계산 양 히스토그램에 기초하여 일정 수준의 QoS를 만족하고, 한 프레임을 디코딩하면서 CPU 클럭을 조절하는 알고리즘을 제안하였다. 즉, 이 일련의 연구들은 디코더의 영상입력시점과 출력시점의 간격이 고정되어있다고 가정하였으며, 따라서 일반적으로 영상 디코더 시스템에서 사용할 수 있는 디코더와 디스플레이 사이에 버퍼를 적절히 활용하지 못했다. 연구 ^[4,5]에서는 이러한 디스플레이 버퍼의 사용을 활용하면 DVFS를 통해 더 많은 에너지 절감을 달성할 수 있음을 보였다.

제안 방법

264코덱의 인코더로 널리 사용되는 x264^[13]를 이용하여 Baseline 프로파일과 Main 프로파일로 다양한 Bit-rate와 해상도를 비교할 수 있도록 인코딩했다. 그리고 GOP크기는 15로 고정했으며, Main 프로파일의 경우 B프레임이 2번씩 연속되도록 고정하여 규칙적인 GOP 패턴으로 인코딩되도록 설정 했다.
논문^[4]에서 제안한 방식으로 성능을 보장하면서 디스플레이 버퍼를 이용해 DVFS 스케줄링을 한다. 실시간성을 보장하기 위해 시뮬레이션에선 최악의 경우 디코딩 시간을 알고 있다고 가정한다.
시뮬레이션에 사용한 영상은 총 두 가지로 Drama 컨텐츠의 영상인 시트콤 “The Big Bang Theory”의 시즌4 에피소드20의 0:09:57~0:12:57를 캡쳐한 영상과 SF 영화 컨텐츠의 영상인 영화 “Avatar"의 2:27:15~2:30:15를 캡쳐한 영상이다. 두 영상을 캡쳐를 한 뒤, H.264코덱의 인코더로 널리 사용되는 x264^[13]를 이용하여 Baseline 프로파일과 Main 프로파일로 다양한 Bit-rate와 해상도를 비교할 수 있도록 인코딩했다. 그리고 GOP크기는 15로 고정했으며, Main 프로파일의 경우 B프레임이 2번씩 연속되도록 고정하여 규칙적인 GOP 패턴으로 인코딩되도록 설정 했다.
따라서 본 논문에서 제안하는 DVFS 알고리즘의 계산양 예측 시스템은 각 부호화 모드를 고려하여 선별된 선형 예측 모델을 적용하여 다음과 같이 선형 예측모델로 구성하였다.
데이터양을 기초로 한 장면전환 검출 알고리즘은 기존에 발표된 것이 있으나 충분히 안정적이지 못하고 계산양도 추가로 필요하다. 따라서 본 연구에서는 장면전환을 검출하는 알고리즘을 사용하는 대신 슬라이딩 윈도우를 사용하여 시간적으로 가까운 화면들의 정보만을 예측에 사용하는 방법을 선택하였다. 슬라이딩 윈도우를 이용하는 장점은 예측 알고리즘의 계산 양이 줄어든다는 장점도 있다.
표 5은 제안된 알고리즘과 다른 알고리즘의 에너지 소모량을 비교한 표이다. 모든 에너지 소모량은 최적 알고리즘을 기준으로 정규화 하였다. 모든 경우에 대해서 제안한 알고리즘이 비교대상 알고리즘인 Dead-zone 알고리즘보다 좋은 성능을 보인다.
본 연구에서는 보다 정밀도가 높은 예측이 필요하기 때문에 프레임의 타입으로 구분하고, 각 타입별 선형모델로 예측했을 때 어떻게 예측이 되는 지를 실험하였다(그림 1의 (b), (c), (d)). I 프레임의 경우, 다른 타입의 프레임들에 비해 큰 크기와 계산양으로 넓게 분포하는 것을 볼 수 있다.
본 연구에서는 응용에서 정한 확률적 허용오차를 정하면 이 완충영역의 양, 즉 마진을 선형 예측모델을 사용하여 계산하여 제공한다. 예측 에러를 가우시안분포 모델로 가정한 경우의 통계특성과 예측된 계산양의 오차 정도가 표 3에 정리되어 있다.
성능의 비교는 에너지 절감 효과와 버퍼문제 발생확률을 살펴보았다. 특히, 버퍼 범람의 조건에서는 디코더를 잠시 중지할 수 있으므로 버퍼고갈 확률만을 고려하였다.
따라서 영상 디코더시스템의 저전력화 기법은 실용적인 측면에서 중요성이 매우 높다. 시스템 레벨 저전력 기술의 좀 더 일반적인 소개는 참고 문헌 [1]과 [2]에 소개되어 있으며, 본 논문에서는 DVFS 방식을 영상디코더에 사용한 방법에 대해서만 다루도록 한다.
기존 연구 결과들이 상당한 성능개선의 결과가 있었지만, 1) 발견적 (heuristic) 해결방법으로서 이론적인 최적성능의 한계를 제시하지 못하였다는 점과 디스플레이 버퍼의 크기의 제약을 고려하지 않는다는 점 등의 문제점을 갖고 있었다. 저자들은 논문^[1]은 이러한 점에 주목하고, 디스플레이 버퍼가 제약된 조건에서 수학적으로 최소전력을 사용하는 DVFS 알고리즘을 제안하였다. 이 알고리즘은 수학적으로 최적의 결과를 가져오지만, 사전에 정확한 화면당 디코딩 계산양을 알고 있다는 조건을 만족하여야 하는데, 이는 디코더의 응용에 따라 만족되기 어려운 경우가 존재한다.
성능의 비교는 에너지 절감 효과와 버퍼문제 발생확률을 살펴보았다. 특히, 버퍼 범람의 조건에서는 디코더를 잠시 중지할 수 있으므로 버퍼고갈 확률만을 고려하였다. 표 5은 제안된 알고리즘과 다른 알고리즘의 에너지 소모량을 비교한 표이다.

대상 데이터

는 해당 프레임의 디코딩 계산양을 나타낸다. 각 확률변수의 평균과 분산을 구하기 위한 통계데이터는 시간적으로 현재 프레임에 윈도우 크기만큼 앞선 프레임들의 통계데이터를 이용한다.
시뮬레이션에 사용한 영상은 총 두 가지로 Drama 컨텐츠의 영상인 시트콤 “The Big Bang Theory”의 시즌4 에피소드20의 0:09:57~0:12:57를 캡쳐한 영상과 SF 영화 컨텐츠의 영상인 영화 “Avatar"의 2:27:15~2:30:15를 캡쳐한 영상이다.
우선 본 논문에서 사용한 실험데이터는 일관성을 위하여 논문^[1]에서와 같은 데이터를 사용하였다. 각 영상의 프레임별 디코딩 시간은 ffmpeg^[11]을 이용하여 노트북의 리눅스 상에서 CPU 클럭을 최대로 고정한 후 측정한 것이다.

데이터처리

본 논문에서 제안하는 알고리즘을 논문^[1]의 최적 알고리즘 및 대표적인 영상 DVFS 알고리즘 2가지와 비교한다. 최적알고리즘은 [1]을 참고로 하고, 나머지 두 알고리듬에 대하여만 추가로 설명한다.

이론/모형

논문 ^[5]에서 제안한 방식으로 DVFS 스케줄링에 제어이론을 이용한다. 버퍼의 설정된 영역으로 PID 제어기가 주파수 스케일링 계수를 조절하며, Panic factor를 알고리즘에 추가하여 실시간성을 보장한다.

성능/효과

특히 화면별 예측 모델을 통하여 예측의 정확도를 향상시켰으며, 화면별 예측모델은 평균 90%~95%이상의 높은 정확성을 보이는 것을 확인하였다. 계산양을 예측하기 위하여 해당 프레임의 데이터 이 모델을 바탕으로 수정된 알고리즘은 기존 최적알고리즘에 예측모델 부분을 확장한 형태로 적용가능하며, 확률적 예측에서 발생하는 오차에 따른 버퍼고갈의 문제는 10%에서 20%정도의 마진을 적용하여 해결할 수 있음을 보였다.
마진의 적용양이 많아짐에 따라 성능은 좋아지는 것을 통해 직관적인 해석과 일치하는 결과를 볼 수 있다. 그 결과 마진을 20% 이상으로하게 되면 버퍼 범람은 실제적으로 거의 발생하지 않는 것을 확인할 수 있다. 또한 버퍼이상이 생기는 경우를 관찰하여보면 언더플로가 발생하는 프레임은 밀집된 형태로 나타나는 것을 관찰할 수 있다.
그 결과 최적 알고리즘의 성능을 유지하면서 실시간 알고리즘으로 활용이 가능하게 되었다. 제안된 수정 알고리즘이 기존의 대표적 알고리즘보다 좋은 성능을 보이는 것은, 이 알고리즘의 근간이 되는 최적 알고리즘의 특성과 정교한 디코딩 계산양 예측기법에 기인한다고 판단된다.
모든 경우에 대해서 제안한 알고리즘이 비교대상 알고리즘인 Dead-zone 알고리즘보다 좋은 성능을 보인다. 그리고 버퍼범람과 고갈확률을 낮춤에 따라, 즉, 마진을 증가함에 따라, 적용함에 따라 에너지 성능이 조금씩 감소하는 것을 볼 때, 직관적인 해석과도 일치하는 결과이다. 데드존 알고리즘 보다 좋은 결과를 보이는 것은, 최적 알고리즘의 사용과 함께, 예측 알고리즘이 가져온 일종의 피드포워드 특성 때문인 것으로 분석 된다.
빈도가 높을수록 같은 장면에서 많은 프레임이 존재하고 때문에 윈도우의 크기가 큰 것이 적절해진다. 그리고 해상도가 작을수록, 데이터양이 클수록 최적 윈도우 크기가 큰 것을 관찰할 수 있다. 이 실험을 통해 구한 윈도우 크기는 DVFS 스케줄링 실험에서 그대로 사용하여 계산양 예측으로 인해 발생하는 오차를 최소화했다.
그리고 해상도와 데이터양이 높을수록 타입을 구분했을 때 성능이 더욱 좋아지며, I 프레임 > P 프레임 > B 프레임 순서로 예측이 더 잘되는 것을 알 수 있다.
모든 에너지 소모량은 최적 알고리즘을 기준으로 정규화 하였다. 모든 경우에 대해서 제안한 알고리즘이 비교대상 알고리즘인 Dead-zone 알고리즘보다 좋은 성능을 보인다. 그리고 버퍼범람과 고갈확률을 낮춤에 따라, 즉, 마진을 증가함에 따라, 적용함에 따라 에너지 성능이 조금씩 감소하는 것을 볼 때, 직관적인 해석과도 일치하는 결과이다.
그리고 해상도가 작을수록, 데이터양이 클수록 최적 윈도우 크기가 큰 것을 관찰할 수 있다. 이 실험을 통해 구한 윈도우 크기는 DVFS 스케줄링 실험에서 그대로 사용하여 계산양 예측으로 인해 발생하는 오차를 최소화했다.
표 5을 보면 95% 신뢰 수준으로 버퍼고갈확률을 만족하기 위해선 약 11%에서 25% 정도 예측된 계산양에 마진을 주는 것이 적합하다. 이를 반영하여 본 논문에서 제안한 최적 알고리즘에 예측된 계산양을 10%나 20%정도 여유를 두고 경로를 스케쥴링함으로써 예측으로 인해 발생하는 버퍼고갈을 방지한다. 단 실제로 버퍼고갈이 발생활률은 스케쥴링에서 컨벡스 포인트이며 따라서 컨벡스 포인트의 빈도와 범위를 벋어날 확률 둘을 곱한 확률으로 본 연구의 경우 통상 1% 미만이 된다.
그 결과 최적 알고리즘의 성능을 유지하면서 실시간 알고리즘으로 활용이 가능하게 되었다. 제안된 수정 알고리즘이 기존의 대표적 알고리즘보다 좋은 성능을 보이는 것은, 이 알고리즘의 근간이 되는 최적 알고리즘의 특성과 정교한 디코딩 계산양 예측기법에 기인한다고 판단된다.
프레임당 디코딩 양과 계산 복잡도가 상관도가 높다는 사실을 이용하였다. 특히 화면별 예측 모델을 통하여 예측의 정확도를 향상시켰으며, 화면별 예측모델은 평균 90%~95%이상의 높은 정확성을 보이는 것을 확인하였다. 계산양을 예측하기 위하여 해당 프레임의 데이터 이 모델을 바탕으로 수정된 알고리즘은 기존 최적알고리즘에 예측모델 부분을 확장한 형태로 적용가능하며, 확률적 예측에서 발생하는 오차에 따른 버퍼고갈의 문제는 10%에서 20%정도의 마진을 적용하여 해결할 수 있음을 보였다.
예측 에러를 가우시안분포 모델로 가정한 경우의 통계특성과 예측된 계산양의 오차 정도가 표 3에 정리되어 있다. 표 5을 보면 95% 신뢰 수준으로 버퍼고갈확률을 만족하기 위해선 약 11%에서 25% 정도 예측된 계산양에 마진을 주는 것이 적합하다. 이를 반영하여 본 논문에서 제안한 최적 알고리즘에 예측된 계산양을 10%나 20%정도 여유를 두고 경로를 스케쥴링함으로써 예측으로 인해 발생하는 버퍼고갈을 방지한다.

후속연구

이는 계산양 예측 시스템에서 사용하는 영상의 통계특성이 변하는 부분에서 발생하는 것으로 추정되는데, 프레임의 크기와 계산양 간의 관계에 대한 통계 특성이 급격히 변하는 구간이 존재하기 때문이다. 따라서 장면의 전환과 같은 영상의 통계 특성이 변하는 구간을 감지해서 이를 예측에 반영하는 노력을 함으로써 문제의 해결이 가능할 것으로 생각된다.
마지막으로, 예측 오차로 인하여 간헐적으로 발생할 수 있는 버퍼 고갈의 문제는 주로 장면전환시 발생하는 특성 변화로 생기는 문제로 추정되며, 이는 적합한 장면전환 검출 기법과 접목하면 좀 더 높은 신뢰성을 확보할 수 있을 것으로 예상한다. 또한, 본 알고리즘을 CPU나 DSP기반 이외의 하드웨어로 구성된 디코더에 적용하기위해서는 각 요소별 계산양 예측기법이 추가로 개발 되어야 할 것이다.
마지막으로, 예측 오차로 인하여 간헐적으로 발생할 수 있는 버퍼 고갈의 문제는 주로 장면전환시 발생하는 특성 변화로 생기는 문제로 추정되며, 이는 적합한 장면전환 검출 기법과 접목하면 좀 더 높은 신뢰성을 확보할 수 있을 것으로 예상한다. 또한, 본 알고리즘을 CPU나 DSP기반 이외의 하드웨어로 구성된 디코더에 적용하기위해서는 각 요소별 계산양 예측기법이 추가로 개발 되어야 할 것이다.
본 논문에서는 프레임의 데이터크기로 프레임의 디코딩 계산양을 예측하는 알고리즘을 활용하여, 이제약사항을 극복하는 알고리즘을 제안한다. 이 아이디어의 근간에는 상당 수준이상의 정확도가 보장된 계산양 예측 알고리즘을 고안하게 된다면 이를 기반으로 최적알고리즘을 적용하였을 때 약간의 완충 버퍼를 사용하면 버퍼 고갈과 넘침이 일어나지 않고, 기존의 최적 DVFS 알고리즘의 성능을 확보할 수 있을 것이라는 점이다.

핵심어	질문	논문에서 추출한 답변
	노트북, PMP, 스마트폰 등 휴대, 모바일 장치는 무엇을 에너지원으로 사용하고 있는가?	저 전력 시스템 설계 기술은 최근 컴퓨터 시스템이 당면한 가장 중요한 문제 중의 하나이다[2]. 특히, 노트북, PMP, 스마트폰 등 휴대, 모바일 장치는 배터리를 에너지원으로 사용하고 있으며, 점차로 이러한 모바일 장치에서 동영상 소비가 증가하고 있다. 따라서 영상 디코더시스템의 저전력화 기법은 실용적인 측면에서 중요성이 매우 높다.
	영상디코더의 태스크의 정의는 무엇인가?	영상 디코더의 DVFS 알고리즘을 이해하기 위해서는 다음과 같은 사항의 이해가 필요하다. 영상디코더의 태스크는 한 영상화면(프레임)의 디코딩으로 정의하는데, 일정한 시간간격으로 화면에 출력되기 위하여 데드라인(deadline)을 만족하여야 하므로 실시간 시스템의 특성을 갖는다. 그러나 영상 프레임의 디코딩 시간의 가변적인 특성과 절대적 데드라인 시간이아니라 상대적인 시간간격이 중요하다.
	영상디코더는 영상 프레임의 디코딩 시간의 가변적인 특성과 절대적 데드라인 시간이 아니라 상대적인 시간 간격이 중요한데, 이러한 차이점을 고려하여 어떠한 알고리즘이 제안되었는가?	그러나 영상 프레임의 디코딩 시간의 가변적인 특성과 절대적 데드라인 시간이아니라 상대적인 시간간격이 중요하다. 이러한 차이점을 고려하여 영상디코더에 특화된 DVFS 알고리즘들이 제안되었다[3-9]. 기존의 대부분의 연구, [4,7-9] 등은 모두 한 프레임 간격 동안 프레임의 디코딩을 진행하여야하는 데드라인 조건을 가정하고 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

영상 프레임 디코딩 복잡도 예측을 통한 DVFS 전력감소 방식
Power-Minimizing DVFS Algorithm Using Estimation of Video Frame Decoding Complexity 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (13)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

영상 프레임 디코딩 복잡도 예측을 통한 DVFS 전력감소 방식 Power-Minimizing DVFS Algorithm Using Estimation of Video Frame Decoding Complexity 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (13)

이 논문을 인용한 문헌

저자의 다른 논문 :

안희준 (25)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

영상 프레임 디코딩 복잡도 예측을 통한 DVFS 전력감소 방식
Power-Minimizing DVFS Algorithm Using Estimation of Video Frame Decoding Complexity 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper