선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 기계학습 기법의 분류알고리즘인 다층퍼셉트론(Multi-Layer Perceptron)을 이용하여 저정보 영역을 자동적으로 추출하는 방법을 제안한다. 제안방법은 스포츠 중계이미지를 검사영역의 쉬프트 연산을 통해 분할된 영상 내 색상의 분포를 인식하여 저정보 영역을 검출한다.
- 본 논문에서는 스포츠 경기 영상에서 영상 내자동적인 광고 삽입을 위한 저정보 영역을 추출하는 방법을 제안하였다. 이를 위해 서로 다른 크기의 야구장 이미지 4개를 수집하여 실험을 수행하였으며 선행연구에서 사용된 이미지를 동일하게 적용해 성능비교를 하였다.
가설 설정
- 그림7(a)는 원영상이며, 그림7(b)는 저정보 영역 검출 결과이다. 그림7(c)는 그림7(b) 영상 내 좌상 위치의 빨강 사각형의 히스토그램 분포를 보인 것이고, 그림7(d)는 그림7(b) 영상 내 중앙 위치의 파란 사각형의 히스토그램 분포를 보인 것이다.
제안 방법
- 0버전을 사용하여 실험하였고, windows7(64bit) 환경에서 실험을 수행하였다. 또한 제안방법의 실험및 검증을 위해 펜스가 포함된 야구장 이미지를 수집하여 제안방법을 적용하였다. 야구장 이미지의 크기는 다양한 사이즈로 구성되며 표 1과 같다.
- 제안방법은 입력영상에 대해 Grayscale을 수행하여 RGB영상을 회색조 영상으로 변환하고, 변환된 영상에 대해서 검사영역을 지정하여 쉬프트동작을 수행하며 이미지 전체에 대한 영역을 지정한다. 또한 지정된 영역에 대해서 히스토그램분석을 수행하여 이미지의 밝기의 빈도를 분석한다. 위와 같은 과정을 통하여 수집된 히스토그램 데이터를 통해서 다층퍼셉트론(MLP; Multi-Layer Perceptron)을 수행하여 검사영역이 저정보 영역에 속하는지를 판단한다.
- 본 논문에서 저정보 영역을 추출하기 위해 Python 2.7.9, OpenCV 3.0.0버전을 사용하여 실험하였고, windows7(64bit) 환경에서 실험을 수행하였다. 또한 제안방법의 실험및 검증을 위해 펜스가 포함된 야구장 이미지를 수집하여 제안방법을 적용하였다.
- 본 논문에서는 그림 5와 같이 한 단계의 은닉층을 가지는 다층퍼셉트론을 사용했으며, 회색화를 수행한 이미지의 각 Blob에 대한 히스토그램에서 256개의 밝기 값에 대응되는 빈도수를 입력 층의 입력 값으로 할당하고 출력 층은 저정보 영역을 판별할 수 있는 출력노드를 두 개로 구성하였다. 식(7)은 입력이미지와 입력이미지를 히스토그램화 했을 때의 256개의 밝기 값을 통해 구성된 다층퍼셉트론의 입력을 나타냈다.
- 본 논문에서는 제안하는 방법은 저정보 영역(Less-Informative Region)을 추출하기 위해 그림 1과 같은 구조를 제안한다. 제안방법은 입력영상에 대해 Grayscale을 수행하여 RGB영상을 회색조 영상으로 변환하고, 변환된 영상에 대해서 검사영역을 지정하여 쉬프트동작을 수행하며 이미지 전체에 대한 영역을 지정한다.
- 또한 지정된 영역에 대해서 히스토그램분석을 수행하여 이미지의 밝기의 빈도를 분석한다. 위와 같은 과정을 통하여 수집된 히스토그램 데이터를 통해서 다층퍼셉트론(MLP; Multi-Layer Perceptron)을 수행하여 검사영역이 저정보 영역에 속하는지를 판단한다.
- MLP의 학습을 위해 오류 역전파 알고리즘을 사용하였으며, 시그모이드 함수(Sigmoid function)를 활성화 함수로 사용하였다. 은닉층 뉴런의 개수는 30개로 구성하였으며, 뉴런의 개수를 증감시키며 휴리스틱 방법을 통해 뉴런의 개수를 선택하였다.
- 본 논문에서는 스포츠 경기 영상에서 영상 내자동적인 광고 삽입을 위한 저정보 영역을 추출하는 방법을 제안하였다. 이를 위해 서로 다른 크기의 야구장 이미지 4개를 수집하여 실험을 수행하였으며 선행연구에서 사용된 이미지를 동일하게 적용해 성능비교를 하였다. 그 결과 90.
- 또한 저정보 영역이 사각형의 형태를 취해야만 인식이 가능했다. 제안방법에서는 그림 2와 같이 이미지에 대해 정사각형(Npx⨯Npx)의 Blob을 이미지의 좌측상단부터 우측하단까지 쉬프트 시켜가며 저정보 영역에 대한 검사를 수행하였다. 이러한 형태로 검사 및 추출을 수행할 경우 공백의 모양이 사전에 지정되지 않은 도형이더라도 광고를 삽입할 수 있는 영역이 검출된다.
- 본 논문에서는 기계학습 기법의 분류알고리즘인 다층퍼셉트론(Multi-Layer Perceptron)을 이용하여 저정보 영역을 자동적으로 추출하는 방법을 제안한다. 제안방법은 스포츠 중계이미지를 검사영역의 쉬프트 연산을 통해 분할된 영상 내 색상의 분포를 인식하여 저정보 영역을 검출한다. 이러한 방법은 최소한의 수동적인 작업을 통해서 가상광고의 삽입이 가능하게 하여 가상광고의 삽입을 위해 투입되는 인력 또는 장비를 위한 비용을 절감할 수 있다.
- 그림 3(c)과 같이 Blob 내에 다양한 밝기 값들의 분포를 가지는 영역은 그림 3(d)처럼 작은 분산 값을 가지는 히스토그램으로 표현된다[7]. 제안방법은 이미지 내에서 쉬프트 연산에 의해서 사각형을 검출하고 그 사각형 영역에 대한 색 히스토그램의 분산정도에 의해 추출영역의 정보의 양을 판단하였으며 임계치에 따라 저정보 영역을 결정하였다. 제안방법은 이전 절에 정의된 Blob에 대해 히스토그램분석을 수행한다.
- 제안방법은 이미지 내에서 쉬프트 연산에 의해서 사각형을 검출하고 그 사각형 영역에 대한 색 히스토그램의 분산정도에 의해 추출영역의 정보의 양을 판단하였으며 임계치에 따라 저정보 영역을 결정하였다. 제안방법은 이전 절에 정의된 Blob에 대해 히스토그램분석을 수행한다. 히스토그램 분석은 해당영역 내에 여러 색상으로 분포되어있지 않고 색상이 단일하게 밀집된 정도를 검출할 수 있다.
- 본 논문에서는 제안하는 방법은 저정보 영역(Less-Informative Region)을 추출하기 위해 그림 1과 같은 구조를 제안한다. 제안방법은 입력영상에 대해 Grayscale을 수행하여 RGB영상을 회색조 영상으로 변환하고, 변환된 영상에 대해서 검사영역을 지정하여 쉬프트동작을 수행하며 이미지 전체에 대한 영역을 지정한다. 또한 지정된 영역에 대해서 히스토그램분석을 수행하여 이미지의 밝기의 빈도를 분석한다.
- 제안방법의 이미지에서 저정보 영역을 추출하기 위해 수집된 원본 이미지에 대해 Grayscale을 수행한다. 이는 저정보 영역을 추출함에 있어 RGB의 컬러정보를 사용하지 않고 색의 분포만을 활용하여 정보의 유무를 판단하기 때문에 영상의 이미지에 대해 Grayscale을 수행하였다.
대상 데이터
- 또한 모집단에서 학습 셋을 제거한 나머지 30%로 테스트 및 검증 셋을 구성하였다. 수집된 이미지를 20px⨯20px과 80px⨯80px의 두 가지의 Blob 크기로 실험을 수행하였다.
- 실제 신경망의 입력으로는 256개의 밝기 값으로 구성된 Bin에 쌓인 누적치를 입력노드에 대응하여 256개의 입력노드를 구성하였다.
- 실험의 학습을 위하여 테스트 셋으로 선택한 4개의 이미지들을 통해서 밝기 히스토그램의 bin에 누적된 값들로 전체 모집단을 구성하였고, 그 중 70%를 랜덤 샘플링을 통해서 샘플집단으로 수집한 후 테스트 셋으로 활용하였다. 또한 모집단에서 학습 셋을 제거한 나머지 30%로 테스트 및 검증 셋을 구성하였다.
이론/모형
- MLP 학습 실행결과의 정확도 검증을 위해 Confusion Matrix를 사용하였다. Confusion Matrix는 교사 학습에서 기계 학습의 정확도(Accuracy)를 나타내는 표로서, 대각선의 값이 높을수록 정확도가 높아진다.
- MLP의 학습을 위해 오류 역전파 알고리즘을 사용하였으며, 시그모이드 함수(Sigmoid function)를 활성화 함수로 사용하였다. 은닉층 뉴런의 개수는 30개로 구성하였으며, 뉴런의 개수를 증감시키며 휴리스틱 방법을 통해 뉴런의 개수를 선택하였다.
- 다음으로 입력층과 은닉층, 출력층 간에 연결된 강도 가중치(weight)들의 값을 찾아야하는데, 이때 오류 역전파 알고리즘(Back propagation) [10]을 사용한다. 오류 역전파 알고리즘은 순방향 다층 퍼셉트론의 학습에 효과적으로 사용되는 알고리즘이다.
- 또한 한 노드의 출력을 계산하는 활성화 함수는 신경망의 출력을 곡선 형태로 바꾸어서 연속적으로 미분 가능하도록 만들어주는 함수로서, 제안방법은 시그모이드 함수(sigmoid function)를 사용하였다[11, 12]. 이 때 -1∼1 범위의 시그모이드 함수는 식(6)과 같다.
성능/효과
- 이를 위해 서로 다른 크기의 야구장 이미지 4개를 수집하여 실험을 수행하였으며 선행연구에서 사용된 이미지를 동일하게 적용해 성능비교를 하였다. 그 결과 90.5%의 정확도로서 저정보 영역을 분류하는데 성공하여 영상의 밝기 분석이 저정보 영역을 구별 짓는 유의미한 특징임을 증명하였다. 또한 전체 이미지를 구성하는 각 Blob의 크기가 저정보 영역 추출에 영향을 미치며, 그 크기가 작아질수록 저정보 영역을 보다 정밀하게 추출할 수 있음을 확인하였다.
- 따라서 이미지 내에 특징점의 추출결과 여부와 상관없이 저정보 영역을 검출하는데 있어서 제안방법이 우수한 성능을 나타낸다. 또한 Blob의 크기를 80px⨯80px로 이미지의 저정보 영역을 검출하였을 때보다 20px⨯20px로 검출하였을 때 좀 더 정밀하게 저정보 영역을 추출할 수 있었다.
- 5%의 정확도로서 저정보 영역을 분류하는데 성공하여 영상의 밝기 분석이 저정보 영역을 구별 짓는 유의미한 특징임을 증명하였다. 또한 전체 이미지를 구성하는 각 Blob의 크기가 저정보 영역 추출에 영향을 미치며, 그 크기가 작아질수록 저정보 영역을 보다 정밀하게 추출할 수 있음을 확인하였다. 제안하는 방법은 이미지 내에 광고가 삽입될 수 있는 영역을 자동적으로 추출하기 위한 방법으로 컴퓨터의 성능 및 가상광고의 잠재력으로 인해 향후 활용영역이 확대될 것으로 기대된다.
후속연구
- 또한 이미지에 따라 저정보 영역을 결정하는 분산값의 임계치가 달라질 수 있기 때문에 이를 자동적인 시스템으로 결정할 수 있어야 제안시스템의 활용도가 좀 더 높아질 수 있다. 따라서 향후 추가연구를 통해 검출된 영역 내에 모폴로지 연산을 통해 좀 더 매끄러운 형태로 보정하는 연구 및 저정보 영역에 도형을 대응시키는 방법에 대한 연구가 수행되어야 한다.
- 이러한 방법은 최소한의 수동적인 작업을 통해서 가상광고의 삽입이 가능하게 하여 가상광고의 삽입을 위해 투입되는 인력 또는 장비를 위한 비용을 절감할 수 있다. 또한 본 논문에서 포함하지 않은 광고의 삽입영역을 고도화하여 안정적이고 완전 자동화된 영상 내 광고 삽입을 기대할 수 있다.
- 다만 별도의 이미지 전처리 작업이 없었기 때문에 이미지의 선명도나 질감이 실험결과에 영향을 미치는 요소로 작용하는 문제가 있었으며 이미지가 찍힌 카메라의 위치에 따른 배경하늘 등의 자연환경은 고려되지 못했다. 또한 이미지에 따라 저정보 영역을 결정하는 분산값의 임계치가 달라질 수 있기 때문에 이를 자동적인 시스템으로 결정할 수 있어야 제안시스템의 활용도가 좀 더 높아질 수 있다. 따라서 향후 추가연구를 통해 검출된 영역 내에 모폴로지 연산을 통해 좀 더 매끄러운 형태로 보정하는 연구 및 저정보 영역에 도형을 대응시키는 방법에 대한 연구가 수행되어야 한다.
- 또한 전체 이미지를 구성하는 각 Blob의 크기가 저정보 영역 추출에 영향을 미치며, 그 크기가 작아질수록 저정보 영역을 보다 정밀하게 추출할 수 있음을 확인하였다. 제안하는 방법은 이미지 내에 광고가 삽입될 수 있는 영역을 자동적으로 추출하기 위한 방법으로 컴퓨터의 성능 및 가상광고의 잠재력으로 인해 향후 활용영역이 확대될 것으로 기대된다. 또한 다각형태의 광고를 삽입함에 있어서 장점을 가질 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.