현재 도서, 만화 등의 디지털 저작물의 시장의 규모는 나날이 커져가고 있지만, 불법으로 디지털 이미지 형태로 유통되는 상황이 빈번히 발생하고 있다. 저작물에 대한 저작권 보호가 시급한 상황이지만, 국내외에 저작권 보호를 위한 기술은 미비하다. 디지털 이미지 형태로 유통되고 있는 여러 종류의 저작물들을 분류하고, 저작물의 종류에 맞게 저작물 식별 알고리즘을 적용한다면 저작권 위반 행위를 적발할 수 있다. 본 논문에서는 저작물 중 디지털 이미지의 형태로 불법 유통되는 도서, 만화, 웹툰, 일반 사진 등 4가지 저작물을 분류할 수 있는 알고리즘을 제안한다. 자연 영상에서 왜곡된 정도를 판단하는 기법인 NSS를 활용하여 각 디지털 저작물의 히스토그램을 추출하였다. 추출한 히스토그램을 입력으로 받는 SVM을 학습하여 디지털 저작물을 분류하였다. 본 논문에서 제안하는 저작물 식별 알고리즘을 통해 디지털 이미지 형태로 불법 유통되는 저작물들을 보다 쉽게 식별할 수 있어 저작권 보호에 도움이 될 것이다.
현재 도서, 만화 등의 디지털 저작물의 시장의 규모는 나날이 커져가고 있지만, 불법으로 디지털 이미지 형태로 유통되는 상황이 빈번히 발생하고 있다. 저작물에 대한 저작권 보호가 시급한 상황이지만, 국내외에 저작권 보호를 위한 기술은 미비하다. 디지털 이미지 형태로 유통되고 있는 여러 종류의 저작물들을 분류하고, 저작물의 종류에 맞게 저작물 식별 알고리즘을 적용한다면 저작권 위반 행위를 적발할 수 있다. 본 논문에서는 저작물 중 디지털 이미지의 형태로 불법 유통되는 도서, 만화, 웹툰, 일반 사진 등 4가지 저작물을 분류할 수 있는 알고리즘을 제안한다. 자연 영상에서 왜곡된 정도를 판단하는 기법인 NSS를 활용하여 각 디지털 저작물의 히스토그램을 추출하였다. 추출한 히스토그램을 입력으로 받는 SVM을 학습하여 디지털 저작물을 분류하였다. 본 논문에서 제안하는 저작물 식별 알고리즘을 통해 디지털 이미지 형태로 불법 유통되는 저작물들을 보다 쉽게 식별할 수 있어 저작권 보호에 도움이 될 것이다.
Currently, the market of digital contents such as e-books, cartoons and webtoons is growing up, but the copyrights infringement are serious issue due to their distribution through illegal ways. However, the technologies for copyright protection are not developed enough. Therefore, in this paper, we ...
Currently, the market of digital contents such as e-books, cartoons and webtoons is growing up, but the copyrights infringement are serious issue due to their distribution through illegal ways. However, the technologies for copyright protection are not developed enough. Therefore, in this paper, we propose the NSS-based publication classification method for copyright protection. Using histogram calculated by NSS, we propose classification method for digital contents using SVM. The proposed algorithm will be useful for copyright protection because it lets us distinguish illegal distributed digital contents more easily.
Currently, the market of digital contents such as e-books, cartoons and webtoons is growing up, but the copyrights infringement are serious issue due to their distribution through illegal ways. However, the technologies for copyright protection are not developed enough. Therefore, in this paper, we propose the NSS-based publication classification method for copyright protection. Using histogram calculated by NSS, we propose classification method for digital contents using SVM. The proposed algorithm will be useful for copyright protection because it lets us distinguish illegal distributed digital contents more easily.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
각 종류의 디지털 저작물의 이미지의 크기가 각양각색이므로 SVM의 입력으로 사용하기 위해 모든 디지털 저작물의 이미지의 크기를 같게 맞춰야 한다. 따라서, SVM의 입력 이미지의 크기에 따른 정확도를 분석하여 적당한 이미지의 크기를 알아보고자 하였다.
본 논문에서는 NSS를 이용한 디지털 저작물 분류 시스템을 제안하였다. NSS를 이용하여 도서, 만화, 웹툰, 일반 사진에서 N × N 크기의 히스토그램 이미지를 구하고, 1 × N2크기로 변형한 벡터를 이용하여 SVM을 학습시킨다.
앞서 언급했듯이 이미지 크기를 150 × 150으로 고정하고, SVM 학습 반복 횟수에 따른 4종류의 디지털 저작물의 평균 분류 정확도를 확인해보고자 한다.
우리는 도서, 만화, 웹툰, 일반 사진 등 4종류의 디지털 이미지를 분류하고자 하였다. 각 종류마다 가지고 있는 특징을 이용하여 분류를 하였는데, 같은 조건이라도 저작물 종류에 따라 정확도가 다름을 알 수 있었다.
SVM 입력 이미지의 크기는 50 × 50에서부터 150 × 150까지 총 3개의 크기로 나누어 실험을 진행하였다. 히스토그램을 구하기 위해 쓰이는 각각의 가우시안 함수의 분산에 따른 입력 이미지 크기가 SVM 학습에 미친 효과를 알아보고자 한다.
제안 방법
NSS를 이용하여 도서, 만화, 웹툰, 일반 사진에서 N × N 크기의 히스토그램 이미지를 구하고, 1 × N2크기로 변형한 벡터를 이용하여 SVM을 학습시킨다.
는 일반적으로 화질 평가에 이용되는 방법 중 하나이다. NSS를 통해 얻은 히스토그램을 분석하여 해당 이미지가 왜곡되었는지 아닌지를 평가할 수 있는 기준을 제시한다.
SVM 입력 이미지의 크기는 50 × 50에서부터 150 × 150까지 총 3개의 크기로 나누어 실험을 진행하였다.
⦁ 각 디지털 저작물로부터 기존에 화질 평가(Quality Assessment)를 위해 사용된 NSS를 활용하여 히스토그램을 획득한다.
⦁ 각 저작물의 특징이 반영된 히스토그램을 입력으로 하는 SVM 모델을 학습하여 도서, 만화, 웹툰, 일반 사진 4가지 종류로 저작물을 분류하는 알고리즘을 설계한다.
따라서 우리는 NSS를 통해 얻은 히스토그램의 값을 이용하는 대신 히스토그램의 모양을 비교하여 각 출판물들을 분류를 하였다. 각 출판물의 종류별로 비교 조건을 동일하게 하기 위해 히스토그램 bin과 범위를 고정하고, 히스토그램 값 손실이 없게 하기 위해 범위를 넘어선 값들은 범위 내의 가장 큰 값으로 변경하였다.
디지털 저작물에 대한 분류 정확도는 SVM의 입력 이미지의 크기, NSS 모델에서 쓰이는 가우시안 함수의 분산 값, 그리고 SVM을 학습시킬 때의 반복횟수 등 크게 3가지의 파라미터에 변화를 주어 분류 정확도의 변화를 측정하였다. 각 분석에서 나타낸 정확도는 식 (5)와 같이 제대로 분류된 이미지의 수를 테스트에 쓰인 총 이미지의 수로 나누어 계산하였다,
입력 이미지에서 일부 패치만 적용할 경우, 만화나 웹툰의 경우 그림이 있는 부분은 히스토그램 모양이 같게 나올 확률이 높아 입력 이미지에 대한 특징을 제대로 파악할 수 없다. 따라서 도서, 만화, 웹툰, 일반 사진의 전체적인 특징을 알기 위해 입력 이미지 전체를 NSS에 적용하였다.
따라서 본 논문에서는 디지털 이미지에서의 공간적 정보를 이용하여 각 출판물에 대한 특징을 찾고, 해당 특징들을 SVM의 입력으로 사용하여 출판물을 분류하는 알고리즘을 구현하였다. 구현한 알고리즘은 크게 두 가지로 요약할 수 있다.
하지만, normalization 과정을 거치면 각 bin에서의 값의 차이가 작아져 각 bin에서의 히스토그램 값을 입력 벡터로 사용한다면 각 저작물 종류의 벡터들의 분포가 넓지 않아 분류하기에 적절하기 않다. 따라서 우리는 NSS를 통해 얻은 히스토그램의 값을 이용하는 대신 히스토그램의 모양을 비교하여 각 출판물들을 분류를 하였다. 각 출판물의 종류별로 비교 조건을 동일하게 하기 위해 히스토그램 bin과 범위를 고정하고, 히스토그램 값 손실이 없게 하기 위해 범위를 넘어선 값들은 범위 내의 가장 큰 값으로 변경하였다.
그 후, N × N 크기의 히스토그램 이미지의 픽셀 값을 일렬로 나열하여 1 × N2 크기의 벡터로 변형시킨다. 또한, 히스토그램 모양을 입력 벡터로 넣어야했기 때문에 그림 3과 같이 grayscale로 변환시킨 크기를 조정한 히스토그램 이미지를 1차원의 벡터로 변형하였다. Normalize한 각 bin에서의 히스토그램의 값을 입력 벡터로 넣을 수 있지만, 그 방법은 분류 정확도가 높지 않았다.
또한, ψ(x,xk)는 카테고리를 분류하기 위한 커널을 의미하며, 선형 커널(Linear kernel), 다항 커널(Polynomial Kernel), 방사형 커널(Radial Basis Function)등 사용자가 데이터에 맞는 커널을 지정해줄 수 있다. 본 논문에서 출판물 분류 실험을 위해 선형 커널을 사용하였다.
본 논문에서는 그림 4와 같이 직접 스캔한 도서, 만화와 웹툰, 그리고 일반 사진을 이용한다. 디지털 이미지 상태에 따라 종류마다의 히스토그램의 패턴이 달라져서, 그림 4와 같이 깨끗하게 스캔된 경우에 한해서만 데이터베이스를 구성하였다.
저작물들이 자연 영상이 아니고, 각 저작물마다 NSS에 의한 특징이 다르게 나타나는 점을 활용하여 디지털 저작물을 분류하였다. 실제로 각 출판물의 이미지들로 NSS 실험을 한 결과 그림 2와 같이 각 출판물마다 히스토그램의 모양이 다름을 확인할 수 있었다.
크기가 663 × 528인 히스토그램 이미지를 구한 후, 히스토그램 이미지를 N × N의 크기로 크기를 조정한다.
반대로, 트레이닝에서는 성능이 잘 나오지만 테스팅에서는 성능이 잘안 나오는 경우도 있다. 트레이닝과 테스팅의 분류 정확도를 비교한 결과, 트레이닝에서는 성능이 잘 나오지만 테스팅에서는 성능이 안 나오는 경우는 없다고 판단하고, 학습을 반복하는 횟수에 따른 결과만 분석하였다. 앞서 언급했듯이 이미지 크기를 150 × 150으로 고정하고, SVM 학습 반복 횟수에 따른 4종류의 디지털 저작물의 평균 분류 정확도를 확인해보고자 한다.
하지만, 150 × 150 이상의 사이즈로 입력을 넣었을 때는 증가하는 정도가 0.01~0.05로 미비하여 적절한 SVM 입력 이미지 크기를 150*150으로 정하고 나머지 두 실험을 진행하였다.
NSS를 이용하여 도서, 만화, 웹툰, 일반 사진에서 N × N 크기의 히스토그램 이미지를 구하고, 1 × N2크기로 변형한 벡터를 이용하여 SVM을 학습시킨다. 히스토그램을 구할 때 조정한 이미지의 크기와 SVM 학습 반복 횟수 그리고 저작물 종류에 따른 SVM 테스팅 결과를 토대로 디지털 저작물 분류를 위한 시스템을 설계하였다. 디지털 저작물 분류를 위해 입력으로 사용되는 이미지의 크기는 150 × 150 이상이여야 되며, SVM을 제대로 학습시키기 위해서는 트레이닝 과정을 2000번 이상 반복해야한다.
대상 데이터
넓게 퍼지는 히스토그램일수록 양 옆으로 쌓이는 개수가 많아지므로 위와 같은 방법을 사용하면 저작물의 특징으로 사용할 수 있다. SVM을 설계할 때에는 학습 데이터는 각 종류당 2000개씩 8000개, 시험 데이터는 각 종류당 500개씩 2000개를 사용하고, 선형 커널을 이용하였다.
본 논문에서는 그림 4와 같이 직접 스캔한 도서, 만화와 웹툰, 그리고 일반 사진을 이용한다. 디지털 이미지 상태에 따라 종류마다의 히스토그램의 패턴이 달라져서, 그림 4와 같이 깨끗하게 스캔된 경우에 한해서만 데이터베이스를 구성하였다.
이론/모형
SVM을 이용하여 시험 데이터에 대한 카테고리를 측정하는 방법은 다음과 같다. Platt의 방법[12]을 이용하여 적절한 사후 확률(Posterior probability)을 구한 후, 입력으로 받은 시험 데이터에 대해 가장 큰 사후 확률을 가진 카테고리를 구하여 시험 데이터에 대한 예측 카테고리로 지정한다.
성능/효과
표 2는 SVM 입력 이미지 크기에 따른 4종류의 디지털 저작물의 평균 분류 정확도를 표로 나타낸 것이다. 가우시안 함수의 분산 값에 따라 조금씩 차이는 있지만, 대체적으로 이미지 크기가 커질수록 평균 분류 정확도가 증가함을 확인할 수 있다. 가우시안 함수의 분산 값이 4인 경우, 4종류의 평균 분류 정확도가 0.
Normalize한 각 bin에서의 히스토그램의 값을 입력 벡터로 넣을 수 있지만, 그 방법은 분류 정확도가 높지 않았다. 각 저작물의 이미지마다 크기가 달라 동등한 비교를 위해 NSS를 이용하여 구한 히스토그램의 값을 normalize하여 입력 벡터로 이용하였는데, 입력 벡터의 값들의 차이가 미비하여 각 저작물들이 잘 구별되지 않았다.
우리는 도서, 만화, 웹툰, 일반 사진 등 4종류의 디지털 이미지를 분류하고자 하였다. 각 종류마다 가지고 있는 특징을 이용하여 분류를 하였는데, 같은 조건이라도 저작물 종류에 따라 정확도가 다름을 알 수 있었다. 표 3은 SVM 입력 이미지 크기가 150 × 150일 때의 분산 값에 따른 각 종류의 분류 정확도를 나타낸 표이다.
웹툰과 일반 사진의 경우 원본이 디지털 이미지이지만, 도서와 만화의 경우 출판된 책을 스캔한 디지털 이미지인 경우도 있어 NSS를 이용하여 얻은 히스토그램을 보면 그림 8과 같이 다르게 나타나 저작물 종류에 따른 한 특정 히스토그램 형태를 정의할 수 없었다. 따라서, 위와 같은 이유로 웹툰과 일반 사진에 비해 도서와 만화의 분류 정확도가 낮음을 알 수 있었다.
그림 6은 SVM 학습 반복 횟수에 따른 4종류의 시험 데이터의 평균 분류 정확도를 가우시안 함수의 분산 값에 따라 그래프로 나타낸 것이다. 분산 값에 따라 평균 분류 정확도에 차이는 있지만, 대체적으로 학습 반복 횟수가 증가할수록 평균 분류 정확도가 증가함을 확인할 수 있다. 그림 7에서 나타낸 학습 데이터의 평균 분류 정확도 또한 그림 6과 비슷하게 반복 횟수가 증가할수록 평균 분류 정확도가 증가함을 보였다.
표 3은 SVM 입력 이미지 크기가 150 × 150일 때의 분산 값에 따른 각 종류의 분류 정확도를 나타낸 표이다. 웹툰과 일반 사진은 분산 값에 따른 분류 정확도가 큰 차이가 없음을 알 수 있지만, 도서와 만화같은 경우 분류 정확도가 큰 차이가 있음을 알 수 있었다. 웹툰과 일반 사진의 경우 원본이 디지털 이미지이지만, 도서와 만화의 경우 출판된 책을 스캔한 디지털 이미지인 경우도 있어 NSS를 이용하여 얻은 히스토그램을 보면 그림 8과 같이 다르게 나타나 저작물 종류에 따른 한 특정 히스토그램 형태를 정의할 수 없었다.
후속연구
각 디지털 저작물 종류별로 90% 이상의 분류 정확도를 나타내어 저작물 분류 기술로서의 가능성을 보여줬지만 제한적인 실험 환경에서 실험한 것이므로 더욱 많은 수의 다양한 데이터에 대한 실험이 필요하다. 도서나 만화의 경우 스캔 상태, 작가의 그림체 등에 따라 히스토그램의 패턴이 매우 달라지므로, 다양한 상태의 디지털 저작물을 학습 데이터로 사용되어야 할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
국제 전자 저작물 시장 규모는 2015년 기준 몇 달러에 육박하는가?
많은 양의 다양한 저작물들을 한 기기에 간편하게 휴대할 수 있다는 점이 가장 큰 장점이다. 국제 전자 저작물 시장 규모는 2015년 기준 174억 달러에 육박하며, 저작물 시장 내 전자 저작물 점유율은 2015년 기준 15%에서 2020년에는 25%로 증가할 전망이다.[1]
새로운 저작권 보호 시스템이 필요한 이유는 무엇인가?
주민등록번호, 지문 등 여러 가지 인증 정보를 이용한 디지털 저작물의 저작권 보호시스템[2]이 존재하지만, 해당 보호시스템은 디지털 저작물을 열람하는 프로그램 내에서 실행된다. 웹툰의 경우 이러한 보호 시스템이 전무하고, 이미 불법적으로 유출된 저작물들에 대해서는 적용하기 어렵기 때문에 새로운 저작권 보호 시스템이 필요하다. 각 종류에 대한 저작물들의 식별 알고리즘을 적용하기 위해서는 도서, 만화등의 저작물들의 디지털 이미지와 일반 사진, 웹툰과의 분류를 통해 디지털 이미지의 정보를 파악하는 작업이 필수적이다.
이미지에서 특징점 추출 알고리즘을 이용해 학습을 시키는 것이 디지털 저작물 분류 알고리즘에 맞지 않는 이유는 무엇인가?
하지만 디지털 이미지를 분류함에 있어서 위와 같은 기본적인 틀은 유지할 수 있지만 이미지에서 SIFT, SURF 같은 특징점 추출 알고리즘을 이용하여 학습을시키는 것은 디지털 저작물 분류 알고리즘에 알맞지 않다. 분류를 하는데 있어서 각 종류마다의 고유한 특징을 나타낼 수 있는 특징을 찾는 것이 중요하기 때문이다.
참고문헌 (12)
Y. Ryu, Global e-book market status and prospects(2015), Retrieved Aug. 12, 2015, from http://www.slideshare.net/pageraum2/201508-51546993
S. J. Jang, "Design of the copyright protection for ePub e-Book system using certification information," JKIICE, vol. 19, no. 9, pp. 2197-2204, Sept. 2015.
D. G. Lowe, "Distinctive image features from scale-invariant keypoints," Int. J. Computer Vision, vol. 60, no. 2, pp. 91-110, Nov. 2004.
H. Bay, A. Ess, T. Tuytelaars, and L. V. Gool, "Speeded-up robust features (SURF)," Computer vision and image understanding, vol. 110, no. 3, pp. 346-359, Jun. 2008.
J. S. Song, S. J. Hur, Y. W. Park, and J. H. Choi, "User positioning method based on image similarity comparison using single camera," J. KICS, vol. 40, no. 8, pp. 1655-1666, Aug. 2015.
D. Ciregan, M. Ueli, and S. Jurgen, "Multi-column deep neural networks for image classification," CVPR, pp. 3642-3649, Rhode island, USA, Jun. 2012.
S. G. Kim and B. G. Kang, "An implementation of pattern recognition algorithm for fast paper currency counting," J. KICS, vol. 39B, no. 7, pp. 459-466, Jun. 2014.
M. Anish, S. Rajiv, and A. C. Bovik, "Making a "completely blind" image quality analyzer," IEEE Sign. Process. Let., vol. 20, no. 3, pp. 209-212, Mar. 2013.
J. A. K. Suykens and J. Vandewalle, "Least squares support vector machine classifiers," Neural Process. Lett, vol. 9, no. 3, pp. 293-300, Jun. 1999.
P. John, "Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods," Advances in Large Margin Classifiers, vol. 10, no. 3, pp. 61-74, Mar. 1999.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.