[논문]왜곡 저항력이 강한 저작권 침해 영상 저작물 판별 기법

유호제; 김찬희; 정아윤; 오수현

doi:10.13089/jkiisc.2021.31.3.387

왜곡 저항력이 강한 저작권 침해 영상 저작물 판별 기법
A Discriminating Mechanism of Suspected Copyright Infringement Video with Strong Distortion Resistance 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.31 no.3, 2021년, pp.387 - 400

유호제 (호서대학교) , 김찬희 (호서대학교) , 정아윤 (호서대학교) , 오수현 (호서대학교)

초록
AI-Helper

클라우드 환경의 발전에 따른 스트리밍 플랫폼과 콘텐츠의 증가로 합법적인 콘텐츠뿐만 아니라 불법 복제된 콘텐츠 또한 빠른 속도로 증가하고 있다. 따라서 다양한 콘텐츠에 대한 저작권 침해 여부를 판별할 수 있는 기술의 개발이 요구된다. 한국저작권보호원에서는 AI를 활용한 영상 콘텐츠 실증시스템을 운영하고 있지만, 해상도 변화와 같은 왜곡에 대해 한계점을 가지고 있다. 본 논문에서는 스켈레톤 정보를 활용하여 불법 스트리밍 플랫폼에서 유통 중인 영상 콘텐츠에 대해 왜곡 저항력이 강한 저작권 침해 여부 판단 기술을 제안한다. 제안하는 기법은 빠른 연산을 위해 수집된 데이터를 이진 데이터로 변환하여 원본 영상과의 해밍거리를 계산하는 방법을 사용하였으며, 실험 결과 평균 215KB의 크기와 94.79%의 정확도로 불법 복제 영상물을 판별할 수 있음을 확인하였다.

Abstract ▼ AI-Helper

The increase in number of streaming platforms and contents thereof, owing to an advancement of cloud environment, has triggered the rapid proliferation of illegally replicated contents as well as legal contents. This necessitates the development of technology capable of discriminating the copyright infringement of various contents. The Korea Copyright Protection Agency operates a video content demonstration system using AI, but it has limitations on distortions such as resolution changes. In this paper, we propose the powerful mechanism using skeleton, which is resistant against distorted video contents and capable of discriminating copyright infringement of platforms streaming illegal video contents. The proposed mechanism exploits the calculation of Hamming distance to the original video by converting collected data into binary ones for the efficient calculation. As a result of the experiment, the proposed mechanism have demonstrated the discrimination of illegally replicated video contents with an accuracy of 94.79% and average magnitude of 215KB.

주제어

표/그림 (38)

그림 Fig. 1. Video Demonstration System
그림 Fig. 2. Deliberation System of Illegal Copies
그림 Fig. 3. Identification Process of Distorted Video
그림 Fig. 4. System Configuration of the proposed mechanism
그림 Fig. 5. Example of Resolution Change
표 Table 1. Resolution Change in sample data
그림 Fig. 6. Example of Add Text
그림 Fig. 7. Example of Picture in Picture
그림 Fig. 8. Example of Cropping
그림 Fig. 9. Train Dataset
그림 Fig. 10. Comparison between 270p and 1080p
그림 Fig. 11. Normalization Results for Resolution
표 Table 2. Accuracy Comparison of OpenPose Models
그림 Fig. 12. Generation Process of Single Block
그림 Fig. 13. Example of a Crowded Frame
그림 Fig. 14. Generation Process of Feature Block
표 Table 3. Normalization Results for the number of People Counts
표 Table 4. Normalization Results for the number of Frame Counts
그림 Fig. 15. Transformation Process of Binary Coordinate
그림 Fig. 16. Hamming Distance Calculation
그림 Fig. 17. Hamming Distance Calculation between People
표 Table 5. Normalization Results for Matrix Sizes
그림 Fig. 18. Pseudo Code of Hamming Distance Calculation between People
그림 Fig. 19. Candidate Hamming Distance Calculation of the Frame
그림 Fig. 20. Hamming Distance Calculation of The Frame
그림 Fig. 21. Candidate Hamming Distance Calculation of the Feature Block
그림 Fig. 22. Pseudo Code of Hamming Distance Calculation between Video
표 Table 6. Experimental Environment
그림 Fig. 23. YOLO Training outcomes
그림 Fig. 24. YOLO Model validation
그림 Fig. 25. Result of ROI extraction
그림 Fig. 26. Comparison of Skeleton in Original Video and ROI Extraction Video
표 Table 7. Test Dataset
그림 Fig. 27. Comparison Results of Feature Block Size and Running Time by Limit Situation
표 Table 8. Comparison Results of Feature Block Size
표 Table 9. Experimental Results
그림 Fig. 28. Example of The Video Having the Same Introduction
표 Table 10. Comparison Results of Existing Mechanism

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 OpenPose를 활용한 기존 연구에서 비효율적인 특징점 추출로 데이터 크기가 증가하는 문제점을 개선하기 위해 모든 스켈레톤 정보를 수집하는 방법이 아닌, 필요한 정보만 수집하여 특징점 데이터 크기를 줄이고 연산량을 최소화하는 저작권 침해 영상물 판별 메커니즘을 제안한다. 또한, 연산량을 줄이기 위해 원본 영상의 해상도 정규화를 진행하였고, 최소한의 특징점 데이터를 가지고 정확도를 높이기 위해 수집되는 프레임 수와 단일 프레임에서 수집할 수 있는 최대 사람 수를 제한하여 실제 운영되는 불법 스트리밍사이트에서 샘플 영상을 수집 및 검증한다.

제안 방법

과 같이 일치하지 않는 좌표의 합을 나타낸다. 기존 연구에서의 과도한 특징점 데이터 생성 문제점을 해결하기 위해 본 논문에서는 최소한의 특징점 데이터를 생성하였고 최종 해밍거리를 계산할 때 기존 방법이 아닌 새로운 방법을 제안하며 본 절에서 사용하는 표기법은 다음과 같다.
7% 차이가 발생하는 것을 확인하였다. 따라서 8x8 크기의 행렬이 가장 효율성이 높은 것을 확인하였고, 본 논문에서는 스켈레톤 좌표를 8x8 크기의 이진 좌표로 변환하여 해밍거리를 계산한다.
이를 위해 불법 복제물이 유통 중인 사이트에서 영상 콘텐츠를 다운로드하여 왜곡 유형을 찾고, 사이트별로 왜곡 유형을 정규화하였다. 또한, 기존 연구의 비효율적인 특징점 데이터 수집을 해결하기 위해 스켈레톤 정보 생성과 특징점 데이터를 생성하는 과정, 원본 영상 콘텐츠와 비교하는 과정을 개선하였다.
본 논문에서는 OpenPose를 활용한 기존 연구에서 비효율적인 특징점 추출로 데이터 크기가 증가하는 문제점을 개선하기 위해 모든 스켈레톤 정보를 수집하는 방법이 아닌, 필요한 정보만 수집하여 특징점 데이터 크기를 줄이고 연산량을 최소화하는 저작권 침해 영상물 판별 메커니즘을 제안한다. 또한, 연산량을 줄이기 위해 원본 영상의 해상도 정규화를 진행하였고, 최소한의 특징점 데이터를 가지고 정확도를 높이기 위해 수집되는 프레임 수와 단일 프레임에서 수집할 수 있는 최대 사람 수를 제한하여 실제 운영되는 불법 스트리밍사이트에서 샘플 영상을 수집 및 검증한다. OpenPose의 경우 해상도 변화에 강한 저항력을 가지고 있고, 좌표를 이진 데이터로 변환하여 연산량을 줄일 수 있는 장점이 있다.
본 논문에서 제안하는 탐지 메커니즘은 먼저 스트리밍 영상 콘텐츠의 왜곡 유형을 분석하여 많이 발생하는 왜곡 유형에 대해 정규화를 진행한다. 정규화된 영상들은 기존 연구처럼 스켈레톤을 추출하지만, 데이터 크기를 최소화하기 위해 사람 수와 프레임 수를 제한하여 수집한다.
본 논문에서는 불법 복제물에서 발견되는 왜곡 유형을 분석하여 영상을 정규화하고 수집된 영상에 대해 왜곡 저항력이 강한 스켈레톤을 활용하여 저작권 침해 여부를 판별하는 메커니즘을 제안하였다. 또한, 사람 수와 프레임 수를 제한하여 기존 연구 대비 탐지 수행 시간을 줄여 효율성을 향상했다.
본 논문에서는 비효율적인 특징점 데이터 추출로 인한 데이터 크기 증가와 연산 시간 증가를 해결하기 위해 영상의 일부분을 특징점으로 잡고 저작권 침해 영상을 판별하였다. Table 8.
본 논문에서는 연산량과 데이터 크기를 줄이기 위해서 특징점 블록을 이진 좌표로 변환하여 해밍거리를 구하는 방법을 사용한다. Fig.
하지만 X, Y 좌표 간의 거리를 비교하기 위해서는 제곱과 제곱근 연산이 필요해 연산 수행 시간이 오래 걸릴 수 있어 효율성이 떨어지게 된다. 본 논문에서는 이를 해결하기 위해 스켈레톤 좌표를 이진 좌표로 변환하여 해밍거리를 계산하게 된다. 이진 좌표를 사용하는 해 밍거리는 덧셈과 나눗셈만 필요하여 X, Y 좌표를 가지고 있는 스켈레톤에 비해 연산속도를 향상할 수 있다.
영상 저작권 보호를 위해 음성, 텍스트, 얼굴, 마크 식별기술을 적용하여 설계된 실증시스템은 원본이 확보되지 않은 영상 콘텐츠에 대해 빠르게 보호할 수 있고, 영상 필터링 기술 회피를 목적으로 제작 및 유포되는 복합적인 왜곡 영상을 식별하기 위해 영상별 특성에 맞는 특징 데이터를 추출하여 탐지한다. 또한, 복합 ROI(Region Of Interest) 유형, 해상도 변화 등 새로운 유형을 분석하여 모델 설계에 적용하였다.
침해 의심 영상 저작물을 탐지하고 정확도를 높이기 위해서는 불법 복제 영상에서의 왜곡 유형을 찾아 정규화해야 한다. 이를 위해 불법 복제물이 유통 중인 사이트에서 영상 콘텐츠를 다운로드하여 왜곡 유형을 찾고, 사이트별로 왜곡 유형을 정규화하였다. 또한, 기존 연구의 비효율적인 특징점 데이터 수집을 해결하기 위해 스켈레톤 정보 생성과 특징점 데이터를 생성하는 과정, 원본 영상 콘텐츠와 비교하는 과정을 개선하였다.
입력 영상의 다양한 해상도에도 ROI를 검출할 수 있는 모델을 만들기 위해 각 영상을 360p, 480p, 720p로 변환하여 프레임을 추출하였고 라벨링을 진행하였다. 또한, 1,000단위의 Epoch마다 모델을 생성하게 하여 총 6개의 모델을 생성하였으며 학습 결과 Fig.
제안하는 메커니즘은 원본 영상을 480p로 정규화하여 최대 15명의 사람과 40프레임을 기준으로 특징점 데이터를 생성하였다. 그 결과 기존 연구 대비 데이터 크기가 99.
침해 의심 영상 저작물이 저작권을 침해하는 영상인지 판별하기 위해서 해상도, 사람 수, 프레임 수, 행렬 크기를 제한하고 원본 영상들과 해밍거리를 계산하였다. Table 9.
특징에 맞게 정규화를 진행한 원본 영상과 불법 복제 영상들을 왜곡 저항력이 강한 OpenPose를 통해 스켈레톤 데이터를 추출하고 정확도와 효율성을 만족하는 2가지 규칙을 적용하여 5개의 특징점 블록을 생성한다. 생성된 특징점 블록에는 사람 수를 기준으로 정렬된 프레임이 존재하며 프레임에는 스켈레톤 좌표(X, Y)가 포함되어 있다.

대상 데이터

PIP 왜곡 유형이 영상에 가해졌을 때 YOLO를 활용하여 원본 영상 부분을 ROI로 잡아 검출하는 시스템을 구성하였다. ROI를 검출하기 위해서는 YOLO 모델의 학습이 필요해 PIP 왜곡 유형의 불법 복제 영상을 수집하였고 영상마다 2프레임씩 추출하여 학습데이터로 사용하였다. 또한, 복합 ROI 유형과 수직 반전, 수평 반전 등 여러 유형을 학습하기 위해 학습데이터를 직접 생성하여 총 300개의 프레임으로 학습을 진행하였다.
은 원본 영상을 270p, 360p, 480p, 720p로 변환하여 스켈레톤 추출 시간과 프레임에 존재하는 평균 사람 수를 계산한 결과이며 480p와 720p의 사람 수는 비슷하지만, 연산 시간은 480p가 빠르므로 480p가 가장 효율적인 해상도를 보여주고 있다. 따라서 본 논문에서는 원본 영상을 480p로 정규화하고 불법 복제 영상의 정보를 찾는다. 또한, 불법 복제 영상이 480p 이하의 해상도일 때 왜곡 저항력이 강한 OpenPose를 사용하여 비슷한 스켈레톤을 추출할 수 있지만 720p 해상도를 가진 불법 복제 영상의 경우 추출 시간을 줄이기 위해 480p로 정규화하여 스켈레톤 정보를 추출한다.
본 논문에서 불법 복제 영상 콘텐츠를 탐지하기 위한 구현 환경은 Table 6.과 같고 데이터셋은 Table 7.과 같이 원본 영상 콘텐츠 50개와 불법 OSP 사이트 49개에서 다운로드받은 불법 복제 영상 180개, 합법 스트리밍사이트에서 다운로드받은 불법 복제 영상 12개를 사용하였다.
OpenPose에서는 자세 추정 학습모델로 COCO, MPI, BODY25 모델을 제공하고 있다. 본 논문에서는 3가지 모델 중 가장 효율적인 모델을 선택하기 위해 10명이 있는 프레임을 가지고 테스트를 진행하였다. 그 결과 Table 2.
본 논문에서는 Table 3.과 같이 28개의 영상에서 특징점 블록을 생성할 때 최대 사람 수 제한을 10명, 15명, 20명으로 테스트하였다. 그 결과 정확도와 연산 시간을 고려했을 때, 최대 15명일 때 특징점 데이터를 생성해야 한다.
불법 영상 콘텐츠의 왜곡 유형을 분석하기 위해 사이트 49개를 대상으로 192개의 영상을 수집하여 특징을 분석하였다. 불법 OSP 사이트에서 발생하는 왜곡 유형은 해상도 변화와 광고 문구 삽입, 외국어 자막 삽입이며 해상도 변화 왜곡 유형이 가장 많이 발견되었다.
불법 사이트에서 유통 중인 불법 복제 영상을 판별하기 위해서는 원본 영상에 대한 스켈레톤 정보가 수집되어야 한다. 원본 영상은 다운로드가 가능한 합법 OSP 사이트에서 수집하고 정확도를 위해 해상도를 정규화하여 저장한다. 원본 영상과 비교하기 위한 불법 복제 영상의 경우 유통되는 경로는 불법 OSP 사이트와 합법 스트리밍사이트가 있으며 유통 경로별 특징을 분석하여 영상을 정규화한다.

이론/모형

와 같이 BODY25 모델이 빠른 연산 시간을 보여주며 1명의 사람에게서 추출할 수 있는 키 포인트 수가 많고 탐지율이 가장 높은 것을 확인하였다. 따라서 본 논문에서는 연산 시간과 정확도를 고려하여 BODY25 모델을 선택하였다.

성능/효과

제안하는 메커니즘은 원본 영상을 480p로 정규화하여 최대 15명의 사람과 40프레임을 기준으로 특징점 데이터를 생성하였다. 그 결과 기존 연구 대비 데이터 크기가 99.6% 줄어든 평균 215KB의 크기를 가진 특징점 데이터를 생성하여 94.79%의 탐지율로 저작권 침해 여부를 판별하였다. 이를 통해 증가하고 있는 불법 복제 영상을 빠르게 판별하여 저작권 환경을 보호하는데 효과적일 것으로 생각한다.
는 실제 유통되고 있는 불법 복제 영상에 대해 저작권 침해 여부를 판별한 결과로 입력 영상의 제목이 원본 영상의 제목이 아닌 임의의 값이나 사이트의 이름이 포함된 것을 알 수 있었고, 제안하는 메커니즘을 통해 원본 영상의 제목을 찾을 수 있었다. 그 결과, 총 192개의 불법 복제 영상에 대해 182개의 영상의 원본 정보를 확인할 수 있었고 94.79%의 탐지율을 보여주었다. 원본 정보를 찾지 못하는 경우는 불법 복제 영상의 해상도가 270p일 때 스켈레톤 데이터를 온전하게 뽑지 못하는 경우와 Fig.
은 최대 사람 수와 최대 프레임 수를 제한하는 경우의 특징점 데이터 크기를 비교한 그래프이며 특징점 데이터가 50KB만 증가하여도 해밍거리 계산 시간이 크게 증가하는 것을 확인하였다. 따라서 전체 영상을 특징점 데이터로 활용하는 경우 효율성이 매우 떨어지는 것을 알 수 있다.

후속연구

다만 실험환경의 제약으로 평균 173.17초의 소요시간을 보여 환경개선 및 알고리즘의 최적화가 필요해 보인다. 따라서 향후에는 다중 스레드를 이용하여 성능을 개선하고 사이트별 영상 수집 및 판별 자동화, 영상에 가할 수 있는 다양한 왜곡 유형을 분석하여 사전에 대처할 수 있도록 연구할 계획이다.
17초의 소요시간을 보여 환경개선 및 알고리즘의 최적화가 필요해 보인다. 따라서 향후에는 다중 스레드를 이용하여 성능을 개선하고 사이트별 영상 수집 및 판별 자동화, 영상에 가할 수 있는 다양한 왜곡 유형을 분석하여 사전에 대처할 수 있도록 연구할 계획이다.

참고문헌 (19)

Seong Wook Jung, "Growth of the OTT Platform and changes in the film industry," Master's Thesis, Pusan National University, Aug. 2020.
E. Sundaravel and N. Elangovan, "Emergence and future of over-the-top (OTT) video services in India: an analytical research," International Journal of Business, vol. Management and Social Research, vol. 08, no. 2, pp. 489-499, May 2020.
Yong-kuk Chung and Wei Zhang, "Ef ects of service characteristics of a subscription-based OTT on user satisfaction and continuance intention: evaluation by netflix users," Journal of Korea Contents Association, 20(12), pp. 123-135, Dec. 2020.
You-jin Song and Seung-in Kim, "The rational regulation of illegal & harmful information in cyberspace," Journal of the Korea Convergence Society, 8(9), pp. 231-236, Sep. 2017.

원문보기 상세보기
Chang-hoon Lee, "Protection of copyright infringement and broadcast content on illegal link sites," Korean Broadcasters Association, (409), pp. 167-188, Jun. 2017.
Yong-seok Yoo and Shin-uk Park, "Expansion phenomena of online service providers' responsibilities and discussion for effective limit setting - focusing on online plattform service provider -," Institute for the Study of Law Dong-A University, (89), pp. 209-236, Nov. 2020.
Korea Copyright Protection Agency, Annual Report on Copyright Protection - As of 2018, A Survey of The Distribution Status of Illegal Copies, Aug. 2019.
Don-yeon Lee, Ji-sub Lee, Soo-jin Lee and Cheol-ho Choi, "Streaming link site and online service provider's infringement of copyright - focused on legal principle of aiding and legislative improvement -," (95), pp. 305-349, Dec. 2019.
W.Y. Yoo, Y.H. Seo, J.G. Choi and J.H. Park, "Technical trends of digial figerprinting & buyer-seller watermarking," Electronics and Telecommunications Research Institute Electronic communication trend analysis, 19(3), pp. 96-106, Jun. 2004.
Kang-hyeon Rhee, "A design on the multimedia fingerprinting code based on feature point for forensic marking," The Institute of Electronics Engineers of Korea - Computer and Information, 48(4), pp. 27-34, Jul. 2011.
Yong-seok Seo, Won-gyum Kim, Seon-hwa Lee, Young-ho Suh and Hwang Chi-Jung, "A study on digital fingerprinting technology for the copyright protection of the image contents printout," The Journal of the Korean Content Society 2006 Annual Conference, 4(2), pp. 242-245, Nov. 2006.
Dae-il Yoon and Hae-kwang Kim, "A study on image fingerprint for illegal copy detection," 2007 Korean Electronics Association Summer Conference, 30(1), pp. 525-526, Jun. 2007.
Kang-hyeon Rhee, "An embedded watermark into multiple lower bitplanes of digital image," The Institute of Electronics Engineers of Korea - Computer and Information, 43(6), pp. 101-109, Nov. 2006.
Heusu Son, Sung-woo Byun and Soek-pil Lee, "Content-based video retrieval for illegal copying contents detection using hashing," The transactions of The Korean Institute of Electrical Engineers, 67(10), pp. 1358-1363, Oct. 2018.

원문보기 상세보기
Bong-jun Park and Chang-soo Kim, "The software development for preventing video illegal copy of media contents," 2010 Korea Multimedia Association Spring Conference, 13(1), pp. 429-432, May 2010.
Korea Copyright Protection Agency, C STORY, vol. 13, pp. 8-11, Dec. 2018.
Min-chul Kwon, "A study on method for the determination of copyright infringement in internet distributed video," Master's Thesis, Yonsei University, Dec. 2017.
Z. Cao, G. Hidalgo, T. Simon, S. -E. Wei and Y. Sheikh, "OpenPose: realtime multi-Person 2D pose estimation using part affinity fields," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 43, no. 1, pp. 172-186, Jan. 2021.

상세보기
Github, "Darknet Yolo v3", www.github.com/AlexeyAB/darknet/tree/darknet_yolo_v3, May. 2020

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증