최근 들어 사진, 애니메이션, 동영상과 같은 디지털 시각 매체가 폭발적으로 증가함에 따라서 의도적 또는 비의도적으로 입력 영상 내에 모자이크 블록들을 생성해야 할 필요성이 증가하고 있다. 본 논문에서는 입력된 컬러 영상에 존재하는 모자이크 블록들을 경계 특징을 이용하여 효과적으로 검출하는 방법을 제안한다. 제안된 방법에서는 먼저 입력 영상으로부터 캐니 에지를 검출하고, 검출된 에지로부터 모자이크 블록의 경계 특징을 추출하여 모자이크 블록이 존재할 가능성이 있는 후보 영역들을 찾는다. 그런 다음, 기하학적인 특징을 활용하여 비 모자이크 영역들을 제거하고 실제적인 모자이크 블록들만을 검출한다. 본 논문의 실험 결과에서는 제안된 방법이 다양한 종류의 입력 영상에서 모자이크 블록들을 강건하게 검출한다는 것을 보여준다.
최근 들어 사진, 애니메이션, 동영상과 같은 디지털 시각 매체가 폭발적으로 증가함에 따라서 의도적 또는 비의도적으로 입력 영상 내에 모자이크 블록들을 생성해야 할 필요성이 증가하고 있다. 본 논문에서는 입력된 컬러 영상에 존재하는 모자이크 블록들을 경계 특징을 이용하여 효과적으로 검출하는 방법을 제안한다. 제안된 방법에서는 먼저 입력 영상으로부터 캐니 에지를 검출하고, 검출된 에지로부터 모자이크 블록의 경계 특징을 추출하여 모자이크 블록이 존재할 가능성이 있는 후보 영역들을 찾는다. 그런 다음, 기하학적인 특징을 활용하여 비 모자이크 영역들을 제거하고 실제적인 모자이크 블록들만을 검출한다. 본 논문의 실험 결과에서는 제안된 방법이 다양한 종류의 입력 영상에서 모자이크 블록들을 강건하게 검출한다는 것을 보여준다.
Recently, with the sharp increase of digital visual media such as photographs, animations, and digital videos, it has been necessary to generate mosaic blocks in a static or dynamic image intentionally or unintentionally. In this paper, we suggest a new method for detecting mosaic blocks contained i...
Recently, with the sharp increase of digital visual media such as photographs, animations, and digital videos, it has been necessary to generate mosaic blocks in a static or dynamic image intentionally or unintentionally. In this paper, we suggest a new method for detecting mosaic blocks contained in a color image using boundary features. The suggested method first extracts Canny edges in the image and finds candidate mosaic blocks with the boundary features of mosaic blocks. The method then determines real mosaic blocks after filtering out non-mosaic blocks using geometric features like size and elongatedness features. Experimental results show that the proposed method can detect mosaic blocks robustly rather than other methods in various types of input images.
Recently, with the sharp increase of digital visual media such as photographs, animations, and digital videos, it has been necessary to generate mosaic blocks in a static or dynamic image intentionally or unintentionally. In this paper, we suggest a new method for detecting mosaic blocks contained in a color image using boundary features. The suggested method first extracts Canny edges in the image and finds candidate mosaic blocks with the boundary features of mosaic blocks. The method then determines real mosaic blocks after filtering out non-mosaic blocks using geometric features like size and elongatedness features. Experimental results show that the proposed method can detect mosaic blocks robustly rather than other methods in various types of input images.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그러나 기존의 방법들은 아직까지는 다양한 영상을 대상으로 모자이크 영역을 강건하게 검출하지는 못하고 있는 실정이다. 따라서 본 논문에서는 영상 내에 존재하는 모자이크 블록을 경계 특징을 이용하여 검출하는 방법을 제안한다. 그림 1은 본 논문에서 제안한 모자이크 검출 알고리즘의 전체적인 개요도를 보여준다.
최근 들어 사진이나 동영상과 같은 디지털 시각 매체가 폭발적으로 증가함에 따라서 의도적 또는 비의도적으로 영상 내에 모자이크를 생성해야 할 필요성이 증가하고 있다. 본 논문에서는 모자이크 블록의 경계를 분석하여 모자이크 영역을 검출하는 방법을 새롭게 제안하였다. 제안된 방법에서는 먼저 입력 영상으로부터 에지를 검출하고, 검출된 에지로부터 모자이크 블록의 경계 특징을 추출하여 모자이크 블록의 후보 영역들을 찾는다.
제안 방법
93Ghz의 CPU와 8GB의 메모리로 구성되어 있으며, 마이크로소프트사의 윈도우 7 운영체제를 이용하였다. 그리고 마이크로소프트사의 비주얼 C++과 컴퓨터 비전관련 오픈 라이브러리인 OpenCV를 이용하여 제안된 알고리즘을 구현하였다. 본 논문에서는 제안된 경계 특징 기반의 모자이크 블록 검출 알고리즘의 성능을 비교 평가하기 위해서 특정한 제약사항(constraint)이 주어지지 않은 다양한 종류의 입력 영상들을 수집하여 사용하였다.
공간적인 도메인에서는 명암 값과 크기가 유사하며 인접한 네 개의 정사각형을 찾아 모자이크 매크로 블록으로 정의하였다. 그리고 이런 모자이크 매크로 블록의 집합을 하나의 모자이크 영역으로 설정하였다. 에지 도메인에서는 입력 영상으로부터 에지를 추출한 다음, 모자이크 블록의 가능한 4가지 형태의 코너를 템플릿으로 사용하여 모자이크 영역을 검출하였다.
그런 다음, 템플릿 정합을 통해 모자이크의 후보 영역을 찾는다. 마지막으로 SVM 분류기를 통해 후보 블록을 제거하고 실제적인 모자이크 블록들만을 선별한다. [7]은 매크로 블록에서 연속적인 에지를 검출하여 모자이크 영역을 추출한다.
[7]은 매크로 블록에서 연속적인 에지를 검출하여 모자이크 영역을 추출한다. 먼저 에지 검출기를 이용하여 영상으로부터 에지를 검출한다. 그런 다음, 모든 매크로 블록에서 연속된 에지의 개수를 카운트하여 모자이크 블록의 여부를 결정한다.
먼저 화소 단위가 아니라 블록 단위로 영상처리를 하기 위해서 받아들인 입력 영상을 N×N 화소 크기의 정방형의 블록 Bi로 분할한다.
본 논문에서 사용하는 기하학적인 특징으로는 식 (4)와 같이 모자이크 후보 영역의 크기, 가로와 세로의 종횡비(aspect ratio), 모자이크 가능성 정도의 평균 특징을 활용한다. 식 (4)에서 Ri는 i번째 모자이크의 후보 영역을 나타낸다.
경계 특징과 에지를 이용하여 모자이크 블록들의 후보 영역을 추출한 다음에는, 비 모자이크 영역들을 제거하고 실제 모자이크 영역들만을 선택해야 한다. 본 논문에서는 기하학적인(geometric) 특징을 이용하여 모자이크 후보 영역들의 필터링 작업을 수행한다.
그리고 마이크로소프트사의 비주얼 C++과 컴퓨터 비전관련 오픈 라이브러리인 OpenCV를 이용하여 제안된 알고리즘을 구현하였다. 본 논문에서는 제안된 경계 특징 기반의 모자이크 블록 검출 알고리즘의 성능을 비교 평가하기 위해서 특정한 제약사항(constraint)이 주어지지 않은 다양한 종류의 입력 영상들을 수집하여 사용하였다.
그리고 이런 모자이크 매크로 블록의 집합을 하나의 모자이크 영역으로 설정하였다. 에지 도메인에서는 입력 영상으로부터 에지를 추출한 다음, 모자이크 블록의 가능한 4가지 형태의 코너를 템플릿으로 사용하여 모자이크 영역을 검출하였다. [6]은 DWT를 사용하여 영상에서 수직 방향의 고주파를 제거하고, 캐니(Canny) 연산자를 이용하여 에지를 추출한다.
본 논문에서는 모자이크 블록의 경계를 분석하여 모자이크 영역을 검출하는 방법을 새롭게 제안하였다. 제안된 방법에서는 먼저 입력 영상으로부터 에지를 검출하고, 검출된 에지로부터 모자이크 블록의 경계 특징을 추출하여 모자이크 블록의 후보 영역들을 찾는다. 그런 다음, 기하학적인 특징을 활용하여 비 모자이크 영역들을 필터링하고 실제적인 모자이크 블록들만을 검출한다.
대상 데이터
본 논문에서 실험을 위해 사용한 컴퓨터는 인텔 Core(TM) i7 2.93Ghz의 CPU와 8GB의 메모리로 구성되어 있으며, 마이크로소프트사의 윈도우 7 운영체제를 이용하였다. 그리고 마이크로소프트사의 비주얼 C++과 컴퓨터 비전관련 오픈 라이브러리인 OpenCV를 이용하여 제안된 알고리즘을 구현하였다.
본 논문에서는 영상에서 사각형 모양의 격자형 모자이크를 검출 대상으로 하고 있다. 그림 1에서 보는 바와 같이 제안된 알고리즘은 입력 영상으로부터 캐니 에지를 검출한 다음, 검출된 에지로부터 모자이크 블록의 경계 특징을 추출하여 모자이크 블록의 후보 영역들을 찾는다.
이론/모형
이와 같이 생성된 모자이크의 가능성 정도를 Otsu의 알고리즘을 적용하여 이진화한다[10,11]. 그런 다음, 이진화된 영역에 레이블링(labeling)을 적용하여 모자이크가 존재할 가능성이 있는 영역들을 모자이크의 후보 영역으로 검출한다.
성능/효과
그리고 이런 처리 과정에서 비디오 데이터는 여러 번 인코딩되거나 디코딩될 필요가 있는데, 이런 과정에서 비디오 데이터의 손실이 자연스럽게 발생할 수 있다. 결과적으로 데이터의 손실은 비디오의 화질을 저하시키며, 비디오 영상 안에 모자이크(mosaic), 희미한 영상, 줄무늬, 검은 화면 등과 같은 영상의 변형을 발생시키는 원인이 된다. 이런 비디오 데이터를 정상적으로 복구하기 위해서는 먼저 영상이 변형된 위치를 자동으로 찾는 것이 중요한데, 영상 변형들 중에서 모자이크 영역은 다른 종류의 영상 변형에 비해 상대적으로 복잡하므로 모자이크를 검출하는 작업 역시 어려운 문제로 인식되고 있다[3].
그림 7로부터 확인할 수 있듯이 경계 특징 기반의 제안된 방법이 다른 방법보다 정확하게 모자이크 영역을 검출한다. 다시 말해, 제안된 방법은 경계 특징을 이용하여 모자이크의 후보 영역을 검출한 다음 기하학적인 특징을 이용하여 후보 영역을 효과적으로 필터링하므로 보다 강건하게 모자이크 영역을 검출할 수 있다.
그런 다음, 기하학적인 특징을 활용하여 비 모자이크 영역들을 필터링하고 실제적인 모자이크 블록들만을 검출한다. 실험 결과에서는 제안된 방법이 기존의 방법에 비해 보다 정확하게 모자이크를 검출한다는 것을 보여주었다.
후속연구
향후 연구로는 보다 다양한 종류의 입력 영상으로부터 모자이크 영역을 검출하여 제안된 방법의 강인함을 검증할 계획이다. 그리고 본 논문에서 제안된 방법에서 사용한 특징 이외의 다른 특징들 결합하여 모자이크 영역을 보다 효과적으로 검출할 계획이다.
향후 연구로는 보다 다양한 종류의 입력 영상으로부터 모자이크 영역을 검출하여 제안된 방법의 강인함을 검증할 계획이다. 그리고 본 논문에서 제안된 방법에서 사용한 특징 이외의 다른 특징들 결합하여 모자이크 영역을 보다 효과적으로 검출할 계획이다.
질의응답
핵심어
질문
논문에서 추출한 답변
캐니 에지는 어떠한 방법들을 거쳐 에지를 추출하게 되는가?
일반적으로 캐니 에지는 영상처리 및 컴퓨터 비전 분야에서 가장 많이 사용하는 에지 검출 알고리즘 중의 하나이다. 보통 캐니 에지는 입력 영상에 가우시안(Gaussian) 커널을 회선(convolution)시켜서 영상의 스무딩 작업을 수행하고, 에지 점들의 효과적인 연결을 위해서 이중 임계화(double thresholding) 방법을 사용한다고 알려져 있다.
영상에서 모자이크 블록의 특징은 무엇인가?
보통 모자이크 블록은 사각형의 모양을 가지고 있으며, 사각형 내에 있는 화소들은 모두 색상이 동일하다는 특성을 가진다. 따라서 모자이크 블록의 경계에는 일정 길이 이상의 수평 방향의 에지 Hedge와 수직 방향의 에지 Vedge들이 존재한다.
모자이크의 자동 검출과 관련하여 어떤 연구들이 기존에 진행 되었는가?
모자이크의 자동 검출과 관련하여 기존에 진행된 방법들을 살펴보면 다음과 같다. [3]은 공간적인 도메인과 에지 도메인에서 모자이크를 검출한다. 공간적인 도메인에서는 명암 값과 크기가 유사하며 인접한 네 개의 정사각형을 찾아 모자이크 매크로 블록으로 정의하였다. 그리고 이런 모자이크 매크로 블록의 집합을 하나의 모자이크 영역으로 설정하였다. 에지 도메인에서는 입력 영상으로부터 에지를 추출한 다음, 모자이크 블록의 가능한 4가지 형태의 코너를 템플릿으로 사용하여 모자이크 영역을 검출하였다. [6]은 DWT를 사용하여 영상에서 수직 방향의 고주파를 제거하고, 캐니(Canny) 연산자를 이용하여 에지를 추출한다. 그런 다음, 템플릿 정합을 통해 모자이크의 후보 영역을 찾는다. 마지막으로 SVM 분류기를 통해 후보 블록을 제거하고 실제적인 모자이크 블록들만을 선별한다. [7]은 매크로 블록에서 연속적인 에지를 검출하여 모자이크 영역을 추출한다. 먼저 에지 검출기를 이용하여 영상으로부터 에지를 검출한다. 그런 다음, 모든 매크로 블록에서 연속된 에지의 개수를 카운트하여 모자이크 블록의 여부를 결정한다. 이런 방법들 이외에도 모자이크를 검출하는 다른 방법들이 계속해서 연구되고 있다[4, 8].
참고문헌 (11)
B. Gan, T. Menkhoff, and R. Smith, "Enhancing students' learning process through interactive digital media: New opportunities for collaborative learning," Computers in Human Behavior, vol. 51, Part B, pp. 652-663, October 2015.
S. Lee, S. Rho, and J. H. Park, "Multimedia contents adaptation by modality conversion with user preference in wireless network," Journal of Network and Computer Applications, vol. 37, pp. 25-32, January 2014.
S.-F. Sun, S.-H. Han, G. Wang, Y.-C. Xu, and B.-J. Lei, "Mosaic defect detection in digital video," in Proceedings of the IEEE Chinese Conference on Pattern Recognition (CCPR), pp. 1-5, October 2010.
Y.-J. Park and G.-Y. Kim, "A study on detection of mosaic in adult image," in Proceedings of the Korea Society of Computer and Information Conference, vol. 22, no. 1, pp. 63-64, 2014.
D. Guo, J. Tang, Y. Cui, J. Ding, and C. Zhao, "Saliencybased content-aware lifestyle image mosaics," Journal of Visual Communication and Image Representation, vol. 26, pp. 192-199, January 2015.
X. Huang, H. Ma, and H. Yuan, "Video mosaic block detection based on template matching and SVM," in Proceedings of the IEEE International Conference for Young Computer Scientist (ICYCS), pp. 1082-1086, November 2008.
Z. Wei, J. Lin, L. Zhang, and S. Song, "Mosaic defect detection based on macro block solid edge detection," Research Journal of Applied Science, Engineering and Technology, no. 5, vol. 13, pp. 3549-3553, April 2013.
J. Liu, L. Huang, and J. Lin, "An image mosaic block detection method based on fuzzy c-means clustering," in Proceedings of the IEEE International Conference on Computer Research and Development (ICCRD), vol. 1, pp. 237-240, March 2011.
S. Nashat, A. Abdullah, and M. Z. Abdullah, "Unimodal thresholding for Laplacian-based Canny-Deriche filter," Pattern Recognition Letters, vol. 33, no. 10, pp. 1269-1286, July 2012.
M. Sezgin and B. Sankur, "Survey over image thresholding techniques and quantitative performance evaluation," Journal of Electronic Imaging, vol. 13, no. 1, pp. 146-165, January 2004.
X.-C. Yuan, L.-S. Wu, and Q. Peng "An improved Otsu method using the weighted object variance for defect detection," Applied Surface Science, vol. 349, pp. 472-484, September 2015.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.