초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

현재 딥러닝 기술은 여러 분야에서 성공적으로 적용되어 이용되고 있다. 특히 컴퓨터 비전 분야에 있어 딥러닝 기술의 발전을 통해 많은 진보를 이루어 냈다. 하지만 기술이 발전됨에 따라 개인 프라이버시, 국가 안보 등에 위협을 주는 기술의 악용된 사례들도 비례하여 나타나고있다. 이러한 기술들 중 하나가 바로 딥페이크 기술이다. 딥페이크 기술은 산업적으로 활용 가치가 높기 때문에 영화, 뮤직비디오 등 다양한 분야에서 활용되기도 하지만[38], 동영상 조작을 통해 진실을 왜곡하여 악용되고 있는 문제점이 제시되었다. 딥페이크의 악용에 대한 우려가 커짐에 따라 동영상의 조작 여부를 판단하는 연구가 활발히 진행되고 있다.
본 논문에서는 합성곱 신경망(Convolutional neural network ,...

현재 딥러닝 기술은 여러 분야에서 성공적으로 적용되어 이용되고 있다. 특히 컴퓨터 비전 분야에 있어 딥러닝 기술의 발전을 통해 많은 진보를 이루어 냈다. 하지만 기술이 발전됨에 따라 개인 프라이버시, 국가 안보 등에 위협을 주는 기술의 악용된 사례들도 비례하여 나타나고있다. 이러한 기술들 중 하나가 바로 딥페이크 기술이다. 딥페이크 기술은 산업적으로 활용 가치가 높기 때문에 영화, 뮤직비디오 등 다양한 분야에서 활용되기도 하지만[38], 동영상 조작을 통해 진실을 왜곡하여 악용되고 있는 문제점이 제시되었다. 딥페이크의 악용에 대한 우려가 커짐에 따라 동영상의 조작 여부를 판단하는 연구가 활발히 진행되고 있다.
본 논문에서는 합성곱 신경망(Convolutional neural network ,CNNs) 와 순환 신경망(Recurrent neural networks , RNNs) 를 사용하여 프레임 속 시각적 정보와 프레임 간 시간적 정보를 추출하여 딥페이크 조작 여부를 정확하게 감지하고자 한다. 기존 연구들에서는 합성곱 신경망를 이용하여 시각적 정보만 이용하여 프레임 간 시간적 정보를 포함하지 못한다는 한계가 있다. 뿐만 아니라 최근 연구들은 프레임 속 얼굴 정보에 한정되어 딥페이크 영상을 탐지해 조작 여부를 조작이 발생한 부분에 한정되어 탐지한다는 한계가 존재한다.
본 연구에서는 동영상 내 전역 정보(Global Information)과 지역 정보(Local Information), 두 가지 정보에서 특징을 추출함으로써 보다 효과적인 딥페이크 영상을 탐지하고자 한다. 특히 지역 정보는 조작이 일어나는 영상 속 얼굴 정보를 의미하고, 글로벌 정보는 영상 전체의 조화를 판단할 수 있는 프레임 전체 정보를 의미한다. 따라서 이 두 가지 정보를 융합하여 두 정보의 상보성을 보완한 딥페이크 영상 탐지 방법을 제안한다. 본 논문은 FaceForencies++ 데이터 셋을 사용하여 평가하고 다른 모델에 비해 경쟁력 있는 결과를 제공한다.

Abstract ▼ AI-Helper

Recently, deep learning has been successfully applied and used in various fields. Especially in the field of computer vision, the development of deep learning has produced many conveniences. However, as technology advances, the number of abuse cases of technology threatening personal privacy and nat...

Recently, deep learning has been successfully applied and used in various fields. Especially in the field of computer vision, the development of deep learning has produced many conveniences. However, as technology advances, the number of abuse cases of technology threatening personal privacy and national security increases proportionally. One of these technologies is Deepfake. Deepfake is also used in various fields such as movies and records due to its high industrial value. However, many problems are being raised that exploit distorted facts through video manipulation. As the number of cases of abuse of Deepfake increases, research is actively being conducted to determine whether a video is manipulated or not.
This study aims to accurately detect Deepfake manipulation by extracting visual information in the frame and temporal information between the frames using convolutional neural networks (CNNs) and recurrent neural networks (RNNs). In previous studies, there is a limitation that time information between frames cannot be included using CNNs but only using visual information. Furthermore, recent studies only detect Deepfake images by limiting facial information in frames, so there is a limit to detecting only facial parts where manipulation occurred.
This study proposes more effective Deepfake video detection by extracting features from two sources of information in the video: global and local. Local information includes information on the face area where manipulation occurs, and global information includes the complete frame information that can determine the harmony of the entire video. Therefore, the proposed detection model demonstrates the results of the convergence of these sources of information to complement the deficiencies. The proposed model is evaluated using the FaceForces++ datasets and is competitive with other models.

주제어