현재 딥러닝 기술은 여러 분야에서 성공적으로 적용되어 이용되고 있다. 특히 컴퓨터 비전 분야에 있어 딥러닝 기술의 발전을 통해 많은 진보를 이루어 냈다. 하지만 기술이 발전됨에 따라 개인 프라이버시, 국가 안보 등에 위협을 주는 기술의 악용된 사례들도 비례하여 나타나고있다. 이러한 기술들 중 하나가 바로 딥페이크 기술이다. 딥페이크 기술은 산업적으로 활용 가치가 높기 때문에 영화, 뮤직비디오 등 다양한 분야에서 활용되기도 하지만[38], 동영상 조작을 통해 진실을 왜곡하여 악용되고 있는 문제점이 제시되었다. 딥페이크의 악용에 대한 우려가 커짐에 따라 동영상의 조작 여부를 판단하는 연구가 활발히 진행되고 있다. 본 논문에서는 합성곱 신경망(Convolutional neural network ,...
현재 딥러닝 기술은 여러 분야에서 성공적으로 적용되어 이용되고 있다. 특히 컴퓨터 비전 분야에 있어 딥러닝 기술의 발전을 통해 많은 진보를 이루어 냈다. 하지만 기술이 발전됨에 따라 개인 프라이버시, 국가 안보 등에 위협을 주는 기술의 악용된 사례들도 비례하여 나타나고있다. 이러한 기술들 중 하나가 바로 딥페이크 기술이다. 딥페이크 기술은 산업적으로 활용 가치가 높기 때문에 영화, 뮤직비디오 등 다양한 분야에서 활용되기도 하지만[38], 동영상 조작을 통해 진실을 왜곡하여 악용되고 있는 문제점이 제시되었다. 딥페이크의 악용에 대한 우려가 커짐에 따라 동영상의 조작 여부를 판단하는 연구가 활발히 진행되고 있다. 본 논문에서는 합성곱 신경망(Convolutional neural network ,CNNs) 와 순환 신경망(Recurrent neural networks , RNNs) 를 사용하여 프레임 속 시각적 정보와 프레임 간 시간적 정보를 추출하여 딥페이크 조작 여부를 정확하게 감지하고자 한다. 기존 연구들에서는 합성곱 신경망를 이용하여 시각적 정보만 이용하여 프레임 간 시간적 정보를 포함하지 못한다는 한계가 있다. 뿐만 아니라 최근 연구들은 프레임 속 얼굴 정보에 한정되어 딥페이크 영상을 탐지해 조작 여부를 조작이 발생한 부분에 한정되어 탐지한다는 한계가 존재한다. 본 연구에서는 동영상 내 전역 정보(Global Information)과 지역 정보(Local Information), 두 가지 정보에서 특징을 추출함으로써 보다 효과적인 딥페이크 영상을 탐지하고자 한다. 특히 지역 정보는 조작이 일어나는 영상 속 얼굴 정보를 의미하고, 글로벌 정보는 영상 전체의 조화를 판단할 수 있는 프레임 전체 정보를 의미한다. 따라서 이 두 가지 정보를 융합하여 두 정보의 상보성을 보완한 딥페이크 영상 탐지 방법을 제안한다. 본 논문은 FaceForencies++ 데이터 셋을 사용하여 평가하고 다른 모델에 비해 경쟁력 있는 결과를 제공한다.
현재 딥러닝 기술은 여러 분야에서 성공적으로 적용되어 이용되고 있다. 특히 컴퓨터 비전 분야에 있어 딥러닝 기술의 발전을 통해 많은 진보를 이루어 냈다. 하지만 기술이 발전됨에 따라 개인 프라이버시, 국가 안보 등에 위협을 주는 기술의 악용된 사례들도 비례하여 나타나고있다. 이러한 기술들 중 하나가 바로 딥페이크 기술이다. 딥페이크 기술은 산업적으로 활용 가치가 높기 때문에 영화, 뮤직비디오 등 다양한 분야에서 활용되기도 하지만[38], 동영상 조작을 통해 진실을 왜곡하여 악용되고 있는 문제점이 제시되었다. 딥페이크의 악용에 대한 우려가 커짐에 따라 동영상의 조작 여부를 판단하는 연구가 활발히 진행되고 있다. 본 논문에서는 합성곱 신경망(Convolutional neural network ,CNNs) 와 순환 신경망(Recurrent neural networks , RNNs) 를 사용하여 프레임 속 시각적 정보와 프레임 간 시간적 정보를 추출하여 딥페이크 조작 여부를 정확하게 감지하고자 한다. 기존 연구들에서는 합성곱 신경망를 이용하여 시각적 정보만 이용하여 프레임 간 시간적 정보를 포함하지 못한다는 한계가 있다. 뿐만 아니라 최근 연구들은 프레임 속 얼굴 정보에 한정되어 딥페이크 영상을 탐지해 조작 여부를 조작이 발생한 부분에 한정되어 탐지한다는 한계가 존재한다. 본 연구에서는 동영상 내 전역 정보(Global Information)과 지역 정보(Local Information), 두 가지 정보에서 특징을 추출함으로써 보다 효과적인 딥페이크 영상을 탐지하고자 한다. 특히 지역 정보는 조작이 일어나는 영상 속 얼굴 정보를 의미하고, 글로벌 정보는 영상 전체의 조화를 판단할 수 있는 프레임 전체 정보를 의미한다. 따라서 이 두 가지 정보를 융합하여 두 정보의 상보성을 보완한 딥페이크 영상 탐지 방법을 제안한다. 본 논문은 FaceForencies++ 데이터 셋을 사용하여 평가하고 다른 모델에 비해 경쟁력 있는 결과를 제공한다.
Recently, deep learning has been successfully applied and used in various fields. Especially in the field of computer vision, the development of deep learning has produced many conveniences. However, as technology advances, the number of abuse cases of technology threatening personal privacy and nat...
Recently, deep learning has been successfully applied and used in various fields. Especially in the field of computer vision, the development of deep learning has produced many conveniences. However, as technology advances, the number of abuse cases of technology threatening personal privacy and national security increases proportionally. One of these technologies is Deepfake. Deepfake is also used in various fields such as movies and records due to its high industrial value. However, many problems are being raised that exploit distorted facts through video manipulation. As the number of cases of abuse of Deepfake increases, research is actively being conducted to determine whether a video is manipulated or not. This study aims to accurately detect Deepfake manipulation by extracting visual information in the frame and temporal information between the frames using convolutional neural networks (CNNs) and recurrent neural networks (RNNs). In previous studies, there is a limitation that time information between frames cannot be included using CNNs but only using visual information. Furthermore, recent studies only detect Deepfake images by limiting facial information in frames, so there is a limit to detecting only facial parts where manipulation occurred. This study proposes more effective Deepfake video detection by extracting features from two sources of information in the video: global and local. Local information includes information on the face area where manipulation occurs, and global information includes the complete frame information that can determine the harmony of the entire video. Therefore, the proposed detection model demonstrates the results of the convergence of these sources of information to complement the deficiencies. The proposed model is evaluated using the FaceForces++ datasets and is competitive with other models.
Recently, deep learning has been successfully applied and used in various fields. Especially in the field of computer vision, the development of deep learning has produced many conveniences. However, as technology advances, the number of abuse cases of technology threatening personal privacy and national security increases proportionally. One of these technologies is Deepfake. Deepfake is also used in various fields such as movies and records due to its high industrial value. However, many problems are being raised that exploit distorted facts through video manipulation. As the number of cases of abuse of Deepfake increases, research is actively being conducted to determine whether a video is manipulated or not. This study aims to accurately detect Deepfake manipulation by extracting visual information in the frame and temporal information between the frames using convolutional neural networks (CNNs) and recurrent neural networks (RNNs). In previous studies, there is a limitation that time information between frames cannot be included using CNNs but only using visual information. Furthermore, recent studies only detect Deepfake images by limiting facial information in frames, so there is a limit to detecting only facial parts where manipulation occurred. This study proposes more effective Deepfake video detection by extracting features from two sources of information in the video: global and local. Local information includes information on the face area where manipulation occurs, and global information includes the complete frame information that can determine the harmony of the entire video. Therefore, the proposed detection model demonstrates the results of the convergence of these sources of information to complement the deficiencies. The proposed model is evaluated using the FaceForces++ datasets and is competitive with other models.
주제어
#조작된 비디오 탐지 딥페이크 탐지 비디오 포렌식 탐지 Manipulated video detection Deepfake detection Efficientnet Video forensics detection Two-stream
학위논문 정보
저자
송나연
학위수여기관
연세대학교 대학원
학위구분
국내석사
학과
산업공학과
지도교수
김우주
발행연도
2021
총페이지
vi, 34장
키워드
조작된 비디오 탐지 딥페이크 탐지 비디오 포렌식 탐지 Manipulated video detection Deepfake detection Efficientnet Video forensics detection Two-stream
※ AI-Helper는 부적절한 답변을 할 수 있습니다.