초록

본 발명의 실시 예에 따르면, 생성형 AI 모델을 이용한 특수효과 생성 및 3D 모델 생성 서비스 제공 서버를 개시한다. 상기 서버는, 이미지 세그멘테이션 모델을 이용해 입력되는 이미지에 포함된 객체를 결정하는 객체 분할부; 비디오 생성 모델을 이용해 특수효과 비디오를 생성하는 비디오 생성부; 및 사용자 단말로부터 수신한 사용자 지정 영역을 이용해 원본비디오에서의 특수효과 입력영역을 지정하고, 원본비디오의 특수효과 입력영역에 특수효과 비디오를 합성하는 합성부를 포함한다.

대표청구항 ▼

생성형 AI 모델을 이용한 특수효과 생성 및 3D 모델 생성 서비스제공 서버로서,이미지 세그멘테이션 모델을 이용해 입력되는 이미지에 포함된 객체를 결정하는 객체 분할부; 비디오 생성 모델을 이용해 특수효과 비디오를 생성하는 비디오 생성부; 및사용자 단말로부터 수신한 사용자 지정 영역을 이용해 원본비디오에서의 특수효과 입력영역을 지정하고, 원본비디오의 특수효과 입력영역에 특수효과 비디오를 합성하는 합성부를 포함하고, 상기 객체 분할부는, 이미지 세그멘테이션 모델 및 비디오 오브젝트 세그멘테이션 모델을 이용해 특수효과 비디오에 포함된

생성형 AI 모델을 이용한 특수효과 생성 및 3D 모델 생성 서비스제공 서버로서,이미지 세그멘테이션 모델을 이용해 입력되는 이미지에 포함된 객체를 결정하는 객체 분할부; 비디오 생성 모델을 이용해 특수효과 비디오를 생성하는 비디오 생성부; 및사용자 단말로부터 수신한 사용자 지정 영역을 이용해 원본비디오에서의 특수효과 입력영역을 지정하고, 원본비디오의 특수효과 입력영역에 특수효과 비디오를 합성하는 합성부를 포함하고, 상기 객체 분할부는, 이미지 세그멘테이션 모델 및 비디오 오브젝트 세그멘테이션 모델을 이용해 특수효과 비디오에 포함된 복수의 프레임 각각을 특수효과 객체영역과 배경영역으로 분리하고,특수효과 비디오에 포함된 복수의 프레임 각각에서 배경영역을 제거하고,상기 합성부는, 사용자 지정 영역을 원본비디오의 첫 프레임의 특수효과 입력영역으로 지정하고, 상기 객체 분할부는, 이미지 세그멘테이션 모델을 이용해 원본비디오의 첫 프레임의 특수효과 입력영역에 포함된 적어도 하나의 객체를 식별하고, 적어도 하나의 객체 중 어느 하나를 타겟객체로 결정하며, 타겟객체와 매칭되는 마스크를 생성하며,타겟객체와 매칭되는 마스크 및 비디오 오브젝트 세그멘테이션 모델을 이용해 원본비디오의 나머지 프레임 각각을 타겟객체영역과 배경영역으로 분리하고, 상기 합성부는, 원본비디오의 나머지 프레임 각각의 타겟객체영역을 이용하여 원본비디오의 나머지 프레임 각각의 특수효과 입력영역을 생성하며,상기 서버는,특수효과 비디오에 포함된 복수의 프레임 각각과 이미지 생성 모델을 이용해, 특수효과 비디오에 포함된 복수의 프레임 각각과 매칭되고 복수의 프레임 각각에 포함된 특수효과객체를 여러 방향의 각도에서 도시하는 복수의 모델링 이미지를 생성하는 이미지 생성부; 및3D 생성 모델을 이용해 복수의 모델링 이미지와 매칭되는 3D 모델을 생성하는 3D 생성부를 더 포함하고,상기 비디오 생성부는,복수의 모델링 이미지 중 어느 하나의 모델링 이미지에 마커 생성영역을 지정하고, 상기 객체 분할부는, 마커 생성영역과 비디오 오브젝트 세그멘테이션 모델을 이용해 복수의 모델링 이미지 중 나머지 모델링 이미지를 마커 생성영역과 배경영역으로 분리하며, 상기 서버는,인페인팅 모델을 이용해 복수의 모델링 이미지 각각의 마커 생성영역에 마커를 생성하는 인페인팅부를 포함하는, 서버.