선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 또한 향후 연구로써는 현 상태에서는 오로지 미리 기록되어 있는 동영상만 이해 할 수 있는 이 모델을 더 심화시켜서 실시간으로 시각 데이터와 음성 데이터를 받아들여 이해하는 모델을 개발할 것이다. 또한 이를 바탕으로 동영상을 통해 스스로 학습이 가능한 새로운 모델을 만드는 것 또한 궁극적인 목표로 하고 있다.
- 이 3 가지 가정에 맞춰서 각 모션 데이터 및 오디오 데이터의 변폭에 맞춰 씬을 조립하는 것 및 오브젝트의 감지에 각각 다른 임계치를 줘서 동영상 내의 중점이 되는 오브젝트에 대한 집중도를 변화시키는 것이다. 이후 해당 임계치에 맞춰서 키프레임 이미지에서 감지된 중심 오브젝트 이미지를 번역하여 묘사한 텍스트, 각 연속되는 키프레임 간의 색 히스토그램 간의 유사도를 계산하고 오디오 데이터로부터 얻은 대화를 참고하여 동영상 내의 분할된 샷들을 씬으로 조립하여 동영상을 의미적으로 분할하는 작업을 완료하는 것이다.
- 이 논문에서는 딥 러닝을 이용하여 동영상에 대하여 의미적인 분할 방법에 대한 소개 및 분석을 통해 동영상의 이해를 가능하게 해주는 모델을 제안하였다. 그러나 이 논문에서 소개한 모델은 현 상태에서는 아직 오디오 디텍션 및 동영상 내의 씬에서 얻은 모든 정보를 종합적으로 파악 및 정리하여 이해하는 부분이 완성되지 못하여 성능평가를 하지 못하였다.
- 이 논문에서는 모션 디텍션(Motion Detection), 오디오 디텍션(Audio Detection)에 더불어 최근 주목 받고있는 딥 러닝 기술을 응용하여 가능해진 이미지를 텍스트로 묘사하는 기술을 접목시킴으로써 동영상의 분할 및 분석에 활용하여 동영상 이해 기술을 가능하게 하여 활용하는 방법을 제안하는 논문이다
- LSTM은 은닉층에 의해 정의 된 모든 선행 단어와 이미지를 본 후에 얻은 단어들을 모아 문장을 생성할 때 문장에서 배치될 각각의 단어 순서를 예측하여 출력하도록 훈련된다[4]. 이와 함께 키프레임의 주요 오브젝트에 해당할 중앙 오브젝트를 감지하도록 하여 중앙 오브젝트가 어떤 것인지 감지하도록 하여 이미지에 대한 이해도를 높이도록 한다.
가설 설정
- “모션 데이터의 변폭 및 오디오 데이터의 음량 변폭에 따라 중심이 되는 오브젝트의 화면 중앙에서의 부동적인 노출 시간이 반비례할 것이다.
- 그럼으로써 이제 키프레임 이미지를 번역하여 묘사한 텍스트와 각 연속되는 키프레임 간의 색 히스토그램을 이용하여 키프레임 간의 유사도를 계산하여 샷들을 씬으로 조립하는 것을 시작한다. 여기서 이전에 추출하였던 모션 데이터와 오디오 데이터를 활용하게 하는데, 이 모델에서는 씬을 조립하는데 아래의 3가지 가정을 기반으로 두고 조립한다.
- 이후 마지막으로 추출된 씬과 함께 추출된 음성 데이터로부터 오디오 디텍션과 보이스 디텍션(Voice Detection)을 같이 사용하여 시각 데이터와 음성 데이터로부터 얻은 정보로 각 씬을 묘사하는 내용의 텍스트를 출력하도록 하는 것이다. 이 논문에서는 제안하는 모델의 기술 구조와 원리에 대하여 간략하게 다룰 것이다. 아래의 [그림 1]은 제안하는 모델의 전체 구조도를 간단하게 표기한 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.