초록 ▼

● 다중 감각 정보에 반응하여 고차원적인 사고과정을 수행하는 새로운 신경망 개발을 위한 각 단일 감각 별 기반 기술 연구.
● 다중 감각 데이터를 취득하여 다중 감각 간의 관계를 신경망을 통해 학습 및 분석.
● 단일 감각 정보(시각 정보)의 추출 및 생성을 위한 신경망 구현
■ 시각 정보 추출과 관계 분석을 위한 기반 기술 연구
- 선행 검출기의 구조적 개선을 통해 우수한 성능의 객체 검출기 확보
- Global-local feature 통합 인지 분류기 설계
- 감각 모듈 간 관계 분석 기반 기술

● 다중 감각 정보에 반응하여 고차원적인 사고과정을 수행하는 새로운 신경망 개발을 위한 각 단일 감각 별 기반 기술 연구.
● 다중 감각 데이터를 취득하여 다중 감각 간의 관계를 신경망을 통해 학습 및 분석.
● 단일 감각 정보(시각 정보)의 추출 및 생성을 위한 신경망 구현
■ 시각 정보 추출과 관계 분석을 위한 기반 기술 연구
- 선행 검출기의 구조적 개선을 통해 우수한 성능의 객체 검출기 확보
- Global-local feature 통합 인지 분류기 설계
- 감각 모듈 간 관계 분석 기반 기술 연구
■ 시각정보를 이용한 시각 정보 생성 모델 연구
- 이전 영상 정보를 사용하는 multi-stage 구조 도입
● 오디오 생성모델 개발을 위한 기반 연구
- 오디오에 적용될 수 있는 새로운 표현형을 내포한 네트워크 개발
● 오디오 특성 인코딩을 위한 기반 연구
- 오디오의 다양한 특성(음성, 음악, 환경음 등)을 고려한 정보 추출 네트워크 연구

(출처 : 보고서 요약서 3p)

Abstract ▼

Ⅳ. Results

※ Neural networks for analysing on single sensory module
● Survey on the analysis of components and relations of sensory modules.
● Data acquisition with more than two sensory modules. (text and video)
● Performs research to detect the text and image in the diagram image,

Ⅳ. Results

※ Neural networks for analysing on single sensory module
● Survey on the analysis of components and relations of sensory modules.
● Data acquisition with more than two sensory modules. (text and video)
● Performs research to detect the text and image in the diagram image, analyze the relation, and solve the problem about the question and answer.
● Detects objects (images, texts) based on Single shot multibox detector (SSD) and conducts research to estimate their relationships.

※ Research on information extraction for video understanding
● Neural network model for real-time multi-object detection.
- Performs research to improve SSD, a multi-object algorithm.
- Propose object detection algorithm considering relationship between objects.

● Noise generation model for improving image classification.
- Implement of Auto-encoder for generation of noise image. Reduce noise size while preserving proper performance to prevent damage to the original.

● New posture image generation using joint information of object.
- A study on the estimation of the distribution of real data by considering input image as noise based on generative adversarial learning method.

● Improving generative model using high-level information feature.
- A study on algorithms to improve the performance of generative models by including the results from high-level information

● Improving the quality of input image for global-local feature based classifier.
- A study to remove the various elements of the image that hinder the acquisition of generalized global-local features.

● Analysis on deep neural networks for global-local feature based classifier.
- Depth study of deep neural networks to explore the direction of global-local features.

● Visual tracking algorithm based on global-local feature.
- A study to improve performance by applying global-local feature to object tracking algorithm.

● Complex scene understanding based on global-local feature.
- A study to improve performance by applying global-local feature to various task.

※ Develop qualitative indices that express naturalness of an audio generation model based on adversarial neural network and develop base technology that can improve audio quality

※ By mimiciking interactions between various modalities, develop a model that can generate audio similar to other modalities

(출처 : SUMMARY 11p)

목차 Contents

• 표지 ... 1
• 제 출 문 ... 2
• 보고서 요약서 ... 3
• 요 약 문 ... 4
• S U M M A R Y ... 9
• C O N T E N T S ... 14
• 목차 ... 15
• 제 1 장 연구개발과제의 개요 ... 16
• 제 2 장 국내외 기술개발 현황 ... 18
• 제 1 절. 국내 ... 18
• 제 2 절. 국외 ... 20
• 제 3 장 연구개발수행 내용 및 결과 ... 23
• 제 1 절. 단일 감각 모듈의 관계 분석을 위한 신경망 개발 ... 23
• 제 2 절. 영상 이해를 위한 정보 추출 기반 기술 연구 ... 24
• 제 3 절. 오디오 생성 모델에 대한 기존연구 조사 ... 38
• 제 4 절. 오디오 생성 모델 적용 ... 39
• 제 5 절. 생성 모델을 위한 오디오 변환 및 복원 방법 확보 ... 40
• 제 6 절. 다중 감각 간 관계 지식 전달을 위한 오디오 정보 인코딩 연구 ... 41
• 제 4 장 목표달성도 및 관련분야에의 기여도 ... 44
• 제 1 절. 관련 분야의 기여도 ... 44
• 제 2 절. 목표 달성도 ... 51
• 제 5 장 연구개발결과의 활용계획 ... 55
• 제 1 절. 연구개발 결과의 활용방안 ... 55
• 제 2 절. 연구개발 결과의 기대효과 ... 55
• 제 6 장 연구개발과정에서 수집한 해외과학기술정보 ... 57
• 제 7 장 참고문헌 ... 62
• 끝페이지 ... 67