초록 ▼

□ 연구개발 목표 및 내용
◎ 최종 목표
자기 지도학습에 의해 시각적 상식을 구축하고, 물체의 제한된 시점 또는 부분만 보더라도 물체 전체의 영상 형태⋅구조와 색상을 추론할 수 있는 인공지능 기술 개발

ㅇ 자기 지도학습을 이용한 영상의 상식화 관련 깊은 신경망 모델개발
ㅇ 다양한 영상에 존재하는 객체의 정적⋅동적 속성과 그들 간의 관계를 이해하고, 이를 시각적 상식으로 표현하는 인공지능 모델링 기법 연구
ㅇ 영상 속 객체들의 속성을 파악하고 속성 간 의미 관계를 도출하고 표현하는 처리기술 개발

□ 연구개발 목표 및 내용
◎ 최종 목표
자기 지도학습에 의해 시각적 상식을 구축하고, 물체의 제한된 시점 또는 부분만 보더라도 물체 전체의 영상 형태⋅구조와 색상을 추론할 수 있는 인공지능 기술 개발

ㅇ 자기 지도학습을 이용한 영상의 상식화 관련 깊은 신경망 모델개발
ㅇ 다양한 영상에 존재하는 객체의 정적⋅동적 속성과 그들 간의 관계를 이해하고, 이를 시각적 상식으로 표현하는 인공지능 모델링 기법 연구
ㅇ 영상 속 객체들의 속성을 파악하고 속성 간 의미 관계를 도출하고 표현하는 처리기술 개발
ㅇ 자기 지도학습에 의한 시각 지능 요소기술 고도화

◎ 전체 내용
[용어 개념]
ㅇ 시각적 상식 모델: 다양한 객체에 대해 변하지 않는 객체의 속성 및 객체 사이의 관계성에 대해 범용적으로 다양한 인공지능 태스크에서 활용 가능한 표현 형식으로 구축한 모델
ㅇ 상식융합 장면 그래프: 영상에서 추출한 장면 그래프에 범용적 관계와 속성 관련 정보를 포함하는 상식 모델을 융합하여 관찰되지 않거나 가려진 관계성과 속성값을 복원하여 포함하는 확장된 장면 그래프
[연구개발 내용]
① 자기지도 학습기반 시각적 상식을 연동한 장면 관계 그래프 생성 및 증강 기술연구
- 자기지도 학습을 통한 관계 그래프 추출기술 연구
- 상식 정합을 통한 관계 그래프 추출기술 고도화
② 자기지도 학습기반 시각적 상식을 연동한 장면 속성 그래프 생성 및 증강기술 연구
- 자기지도 학습기반 영상 내 객체 속성 추정기술 개발
- 객체의 외형⋅물리적 특성 기반 속성 학습기술 연구
- 속성 그래프 표현 및 생성 기술 개발
③ 자기지도 학습기반 상식융합 장면 그래프 복원 및 확장 기술연구
- 시각적 상식 구축을 위한 객체 간 관계와 속성 표현이 가능한 객체상식 그래프 표현 기술연구
- 다중 모달 데이터 연계분석을 통한 시각적 상식 모델링 기술연구
- 시각적 상식모델 기반 장면 그래프 복원기술 개발
④ 상식융합 장면 그래프를 활용한 자기지도 학습기반 영상 복원 기술연구
- 상식기반 영상합성을 위한 Global feature 추출 알고리즘 연구
- Global feature와 장면 그래프를 활용한 영상 복원알고리즘 연구
- 자기지도 학습기반 영상복원기술 연구
- 상식 모델의 객체 임베딩을 이용한 영상 복원모델 연구
⑤ 시각적 상식 모델기반 연동 엔진 통합 기술 구축
- 시각적 상식을 내포한 장면 그래프 기반 영상 복원 통합 파이프라인 개발
- 시각적 상식기반 시각지능 연구 프레임워크 구축
- 멀티모달 비정형 데이터 기반 시각적 상식 증강 기술연구

◎ 해당연도
● 목표
[자기지도 학습기반 시각적 상식을 연동한 장면 관계 그래프 생성 및 증강 기술연구]
ㅇ 자기지도 학습을 통해 학습된 자연어 상식을 기반으로 한 영상 외형 상식화 알고리즘 개발
[자기지도 학습기반 시각적 상식을 연동한 장면 속성 그래프 생성 및 증강기술 연구]
ㅇ 운동성 객체의 시선, 자세, 행동 기반 속성 인식 알고리즘 개발
ㅇ 비운동성 객체 자세 인식 알고리즘 고도화
[자기지도 학습기반 상식융합 장면 그래프 복원 및 확장 기술연구]
ㅇ 그래프 복원 추론 모델개발
[상식융합 장면 그래프를 활용한 자기지도 학습기반 영상 복원 기술연구]
ㅇ 객체의 Representation으로 영상을 복원하는 조건부 이미지 복원 기술개발
ㅇ 장면 그래프 기반 자기지도 학습을 통한 Context aware 영상복원기술 개발
[시각적 상식 모델기반 연동 엔진 통합 기술 구축]
ㅇ 시각적 상식을 내포한 장면 그래프 기반 이미지 복원 통합 파이프라인 구현

● 내용
[자기지도 학습기반 시각적 상식을 연동한 장면 관계 그래프 생성 및 증강 기술연구]
- 자기지도 학습을 통해 학습된 자연어 상식과 영상 외형에서 추출된 상식의 정합 기술을 개발하고, 정합된 상식을 활용하여 영상 외형에서 추출한 상식의 개선 기술연구
[자기지도 학습기반 시각적 상식을 연동한 장면 속성 그래프 생성 및 증강기술 연구]
- 학습 데이터의 분포 (카메라 뷰, 자세 등)가 테스트 환경과 다른 경우 높은 신뢰도로 사람의 자세를 추정하는 시스템을 연구하고, 자기지도 학습기반의 사람 속성 및 사물 자세 추정 알고리즘 고도화
[자기지도 학습기반 상식융합 장면 그래프 복원 및 확장 기술연구]
- 누락된 장면 그래프를 받아 장면 그래프를 복원하는 조건부 그래프 복원 추론 모델개발
[상식융합 장면 그래프를 활용한 자기지도 학습기반 영상 복원 기술연구]
- 학습된 객체의 Representation을 이용하여 영상 내 영역에 객체를 생성하는 알고리즘 연구
[시각적 상식 모델기반 연동 엔진 통합 기술 구축]
- 시각적 상식을 내포한 장면 그래프 기반 이미지 복원 파이프라인의 각 파트별 베이스라인 구성

□ 연구개발성과
ㅇ 연구개발 예상성과
- 논문 : 26
- 특허 : 16
- 보고서 원문 : 3
- 기술 요약정보 : 20
- 소프트웨어 : 9

□ 연구개발성과 활용계획 및 기대 효과
ㅇ 활용계획
- 자율주행 보안 및 감시 시스템, 위급 상황, 자동 인지, VR/AR 분야 정확한 현실 복원 등
- 영상 복구, 다양한 콘텐츠 자동 생성기반의 영상 증강 및 편집 서비스 등 시각 지능 연관 서비스 전반
- 시각 및 언어 기반 (Visual-linguistic) 연계 시스템 전반 (영상 설명 자동 생성, 영상 기반 질의응답, 설명 기반 영상생성 등)
ㅇ 기대효과
- 다른 객체에 가려진 부분에 대한 복원은 영상 내 객체 간 3차원 위치 관계에 대한 이해를 비롯해 영상 콘텐츠에 대한 종합적인 이해가 필요하므로 다양한 수요 기술 분야에서 활용 가능
- 멀티모달 비정형 데이터를 활용한 대규모 상식 모델 구축기술은 본 연구에의 활용 이외의 다양한 지능형 서비스의 창출
- 이미지에서 보안이 필요한 개인 정보를 자연스럽게 지우는 서비스에 활용
- 자율주행 차량 사각지대에 속한 부분이나 일부 가려진 객체를 인식하여 안정성 향상에 활용

(출처 : 요약문 8p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 8
• 목차 ... 11
• 1. 연구개발과제의 개요 ... 12
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 14
• 1) 1차년도: 지도학습기반 베이스라인 시스템 구축 ... 14
• 2) 2차년도: 자기 지도학습 기반 요소기술 연구 ... 38
• 3) 3차년도: 자기 지도학습 알고리즘 고도화 ... 48
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 67
• 1) 연구수행 결과 ... 67
• 2) 목표 달성 수준 ... 78
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 79
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 79
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 79
• 3) 연구개발 과정의 성실성 ... 79
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 80
• 6. 연구개발성과의 관리 및 활용 계획 ... 81
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 81
• 2) 주요 성과활용 (기대)성과목표 ... 81
• 3) 성과활용·관리 추진체계 ... 81
• 4) 기타 ... 81
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 82
• 8. 연구개발비 사용실적 ... 83
• 1. 연구개발비 사용명세서 ... 83
• 2. 발생이자 사용명세서 ... 83
• 3. 반납액 명세서 ... 83
• 끝페이지 ... 112