보고서 정보
주관연구기관 |
한국전자통신연구원 Electronics and Telecommunications Research Institute |
연구책임자 |
고종국
|
참여연구자 |
한상준
,
박종하
,
이준혁
,
유창동
,
이준호
|
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2022-02 |
과제시작연도 |
2021 |
주관부처 |
과학기술정보통신부 Ministry of Science and ICT |
등록번호 |
TRKO202200004497 |
과제고유번호 |
1711126014 |
사업명 |
한국전자통신연구원연구개발지원(R&D) |
DB 구축일자 |
2022-07-02
|
키워드 |
객체 및 장면 인식/분할.비주얼 깊이 추출.공간정보 추출.실-가상 정합.모바일 AR 툴킷.Object and Scene Recognition/Seg mentation.Visual Depth Extraction.Spatial Information Extraction.Real to Virtual Mapping.Mobile AR Toolkit.
|
초록
▼
연구개발 목표 및 내용
최종 목표
o 실내외 모바일 환경의 지능형 AR 서비스를 위한 경량화된 실시간 객체 검출, 객체영역 분할의 객체 정보 추출과 단안카메라 비주얼 장면정보 (깊이, 분할) 및 공간정보 추출기반 실감적 실-가상 정합 제공의 모바일 AR 핵심 원천 기술 개발
- 객체 및 장면 정보 추출 기술: 모바일 단말 환경에서 객체 검출과 장면 정보에 대한 분류 및 장면 구성요소들의 영역 분할 기술
- 객체 및 공간정보 기반 실-가상 정합 기술: 단안카메라 비주얼 정보 기반 깊이 정보 추출과 실공간 추출 정
연구개발 목표 및 내용
최종 목표
o 실내외 모바일 환경의 지능형 AR 서비스를 위한 경량화된 실시간 객체 검출, 객체영역 분할의 객체 정보 추출과 단안카메라 비주얼 장면정보 (깊이, 분할) 및 공간정보 추출기반 실감적 실-가상 정합 제공의 모바일 AR 핵심 원천 기술 개발
- 객체 및 장면 정보 추출 기술: 모바일 단말 환경에서 객체 검출과 장면 정보에 대한 분류 및 장면 구성요소들의 영역 분할 기술
- 객체 및 공간정보 기반 실-가상 정합 기술: 단안카메라 비주얼 정보 기반 깊이 정보 추출과 실공간 추출 정보를 기반으로 객체인식 정보와 공간 인식 정보를 활용한 실-가상 정합 기술
- 모바일 AR 시범콘텐츠 개발: 핵심개발 기술연동의 모바일 AR 툴킷 개발을 통한 모바일 AR 시범 콘텐츠 개발
전체 내용
o 객체 및 장면 정보 추출 기술
- 모바일 객체 검출 기술
- 객체 단위 레벨 분할 기술
- 장면 분류 및 장면 요소 분할 기술
- 객체 주요 특징점 추출 기술
o 객체 및 공간정보 기반 실-가상 정합 기술
- 단안카메라 비주얼 깊이정보 추출 기술
- 실-가상 정합을 위한 실내외 공간정보 추출 기술
- 객체/장면 및 공간정보기반 실-가상 정합 기술
o 모바일 AR 시범콘텐츠 개발
- 모바일 AR 서비스를 위한 AR 툴킷 개발
- 객체/장면 및 공간정보 정합의 모바일 단말용 AR 콘텐츠 생성
o 주요 결과물
- 모바일 객체 검출 모듈(SW)
: 모바일 환경 객체 검출 정확도 0.4 이상, 검출 속도 10 FPS 이상
- 객체 및 장면 영역 분할 모듈(SW)
: 객체 영역 분할 정확도 0.46 이상
- 비주얼 깊이 및 공간정보 추출 모듈(SW)
: 비주얼 깊이 추출 정확도(에러율: 0.15 이하)
- 객체/장면 정보 및 공간정보 정합 지원 모바일 AR 툴킷(SW)
- 모바일 AR 시범 콘텐츠(SW)
연구개발성과
< 1차년도 연구개발 성과 >
1. 객체추출 및 장면정보 추출 기술
1.1 모바일 환경에서의 객체검출
⦁TX2의 임베디드 보드 환경에서 객체검출 기술 개발
: 경량 객체 검출 eSSD 모델 구조 개발
: 국제 저전력 이미지 검색 대회 (LPIRC2018)참가
∙ Track3(하드웨어 및 SW framework제한 없음) 1위 달성 (전년 대비 4배 이상 성능 개선)
⦁임베디드 보드환경 객체 검출 고속화 개발
: TX2보드와 연결된 USB카메라의 실시간 영상에 대해 객체 검출 수행
∙ Caffe 기반 Batch size적용과 멀티 프로세스 방법 적용
⦁모바일 환경지원 인식모델 경량화 설계
: 딥러닝 프레임웍 및 OpenCL, NEON 등의 프레임웍 분석 및 eSSD 알고리즘의 TF-Lite 포팅 설계
⦁임베디드 TX2 보드에서 사람 객체에 대한 주요 특징점 추출 개발
: Mask-RCNN 기반 파이프라이닝 및 양자화 수행을 통한 사람 특징점 추출
: 기존 모델 대비 2.24배 속도 향상
→ 기존(1,578 msec/img) 대비 개발방법 (703 msec/img) 추출 속도 향상
1.2 객체 영역 분할 및 비주얼 장면 분류
⦁Instance 단위 객체 영역 분할 기술 개발
: ResNet-101 및 FPN 기반 Mask R-CNN 기반 객체 분할 Framework 구성
∙ COCO Dataset 80종 객체 대상 분할 모델 훈련 및 평가
: 성능 개선을 위한 구조 및 파라메터 변경
∙ Iterative Bounding Box Regression 및 Cascade R-CNN 기반 객체 분할
: 분할 정확도 공인 시험 평가
∙ COCO Dataset 공식 test 서버에 test-dev set에 대한 객체 분할 결과 제출
∙ 기존 방법 (AP: 0.362) 대비 개발 방법 (AP: 0.402) 성능 개선 확인
⦁비주얼 실내 장면 분류 기술 개발
: 실내 장면 분류 대상 선정
∙ AR 시나리오 적용 가능성이 높은 실내 장면 8개 Class 선정
→ bedroom, classroom, conference room, dining room, hotel room, kitchen, living room, office
∙ 장면 분류 모델 학습
→ inception v3 모델 기반 장면 분류 모델 학습
∙ 분류 정확도 평가
→ 평가 이미지 : 800 장, Top-1/Top-2 정확도: 82.1% / 95%
⦁객체 정보 검출 검증 및 시각화를 위한 웹페이지 및 앱 개발
→ 객체 검출, 장면 분류, 장면 분할 공개 모델 적용
→ 가상화 기반 이종 framework 지원(PyTorch, Caffe 등)
2. 비주얼 깊이정보 및 공간정보 추출 기반 실-가상 정합
2.1 실공간 정보 추출
⦁실 공간 구성 정보 추출 설계
: 특징점 기반의 실 공간 구성 정보 추출 모듈 설계
: 실 공간 구성 정보 추출 모듈의 출력 공간 정보 설계
∙ 실-가상 공간 좌표계와 좌표점군, descriptor설계
∙ Keypoint descriptor에 방향 성분을 결합하여 실-가상 공간의 어떤 특징점도 다각도에서 동일점으로 정합 할 수 있도록 확장
⦁특징 점 정보 기반 실공간 구성 정보 추출 기술 개발
: SLAM기반 싱글 카메라 영상으로부터 공간 정보 구성 기술 개발
∙ 기존 ORB-SLAM알고리즘의 단점을 개선하여 공간 정보의 방향 성분을 결합하여 error를 줄임
⦁공간 구성 특징점 보정 기술 개발
: 실-가상 공간 Tracking을 위한 번들 조정 기술 개발
∙ 기존 ORB-SLAM알고리즘의 Local-BA단계에서 point cloud의 방향 정보를 추가하여 좌표계 밀림 현상 개선
2.2 객체 및 공간정보기반 실가상 정합
⦁객체/공간 정보 기반 실가상 정합기능 설계
: 객체/장면/공간정보 탐지 기반의 가상객체 정합 지원 설계
. 객체/장면 및 공간정보 연동 인터페이스 설계 및 가상객체 연동을 위한 실 객체 위치정보 적용 정보 설계
3. 모바일 AR 툴킷 및 콘텐츠
3.1 콘텐츠 제작용 AR툴킷
⦁콘텐츠 제작용 AR 툴킷 요구 분석
: 콘텐츠 제작자, 콘텐츠 소비자, 수요 기업으로부터 AR 툴킷 요구 수집
⦁콘텐츠 제작용 AR툴킷 설계
: 전체 시스템을 객체 및 장면 정보 추출 시스템과 깊이 및 공간 정보 추출 기반 실가상 정합 시스템으로 구분
: 모바일 AR툴킷을 통한 콘텐츠 개발 및 서비스를 고려한 세부 시스템 설계 진행
⦁콘텐츠 제작용 AR툴킷 프로토타입 개발
: 객체 탐지 모듈과 공간 정보 추출 모듈, 그리고 AR툴킷 인터페이스가 통합된 AR툴킷 프로토타입 개발
: 모바일 AR콘텐츠 개발자를 위한 설치 매뉴얼 및 API레퍼런스 매뉴얼 제공
3.2 객체/장면 정보 및 공간정보 지원의AR콘텐츠 제작
⦁콘텐츠 시나리오 도출 및 설계
: 실객체 검출 및 분해/조합 및 가상객체 배치의 흐름으로 이어지는 AR 게임 시나리오 도출 및 설계 수행
⦁객체 정보기반 모바일 AR 콘텐츠 제작
: 실시간으로 공간정보의 깊이를 인식하고 3차원으로 공간맵을 생성하여 추적함
: 객체검출모델을 통해 객체를 검출하고, 해당하는 객체의 위치에 검출된 레이블을 출력
< 2차년도 연구개발 성과 >
1.객체추출 및 장면정보 추출 기술
1.1 모바일 환경에서의 객체검출
⦁SE모듈(Squeeze-and-Excitation)을 및 FSSD모듈 (Feature fusion SSD)을 검출 네트워크에 추가하여 객체 검출 성능 (0.3117 mAP) 개선 (SCI 1편(IF 3.43,‘19.6), 국제논문 1, 국내논문1, ICCV Workshop Invited Talk(’19.10), 기술이전 2건 (‘19.12))
⦁Depthwise conv layer사용, Single Stage 검출기, layer최적 설계, Multi-process, multi-thread구현 등을 통한 인식 모델 고속화(속도: 13.5fps@TX2) 및 경량화 구현(모델크기: 25.9MB) (최우수학술대회 SIGGRAPH Asia발표 (‘19.11), 국내출원2건, 국제출원1건)
⦁Input 채널을 4채널로 정의한 고속 탐지 전용 모델 포맷 개발(Caffe , Tensorflow 지원),Tx2 CPU 기존 caffe classification 대비 최대 2배 향상
1.2 객체 영역 분할 및 비주얼 장면 분류
⦁RPN에 Cascade 구조를 적용한 Cascade RPN으로 COCO AR 세계 최고 수준 달성 (AR1000 기준 71.7로 종전 세계 최고 68.5 대비 3.2 개선)
⦁특징/Task 융합을 적용한 FTC로 COCO test-dev 단일 모델 기준 객체 분할 정확도 세계최고 수준 달성 (동일 특징 추출 모델 기준 Mask AP 42.7로 종전 세계 최고 41.3 대비 1.4 개선)
⦁ICCV에서 진행된 COCO 2019 Challenge에서 test-dev 기준 0.496으로 세계 4위 (국내 1위) 성적 (전체 17개팀 중 2018년도 우승팀보다 성능 개선한 팀은 4팀)
⦁도메인 Adaption 관련 ICCV 2019 구두발표 (최우수학술대회) 등 국제 논문 2편 발표
⦁단일 모델로 Instance 단위 객체 검출/분할, 장면 분할 동시 수행
⦁Multi-Task Learning 기반 모델 구별력 향상으로 COCO-Stuff 실내 7종 기준 mean IoU 0.605 달성
⦁실서비스를 위한 Encoder-Decoder 구조 기반 실내 5종 경량 장면 분할 모델 개발
⦁‘경량 장면 인식 기술’기술이전 2건 (‘19.12)
⦁MIT Places 205 데이터셋 기준 실외 15개 Class 선정 및 MobileNet v2 기반 장면 분류 모델 학습 (Top-1/2 정확도: 85.1 / 94.7%)
⦁모바일 환경 포팅 및 결과 검증, 갤럭시 S8 기준 80~100 msec
2. 비주얼 깊이정보 및 공간정보 추출 기반 실-가상 정합
2.1 비주얼 깊이정보 추출
⦁Pyramid 구조의 네트워크를 적용하여 비주얼 깊이 추출 기술 개발
⦁공인된 KITTI 데이터셋 학습하여 KITTI 테스트 결과 목표 에러율 ARE 0.35 → 0.338 달성
2.2 실공간 정보 추출
⦁객체 영역 정보와 특징점 정보를 결합하여 객체 영역 정보 기반 공간 정보 추출을 수행
⦁Vision과 모바일 센서(IMU)를 결합한 강인한 SLAM기술 개발을 통해 모션 블러 및 모바일 기기 이동 환경에서의 한계 극복
⦁이종센서 정보의 동기화 및 pre-integration, 카메라 회전 보정 구현을 통해 공간 특징점 추출 및 정제 과정의 안정화 및 고속화 달성 (국내1,국제1 출원(12월), 국내논문1)
2.3 객체 및 공간정보기반 실가상 정합
⦁Pixel좌표계의 객체 추출 정보로부터 공간상의 특징 데이터를 그룹핑하여 객체의 3D 좌표값 추정을 통한 실가상 정합 개발
⦁TX2에서 사람 추출 및 벽 영역 정보 기반의 실-가상 영상 정합 어플리케이션 개발 (국내1,국제1 출원(12월))
3. 모바일 AR 툴킷 및 콘텐츠
3.1 콘텐츠 제작용 AR툴킷
⦁TFLite 기반 객체검출 지원의 ARCore 툴킷 연동 환경 구축
⦁객체 및 장면 정보지원 6종 API 지원
⦁객체 및 장면 분할 제공의 iOS 및 Android 지원 AR 툴킷 운용 테스트베드 구축
3.2 객체/장면 정보 및 공간정보 지원의AR콘텐츠 제작
⦁객체 및 장면영역(테이블 영역) 정보 지원의 AR 콘텐츠 제작
⦁객체/장면 인식지원 실가상정합 모바일 시제품 제작
(ICCV 전시회(‘19.10) 출품)
< 3차년도 연구개발 성과 >
1.객체추출 및 장면정보 추출 기술
1.1 모바일 환경에서의 객체검출
⦁모바일 환경 객체 검출을 위해 다이나믹 딥뉴럴 네트워크 pruning에 사용 가능한 SADP (Self Attention -based Dynamic Pruning) 레이어 개발 및 ssdlite-mobilenetV2에 삽입
⦁필터 중복성(redundancy) 감소를 위한 Attention기반의 class-aware loss 제안
⦁Channel증가 모델로부터 기본 모델로의 지식전이 기반의 경량 인식 모델 구현 기술 개발
⦁개발한 결과물의 모바일 포팅 (안드로이드 및 아이폰) 및 ARM64 64bit환경에서에서 객체 탐지 모듈을 모바일 GPU에서 구동 (안드로이드)
⦁COCO2017 dataset에 대하여 정확도, 인식 속도, 경량화 성능 달성 (목표: 0.35 / 6fps / 100MB, 실적: 0.355 / 12.5fps / 22.6MB)
⦁국제 논문 1건(ICTC2020) 발표
1.2 객체 영역 분할 및 비주얼 장면 분류
⦁특징 추출 레이어 및 프로토타입 마스크 생성, 예측 레이어 연산량 개선 기반 경량 단위 객체 분할 모델 개발 및 모바일 환경 포팅 (모델크기: 29.6MB -> 5.7MB, 분할정확도 (AP50): 22.55, 갤럭시 S20 기준 연산 속도: 5.88 FPS)
⦁COCO-Stuff 실외 7종에 대한 장면 구성요소별 분할 성능 목표 달성(0.55mIoU 목표 대비 0.712mIoU 달성)
⦁Semantic Map 기반 Clustering을 이용한 3D point cloud 데이터의 Instance 단위 객체 영역 분할 기술 개발
⦁채널 Sparsity와 Attention 기반 모델 경량화 방법 개발 (MobileNetV2 성능: 72.21→72.37, 연산량:315M→289M, 메모리:3.505M→3.15M)(국내 특허 1건 출원 및 국제 출원 1건)
⦁다양한 네트워크 (MobileNetV2, ShuffleNetV2) 검증을 통한 범용성 확보 및 실내외 장면분할 DB 성능 검증
2. 비주얼 깊이정보 및 공간정보 추출 기반 실-가상 정합
2.1 비주얼 깊이정보 추출
⦁Deeply Supervised Network: 네트워크의 중간결과들이 학습단계에서 Loss로 직접 연결
⦁깊이추출 정확도와 속도 향상을 위한 Decomposed FC(Fully Connected), CtS(Channel to Space Conversion) 모듈 개발, (국내 특허 1건 출원 및 국제 출원 1건)
⦁NYU V2 dataset에서 ARE 0.153 달성(MobileNet V1 Encoder)
⦁깊이 추정 네트워크의 모바일 환경 활용: Pytorch→ONNX→CoreML 포팅 (포팅 호환 지원되지 않는 일부 기능들 수정) 및 IOS 앱으로 빌드, 테스트
2.2 실공간 정보 추출 ⦁Deep learning기반의 Depth estimation 결과와 Point Cloud 결합의 공간 추출 개발
: 실공간에서 영상간 정합과 IMU 추적을 이용하여 생성한 Point cloud 정보와, 실공간의 Single Image로부터 얻은 Depth estimation 결과를 정합하고, 이를 통해 Single camera를 이용하는 VI-SLAM 방식의 한계인 영상적 특징이 충분치 않은 실공간의 Mesh grid를 보다 정교하게 생성
2.3 객체 및 공간정보기반 실가상 정합
⦁시멘틱 이미지 생성 모델 및 장면분할을 이용한 장면 변환 기반 실-가상 정합 시스템 개발
⦁Multi-RF Discriminator 및 개선된 Perceptual Loss 기반 시멘틱 생성 이미지 선명도, 세부 디테일 개선
⦁레퍼런스 가이드 기반 얼굴 속성 편집 모델 개발로 학습 데이터셋에 없는 새로운 속성으로 편집 가능
3. 모바일 AR 툴킷 및 콘텐츠
3.1 콘텐츠 제작용 AR툴킷
⦁Depth인식 정보와 객체 분할 모델을 결합하여 실시간으로 분할된 테이블의 영역 및 3D좌표 정보를 인식하는 실내 공간 정보 지원 툴킷 개발
3.2 객체/장면 정보 및 공간정보 지원의AR콘텐츠 제작
⦁실물 객체 연동 및 공간 occlusion 지원의 AR 콘텐츠 제작
< 4차년도 연구개발 성과 >
1.객체추출 및 장면정보 추출 기술
1.1 모바일 환경에서의 객체검출
⦁모바일 환경 객체 검출을 위해 모델 Pruning시 성능 저하 방지를 위한 LA-TL1(Layerwise Adaptive Transformed L1) 개발 및 YOLOv5에 삽입
⦁YOLOv5 모델의 정확도를 유지하면서 경량화를 달성하기 위해, 효율적인 baseblock(C1)을 설계하고, 여기에 mobile-friendly Depthwise -separable convolution 구조를 도입
⦁모바일 포팅을 위한 16bit 또는 8bit quantization을 수행
⦁개발한 결과물의 모바일 포팅 (안드로이드 및 아이폰) 및 ARM64 64bit환경에서에서 객체탐지 모듈을 모바일 에서 구동
⦁COCO2017 dataset에 대하여 정확도, 인식 속도, 경량화 성능 달성 (목표: 0.40 / 10fps / 50MB, 실적: 0.410 / 12fps / 3.4MB)
⦁한국 특허 1건, 미국 특허 1건 출원
1.2 객체 영역 분할 및 비주얼 장면 분류
⦁특징 추출 레이어 및 프로토타입 마스크 생성, 예측 레이어 연산량 개선 기반 실시간으로 동작하는 경량 단위 객체 분할 모델 개발 및 모바일 환경 최적화 (모델크기: 24.7MB -> 6.6MB, 분할정확도(AP50): 23.01, 갤럭시 S20 기준 연산 속도: 최대 21 FPS (기존 기술 2.1배 개선))
⦁COCO-Stuff 실내·외 14종에 대한 장면 구성요소별 분할 성능 목표 달성(10종/0.60mIoU 목표 대비 14종/0.659mIoU 달성)
⦁[세계최고] 3D point cloud 데이터의 Instance 단위 객체 영역 분할 기술인, 구체 기반 객체 탐지 및 분할 모델 SphereSeg 및 다중 카테고리 추론 기반 그룹화 영역 분할모델 SoftGroup 모델 개발 → ScanNet-v2 데이터셋 공인시험평가 결과
SoftGroup 세계 1위 (AP25%,AP50% 기준),SphereSeg 세계 3위 (AP25% 기준)로 세계 최고 수준 달성
2. 비주얼 깊이정보 및 공간정보 추출 기반 실-가상 정합
2.1 비주얼 깊이정보 추출
⦁Cocktail Glass Network 구조의 깊이추정 네트워크: 디코더 단계에서 고배율 확대를 통한 레이어 개수를 절약하는 네트워크 구조 개발
⦁Channel to Space Unrolling 개발: 채널축 방향으로 쌓인 정보를 영상평면으로 곧바로 매핑하는 모듈 개발
⦁NYU V2 dataset에서 ARE 0.133 달성, SCI 1편(IEEE Access) 발표 (DenseNet161 Encoder)
⦁파라미터 최적화된 모델 사이즈 2.74M, 파라미터 사이즈 0.32, MAC 0.25로 깊이 추출 모델 파라미터 경량화 및 최적화
⦁최적화된 모델 IOS 앱으로 빌드 및 모바일 환경(iPhone 11 Pro 모델)에서 실시간 동작 가능한 성능 검증(inference time : 5ms, execution time : 22ms)
⦁국제 논문 1건(ICCE-Asia 2021) 발표
2.2 실공간 정보 추출
⦁실내에 비하여 실외 환경은 증가한 복잡도에 비하여 일관된 특징점의 추출과 정합이 어렵고 대상물의 거리가 멀수록 정합 오차의 발생 확률이 증가하여, 특징점만을 이용한 기존의 단안 Visual SLAM 기술을 실외환경에 적용하는데 어려움
⦁기존 단안 Visual SLAM 기반 실공간 구성정보 생성 단계에서 시각적 특징점 및 모서리 선분 정보를 활용하여 실공간 구성 정보를 정확히 도출함.
⦁이를 통해 단안 Visual SLAM 으로 공간정보를 생성할 때 발생할 수 있는 초기값 오류, 카메라의 이동을 추적할 때 발생할 수 있는 궤적 오류가 감소하는 것을 확인함
2.3 객체 및 공간정보기반 실가상 정합
⦁영상 생성 모델 기반 객체 변환 합성 기술 개발
→ 객체 영역 비율 변화에 강인한 스타일 변환 모듈 개발
→ 공간 정보 손실 완화를 위한 Stylized Skip Connection
→ 객체 크기 및 합성할 위치를 사용자가 조정 가능한 변환 합성 GUI 시스템 개발
3. 모바일 AR 툴킷 및 콘텐츠
3.1 콘텐츠 제작용 AR툴킷
⦁모바일 환경에서 AR콘텐츠를 체험할 수 있는 애플리케이션을 개발하기 위해서 일반적으로 Apple社의 ARKit 또는 Google社의 ARCore 엔진을 직접 이용하여 개발할 수 있으나 높은 수준의 개발역량을 필요로 하며 iOS 환경과 Android 환경에 맞는 애플리케이션을 각각 개발하여야 하여 많은 리소스가 필요함.
⦁이에 많은 개발자들이 Unity3D社의 ARFoundation이나 PTC社의 Vuforia Engine 등 3D 콘텐츠 제작이 용이하고 애플리케이션의 개발 접근성이 높은 툴킷의 선호하고 있음
⦁본 연구를 통해 실내외 환경의 공간정보를 활용한 애플리케이션의 개발을 용이하게 하고자 Unity3D 기반의 AR 개발 툴킷을 개발하였으며, 객체 인식, 공간 분할 정보를 결합하여 개발자는 기존 AR 툴킷보다 더 다양한 정보를 결합한 애플리케이션을 개발함.
3.2 객체/장면 정보 및 공간정보 지원의AR콘텐츠 제작
⦁실공간 정보 추출 기술과 실외 공간정보 지원 AR툴킷의 검증과 개발자에게 AR툴킷의 개발 예를 제공하기 위하여, 실외공간에 맞는 AR 콘텐츠를 제작하고 통합 애플리케이션으로 제작함
⦁휴먼 분할 정보 기반 기타 연주 콘텐츠 제작
연구개발성과 활용계획 및 기대 효과
o 활용 계획
- (공공 수요) 모바일 객체 추출 요소 기술을 활용하여 생활안전, 사회 안전 및 노약자 안내 보조를 위한 기반 기술로 활용
- (요소기술 수요) 증강현실이 적용가능한 범용 서비스인 교육, 게임, 관광, 쇼핑등의 폭넓은 수요에 대응 다양한 서비스의 기반 기술로 활용
- (민간 수요) 스마트글래스용 툴킷을 활용하여 산업 및 디바이스에 적용 정비, 시뮬레이션, 스마트폰 보급에 기술 활용
o 기대 효과
- (신규 시장 및 서비스 적극 대응) 실-가상 객체 정합기반 지능형 AR 서비스를 통해 차세대 모바일 및 산업 현장용 스마트 글래스 AR 신규 서비스 시장 선점 및 신시장 창출 기대
- (First Mover형 기술 주도) 모바일 환경 객체 검출과 장면 분할 및 공간정보 추출기술 등의 원천기술 확보를 통한 “First Mover” 전략으로 모바일 환경에서의 차별화된 지능형 AR 콘텐츠 서비스 제공 기대
(출처 : 요약문 4p)
목차 Contents
- 표지 ... 1
- 최종보고서 ... 2
- 요 약 문 ... 4
- 목차 ... 17
- 1. 연구개발과제의 개요 ... 18
- 1-1. 과제 개요 ... 18
- 1-2. 연구개발과제 최종목표 ... 20
- 2. 연구개발과제의 수행 과정 및 수행 내용 ... 22
- 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 27
- 4. 목표 미달 또는 미흡한 사항에 대한 분석 ... 153
- 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 154
- 6. 연구개발성과의 관리 및 활용 계획 ... 155
- 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 156
- 8. 연구개발비 사용실적 ... 157
- 붙임1. 사업화대상기술별 기술명세서 ... 162
- 붙임2. 자체 보안관리 진단표 ... 168
- 끝페이지 ... 169
※ AI-Helper는 부적절한 답변을 할 수 있습니다.