보고서 정보
주관연구기관 |
한국전자통신연구원 Electronics and Telecommunications Research Institute |
연구책임자 |
원희선
|
참여연구자 |
정종진
,
윤찬현
,
문양세
,
박상용
,
우형제
,
최태인
,
정희엽
,
김미숙
,
이상호
,
설미정
,
이영구
|
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2024-02 |
과제시작연도 |
2023 |
주관부처 |
과학기술정보통신부 Ministry of Science and ICT |
과제관리전문기관 |
정보통신기획평가원 Institute of Information&Communications Technology Planning&Evaluation |
등록번호 |
TRKO202400003950 |
과제고유번호 |
1711193183 |
사업명 |
SW컴퓨팅산업원천기술개발 |
DB 구축일자 |
2024-07-10
|
키워드 |
데이터맵.빅데이터 허브.지능형 탐색.시맨틱 검색.데이터셋 큐레이션.DataMap.Big Data Hub.Intelligent Discovery.Semantic Search.Dataset Curation.
|
초록
▼
□ 연구개발 목표 및 내용
◎ 최종 목표
o 국내외 다양한 데이터 허브들의 상호운용을 기반으로 데이터맵을 자동구성하고 데이터셋의 연계 및 변화를 실시간으로 반영하여, 사용자 분석목적에 맞는 정확한 데이터셋 탐색과 활용을 지원하는 지능형 빅데이터 탐색·활용 핵심 기술 개발
- AI 기반 개방형 빅데이터 허브 프레임워크 개발
- 데이터허브 상호운용 기반 데이터맵 자동구성·연계 및 실시간 변화관리 기술 개발
- 멀티사이트 통합탐색 및 시맨틱 검색 기술 개발
- 5개 분야 상호운용 및 2개 사이트 시
□ 연구개발 목표 및 내용
◎ 최종 목표
o 국내외 다양한 데이터 허브들의 상호운용을 기반으로 데이터맵을 자동구성하고 데이터셋의 연계 및 변화를 실시간으로 반영하여, 사용자 분석목적에 맞는 정확한 데이터셋 탐색과 활용을 지원하는 지능형 빅데이터 탐색·활용 핵심 기술 개발
- AI 기반 개방형 빅데이터 허브 프레임워크 개발
- 데이터허브 상호운용 기반 데이터맵 자동구성·연계 및 실시간 변화관리 기술 개발
- 멀티사이트 통합탐색 및 시맨틱 검색 기술 개발
- 5개 분야 상호운용 및 2개 사이트 시범구축
- 국제표준을 준용하는 오픈 데이터 참조모델 확장(프로파일, 식별체계, 품질, 이력, 보안 등) 표준기술 개발
o End Product
- 지능형 빅데이터 허브 프레임워크(SW)
- 데이터맵 운영관리 솔루션(SW)
- 멀티사이트 통합탐색 및 시맨틱 검색엔진(SW)
- 데이터셋 큐레이션(SW)
- 분산분석 워크플로우 도구(SW)
- 빅데이터 허브 공개 SW 커뮤니티 포털(SW)
- 오픈 데이터 참조모델 표준 (국제1건, 국내≥3)
◎ 전체 내용
o 주요 기능
- 국제 및 국내 표준 기반 지능형 빅데이터 허브 프레임워크 기능
- 데이터허브 상호운영 및 실시간 변화관리 기능
- 데이터맵 자동구성, 연계강화 및 브로커링 기능
- 멀티사이트 통합탐색 및 시맨틱 검색 기능
- 분석의도 인지 기반 데이터셋 큐레이션 기능
- 산재된 데이터셋의 통합활용 지원 분산분석 워크플로우 기능
o 주요 성능치
o 핵심 기술
- 국내외 표준/비표준 데이터셋의 지능형 탐색, 활용 기술 (세계 Top 2위)
- AI 내장 빅데이터 허브 프레임워크 기술 (세계 Top 2위)
- 오픈 데이터 참조모델 운영관리 기술 (세계 최초)
o 적용범위(또는 서비스)
- 공공, 민간 산업 전반의 데이터 개방, 유통, 활용 빅데이터 허브에 활용 가능
- 클라우드 기반 데이터거래소, 분석 마켓플레이스에 활용 가능
- 국가 및 산업 분야별 표준 공유 및 운영관리 시스템에 활용 가능
- 빅데이터 기반 AI 및 기계학습 서비스에 활용 가능
□ 연구개발성과
o 지능형 빅데이터 허브 프레임워크
- 오픈 데이터 참조모델 기반 데이터허브 상호운용 생태계 관리 기술 개발
- 데이터 허브 간 데이터 신규 등록, 수정, 삭제 등의 변화를 실시간으로 공유하고 설정된 주기 또는 시간 설정 및 관리 기능 개발
- W3C DCAT(Data Catalog Vocabulary) 버전3 확장 및 PROF(Profile Vocabulary) 가이드라인을 적용한 데이터 관리 인프라 개발
- 데이터 카탈로그(RDF 문서) 생성 및 수집 기술 개발
- 데이터 분석 및 솔루션 개발/배포 실행 환경 개발
- 다중 클러스터 간 분산분석 워크플로우 실행 기술 개발 (여러 사이트의 자원 정보을 공유하여 워크플로우 실행 스케줄링 지원)
- 멀티테넌트 데이터레이크 (Clustered Object Storage, CLickhouse, PostgreSQL) 구축 및 네이티브 접근 지원
o 오픈 데이터 참조모델 기반 메타데이터 자동 주출
- 오픈데이터 참조모델 기반 Text(CSV), Image, Video 데이터셋의 메타데이터 자동추출 모듈 핵심 기술 구현
- 데이터 타입별 유효정보 추출을 지원하는 RESTAPI 구현
- 추출된 유효정보들과의 연관성 분석 처리 결과의 저장 관리 기술 구현
- SODAS 시스템 연동 데이터 정보추출 서비스 기초 구현
o 다양한 산업분야에 적용 가능한 메타데이터 자동 주출 기술 개발
- 다양한 산업(에너지, 교통, 법률, 학술 분야)의 데이터 허브에 확대 적용 가능한 메타데이터 추출 및 호환성 관리 기술 구현
- 메타데이터 자동 추출 모듈의 SODAS 메인 SW와의 통합 연동 및 적용 테스트
o 빅데이터 허브내 데이터 특성연관성 분석 기반 시맨틱 데이터맵 생성 핵심 기술
- 데이터셋간 연관분석 기반 데이터맵 연계 모듈 개발 및 교통 서비스분야에 데이터맵 연계율 실험
o 시맨틱 데이터맵 생성 고도화 개발 및 공유를 위한 데이터맵 인스턴스 기술 개발
- 데이터셋간 시맨틱 Feature를 활용한 연관성 분석 엔진 개발
- 연관성 분석 기반 데이터셋간 논리적 연결지도 웹 시각화 생성 구현
- 데이터 맵 생성/데이터큐레이션 및 데이터 탐색 지원용 SODAS 플랫폼과의 연동 인터페이스 개발
o 시맨틱 데이터맵 생성 모듈 상호 운영 기술 개발 및 실증
- 다양한 데이터 허브에 확대 적용 가능한 데이터맵 생성/운영/탐색 기술 구현
- 시맨틱 데이터맵 모듈의 통합 연동 및 상호운영 기술 실증
o 데이터맵(데이터셋의 메타데이터로 구성) 상호운용을 위한 연동 관리 시스템 개발
- 오픈 데이터 참조모델 동기화를 지원하는 거버넌스 상호운용 시스템 개발
- 실시간 카탈로그 변화 관리 기반 증분 데이터 동기화를 지원하는 데이터허브 상호운용 시스템 개발
- 관심 정보 기반 데이터허브 분산 탐색 p2p 프로토콜 설계 및 개발
- 오픈 데이터 참조 모델 및 카탈로그 동기화 세션 연동 협의 프로토콜 설계 및 개발
o 실시간 데이터맵 변화 관리 및 공유/배포 기술
- 데이터맵 변환 관리 기반 동기화 세션 기술 개발
- 상호운용 시나리오 및 연동 메시지 규격 정의
- K8S 통합 환경 기반 상호운용 시스템 배포 및 연동 시험 검증
o 데이터맵 기반 지능형 시맨틱 통합 검색 기술 개발
- 사용자 의도 데이터 수집을 위한 사용자 수집 프레임워크 개발
- 다양한 학습 모델의 효율적인 학습 및 추론 데이터 관리를 위한 학습 데이터 관리 기술 개발
- Word2Vec 모델 기반 의미 확장 기법과 Classification 모델 기반 데이터셋 스코어링 기법, 2가지 종류의 의도 분석 모델을 적용한 시맨틱 검색기술 개발
- 데이터셋 결과 통합을 위한 페더레이션 검색 모듈과 의도 분석 결과 통합시 통합된 의도 분석을 위한 분석 모델 기반 통합 시맨틱 검색 엔진 개발
o 데이터 선별 및 활용을 지원하는 데이터 탐색결과 큐레이션 기술 개발
- 데이터 필터링 기술을 적용하여 다양한 가시화 종류로 데이터를 설명하는 기술
- 검색엔진 상호 연동 및 데이터셋 탐색결과 UI 개발
- 학습 데이터셋 제공을 위한 가공처리 기술 개발
o 실시간 IoT 관제 빅데이터 수집 및 디지털트윈 서비스 실증
- 대상 개체(드론, 스테이션 등)와 연결하는 Iot 모듈 개발
- IoT 데이터 처리 모듈 개발
- 디지털트윈 모델 타일링 모듈 관련 기술 고도화
o IoTHub 및 EventCall 서비스 모듈 개발
- 드론, 스테이션, 관제차, 등 유형별 수집 데이터 설계, 설계 자료 토대로 센서 데이터 수집 및 가공 처리
- 수집데이터를 활용한 실시간 상태 정보 확인
- 모바일, 지도, 영상 서버 등 외부 API 연동을 통한 다양한 서비스 설계(산악구조, 도심관리, 순찰, 범죄예방 등) 및 개발
- 스테이션 제어 API, 수집데이터를 활용하여 스테이션 자동 제어 설계 및 개발
- IoTHub 서비스로 수집된 데이터(드론, 스테이션, 관제차 등)와 연계 서비스들을 통한 울주군 서비스 개발
o 정량적 목표 달성 현황
- 국내특허 22건 출원완료/2건 출원중
- 국제특허: 3건 출원완료/3건 출원중
- 국제표준기고제출 27건, 국제표준기고채택 27건, 국제표준안채택 1건
- 국내표준기고제출 12건, 국내표준기고채택 12건, 국내표준안채택 6건
- SW 25건 등록완료
- 공인시험성적서 1건
- 논문 SCI(E) 3건 게재
- 논문 비SCI(E) 6건 게재, 학술대회 22건 발표
- 기술이전 6건
□ 연구개발성과 활용계획 및 기대 효과
o 데이터 유효정보 추출 및 클러스터링 기술이전 통해 센서, 영상, 텍스트 등의 멀티모달 데이터의 분석 및 관리 효율성을 확보 및 데이터의 특성 정보를 내용 기반으로 추출하고 이를 관리하는 기술의 확보할 예정이며, 기존 센서 정보 기반 단순 모니터링 솔루션 확보·공급에 추가하여 다양한 멀티모달 데이터(이미지, 센서, 텍스트)의 내용 기반 특성정보를 추출하고 이를 기반으로 사용자에게 정확한 분석 결과 및 사전 예측 정보를 제공할 수 있는 솔루션 사업화 출시 기대
o 본 과제의 연구개발 기술과 관련하여 공장 MES/ERP 시스템으로부터 실시간으로 수집되는 빅 데이터의 전처리 과정에서부터 AI 모델 학습 과정을 관리하는 AI 모델 학습 워크플로우 기술을 적용한 AI 모델 기반 공정 작업 스케쥴링 컴퓨팅 시스템 기술을 이전하였으며, 앞으로 본 과제의 빅 데이터 수집/관리 및 AI 모델 학습/서비스를 지원하는 오픈 데이터 플랫폼을 다양한 도메인 현장에서 활용할 계획
o 데이터셋 큐레이션에서 검색 엔진과 효율적으로 연동하고 다양한 가시화 종류를 제공하여 사용자의 데이터셋 선별을 돕는 역할 기대
o 상호운용 기술을 통해 거버넌스 플랫폼이 관리하는 오픈 데이터 생태계에 독립적으로 운영되는 데이터허브 플랫폼이 참여하여 참조모델을 동기화함으로써, 다중 데이터허브 플랫폼 간의 상호운용성을 강화하고, 이를 통해 거버넌스 플랫폼이 설정한 일관된 정책을 유지하면서도 각 데이터허브 플랫폼이 자유롭게 운영될 수 있도록 지원하는 역할 기대
o 또한, 생태계에 참여하는 데이터허브들 간 관심 정보를 기반으로 한 분산 탐색과 카탈로그를 동기화함으로써, 데이터, 자원, 소프트웨어와 같은 카탈로그 캐싱을 지원하고, 이를 통해 각 데이터허브에서 발행되는 다중 분산된 카탈로그 정보를 실시간으로 사용자가 활용할 수 있는 효과를 기대할 수 있음
(출처 : 요약문 7p)
목차 Contents
- 표지 ... 1
- 최종보고서 ... 2
- 요 약 문 ... 7
- 목차 ... 12
- 1. 연구개발과제의 개요 ... 13
- 2. 연구개발과제의 수행 과정 및 수행 내용 ... 15
- 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 76
- 1) 연구수행 결과 ... 76
- 2) 목표 달성 수준 ... 104
- 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 104
- 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 105
- 6. 연구개발성과의 관리 및 활용 계획 ... 105
- 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 106
- 2) 주요 성과활용 (기대)성과목표 ... 107
- 3) 성과활용·관리 추진체계 ... 107
- 4) 기타 ... 107
- 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 107
- 8. 연구개발비 사용실적 ... 109
- 8.1. 주관연구개발기관 (한국전자통신연구원) ... 109
- 8.2. 공동연구개발기관 1(한국전자기술연구원) ... 110
- 8.3. 공동연구개발기관 2(KAIST) ... 111
- 8.4. 공동연구개발기관 3(강원대학교) ... 112
- 8.5. 공동연구개발기관 4(엔코아) ... 113
- 8.6. 공동연구개발기관 5(데이터누리) ... 114
- 8.7. 공동연구개발기관 6(클로버스튜디오) ... 115
- 끝페이지 ... 118
※ AI-Helper는 부적절한 답변을 할 수 있습니다.