초록 ▼

※ 연구개발 목표 및 내용
□ 최종 목표
[자동화된 대용량 데이터 품질 고도화/개선 및 공정성 확보 프레임워크 개발]

□ 전체 내용
■ 빅데이터 기반 데이터 품질/공정성 진단 기술 및 솔루션 개발
● 빅데이터 기반 정형·비정형 데이터 정제 자동화 기술 개발
● 빅데이터 기반 공정성 진단 기술 개발
■ 머신러닝 기반 데이터 품질/공정성 개선 기술 및 솔루션 개발
● 머신러닝 기반 빅 데이터 오류 보정 자동화 기술 개발
● 머신러닝 기반 공정성 개선 기술 개발
■ 데이터 패턴

※ 연구개발 목표 및 내용
□ 최종 목표
[자동화된 대용량 데이터 품질 고도화/개선 및 공정성 확보 프레임워크 개발]

□ 전체 내용
■ 빅데이터 기반 데이터 품질/공정성 진단 기술 및 솔루션 개발
● 빅데이터 기반 정형·비정형 데이터 정제 자동화 기술 개발
● 빅데이터 기반 공정성 진단 기술 개발
■ 머신러닝 기반 데이터 품질/공정성 개선 기술 및 솔루션 개발
● 머신러닝 기반 빅 데이터 오류 보정 자동화 기술 개발
● 머신러닝 기반 공정성 개선 기술 개발
■ 데이터 패턴 시각화 기술
● Supervised and unsupervised 패턴:
- supervised: ground truth를 통해서 training된 loss값의 주요 요인별 영향 graph를 통한 visualization
- unsupervised: Principal component 추출과 10개 정도의 PC 축에서 주요 요인들의 패턴 시각화
● 관계형 이상값 시각화: correlogram 및 multivariate-correlogram상의 편차 (s.d. 단위) 시각화
● 공정성 지표의 시각화: 주요 계층별 (성, 연령군, 지역 및 인구집단 등)의 시각화 지표와 공정성지표 제시

[기술 개발 개념도]

□ 1단계
◎ 목표
■ 데이터 품질 및 공정성 지표 분석 및 쳬계화
■ 빅데이터 기반 품질 진단 및 오류 탐지 핵심 기술 개발
■ 빅데이터 기반 공정성 진단 핵심 기술 개발
■ 데이터 패턴 시각화 기술 개발

◎ 내용
○ 부산대학교
- 1차년
■ 교통 데이터 품질 지표 분석
■ 비정형 이미지 데이터 품질 지표 평가 모델링
■ 품질성능지표 체계화
- 2차년
■ 데이터셋 구성 요소 분석
■ 품질 보정 기술 비교 분석
■ 배치 기반 데이터 셋 공정성 보정 기술

○ 서울대학교
- 1차년
■ 보건 데이터 품질 지표 분석
■ AI 기반 비정형 데이터 품질 지표 평가 모델링
- 2차년
■ 공정성 지표 분석 및 정의
■ 데이터 패턴 시각화

○ 서울시립대학교
- 1차년
■ 문화 관광 분야 데이터 품질 지표 분석
■ 품질 지표 평가 방법 모델링
- 2차년
■ 데이터 품질 개선 자동화 기반 설계
■ 정형 데이터 품질 개선 알고리즘 개발

○ 이화여자대학교
- 1차년
■ 환경 데이터 품질 지표 분석
■ 통계 기반 특징 변환 알고리즘 개발
■ 머신러닝 기반 특징공학 알고리즘 개발
- 2차년
■ 특징 공학(feature engineering) 연산자 고도화
■ 오류 탐지 및 보정 기술 개발

○ 한성대학교
- 1차년
■ 재난안전 분야 데이터 품질 지표 분석
■ 데이터 프로파일링을 위한 메타데이터 분류 및 관리체계 설계
2차년
■ 메타데이터 수집 기술 개발
■ 메타데이터 변환 및 편집, 저장 기술 개발

○ ㈜아이소프트
1차
■ 빅데이터 품질 수준 현황 조사
■ 공정성 분석기 및 패턴 시각화 도구 설계
- 2차년
■ 공정성 분석기 도구 개발
■ 데이터 패턴 시각화 도구 개발
■ 공정성 도구 통합

○ ㈜프람트테크놀로지
- 1차년
■ 피드백 지원 품질 평가 도구 개발
- 2차년
■ 데이터 품질 분석 도구 제품화
■ 데이터 오류 보정 도구 설계 및 개발
■ 데이터 품질 개선 솔루션 통합

□ 2단계
◎ 목표
■ 머신러닝 기반 품질 알고리즘 자동화 및 고도화
■ 머신러닝을 활용한 공정성 확보 알고리즘 개선
■ 빅데이터 플랫폼 연계 적용을 통한 검증 및 실증

◎ 내용
○ 부산대학교
■ 점증적 데이터 셋 보정 기술 개발 및 고도화
■ 공정성 보정 기술 통합
■ 빅데이터 플랫폼 연계 통합 관리

○ 서울대학교
■ 보건데이터의 공정성 평가 자동화
■ 데이터 시각화 API 고도화

○ 서울시립대학교
■ 비정형 데이터 품질 개선 기술 개발
■ AI기반 품질 개선 기술 개발

○ 이화여자대학교
■ AI기반 오류 탐지 기술 고도화
■ AI기반 오류 보정 기술 개발

○ 한성대학교
■ 메타데이터 검색 및 활용 기술 개발

○ ㈜아이소프트
■ 공정성 도구 고도화 및 통합
■ 빅데이터 플랫폼 연계 검증

○ ㈜프람트테크놀로지
■ 데이터 품질 개선 솔루션 통합 및 고도화
■ 데이터 맵 기술 개발

※ 연구개발성과
■ 공개 대표 SW 5건 (대용량 데이터 품질 고도화/개선 및 공정성 확보 프레임워크에 포함)
● 빅데이터 품질/공정성 진단 알고리즘 (SW)
● 머신러닝 기반 품질/공정성 개선 알고리즘 (SW)
● 메타데이터 자동 추출 및 검색 시스템 (SW)
● 데이터 패턴 시각화 모듈 (SW)
● 산출물의 최종 통합 (SW)
■ 예상되는 연구개발성과 유형

※ 연구개발성과 활용계획 및 기대 효과
[활용 계획]
■ 연구개발 결과물을 클라우드 서비스化 하여 사업화: 빅데이터 품질 고도화 및 데이터셋 공정성 검증/보정 기술 개발로부터 도출된 다수의 핵심 모듈은 클라우드 서비스가 가능하도록 상용화하여 사업화를 이행
■ 사업화를 위한 시장환경 및 경쟁력 분석
■ 고품질 초고속 데이터 정체 서비스의 사업화: 도메인별 데이터 정제 서비스에 대한 레퍼런스를 구축
■ 사업화 추진 계획 (국내외 사업화 전술): 과제 종료 시점 2년 이후에 매출 달성할 수 있는 규모의 사업으로 추정, 기술의 상용화 및 사업화를 위해 지속적이 고도화 개발

[기대 효과]
(1) 기술적 측면
■ 빅데이터 품질평가 기술 기반 분석의 발전에 따른 자동 분석 및 예측 서비스의 빠른 상용화
■ 빅데이터의 성공적 적용 사례로 활용 가능
■ 딥러닝을 포함한 머신러닝 기반 시스템의 상용화 촉진
(2) 경제적, 산업적 측면
■ 신시장 창출 및 수입대체 효과 기대
■ 국산 빅데이터 솔루션의 수준 향상에 따른 기업 및 산업 경쟁력 제고
■ 데이터 경제의 확산 기여를 통한 국가 경쟁력 증대
■ 선진기술과의 격차해소에 따른 차세대 성장 동력원 효과 기대
(3) 사회적 측면
■ 시민급 빅데이터 분석가 양성 효과를 통한 전문가 증가 예상
■ 데이터 과학자 인력의 양성 효과 기대
■ 빅데이터 관리 전문 인력의 양성 효과
■ 지능형 빅데이터 기술의 사회적 영향력 증대
■ 단순 빅데이터 저장소를 넘어선 고품질 빅데이터 관리 서비스의 실현을 기반한 새로운 서비스 창출

[공개 SW R&D 전략과 활성화 방안]
■ 공개 SW R&D 전략: 아래 3개 항목에 대한 각 년도 세부 전략 수립
● 공개 SW의 철학과 개발 환경에 이해도에 따라 수준별 교육 및 글로벌 프로젝트 참여를 확대
● 공개SW기반 최신 SW 프로젝트 개발 및 고급 개발자 양성
● 공개SW 라이선스 관리체계 고도화
■ 공개 SW 활성화 방안
● 빅데이터 처리 및 관리와 연관된 국내외 공개SW 프로젝트 커뮤니티에 적극적인 홍보를 할 수 있도록 해당 커뮤니티 개발자 행사에 참여를 독려하고 1차년도 이후부터 본 과제에서 개발하는 초기 단계 공개SW 프로젝트 결과물에 대한 개발 및 관리 노하우 습득을 위해 개발자 초청행사를 개최할 수 있도록 추진

(출처 : 요약문 12p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 12
• 목차 ... 16
• 1. 연구개발과제의 개요 ... 17
• 1) 기술 개발의 필요성 ... 17
• 2) 기술 개발의 개요 ... 18
• 3) 기술 개발의 방향 및 범위 ... 18
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 21
• 1) 연구개발 수행 과정 ... 21
• 2) 연구개발 수행 내용 ... 24
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 134
• 1) 연구수행 결과 ... 134
• 2) 목표 달성 수준 ... 156
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 158
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 158
• 6. 연구개발성과의 관리 및 활용 계획 ... 161
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 163
• 2) 주요 성과활용 (기대)성과목표 ... 163
• 3) 성과활용·관리 추진체계 ... 164
• 4) 기타 ... 164
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 164
• 8. 연구개발비 사용실적 ... 165
• 8-1. 부산대학교 산학협력단 ... 165
• 8-2. 서울대학교 산학협력단 ... 166
• 8-3. 서울시립대학교 산학협력단 ... 167
• 8-4. 이화여자대학교 산학협력단 ... 168
• 8-5. 한성대학교 산학협력단 ... 169
• 8-6. ㈜프람트테크놀로지 ... 170
• 8-7. ㈜아이소프트 ... 171
• 끝페이지 ... 203