초록 ▼

연구개발 목표 및 내용
최종 목표
- 수술동영상 저장이 일상화되고 동영상에서 데이터를 취득하여 인공지능 제품 및 서비스를 개발하는 연구가 국내외로 확산되고 있으나, 의사가 직접 라벨링을 하는 것은 어렵고 또한 타인이 라벨링을 하더라도 이를 의사가 검증하는 절차가 번거러워 이를 해결하기 위하여 의사의 관여도를 최소화하고 고품질의 라벨링(도구/병변/행위추론) 데이터를 취득하는 기술에 대한 수요가 증가하고 있음.
- 이에 능동기계학습을 통한 라벨링 기술과 이를 기반으로 “수술 데이터 피드백 시스템 및 서비스”를 구현하여

연구개발 목표 및 내용
최종 목표
- 수술동영상 저장이 일상화되고 동영상에서 데이터를 취득하여 인공지능 제품 및 서비스를 개발하는 연구가 국내외로 확산되고 있으나, 의사가 직접 라벨링을 하는 것은 어렵고 또한 타인이 라벨링을 하더라도 이를 의사가 검증하는 절차가 번거러워 이를 해결하기 위하여 의사의 관여도를 최소화하고 고품질의 라벨링(도구/병변/행위추론) 데이터를 취득하는 기술에 대한 수요가 증가하고 있음.
- 이에 능동기계학습을 통한 라벨링 기술과 이를 기반으로 “수술 데이터 피드백 시스템 및 서비스”를 구현하여 의료계에 공급함으로써 수술의 데이터화를 통한 수술 지식 자산화에 기여하고자 함.
< 연구목표 >
1) 오픈셋 및 클로즈셋 기반의 수술도구인식/병변 인식 및 행위 추론 알고리즘 개발
2) 수술동영상에서 라벨 데이터를 추출하는 전처리 분석 시스템 개발
3) 분석된 라벨 데이터를 의사가 쉽게 검증하여 Feed-Back 할 수 있는 커뮤니케이션 서비스 개발
4) 검증 데이터 기반의 회귀학습을 실행하는 프레임워크 개발

전체 내용
ㅇ 개발 기술 내용
1) 인공지능 기반의 수술동영상 라벨링 알고리즘 개발
- 수술의 중요 특징 별 Classification 알고리즘 개발
- 수술도구 및 병변 인식 알고리즘 개발
- 도구와 병변을 기반으로 수술행위 추론 알고리즘 개발
- 피드백 데이터 기반 회귀학습 엔진 개발
2) 클라우드 기반 수술동영상 자동 라벨링 서비스 개발
- 클라우드 기반 수술동영상 분석 서버 (프레임,씬&샷, 인공지능 알고리즘) 개발
- 라벨링 데이터 출력 및 검토 솔루션 개발
- 웹 기반 라벨 데이터(이미지) Masking하는 피드백 솔루션 개발
- 피드백 데이터 자동 업데이트 서버 시스템 개발
ㅇ 기존 (보유)기술
① 수술 도구 및 병변에 대한 클로즈드셋 인식(Closed-set recognition) 모델 기반 비디오 처리 기술
- 수술도구 19종에 대해 학습률 98.71% 달성 / 대장암 92.5%, 위암 82% 인식률 달성
② 클로즈드셋 학습을 위한 라벨링 지원 도구
- 클라우드 기반 수술동영상 라벨링 및 어노테이션 솔루션 보유
③ 클로즈드셋 학습을 위한 학습 관리 도구
④ 클라우드 기반 수술동영상 아카이빙 시스템
- 클라우드 기반 수집, 분석, 관리, 어노테이션, 편집 등 전주기 솔루션 개발 완료

연구개발성과
* 수술동영상에서 실시간(30 frame/sec) 프레임을 분석하여 다중(도구/병변) Feature 인식 및 행위추론 결과를 의사에게 출력해주는 클라우드 기반 인공지능 분석 시스템 및 서비스 개발
- 도구, 병변 자동 인식 알고리즘(SW)_ 공개
- 자동 행위 추론 인식 알고리즘(SW)_공개
- 능동학습을 위한 클라우드 기반 라벨링 Feed back 시스템 일체 (SYS)
- 클라우드 기반 자동 라벨링 및 데이터 평가 서비스 일체 (SYS)
* 본 연구 과제는 수술동영상 데이터 대상 오픈셋 기반의 능동학습 기술 개발을 목표로 하고 있으며, 원활한 연구와 정량적 목표 성과를 달성하기 위하여 ① 데이터의 원활한 수집과 의미성을 효율적으로 파악할 수 있는 클라우드 기반의 커뮤니케이션 솔루션 개발과 ② 고도의 인공지능 신경망과 학습 기술에 관한 원천 기술 개발 ③ AI 성능을 검증하고 지속적인 변수를 인지하여 적용 할 수 있게 하는 프레임워크 기술 개발을 병행하여 진행하였음
* 아울러 연구 수행 중 AI의 성능과 결과의 유효성에 학습데이터 품질에 매우 의존적임을 파악하여 수술동영상에 대한 데이터셋 개발을 별도로 추진하여 고품질의 학습데이터 개발을 병행하였고 이 과정에서 회귀학습을 실행 할 수 있는 Data-X Framework의 설계를 실행하였음

* 아래 표는 세부 개발과 연구에 대한 요약표임.
커뮤니케이션 솔루션
1. 웹기반의 수술동영상 관심구간 어노테이션 (Annotation) 솔루션 개발
- 인덱싱 분석을 통해 추천 프레임을 제시하고 간단한 조작으로 의료적 의미를 주석으로 저장하는 관심 구간 어노테이션 (Annotation) 솔루션 상용화
2. 웹기반의 수술동영상 데이터 Object Marking 솔루션 개발
- 관심 구간에서 영역 오브젝트(Object) 마킹이 가능한 웹기반의 저작 툴 상용화
3. Pixelwise 데이터 라벨링툴
- 동영상 및 영상에서 Polygon 형식의 ROI를 수행하고 픽셀단위로 학습데이터를 구축 할 수 있는 “AnnoVIE”를 개발하여 상용화
4. 의료동영상 데이터 아카이브 시스템 개발
- VACS (Video Archive & Communication System)을 18개 대학 병원과 2개의 전문병원에 납품하고 의료동영상 수집 체계 구축

인공지능 원천기술
5. 오픈셋 문제 해결을 위한 Feature 인식 신경망 연구
- Feature의 특성을 학습하여 수술 도구, 병변 인식률 제고
- 도구를 기반으로 수술의 단계 구분 알고리즘 개발
- u-net을 modified하여 분산 신경망을 개발함
6. Open-set 인식 알고리즘에 대한 연구
- OpenMax 알고리즘을 능동학습 과정에 내재하도록 구현함
7. 능동학습 기술 개발
- Uncertainty 측정을 위하여 아래의 Smallest-margin 방법을 사용
8. 행위추론을 위한 물체인식 및 추적기술 개발
- 도구의 움직임을 통해 행위를 추론하기 위해 물체인식 및 추적 기술 개발

검증 솔루션
9. Feedback System
- 수술 분석 결과 리포트수술을 자동 분석하여 리포트를 제시함으로 AI의 성능을 검증할 수 있게 함
10. 클라우드 기반 Plug-In 방식의 수술동영상 인덱싱 분석 시스템 개발
- 분석 시스템은 수술 과정을 수록한 비디오에 대하여 딥러닝 모델에 의한 분석을 효율적으로 지원하기 위한 솔루션을 제공함

데이터 및 학습인프라
11. 학습 데이터 개발 연구
- 원시데이터 수집부터 가공, 모델개발 및 검증 절차
전과정
12. 딥러닝모델 학습 환경 구축
- 사내 고용량 GPU 기반 학습 시스템 구축

연구개발성과 활용계획 및 기대 효과
* 수요처 : 연구중심병원 및 임상 의사 (한국 5만여명)
* 적용시스템 : 인공지능 수술동영상 분석 서비스
* 활용내용 : 수술 과정을 데이터화 하여 술기표준 데이터, 수술평가 모델 등 개발
* (공개SW) 경제적 파급효과 :
① 한국 의사들의 우수한 수술 기술 데이터 아카이브 구축 (Archive)
② 인공지능 수술 가이드 제품 및 서비스 개발의 기반을 구축
③ 중국, 동남아 의사 대상 수술 교육 및 제품 수출
④ 로봇 수술 대응 인공지능 연구를 위한 외과적 수술 및 의료동영상 기반 데이터셋 구축
[공개 SW R&D 전략과 활성화 방안]
* 알고리즘을 수행하는 파이썬코드는 Github에서 버전 콘트롤과 함께 GPL(General Public License) v.3에 근거한 오픈소스공개 예정
* 수술동영상은 비식별화를 완료한 후 예제나 성능평가를 위해 공개

(출처 : 요약문 3p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 3
• 목차 ... 7
• 1. 연구개발과제의 개요 ... 8
• 1-1. 기술개발의 개요 ... 8
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 10
• 2.1 연구개발 수행 내용 (요약) ... 10
• 2.2 세부 연구개발 수행 내용 ... 11
• 1) 웹기반의 수술동영상 관심 구간 어노테이션(Annotation) 솔루션 개발 ... 11
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 85
• 1) 연구수행 결과 ... 85
• 2) 목표 달성 수준 ... 119
• 4. 목표 미달 또는 미흡한 사항에 대한 분석 ... 119
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 119
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 119
• 3) 연구개발 과정의 성실성 ... 120
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 120
• 6. 연구개발성과의 관리 및 활용 계획 ... 120
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 125
• 8. 연구개발비 사용실적 ... 126
• 붙임 2. 자체 보안관리 진단표 ... 130
• 붙임 3. 공개 SW 요약서 ... 131
• 끝페이지 ... 132