초록 ▼

※ 연구개발 목표 및 내용
◎ 최종 목표
◦연구개발 목표
- 미세공정, 병리진단 등에 적용할 수 있는 실시간 (60 fps), 서브 마이크로 미터급(< 0.1 ㎛) 축해상도와 수평해상도 (< 1.0 ㎛)를 갖는 고정형/이동형 플렌옵틱 현미경 시작품 및 영상획득 기술개발

- 플렌옵틱 현미경 영상을 이용하여 미세공정(반도체, 디스플레이, SMT) 결함진단(정확도 99.5% 이상) 기술 및 의료응용을 위한 실시간 진단기술(피부질환 10종, 민감도 95% 이상) 구현

◦과제 수행후 연구결과물

※ 연구개발 목표 및 내용
◎ 최종 목표
◦연구개발 목표
- 미세공정, 병리진단 등에 적용할 수 있는 실시간 (60 fps), 서브 마이크로 미터급(< 0.1 ㎛) 축해상도와 수평해상도 (< 1.0 ㎛)를 갖는 고정형/이동형 플렌옵틱 현미경 시작품 및 영상획득 기술개발

- 플렌옵틱 현미경 영상을 이용하여 미세공정(반도체, 디스플레이, SMT) 결함진단(정확도 99.5% 이상) 기술 및 의료응용을 위한 실시간 진단기술(피부질환 10종, 민감도 95% 이상) 구현

◦과제 수행후 연구결과물
- 단일초점/다중초점/수차보정 마이크로렌즈 어레이 각 1종
- 마이크로렌즈 어레이 기반 플렌옵틱 현미경(고정형/이동형 각 1종)
- 플렌옵틱 영상획득/처리/분석 알고리즘(SW) 및 SDK
- 플렌옵틱 반도체/웨이퍼 결함진단 및 피부질환(한국인 대상, 병리조직 및 in-vivo 영상 10종) 영상 DB
- 플렌옵틱 영상 반도체 결함진단 인공지능
- 플렌옵틱 영상 피부질환 진단 인공지능

◦연차별 기술개발 목표

◎ 전체 내용
□ 연구개발 내용
◦플렌옵틱 현미경용 마이크로렌즈 어레이(MLA) 및 광학계 설계/제작
- 플렌옵틱 현미경 광학계 설계방안 연구 및 단일초점/다중초점/수차보정 MLA 설계/제작
- 배율(x10, x20, x50)에 따른 고정형 플렌옵틱 현미경 광학계 설계/제작
- 배율(x3, x10)에 따른 이동형 플렌옵틱 현미경 광학계 설계/제작
- 반도체 결함진단용 플렌옵틱 현미경 광학계 요구사항 반영 및 광학계 구현
- 피부질환 진단용 플렌옵틱 현미경 광학계 요구사항 반영 및 광학계 구현
- 고정형 플렌옵틱 현미경의 병리조직 진단 적용 시 형광물질 광원 조사기술
- 이동형 플렌옵틱 현미경 초점구간 가변/확장 기술
◦플렌옵틱 현미경 시스템 및 플렌옵틱 영상처리/분석 SW 구현
- 마이크로렌즈 어레이(MLA)기반 고정형/이동형 플렌옵틱 현미경 설계/제작
- 고정형/이동형 플렌옵틱 현미경 제어 보드 설계 및 제작
- 실시간 플렌옵틱 영상처리를 위한 병렬처리 기반의 주요 알고리즘 구현 (3D 형상복원기술, 재초점기술, 물체의 형상추출 및 분석기술 등)
- 결함 및 피부질환 플렌옵틱 영상분석을 위한 SW 및 SDK 구현 (초해상화 기술, 분할영상/처리기술, 시점이동기술 등)
◦공정 응용을 위한 플렌옵틱 현미경 결함 진단기술 개발
- 반도체 공정을 플렌옵틱 현미경 및 요구사항 도출(Fan-out 공정)
- 플렌옵틱 반도체 결함영상 DB 구축
- 3차원 형태 플렌옵틱 현미경 영상을 통한 결함진단 AI 개발(99.5% 이상 결함 진단정확도)
- 형태기반 결함진단을 위한 시편 제작
- 상용화를 위한 플렌옵틱 현미경의 반도체/웨이퍼 공정 결함진단 시험적용 및 성능 평가
◦의료 응용을 위한 플렌옵틱 현미경 진단기술 개발
- 피부질환 진단을 위한 플렌옵틱 현미경 및 요구사항 도출
- 플렌옵틱 피부질환 영상획득을 위한 IRB 승인
- 한국형 플렌옵틱 피부질환 영상 DB 구축(피부조직 8종 및 in-vivo 10종)
- 실시간 플렌옵틱 영상을 통한 질환진단 AI 개발(질환분류, 질환분할, 질환검출 네트워크 등)
- 플렌옵틱 현미경의 의료기기 유효성 검토를 위한 IRB 승인 및 임상 평가
□ 과제 수행방법
- (한국전자통신연구원) 플렌옵틱 영상획득 및 디지털 홀로그래피 분야, 의료분야 인공지능 분야의 국내외 최고수준의 원천기술을 보유한 정부출연연구소로서 플렌옵틱 현미경의 원천기술 개발 및 참여기관의 기술사업화를 지원
- (공주대학교 산학협력단) 기하광학, 적응광학, 머신비전 광학분야의 국내 최고 수준의 대학연구팀으로서 플렌옵틱을 위한 현미경 광학계 및 MLA 설계 및 제작
- (서울대학교 산학협력단) 인공지능 네트워크 설계의 국내 최고 수준의 대학연구팀으로 수학기반의 영상처리, 딥러닝 기술을 통한 공정/의료분야의 결함진단 및 질환진단 AI 네트워크 기술 구현
- (전남대학교 산학협력단) 국내 피부질환 및 피부암관련 지역거점 대형병원의 의료진 및 연구진으로부터 플렌옵틱 현미경의 의학적 효용성 검토 및 병리조직/in-vivo피부질환의 플렌옵틱 현미경 영상 확보
- ((주) 크레셈) 반도체 공정관련 국내외 글로벌 고객사를 보유하고 있으며, 공정응용을 위한 플렌옵틱 영상의 요구사항 제시와 평가, 상용화 기술 연구

※ 연구개발성과
ㅇ 새로운 개념의 플렌옵틱 1.0/2.0을 위한 적층형 마이크로렌즈어레이 구현
- 단일초점 마이크로 렌즈 어레이 설계 및 제작 (85um pitch /0.025 NA/ Hexagona) (시제품 1건, 국내학술대회 발표 8건)
- MLA 소재변경을 통한 마이크로렌즈어레이의 NA 변경기술 개발 (시제품1건)
- 단일 레이어 다중초점 마이크로 렌즈 어레이 설계 및 제작(시제품 1건)
- Skip bound 멀티레이어 마이크로렌즈 어레이 설계/제작 (시제품 1건, 국내 특허출원 2건, 미국특허 출원 1건, 미국특허출원 1건 예정)
ㅇ 플렌옵틱 현미경의 정량적 분해능 검사를 위한 시험 시편 제작 및 측정 광학계 분석
- 플렌옵틱 분해능 시편 제작 (SCI 논문 1건, 우수논문상 1건)
- 2D/플렌옵틱 3D 영상획득 광학계 설계 및 제작(특허 출원 1건, 시제품 1건)
- 플렌옵틱 1.0/2.0 동시 획득 광학계 설계 및 제작(시제품 2건, 논문 1건)
- Zoom기능 플렌옵틱 카메라 구현(시제품 1건)
- 공정적용을 위한 균일 복합조명 제작(시제품 1건)
- MLA 및 현미경 카메라 조립 및 특성 분석을 위한 평행광 광학계 구현(시제품 1건)
ㅇ 10x/20x/50x배율 고정형/x3, x10배율 이동형 플렌옵틱 현미경 시스템 구현 (기술이전 1건, ‘24년 기술이전 2건 예정)
- MLA 적용 플렌옵틱 영상센서 시제품 구현 (시제품1건)
- 고속(150fps) 플렌옵틱 영상 획득을 위한 플렌옵틱 영상 센서 자체 설계 및 구현(시제품 1건)
- 더모스코피 기반 이동형 플렌옵틱 영상 시스템 개발 (시제품 1건)
- 실시간 플렌옵틱 영상처리 주요 알고리즘 및 SW 개발 (SW 저작권 2건)
- 고정형 플렌옵틱 현미경 시스템의 결함분석을 위한 SDK 제작 및 구현(SW 저작권 1건)
- 플렌옵틱 GUI 프로그램 개발 (SW저작권 1건)
ㅇ 플렌옵틱 현미경 영상 표준화
- 플렌옵틱 영상기술의 국내 표준 제정(국내표준 3건)
- 국제표준단체 JPEG-PLENO “학습기반 Depthmap 추출 알고리즘”을 제안 (국제표준 제안 1건)
ㅇ 플렌옵틱 현미경 영상 처리 및 분석 알고리즘 개발
- 플렌옵틱 3차원 영상추출 네트워크 개발 (SW저작권 1건)
- 플렌옵틱 1.0 / 2.0 영상 복원을 위한 차이 분석을 위한 시뮬레이터 구현
- 피부질환 진단을 위한 플렌옵틱 영상인식 네트워크 최적화
- 피부질환 진단 네트워크 가시화 및 GUI 보완
- 블렌더 프로그램을 이용한 플렌옵틱 2.0, 공정 및 의료 데이터셋 구축
ㅇ 플렌옵틱 현미경의 의료분야 적용
- 플렌옵틱 피부질환 의료영상 확보를 위한 IRB 승인 (2020년 7월16일 전대병원 IRB 최종승인)
- 플렌옵틱 피부질환 조직표본 제작) 본 연구의 대상 피부질환 8종의 조직 샘플 500 증례 DB 구축
- 이동형 플렌옵틱 현미경 in-vivo 피부질환 DB 구축: 2021년이후 피부질환 8종의 115례 구축
- 상용 3D 현미경과 시제품 플렌옵틱 현미경의 의학적 비교
- 이동형 플렌옵틱 현미경 영상의 의학적 평가
- 플렌옵틱 데이터기반 10종 피부질환 분류모델 제작 및 평가 (민감도 96.5%, 특이도 99.6%, 정확도 96.5% 달성)
ㅇ 플렌옵틱 현미경의 공정 응용분야 적용
- 공정응용 플렌옵틱 현미경 In-line 시험 환경 구축) X,Y,Z축으로 구성된 100x300mm SiP 반도체 테스트 가능한 장비 구현 및 제작한 플렌옵틱 현미경 적용
- 공정결함 분석용 비전 SW 개발 (고속 영상처리, 3D 측정 등)
- 고배율(x20, x50) 결함 진단용 시편 제작 및 플렌옵틱 영상 확보) 10종의 결함진단용 시편 제작
- 대면적 300x300mm 이상의 웨이퍼 및 패널 레벨 검사가 가능한 장비 개발(시제품1건)
- 공정결함 검사 및 제어 연동 SW GUI 개발
- 플렌옵틱 데이터기반 10종 공정 결함 분류모델 제작 및 평가(정확도 96.8%)
ㅇ 성과 홍보 및 전시회 참여를 통한 플렌옵틱 기술 확산
- 신문기사, 성과 홍보 등
- K-Display2023, 한국전자전 2023, 광융합전시회 2023 등 국내 전시회 참가
- IFA 2023 등 해외 전시 참가

※ 연구개발성과 활용계획 및 기대 효과
[ AsIs - ToBe ]
○ 기존 기술
(스냅샷 3D 플렌옵틱 영상획득)
· 기존 플렌옵틱 현미경의 경우, 저해상도 3D 영상획득 및 깊이정보 측정 제한
· 고배율에 따른 영상 왜곡 및 실시간 영상 처리에 한계

(공정결함분야 광학 검사)
· 기존 3D 검사의 경우 그림자, 난반사 등으로 인한 검사 한계 및 실시간 검사의 어려움

(2D 피부영상 진단)
· 기존 3차원 스캐닝 공초점 현미경의 경우 제한된 영상획득 속도
· 더모스코피등을 통한 2차원 영상 진단으로 In-vivo 3차원 피부질환 진단기기의 요구

○ 본 성과 기술
(실시간 3D 플렌옵틱 영상획득)
· 적층형 마이크로렌즈어레이 적용을 통해, 새로운 개념의 멀티포커스 플렌옵틱 영상을 통해 고해상도 3D 영상획득 및 4배 이상의 DoF(Depth of Field) 개선
· 학습기반 영상처리를 통해 고배율 현미경 적용 및 실시간 영상처리

(공정결함분야 3D 광학 검사)
· 단안식 영상획득 방식으로 그림자, 난반사 검사한계 개선 및 인라인 검사 제공

(In-vivo 3D 피부영상 진단)
· 피부조직 및 in-vivo 피부질환 진단의 검사기술 개발
· 3D 형태학적 검사를 통해 피부질환 진단 정확도 개선

[ 신시장 창출 ]
◦ 공정 검사 및 머신비전 분야 : 고해상도 3D 영상으로 진단 대상을 다시점으로 분석하여 결함검출 및 정확도 향상
- 반도체, 디스플레이, SMT 분야의 3D AOI(Automated Optical Inspection), SPI(Solder Paste Inspection), Fan-out 패키지 검사, 스마트팩토리 공정에 활용
- 플렌옵틱 기술의 제조 산업 분야 적용으로 신속·정확한 전수 검사 가능
◦ 의료 검진 분야 : 피부질환 3D 영상진단 분야에 적용 후 안과, 치과, 신약개발 등으로 확대 가능
- 서브 마이크로 미터급 해상도의 3D/실시간 영상획득을 통해 2D 현미경의 한계 극복이 가능하고, 별도의 전처리 없이 세포의 3D 움직임을 실시간으로 관측 가능
- 한국인 피부에 적용이 가능한 3D/실시간 영상획득, DB 구축 및 알고리즘 개발을 통해 진단 오류를 최소화

[ 성과의 파급효과 ]
◦ 국외 기술 보다 우수성, 차별성을 확보하여 기술적 우위 선점 기대 및 산·학·연·병원의 협력을 통한 동반 성장 기반 구축 및 선도적 기술 경쟁력 확보가 가능
◦ 3D 표면 형상 및 공정 결함 분석/진단을 통해 공정 정밀도가 향상되므로 각 산업에서의 불량률 감소 및 양산 수율 향상
- 플렌옵틱 현미경 및 3D AOI 장비의 국산화로 의료 및 제조 산업의 글로벌 기술 경쟁력 확보 및 수입 대체 효과 극대화
- 3D AOI 세계 시장 규모는 2019년 6억8천만 달러에서 2024년 11억2천만 달러로 연 평균 13.0%의 성장이 예상되어 플렌옵틱 현미경 및 분석 기술이 글로벌 3D 결함 분석 시장 진출이 가능할 것으로 기대 (※ 시장규모 출처: Reports Intellect 社)
◦ 의료산업의 적용으로 각종 질병의 조기진단이 가능하고 초기 대응 및 비용 절감 효과 발생
- 플렌옵틱 현미경으로 In-vivo 피부질환을 실시간으로 분석함으로써 피부질환의 초기 대응 및 비용 절감 가능
◦ 해외 의존도가 높은 플렌옵틱 현미경은 의료, 반도체, 문화산업 등 측정, 분석 및 검진에 활용성이 높고 연평균 10.8% 성장이 예상되어 국내 상용제품 개발 시 수입 대체 효과 발생
◦ 3D/실시간 영상분석 기술을 의료/바이오산업에 적용함으로써 기존 2차원 영상분석법 대비 진단 성능을 획기적으로 향상
◦ 플렌옵틱 현미경 기술을 스캐닝 방식으로 확장할 경우 대형 시료에 대한 초정밀 3D 형상정보 획득 및 분석 가능하여 타 산업으로의 파급이 가능함
- 대형 시료에 대한 초정밀 형상정보 기록이 가능함에 따라 문화재 복원 데이터 확보로 활용이 가능

(출처 : 요약문 4p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 4
• 목차 ... 9
• 1. 연구개발과제의 개요 ... 10
• (1) 기술개발 개념 ... 10
• (2) 기술개발의 용도 및 적용분야 ... 11
• (3) 기술개발의 중요성 ... 11
• (4) 개발기술의 우수성 ... 13
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 14
• (1) 연구개발과제의 최종 목표 ... 14
• (2) 1차년도 수행과정 및 내용 ... 17
• (4) 3차년도 수행과정 및 내용 ... 60
• (5) 4차년도 수행과정 및 내용 ... 84
• (6) 연구성과 확산 및 우수성과 등록 ... 107
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 108
• 1) 연구수행 결과 ... 108
• 2) 목표 달성 수준 ... 127
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 128
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 128
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 128
• 3) 연구개발 과정의 성실성 ... 128
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 129
• 가. 플렌옵틱 현미경 요구사항 ... 129
• 나. 관련 분야 기술적 향상 정도 ... 129
• 나. 기술의 우수성 및 성과의 파급효과 ... 131
• 6. 연구개발성과의 관리 및 활용 계획 ... 132
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 133
• 2) 주요 성과활용 (기대)성과목표 ... 134
• 3) 성과활용·관리 추진체계 ... 134
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 135
• 1) 연구개발 성과의 활용 분야 ... 135
• 2) 연구개발 성과의 활용 방안 ... 135
• 3) 추가연구의 필요성 ... 136
• 4) 타연구에의 응용 ... 136
• 8. 연구개발비 사용실적 ... 137
• 끝페이지 ... 152