초록 ▼

□ 연구개발 목표 및 내용
◎ 최종 목표
○ 최종 목표
- 3D 분석을 위한 카메라 하드웨어 개발
- AI를 적용한 고성능 모아레 패턴 방식 3D 복원 알고리즘 개발

○ 산출물
- AI 기반 외란에 강인한 3D 복원 알고리즘
- 학습/검증을 위한 모아레 영상/3D 실측값 데이터셋 관리 프로그램
- AI 3D 복원 알고리즘을 포함한 통합 카메라

◎ 전체 내용
○ (필요성) 기존의 수식(rule)에 의한 모아레 패턴 3D 복원방법에서는 주변환경, 노이즈, 반사 및 그림

□ 연구개발 목표 및 내용
◎ 최종 목표
○ 최종 목표
- 3D 분석을 위한 카메라 하드웨어 개발
- AI를 적용한 고성능 모아레 패턴 방식 3D 복원 알고리즘 개발

○ 산출물
- AI 기반 외란에 강인한 3D 복원 알고리즘
- 학습/검증을 위한 모아레 영상/3D 실측값 데이터셋 관리 프로그램
- AI 3D 복원 알고리즘을 포함한 통합 카메라

◎ 전체 내용
○ (필요성) 기존의 수식(rule)에 의한 모아레 패턴 3D 복원방법에서는 주변환경, 노이즈, 반사 및 그림자 등의 외란에 대해 매우 취약함.

○ (차별성 및 혁신성) 본 과제에서 개발하고자 하는 딥러닝 기반 3D 복원 기술은 모아레 패턴에 대해서는 거의 연구된 적이 없는 혁신적인 방법으로 다양한 환경과 외란에 대해 안정적이고 정확한 3D 복원이 가능할 것으로 기대됨

○ (HW) ROI 추출 카메라 개발
- 딥러닝 분석시간을 줄이기 위한 모아레 영상의 ROI 추출
- 카메라의 FPGA 개발

○ (SW) 모아레 영상 관리/분석 프로그램 개발
- 모아레 영상의 특징을 추출하기 위한 시각화·분석 프로그램
- 모아레 패턴과 3D 실측값 데이터셋(dataset) 관리/구축한 모델 개발

○ (알고리즘) 모아레 패턴으로부터 3D 복원 알고리즘 개발
- 모아레 영상의 전처리 및 학습 데이터셋의 증량(augmentation)
- 딥러닝 기반의 3D 복원 네트워크 설계
- 주변환경, 노이즈, 반사 및 그림자 등의 외란에 강인한 모델 개발
- 정확도와 속도 향상을 위한 딥러닝 모델의 고도화

○ (시스템) 최종적으로 ROI 추출 카메라로 수집된 모아레 패턴영상을 딥러닝 모델을 통해 3D 정보를 빠르고 정확하게 추론하는 3D 카메라 시스템 개발

○ 기술 개발 목표

◎ 1단계
● 목표
○ 데이터 전처리 및 증량 기술
- 모아레 패턴 투영 이미지 취득을 위한 광학계 설계
- 측정 영상에 대한 정밀한 3D 실측 데이터 (GT, Ground Truth) 수집
- PCB 이미지 및 단차시편에 대한 모아레 패턴 투영 이미지 (0, 90, 180, 270) 총 19,000장 확보

○ 딥러닝을 활용한 3D 복원 기술
- 패턴 투영 영상 획득, 위상 계산 및 위상 영상 변환

○ 딥러닝 네트워크 설계 및 최적화/경량화 기술
- Encoder–decoder 구조를 가진 네트워크를 선택하고 입출력을 재정의하여 네트워크 설계
- 딥러닝에서 많이 쓰이는 객체인식 손실함수와 달리, 3D 높이 데이터를 출력하는 네트워크로 회귀분석 손실함수 설계

○ 고성능 딥러닝 모델 개발
- 모아레 패턴 투영 이미지의 픽셀값을 비교하여 그림자 영역과 반사 영역 검출
- 반사 영역이 아닌 영역(신뢰할 수 있는 영역) 기반으로 특이값 분해를 이용한 소자 자세를 추정하여 반사 영역에 대한 올바른 높이 값을 계산

○ 딥러닝 네트워크의 고도화
- 적대적 생성 신경망 기반 CSA 인페인팅 모델 학습, 준비된 위상 맵 이미지와 마스크 이미지를 입력하여, 이미지 복원을 통한 학습

● 내용
○ 데이터 전처리 및 증량 기술
- 모아레 패턴 투영 이미지 취득을 위한 광학계 설계
- 16M pixel과 FOV 50mm X 50mm를 가지는 카메라 사용
- 왜곡이 없는 이미지를 만들기 위한 텔레센트릭 렌즈 선택
- 모아레 패턴을 생성하기 위해 사용, 0 180, 90, 270 순으로 패턴이 생성됨.
- 고해상도의 이미지를 PC로 빠르게 전송하기 위해 외장 메모리를 활용한 FPGA 설계
- 카메라로부터 모아레 패턴 투영 이미지를 입력받아 0, 90, 180, 270의 각도별 이미지로 출력하고, 높이 측정 알고리즘을 통해 나온 결과물을 출력하는 UI 제작
- 측정 영상에 대한 정밀한 3D 실측 데이터 (GT, Ground Truth) 수집
- 모아레 패턴과 3D 실측값을 이용하여 딥러닝 학습이 가능한 데이터로 필터링/전처리하고 다양한 기법을 적용하여 데이터를 증량시킴

○ 딥러닝을 활용한 3D 복원 기술
- 패턴 투영 영상 획득, 위상 계산 및 위상 영상 변환
- 위상 변환이 완료된 영상을 개발한 딥러닝 알고리즘을 적용하여 3D 복원을 위한 모아레 패턴 영상 생성

○ 딥러닝 네트워크 설계 및 최적화/경량화 기술
- Encoder–decoder 구조를 가진 네트워크를 선택하고 입출력을 재정의하여 네트워크 설계
- 딥러닝에서 많이 쓰이는 객체인식 손실함수와 달리, 3D 높이 데이터를 출력하는 네트워크로 회귀분석 손실함수 설계
- 준비된 데이터셋을 학습, 검증 및 테스트 데이터로 분할하여 학습
- 학습된 모델에 대해 정확도와 추론시간을 측정하여 평가

○ 고성능 딥러닝 모델 개발
- 모아레 패턴 투영 이미지의 픽셀값을 비교하여 그림자 영역과 반사 영역 검출
- 위상 맵 계산 및 그림자 영역 복원 (빛의 직선성)
- 반사 영역에 대하여 자세 추정을 이용한 높이 복원 진행
- 딥러닝 기반 객체 검출 네트워크를 이용하여 DB에서 소자의 위치와 높이를 찾고 이를 기반으로 영역데 대한 GT 생성
- 반사 영역이 아닌 영역(신뢰할 수 있는 영역) 기반으로 특이값 분해를 이용한 소자 자세를 추정하여 반사 영역에 대한 올바른 높이 값을 계산
- 계산한 높이값을 기반으로 반사 영역에 대한 높이 값 복원, 최종 높이 출력

딥러닝 네트워크의 고도화
- 빛 반사 및 그림자가 없는 4각도 PCB 모아레 투영 패턴 이미지를 입력, 빛 반사 및 그림자 영역을 마스크 영역으로 설정, 펼친 위상맵 계산을 위한 4각도 모아레투영 패턴 이미지도 함께 입력
- 위상 맵 및 마스크 이미지 생성, 학습을 위한 입력 이미지를 위상 맵으로 변환, 마스크 영역을 이용해 마스크 이미지 생성
- 적대적 생성 신경망 기반 CSA 인페인팅 모델 학습, 준비된 위상 맵 이미지와 마스크 이미지를 입력하여, 이미지 복원을 통한 학습
- 학습된 모델에 빛 반사 및 그림자가 있는 PCB 모아레 위상 맵을 입력하여, 빛 반사 및 그림자가 없는 이미지로 복원 및 높이 위상 값 계산, 모아레 패턴 투영 이미지의 픽셀값을 비교하여 그림자 영역과 반사 영역 검출

□ 연구개발성과
○ 모아레 패턴을 이용한 단차 시편 높이 추정 및 딥러닝 복원 네트워크 설계
○ 3D 모아레 패턴영역 전송 프레임버퍼 구조 카메라 개발 완료

□ 연구개발성과 활용계획 및 기대 효과
○ 본 연구 개발 과제를 통해 얻은 고성능 3D 측정 기술은 스마트 공장 내 이송공정 또는 자동 패키지 공정 등에서 품질 검사를 하는 3D 비전 검사 장비나 정밀한 의료용 진단장비 등에 활용 가능

○ 딥러닝을 이용한 3D 복원 기술은 모아레 영상뿐만 아니라 일반 영상의 3D 영상복원으로 확장하여, 이를 활용하는 VR/AR 기술 발전에 기여할 수 있음

○ 딥러닝 네트워크의 경량화 및 모델의 고도화 기술은 딥러닝 모델의 성능을 향상시키는 중요한 핵심요소로써 활용 가능

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 요 약 문 ... 2
• 목차 ... 9
• 1. 연구개발과제의 개요 ... 10
• 1) 개발기술 내용 ... 10
• 2) 개발기술 적용 제품·서비스 ... 13
• 3) 개발기술 적용 제품과 기업의 주력제품과의 관계 ... 15
• 4) 주관연구개발기관의 애로사항 및 R&D 바우처 지원 필요성 ... 15
• 5) 기술개발 범위 및 목표 요구사항 ... 16
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 17
• 1) 모아레 영상 수집 및 3D 측정 ... 17
• 2) 데이터셋 준비 및 증량 ... 21
• 3) 고성능 딥러닝 모델 개발 ... 26
• 4) 딥러닝 네트워크의 고도화 ... 31
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 37
• 1) 연구수행 결과 ... 37
• 2) 목표 달성 수준 ... 43
• 4. 목표 미달 시 원인분석 ... 43
• 5. 연구개발성과의 활용 및 사업화 계획 ... 44
• 끝페이지 ... 45