초록 ▼

□ 연구개발 목표 및 내용
◼ 최종 목표
인공지능 및 데이터 융합 기반 이미지 좌표를 활용하여 무인체를 이용한 시설물 이미지의 품질을 확보하고 점검시간과 3D 모델 구축을 위한 영상 처리시간을 30% 저감 할 수 있는 스마트 유지관리기술 개발

◼ 전체 내용
- CTE 1: 시설물 점검을 위해 수집된 영상의 인공지능 기반 실시간 품질평가 및 개선알고리즘 개발: 이미지 품질 저하 요소 선별 및 학습 데이터 확보를 통한 인공지능 기반 품질평가 알고리즘 및 품질 저하 요소 및 특질 분리를 활용한 이미지 품질개선

□ 연구개발 목표 및 내용
◼ 최종 목표
인공지능 및 데이터 융합 기반 이미지 좌표를 활용하여 무인체를 이용한 시설물 이미지의 품질을 확보하고 점검시간과 3D 모델 구축을 위한 영상 처리시간을 30% 저감 할 수 있는 스마트 유지관리기술 개발

◼ 전체 내용
- CTE 1: 시설물 점검을 위해 수집된 영상의 인공지능 기반 실시간 품질평가 및 개선알고리즘 개발: 이미지 품질 저하 요소 선별 및 학습 데이터 확보를 통한 인공지능 기반 품질평가 알고리즘 및 품질 저하 요소 및 특질 분리를 활용한 이미지 품질개선 알고리즘을 개발하여 On-board 엣지 컴퓨팅 시스템을 탑재한 무인체를 활용하는 시설물 점검에서 실시간 이미지 평가시스템 개발
- CTE 2: UAV 점검 누락 영역 및 손상 위치 추정을 위한 영상 및 IoT 센서의 데이터 융합을 활용한 초정밀 수준 이미지 좌표 추정 기술 개발: 통합 비전 시스템 기반 영상/거리정보 및 점검로봇의 IoT 센서 데이터 동기화 및 융합을 통한 초정밀 이미지 좌표 추정 알고리즘을 개발하여 점검현장에서 점검에 누락된 영역을 탐지하고 누락된 점검 이미지 확보를 위한 이미지 재획득 자동화 시스템 구축
- CTE 3: 유지관리 디지털화를 위한 이미지 좌표와 딥 매칭 기반 3D 모델 신속 구축 기술 개발: 이미지 좌표점 3차원 매칭 및 평면 요소에서의 이미지 좌표와 인공지능을 활용한 스티칭 기술을 활용하여 기존 방법대비 신속한 시설물의 3D 모델 생성기술 개발

◼ 1년차
❏ 목표
인공지능 기반 시설물 점검 영상 품질평가 알고리즘과 유지관리 디지털화를 위한 이미지 좌표와 딥 매칭 기반 3D 모델 신속 구축 요소기술을 개발하며, 데이터 퓨전 기반 초정밀 이미지 좌표 추정을 위한 영상 및 거리 센서가 탑재된 통합 비전 시스템 개발
❏ 내용
○ CTE 1: 인공지능 기반 시설물 점검 영상 데이터 품질평가 기법 개발
- 이미지 품질 저하 요소 선별 및 학습을 위한 영상 데이터 확보: 실제 구조물을 대상으로 이미지 처리를 위해 필요한 품질 정도 및 잠재적인 품질 저하 요소를 파악하여 인공지능을 위한 학습 데이터를 수집하고 분류 및 병합을 수행하고자 함.
- 인공지능 기반 품질평가 알고리즘 구축: 기존의 영상의 픽셀 단위를 분석하여 품질을 평가하는 방법의 한계점을 극복하기 위해, 인공지능 기반 다중 클래스 이미지 품질평가 알고리즘을 활용하여 각 품질 요소의 정량적 평가를 수행하고자 함.
○ CTE 2: 초정밀 이미지 좌표 추정을 위한 비전 및 데이터 퓨전 기술 개발
- 영상 및 센서 데이터 퓨전을 위한 통합 비전 시스템 개발: 초정밀(mm급) 이미지 좌표 추정을 위해 UAV를 포함하는 무인 로봇 검사 장비에 탑재될 영상 데이터와 거리 정보를 얻을 수 있는 추가 장비를 장착한 통합 비전 시스템을 구축하여 요철이 포함된 복잡한 구조물에서도 상세한 좌표추정이 가능한 시스템을 구축함.
- 초정밀 이미지 좌표 추정을 위한 비전 및 데이터 퓨전 기술 개발: 통합 비전 시스템에 추가적으로 장착될 고해상도 데이터의 고속처리를 위한 영상 처리 및 연산 장치를 활용한 영상/거리 데이터 퓨전 및 동기화 기술을 개발하고자 함.
○ CTE 3: 유지관리 디지털화를 위한 이미지 좌표와 딥 매칭 기반 3D 모델 신속 구축기술 개발
- 이미지 좌표점 3차원 매칭 기술: 핵심기술 2에서 개발한 초정밀 이미지 좌표 추정 기술을 활용하여 유지관리의 디지털화에 필요한 3D 모델 신속 구축의 요소기술인 이미지 픽셀에 대한 정보를 3차원으로 매칭하는 알고리즘을 개발함.
- 평면 요소에서의 이미지 좌표와 인공지능을 활용한 스티칭 기술: 기존 특징점을 추출하여 정합하는 방법의 시간적, 비용적 한계점을 극복하기 위해 이미지 좌표점 3차원 매칭 기술과 인공지능 기반 영상 매칭을 융합하여 평면 요소에서 이미지를 스티칭하는 기술을 개발함.
- 3차원 이미지 좌표점 매칭 기술을 활용한 시설물의 3D 모델 생성 기술: 3차원 이미지 좌표점 매칭 기술과 이미지의 특정 정보만을 사용하여 처리속도가 기존의 상용 프로그램을 이용하는 것보다 빠르며, 고해상도의 이미지를 직접적으로 처리할 수 있는 선택적 후처리가 가능한 모델 생성기술을 개발하고, 3D 모델 표출이 가능한 플랫폼에 나타내는 연구를 수행함.

◼ 2년차
❏ 목표
인공지능 기반 시설물 점검 영상 데이터 개선 알고리즘과 이미지 좌표 및 딥매칭 기법을 활용한 신속 3D 모델 구축 요소 기술 및 무인체의 IoT 센서 및 융합 데이터를 활용한 초정밀(mm급) 이미지 좌표 추정기술 개발을 통해 1차연도 성과물을 고도화하며, 이미지 좌표 기반 점검 영역 자동화 이미지 재획득 실시간 구동을 위한 On-board 컴퓨팅 시스템을 구축하여 연구실 규모 및 실제 구조물 대상 현장 성능 검증 수행
❏ 내용
○ CTE 1: 인공지능 기반 시설물 점검 영상 데이터 개선 기법 개발
- 인공지능(GAN) 기반 이미지 품질 저하 요소 판단 및 특질 분리를 활용한 이미지 품질 개선 기술 개발: 1차연도에 개발된 시설물 점검 영상 데이터 품질평가 기법에 따라 낮은 품질로 평가된 이미지 데이터에 대해 적대적 생성 네트워크 모델(Generative Adversarial Network, GAN) 기반 딥러닝 기술을 적용하여 품질 저하 요소에 대한 특질을 분리하여 주요한 특징은 보존한 채 세부적인 부분을 개선하여 이미지 품질을 향상하는 기법을 개발함.
○ CTE 2: 점검 로봇의 IoT 센서 및 융합 데이터를 활용한 초정밀 좌표 추정기술 개발
- 이미지 좌표 기반 실시간 무인체 점검 누락영역 탐지를 위한 시스템 구축: 1차연도에 개발된 통합 비전 센서의 융합 데이터와 무인검사장비의 IoT센서를 활용한 위치 정보(GPS 센서)와 자세정보(IMU 센서) 데이터를 통합하여 초정밀(mm급) 이미지 좌표 추정 알고리즘 개발을 수행함.
○ 실시간 구동을 위한 On-board 컴퓨팅 시스템 및 이미지 좌표 기반 점검 영역 자동화 이미지 재획득 알고리즘 개발
- 실시간 이미지 처리를 위한 점검 로봇 및 검사 장비 탑재용 컴퓨팅 시스템 구축: 개발 기술의 실시간 구동을 위해 검사 장비에 탑재될 센서 데이터 획득을 포함한 알고리즘 연산 및 평가 데이터 전송을 수행하는 무선전송시스템 또는 고성능 유선 입출력 인터페이스를 활용하는 On-board 컴퓨팅 시스템을 구축하고자 함.
- On-board 컴퓨팅 시스템 및 이미지 좌표 추정 알고리즘 기반 점검 중 누락된 영역 탐지 및 역추적을 통한 이미지 재획득 위치 및 자세 추정 알고리즘 개발: 이미지 좌표 기반으로 검출된 누락된 영역 및 품질 개선 후 여전히 저품질로 평가되는 이미지에 대해 좌표 기반 역추적을 통한 재촬영 위치/자세를 추정하는 연구를 수행함.
○ CTE 3: 추정된 이미지 좌표 및 딥 매칭 기법을 활용한 신속한 3D 모델 요소기술 개발
- 시설물의 형상 도출을 위한 3D 모델의 외곽선 추출 기술 개발: 이미지 좌표 추출 기술과 매칭 기술을 활용하며, 3차원 공간에서 좌표의 경사 및 접합부를 gradient와 통계적 모델을 활용하여 적응형 특징점 추출 및 매칭 기술과 3D 모델에서 구조물의 영역 추출하고 구조물을 둘러싼 점들을 선별하여 최적 외곽선을 추출기술을 개발함.
○ 개발 알고리즘 및 시작품 기반 현장 성능 검증
- Lab-scale 시험체 (벽체, 축소모형)를 활용한 기술 검증: 실구조물 대상 검증에 앞서 본 과제를 통해 개발된 알고리즘 및 검사장비에 탑재되는 시작품을 콘크리트 벽체시험체 및 축소모형 등을 활용하여 검증을 수행함. 테스트베드 대상 개발한 알고리즘에 대한 단계적 기술에 대한 실험을 수행하면서 도출된 문제점 및 외부환경에서 발생할 수 있는 문제점을 수정⦁보완하며, 도면 기반의 실측 데이터와 비교하여 검증을 수행함.
- 개발 시작품 적용이 가능한 구조물 대상 현장 실험을 통한 기술 검증: 테스트 베드 대상의 파일럿 실험 후 실제 구조물을 대상으로 개발 알고리즘 및 시작품에 대한 검증을 수행하고자 함. 개발 시작품이 적용 가능한 구조물로는 실제 운용중인 건축물을 비롯해 교량, 댐, 옹벽 등 토목구조물이 있으며, 추가적인 센서 탑재를 통해 터널, 실내와 같은 공간에서도 검증이 가능함.

□ 연구개발성과
□ 1차연도
○ CTE 1: 인공지능 기반 시설물 점검 영상 데이터 품질평가 기법 개발
- 이미지 품질 저하 요소 선별 및 인공지능 학습을 위한 데이터베이스 10,604장 확보
- 인공지능 기반 품질평가 알고리즘 정확도 95.2% 달성(Validation Loss 기준) 및 inference를 활용한 저품질 알고리즘 분류체계 구축
- 충청북도 영동군 금곡교를 대상으로 현장적용을 통해 인공지능 기반 품질평가 기법에 대한 검증을 수행
○ CTE 2: 초정밀 이미지 좌표 추정을 위한 비전 및 데이터 퓨전 기술 개발
- 초정밀(mm급) 이미지 좌표 추정을 위한 통합비전시스템 개발(카메라: 4K급, LiDAR: 2cm 범위정확도)
- 영상/거리 데이터 퓨전 및 동기화 기술을 활용하여 이미지 좌표 추정 알고리즘을 검증하였으며, 평균 오차 16mm 이내의 정확도를 확보
- Companion computer 기반 데이터 퓨전기술을 활용하여 통합비전시스템 및 무인체 계측 데이터 통합을 수행
○ CTE 3: 유지관리 디지털화를 위한 이미지 좌표와 딥 매칭 기반 3D 모델 신속 구축기술 개발
- 이미지 좌표점 3차원 매칭 기술을 활용한 단일 프레임 이미지 좌표추정 결과에서 평균 오차 9.23mm 이내의 정확도를 확보
- 3차원 매칭된 이미지 좌표를 활용한 스티칭 기술 개발하여 실제 계측값과 비교하여 스티칭 결과 정확도 평균 오차 16.38mm의 정확도를 확보
- 평면 요소에서의 이미지 좌표와 인공지능을 활용한 스티칭기술을 상용 소프트웨어의 소요 시간과 비교 검증한 결과 76.11% 개선된 속도로 스티칭 맵을 구축
- 3차원 매칭된 이미지 좌표를 활용하여 콘크리트 벽체 테스트베드, 대전광역시 유성구 궁동교 및 궁동교에 대한 3D 모델을 구축
- 3차원 이미지 좌표점 매칭 기술과 이미지의 특정 정보를 활용한 3D 모델 표출 기술 개발
- 이미지 좌표를 활용한 3차원 모델 생성의 결과를 상용 소프트웨어의 소요 시간과 비교 검증한 결과 64.63% 개선된 속도로 3D 모델을 생성

□ 2차연도
○ CTE 1: 인공지능 기반 이미지 품질 저하 요소 및 특질 분리를 활용한 이미지 품질 개선 기술
- On-board 엣지 컴퓨팅 시스템을 활용한 인공지능 모델 기반 이미지 평가 시스템 구축
- 다중 GAN 모델을 활용한 블러로 인한 저품질 점검 영상 품질 개선 기술 및 정확도 확보
- 춘천시 등선교를 대상으로 2,119장의 이미지의 품질을 평가하였고, 저품질로 분류된 영상에 대해 품질 개선알고리즘을 적용함. 블러로 인한 품질 문제에 활용되는 SGV 방법을 통해 개선된 이미지가 높은 품질 평가를 받음
○ CTE 2: 이미지 좌표 기반 실시간 UAV 점검 누락영역 탐지 알고리즘
- 좌표변환을 활용한 이미지 프레임 기반 누락영역을 탐지하는 알고리즘 개발
- 콘크리트 벽체 대상 이미지 좌표 기반 누락영역 검출을 수행하여 5cm 이내의 영역 탐지 정확도 확보
- 대형 교량 구조물을 대상으로 전체 영역 대비 평균 정확도 95% 확보
- 라이다 및 카메라 캘리브레이션을 활용한 점검 데이터 검출 수행
- 현장에서 누락된 점검 이미지 확보를 위한 이미지 재획득 자동화 알고리즘 개발
- 메타데이터를 활용하여 저품질 및 누락된 이미지 확보를 위한 재획득 영역 영상 획득 자세 및 위치 추정은 0.47m로 누락된 중심영역을 기준으로 차이가 나타남
○ CTE 3: 시설물의 3D 형상 도출을 위한 3D 모델의 외곽선 추출 기술
- 전처리를 위해 Openmesh를 활용하여 모델의 외곽선을 검출하고, 노이즈 포인트와 메쉬 제거 수행
- 3D 모델 라인 검출 알고리즘을 활용하여 외곽선을 추출하였으며, 전체 길이 대비 외곽선 추출은 88.72% 정확도 확보
- 3D 모델 메쉬 단순화를 통한 폴리곤 모델 생성 알고리즘 개발
- 개발된 연구 성과물의 성능 검증을 위해 실 교량 구조물에 대한 현장실험을 수행하여 기술 검증 (대전 궁동2교, 군산 은산면 철도교, 터널 진입부, 옹벽 구조물)
- 구조물 3D 모델에서 추출된 외곽선을 활용하여 구조물 점검시 외관조사망도의 기초자료로 활용할 수 있는지 검토하였으며, 결과물은 구조물 유지관리 분야 전문가를 통해 해당 기술의 실용화 가능성을 자문받았음

□ 연구개발성과 활용계획 및 기대 효과
○ 연구개발성과 활용방안
⦁ 특허 출원/등록 및 소프트웨어 등록을 통한 원천기술 확보방안
- 인공지능 기반 이미지 품질평가/개선 기술, 데이터 융합 기반 초정밀 좌표 추정기술 및 이미지 좌표와 딥매칭을 활용한 신속 3D 모델 구축기술의 핵심원천기술을 국내 및 해외 특허를 출원하여 지식재산권을 확보함. 이를 통해 국내외 타 연구진에 의해 개발된 기술과의 분쟁 가능성을 사전에 차단함.
⦁ 현장적용 방안
- 개발 기술 및 시스템은 연구실 규모의 테스트베드를 대상으로 기본성능 검증을 수행한 후에, 국가 주요 시설물 관리 주체 및 공공기관과 협력을 통해 실 구조물을 대상으로 현장적용을 수행함. 현장실험을 통해 기존 방식과 비교하여 기술 및 장비의 우수성을 입증

○ 연구개발성과의 기대효과
⦁ 기술적 측면
- 인공지능 기반 이미지 품질평가/개선 시스템을 통한 객관적 데이터 평가 시스템으로 전환
- 조종사에 의한 기존 이미지 확보 방법에서 이미지 좌표를 활용한 객관적 데이터 확보 평가
- 이미지 좌표 기반 신속한 3D 모델 구축으로 구조물 점검 및 데이터 트윈 분야 원천기술 확보
- 건설 분야 외 발전, 조선, 자동차, 신소재 등 다양한 산업분야의 기술적용 확대 가능
⦁ 경제적 측면
- 한정적인 범위에서 활용하던 로봇 기반 시설물 점검 자동화의 실현으로 유지관리 비용 절감이 가능하며, 대형 구조물 검사 및 진단 기술의 시장 선점 가능
- 다양한 어플리케이션 및 증강현실과 결합한 새로운 응용분야로 시장확대가 가능
- BIM 및 디지털 트윈 기반의 효율적 운영관리를 활용한 시설물 유지관리의 새로운 시장 창출이 가능
⦁ 사회적 측면
- 자율 비행, 자동화된 손상탐지 등 타 기술과 접목하여 자동화된 점검 및 유지관리 실현
- 한정적인 범위에서 사용되는 로봇기반 시설물 안전진단 산업을 고도화하여 관련 전문 인력 양성 및 고용 증대 기대가 가능
- 국가 대형구조물 및 시설물 안전성을 향상하여 국민 신뢰성 확보 가능

(출처 : 요약문 3p)

목차 Contents

• 표지 ... 1
• 제출문 ... 2
• 요 약 문 ... 3
• 목차 ... 7
• 1. 연구개발과제의 개요 ... 8
• 1) 연구개발과제의 최종 목표 ... 8
• 2) 연구개발과제의 연차별 목표 ... 9
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 10
• (1) 1년차 ... 10
• (2) 2년차 ... 23
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 35
• 1) 연구수행 결과 ... 35
• 2) 목표 달성 수준 ... 41
• 4. 연구개발성과의 관련 분야에 대한 기여 정도 ... 42
• 5. 연구개발성과의 관리 및 활용계획 ... 42
• 1) 연구성과 총괄 ... 44
• 2) 연구개발성과의 향후 5년간(활용보고서 제출기간) 성과활용 목표·계획 ... 46
• 6. 참고 문헌 ... 50
• 끝페이지 ... 51