초록 ▼

□ 연구개요
최근 컨볼루션 뉴럴 네트워크(CNN)는 컴퓨터 비전 및 영상 처리 분야에서 큰 성과를 거두었으나, 낮은 컴퓨팅 파워를 요구하는 디바이스에 제한적임. 이에 대응해 국제 기업과 연구 기관에서 하드웨어-친화적인 저복잡도 CNN 연구가 진행 중이며, 영상 분류 분야에서 딥러닝 모델의 가중치-메모리 대역폭 및 계산복잡도 감소를 달성함. 하지만, 이러한 연구는 영상 분류 과업에 대해서 수행됨. 본 연구팀은 해당 연구 결과를 영상복원에 적용할 경우 성능 저하가 발생하는 것을 실험을 통해 발견하였음. 따라서 본 연구에서는 영상복

□ 연구개요
최근 컨볼루션 뉴럴 네트워크(CNN)는 컴퓨터 비전 및 영상 처리 분야에서 큰 성과를 거두었으나, 낮은 컴퓨팅 파워를 요구하는 디바이스에 제한적임. 이에 대응해 국제 기업과 연구 기관에서 하드웨어-친화적인 저복잡도 CNN 연구가 진행 중이며, 영상 분류 분야에서 딥러닝 모델의 가중치-메모리 대역폭 및 계산복잡도 감소를 달성함. 하지만, 이러한 연구는 영상 분류 과업에 대해서 수행됨. 본 연구팀은 해당 연구 결과를 영상복원에 적용할 경우 성능 저하가 발생하는 것을 실험을 통해 발견하였음. 따라서 본 연구에서는 영상복원을 위한 저복잡도/저전력 CNN 알고리즘을 개발을 목표로 하며, 영상 압축 기법과 시각 인지 모델을 사용한 CNN 경량화 방법 개발이 핵심 아이디어임. 최종 목표는 영상복원용 CNN 모델의 높은 영상복원 성능을 유지하면서, 가중치-메모리 크기 및 계산복잡도를 극적으로 감소시키는 알고리즘을 개발하는 것이며, 제안 방법의 효과성 검증하기 위해 제안 방법을 엣지 디바이스용 고효율 딥러닝 모델에 탑재하여 성능을 검증함.

□ 연구 목표대비 연구결과
최종 연구 목표는 기존 영상복원 CNN 모델 대비 영상복원 화질의 열화가 없는 조건에서 총 40배의 가중치-메모리 크기 감소, 60배의 계산복잡도 감소임. 정량적 지표로서 5년간 총 10편의 SCI 논문 출판을 목표로 하였음. 또한 산업체에 실제로 사용할 수 있는 엣지 디바이스용 고효율 영상 처리 딥러닝 모델을 도출하고 이를 엣지 디바이스(스마트폰 미FPGA)에 탑재하여 성능(높은 복원 화질 및 실시간성)을 검증하는 것이 목표임. 결론적으로, 본 연구팀은 제안서에서 제시한 정량적, 정성적 목표들을 모두 달성하였으며 연차별 세부 달성도를 아래에 제시함:
- (1차년도) Multi Scale Convolution 및 Channel Attention을 기반으로 영상복원 CNN 모델을 개선하여, 당시 최대 성능을 가지는 방법(EDSR, CVPR2017) 보다 약 20배 빠른 계산속도를 달성하고, 모델 크기를 10배 줄임. 당년도엔 SCI 1편을 게재함.
- (2차년도) Deep compression, JND, Active Shift Layer 등의 여러 경량화 기법을 사용해 EDSR 대비 경쟁력 있는 영상복원 성능을 달성했으며, 가중치-메모리는 32배, 계산 속도는 6배 줄임. 당년도엔 SCI 2편, 국내 학술대회 4편을 게재함.
- (3차년도) 강화학습 및 Multi-Attention 기반의 초경량 영상복원 모델을 개발함으로써 비교모델 대비 최대 97%의 압축률을 달성했고, 당시 세계 최고 방법들보다 가중치-메모리, 성능, 속도 면에서 더욱 우수함을 증명함. 당년도엔 SCI 2편, 국내 학술대회 7편을 게재함. 이뿐만 아니라, 세계 저명 영상복원 딥러닝 모델 경량화 대회(AIM2020 in conjunction of CVPR2020)에서 메모리 효율성, 계산량 효율성, 파라미터 효율성 부문에서 각각 1위, 3위, 4위를 달성하여 본 연구결과의 우수성을 객관적으로 입증함.
- (4차년도) 영상복원용 딥러닝 모델에 적용 가능한 새로운 지식 증류, 가중치 가지치기, 데이터 증강 방법을 개발하여 딥러닝 모델의 경량화 효율을 향상시킴. 당년도엔 SCI 3편, 국제 학술대회 2편, KCI 3편을 게재했으며, 이 중 두 편은 AI top-conference인 ICLR2021, ICCV2021에 각각 1편씩 발표되어 연구의 우수성을 입증함.
- (5차년도) Squeeze-and-Exciation 블록, 최적 커널 사이즈 탐색, 가중치 재구성화, INT8 양자화 등을 활용해, 본 연구의 최종 목표인 실시간으로 동작하는 영상복원 딥러닝 모델 및 경량화 기술을 개발함. 본 연구진이 개발한 모델을 스마트폰 및 FPGA에 탑재하여 우수한 영상복원 성능 및 실시간성을 검증하였음. 당년도엔 SCI 2편, 국내 학술대회 9편을 게재함.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
본 연구의 목표는 저복잡도/저전력 CNN 알고리즘을 개발해, 엣지 디바이스 상에서 높은 성능의 영상복원 기능을 제공하는 것이며, 영상 저장/처리/출력을 활용하는 다양한 산업에 활용가능함. 구체적으로, 다음과 같은 활용 계획과 기대효과를 가짐.
- (핵심 기술 연구 개발을 통한 상용화 수준의 고성능/실시간 영상복원 모델 도출) 개발된 경량 실시간 영상복원 모델은 산업계와의 협력을 통해 스마트폰, 드론, 자율주행차 등의 제품에 탑재될 수 있음. 이를 통해 고해상도의 영상을 처리하거나 압축된 영상 데이터를 복원하는데 필요한 컴퓨팅 리소스를 절감함으로써 디바이스 성능과 환경에 더 친화적인 결과를 가져올 뿐만 아니라, 엔드 유저들에게 더 나은 사용자 경험을 제공할 수 있음.
- (이론적 발전과 지식 공유) 본 연구는 영상복원용 저복잡도/저전력 CNN 알고리즘과 관련된 다수의 SCI 논문, 국내외 학술대회 발표 등을 통해, 이론적 발전과 지식 공유에 크게 기여함. 이를 통해 후속 연구자들이 기존 연구를 기반으로 더욱 발전된 기술을 연구하고 개발할 수 있는 중추적인 토대를 마련함.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 5
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 12
• 1) 정성적 연구개발성과(연구개발결과) ... 12
• 2) 세부 정량적 연구개발성과 ... 12
• 3) 목표 달성 수준 ... 12
• 4) 목표 미달 시 원인 분석 ... 13
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 13
• 1. 영상복원 딥러닝 모델의 경량화와 성능 최적화 ... 13
• 2. 이론적 발전과 지식 공유 ... 13
• 5. 연구개발성과의 관리 및 활용 계획 ... 13
• 1. 성과 관리 추진체계 ... 13
• 2. 예상되는 연구개발성과의 활용 분야 및 활용방안 ... 13
• 3. 추가 연구의 필요성 및 타 연구에의 응용 ... 13
• 6. 자체점검표 ... 14
• 7. 참고문헌 ... 14
• 붙임1. 세부 정량적 연구개발성과 ... 16
• 붙임2. 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 22
• 끝페이지 ... 34