[보고서]제조용 산업로봇의 실시간 부품 조립을 위한 고화질 영상기반 LSTM 네트워크 딥러닝 작업패턴 인식 알고리즘 개발

최윤식

제조용 산업로봇의 실시간 부품 조립을 위한 고화질 영상기반 LSTM 네트워크 딥러닝 작업패턴 인식 알고리즘 개발 원문보기

보고서 정보
주관연구기관	연세대학교 Yonsei University
연구책임자	최윤식
보고서유형	최종보고서
발행국가	대한민국
언어	한국어
발행년월	2020-01
과제시작연도	2019
주관부처	산업통상자원부 Ministry of Trade, Industry and Energy
등록번호	TRKO202200006670
과제고유번호	1415161995
사업명	로봇산업핵심기술개발(R&D)
DB 구축일자	2022-08-27

초록 ▼

제 1 장. 서론
제 1 절. 과제의 개요
• 본 과제에서 개발하고 자 하는 대상기술은 ‘조립공정을 수행하는 산업용 로봇을 위한 사람 및 물체의 영상기반 고도지능 인식 기술 개발’의 일환으로,
‘고화질(4K) 카메라를 통해 획득된 2차원 또는 3차원의 시퀀스 영상으로부터 사물의 종류와 위치 및 이동궤적을 실시간으로 인식하고, 인식된 사물로부터 핵심적인 포인트의 위치 기반의 사물의 방향 및 사물 간 상대적 위치 관계를 인식하며, 영상에서의 사물의 작업 패턴을 높은 정확도로 인식 하는 고도 지능형 알고리즘을 개발’하는 것이다.

이러한 고도 지능형 알고리즘 개발을 위한 필수적 기술개발 요소들은 다음과 같다.
첫째, 고해상도 영상 기반 물체 종류, 위치 및 궤적인식 알고리즘 개발
둘째, 인식된 사물의 지능형 상호관계 인식 알고리즘 개발
셋째, 물체의 시간 변화에 따른 작업패턴 인식 알고리즘 개발

• 첫째, 정확한 사물의 종류와 위치, 조립부품과 같은 정밀한 물체의 이동궤적 인식을 위하여서는 고해상도 영상 취득이 필수적이다. 본 과제에서는 이를 위하여 4K 급 이상의 고해상도 산업용 CCD 카메라를 사용할 예정이나, 이 경우, 대용량 영상정보의 실시간 처리를 위하여 적절한 압축기법이 사용된다. 따라서, 첫 번째 알고리즘의 개발은, deep Learning 네트워크의 구성을 통해 실시간으로 물체를 인식하는 알고리즘을 개발한다.
• 둘째, 인식된 사물로부터 다수의 핵심 포인트를 인식하여 물체의 방향 및 물체 간 상호관계를 정확하게 파악하는 알고리즘을 개발을 위하여, 기존의 CNN (Convolutional Neural Network) 기반의 deep learning 알고리즘을 사물로 확장하는 기술을 개발한다. 궁극적으로 이러한 기술을 바탕으로 사물로부터 얻어진 핵심 포인트를 활용하여 사물의 방향을 분석하고, 사물들 간의 상대적 위치를 확인하는 알고리즘을 개발한다.
• 셋째, 물체의 시간 변화에 따른 작업패턴 인식 기술은, 물체의 핵심 포인트를 위치의 시간에 따른 변화를 이용해 사물을 대상으로 하는 작업 패턴을 학습하고, 이를 인식할 수 있는 기술로서, RNN (Recurrent Neural Network) 기반의 Deep LSTM (Long Short Term Memory) 구조를 통해 핵심 포인트의 위치의 변화를 장/단기의 과거 정보와 종합하여, 최종적으로 작업 패턴을 인식할 수 있도록 하는 기술이다. 이러한 구조의 신경망 구조는 Memory를 활용하여 실시간 처리가 가능하도록 제안된 구조이므로, 이러한 구조의 인공지능망을 설계하여 실시간으로 지능적 인식이 가능한 기술을 개발한다.
• 마지막으로 이러한 알고리즘을 개발함에 있어 산업용 로봇에 실제로 적용하기 위하여서는 실시간처리가 가능하여야 함은 물론이거니와 처리를 위한 컴퓨터의 용량 역시 기존의 deep learning 과정을 처리하기 위하여 필요한 대용량 컴퓨터 대신 로봇별 개별 설치가 가능한 소용량 컴퓨터로 처리가 가능하여야 하므로, 모든 개발되는 알고리즘은 이를 위한 최적화된 알고리즘이 되어야 한다. 따라서 적용되는 인공지능 기법들은 실시간 소용량 컴퓨터처리가 가능한 형태로 개발한다.

(출처 : 본문 제 1 장. 서론 4p)

목차 Contents

표지 ... 1
제 출 문 ... 2
목차 ... 3
제 1 장. 서론 ... 4
제 1 절. 과제의 개요 ... 4
제 2 장. 과제 수행의 내용 및 결과 ... 6
제 1 절. 최종 목표 및 평가 방법 ... 6
제 2 절. 단계 목표 및 평가 방법 ... 19
제 3 절. 연차별 개발 내용 및 개발 범위 ... 24
제 4 절. 수행 결과의 보안등급 ... 134
제 5 절. 유형적 발생품(연구시설, 연구장비 등) 구입 및 관리 현황 ... 134
제 3 장. 결과 ... 135
제 1 절. 연구개발 최종 결과 ... 135
1. 연구개발 추진 일정 ... 135
2. 연구개발 추진 실적 ... 138
3. 기술개발 결과의 유형 및 무형 성과 ... 142
제 2 절. 연구개발 추진 체계 ... 152
제 3 절. 고용 창출 효과 ... 155
제 4 절. 자체보안관리진단표 ... 155
제 4 장. 사업화 계획 ... 156
제 1 절. 시장 현황 및 전망 ... 156
제 2 절. 사업화 계획 ... 159
제 3 절. 향후 추가 기술 개발 계획 (개발기술 응용 등) ... 159
끝페이지 ... 160

표/그림 (162)

표 : 휴대폰 조립 공정의 예로 본 개발 기술의 개요
표 정량적 목표 항목
표 PC 메인보드에 CPU, RAM, 그래픽카드, CPU Fan, 하드디스크 등을 조립하는 예시
표 사물 인식 대상의 종료 및 개수
표 작업 패턴 인식 성능 평가 시험의 공간적 구성
표 검출된 조립 부품 이미지와 핵심 포인트 위치
표 메인 보드 조립에서의 작업 예시
표 조립 과정에의 작업패턴 구성
표 1 세부 목표 시제품 개요
표 1차년도 및 2차년도의 1 세부목표 정량적 평가 결과
표 2 세부 목표 시제품 개요
표 1차년도 및 2차년도의 2 세부 목표 정량적 평가
표 3 세부 목표 시제품 개요
표 1차년도 및 2차년도의 3 세부 목표 정량적 평가
표 3차년도 시작품 개요
표 시작품의 정량적 평가 척도 및 개발 목표치
표 카메라 설치 환경 및 Field of view 표현
표 제1세부 목표용 데이터베이스 예시
표 개체별 제2세부 목표용 데이터베이스
표 제2세부 목표용 데이터베이스 예시
표 작업 패턴 클래스 분류 예시
표 VGGNet 신경망 구조
표 GoogleNet 네트워크 구조
표 ResNet 네트워크 구조
표 Faster R-CNN의 네트워크 구성 과정 모식도
표 VOC 데이터 세트에 대한 Faster R-CNN Loss 그래프
표 YOLO의 물체 검출 과정 모식도
표 YOLO 실험 및 클래스 별 AP 비교
표 VOC 데이터 세트데 대한 YOLO Loss 그래프
표 YOLOv2 실험 및 클래스별 AP 비교
표 VOC 데이터 세트에 대한 YOLOv2 Loss 그래프
표 Pascal VOC 2007에 대한 YOLOv2, Faster R-CNN 비교 실험
표 조립 부품 데이터 세트에 대한 YOLOv2 Loss 그래프
표 조립 부품 데이터 세트에 대한 YOLOv2 자체실험
표 조립부품 데이터 세트에 대한 YOLOv2 실행 결과
표 VOC 데이터 세트 및 조립 부품 데이터 세트 50% 가림 적용 전후 비교
표 50% 가려진 VOC 2007에 대한 YOLOv2, Faster R-CNN 비교 실험
표 제조 과정 중 발생할 수 있는 가려진 부품 데이터 세트에 대한 YOLOv2 자체실험
표 제조과정에서 발생 할 수 있는 가림에 대한 YOLOv2 실험 결과
표 Pascal VOC 2007에 대한 YOLOv2, Faster R-CNN IOU 비교 실험 결과
표 부품 조립 데이터 세트에 대한 YOLOv2 IOU 자체 평가 실험
표 4K 해상도 기준 FPS 환산
표 Deeppose의 구조
표 DeepPose 알고리즘의 LSP Dataset에 대한 Training Curve.
표 LSP Dataset 에 대한 Deeppose 핵심 위치 별 인식 정확도 및 평균
표 Stage 구성의 DeepPose 알고리즘의 LSP Dataset에 대한 핵심 위치 인식 예시 (빨간 점 : Ground Truth, 초록 점 : 핵심 위치 예측)
표 DeepPose 알고리즘의 핵심위치 실패 영상 예시. 상단은 신체 부위 가림에 의해 핵심 위치 인식에 실패함. 하단 영상은 과도한 정방형 입력에 의한 영상 왜곡에 의해 인식 실패
표 Coarse-to-Fine Volumetric Prediction Single-Image 3D Human Pose 구조
표 Convolution Pose Machinse 구조
표 Convolutional Pose Machine의 LSP Dataset에 대한 학습에서의 Loss Curve
표 LSP Dataset 에 대한 4 Stage CPM의 핵심 위치 별 인식 정확도 및 평균
표 CPM 3층 Stage 구조에 대한 LSP Dataset의 실험 결과 예시. (빨간 점 : Ground Truth, 초록 점 : 핵심 위치 예측)
표 CPM 3층 Stage 구조에 대한 LSP Dataset의 오류 예시. 상체
표 DeepPose와 Convolutioal Pose Machine의 ASR 메인보드 부품에 대한 핵심 위치 인식 학습의 Loss Curve
표 LSP Datasset에 대한 DeepPose 알고리즘 및 CPM 성능 비교
표 작업 부품 종류별 DeepPose 알고리즘 및 CPM 알고리즘의 핵심 위치 인식률 비교
표 ASR 메인보드의 다양한 기울기에 따른 에서의 핵심 위치 인식 비교 (상 : DeepPose, 하, Convolutional Pose Machine)
표 각종 조립 부품에 대한 가변적 상황에서의 핵심 위치 인식 비교 (상 : DeepPose, 하, Convolutional Pose Machine)
표 작업 부품 종류별 DeepPose 알고리즘 및 CPM 알고리즘의 핵심 포인트 위치 오차 평균
표 작업 부품 종류별 DeepPose 알고리즘 및 CPM 알고리즘의 핵심 포인트 위치 오차 평균
표 Hierarchical RNN의 모델 구조
표 Hierarchical RNN(HRNN) 과 Hierarchical LSTM(HLSTM) 구조에 대한 Penn-action Dataset 의 학습 진행에 따른 오차 그래프
표 HRNN 네트워크의 Penn Action Dataset에 대한 실험 영상. (좌 상단 행동 패턴 예측 표현)
표 HRNN과 HLSTM 네트워크의 Penn Action Dataset에 대한 Class별 행동 패턴 인식 정확도와 평균
표 clean and jerk (좌 영상) 과 squat (우 영상) 간의 행동 패턴의 유사성
표 Clean and jerk 의 HRNN 네트워크에서의 행동 패턴 인식 결과 분포
표 HRNN의 논문 및 본 연구에서의 행동 패턴 인식 정확도와 사용 비교
표 Long-term Recurrent Convolutional Network (LRCN)의 구조
표 Long-term Recurrent Convolutional Network의 학습에 따른 오차 변화 그래프
표 LRCN의 논문 및 본 연구에서의 행동 패턴 인식 정확도와 사용 비교
표 LRCN의 성공적 행동 패턴 분류 예시
표 LRCN의 행동 패턴 분류 실패 예시
표 Deep LSTM Network의 구조
표 Co-occurrence Regularization의 모식도
표 Regularized Deep-LSTM의 Penn-action Dataset에 대한 학습 진행에 따른 오차 변화 그래프
표 Regularized Deep LSTM의 층 구성별 Penn Action Dataset에 대한 Class별 행동 패턴 인식 정확도와 평균
표 Regularized LSTM 구조의 5층 구조(좌) 결과와 4층 구조 (우) 결과 비교
표 5층의 Regularized LSTM 네트워크를 통한 행동 패턴 분류 예시
표 Penn Action Dataset에 대한 Regularized LSTM과 HRNN의 자체 성능 비교실험
표 5층 Regularzied LSTM 구조의 Long take 영상에 대한 행동 패턴 인식 예시
표 Long-take 촬영 영상에서의 HRNN 및 5층 Regularzied LSTM 행동 시퀀스 일치율 자체실험
표 Long-take 비디오의 행동 패턴 시퀀스의 Ground Truth (상단 막대) 와 Regularized LSTM의 행동 예측 시퀀스 (하단 막대) 비교 예시
표 1차년도 1세부 목표 달성 결과
표 1차년도 2세부 목표 달성 결과
표 1차년도 3세부 목표 달성 결과
표 2차년도 정량적 목표
표 데이터 세트 설계 환경
표 YOLOv3 모델의 구조
표 조립 부품 데이터 세트에 대한 YOLOv3, YOLOv2 비교 실험
표 tiny YOLOv3 구조 (붉은색 박스 안)
표 텐서 분해법을 적용한 객체검출 모델
표 조립부품 데이터 세트에 대한 tiny-YOLOv3, decom-tiny-YOLOv3 비교 실험
표 조립부품 데이터 세트에 대한 decomposed tiny-YOLOv3 자체 실험
표 조립부품 데이터 세트에 대한 decom-tiny-YOLOv3 모델 실행 결과
표 50% 가림 데이터 세트에 대한 tiny-YOLOv3, decom-tiny-YOLOv3 비교 실험
표 50% 가림 데이터 세트에 대한 Decom-tiny-YOLOv3 모델 실행 결과
표 조립부품 데이터 세트에 대한 decom-tiny-YOLOv3 자체 실험
표 4K 해상도 인식 및 탐지 속도
표 LSP Dataset에 대한 CPM 알고리즘 및 BN-CPM 성능 비교
표 Batch Normalization에 따른 수렴 속도 변화
표 CPM과 CPN feature 비교
표 CPN 네트워크 구조도
표 LSP Dataset에 대한 CPN 알고리즘 성능
표 작업 부품 종류별 BN-CPM 알고리즘 및 CPN 알고리즘의 성능 비교.
표 다양한 변화를 가진 RAM과 CPU 데이터
표 쿨러 및 케이블 조인트별 정확도 비교
표 쿨러 부품의 핵심 포인트 검출 실패 케이스
표 케이블 부품의 핵심 포인트 검출 실패 케이스
표 각 네트워크의 FLOPS와 가중치의 수 비교 표
표 CPM 알고리즘 CPN 알고리즘의 성능 비교.
표 각 부품별 핵심 포인트 인식 결과 예시
표 부품별 기준거리 기준 핵심 포인트
표 작업 부품 종류별 Decom-CPN 알고리즘의 핵심 포인트 위치 오차 평균 비교.
표 작업 부품 종류별 Decom-CPN 알고리즘의 핵심 포인트 탐지 속도 성능
표 Bi-directional Deep LSTM + Feedforward NN 구조
표 5층의 Regularized Deep LSTM (LSTM-5) 과 Bi-directional Deep LSTM (Bi-LSTM) 의 행동 패턴별 인식 정확도와 mAP
표 LSTM-5 과 Bi-LSTM 의 부품 조립 패턴별 인식 정확도와 mAP
표 Batch-Normalized LSTM (BN-LSTM) 의 모식도 및 수식
표 LSTM-5와 5층의 Deep BN-LSTM (BN-LSTM-5) 의 Penn Action Dataset에 대한 행동 패턴별 인식 정확도와 mAP
표 (좌측) Penn Action Dataset에 대한 iteration 에 따른 test accuracy 의 변화 (우측) Sequential MNIST dataset에 대한 각 알고리즘의 iteration 에 따른 test accuracy 의 변화
표 LSTM-5 과 BN-LSTM-3 의 부품 조립 패턴별 인식 정확도와 mAP
표 Bi-directional BN-LSTM 에 Auxiliary classifier를 추가한 네트워크 구조
표 5층의 Regularized Deep LSTM과 Bi-BN-LSTM-Aux 구조의 Penn Action Dataset에 대한 행동 패턴별 인식률과 mAP
표 LSTM-5 과 Bi-BN-LSTM-Aux 의 부품 조립 패턴별 인식 정확도와 mAP
표 Penn Action dataset (좌측) 및 조립 작업 패턴 dataset (우측) 에 대한 학습 과정에서의 iteration 에 따른 각 알고리즘별 test accuracy의 변화
표 부품 조립 패턴 데이터에 대한 2차년도 계획 대비 1차년도 제안 알고리즘 및 2차년도 제안 알고리즘의 작업 패턴별 인식률 비교
표 1차년도 제안 알고리즘 (LSTM-5) 의 작업 패턴 인식 실패 사례 및 동일 데이터에 대한 2차년도 제안 알고리즘 (Bi-BN-LSTM-Aux) 의 작업 패턴 인식 성공사례
표 Long-take 촬영 영상에서의 2차년도 계획 대비 1차년도 알고리즘 및 2차년도 제안 알고리즘의 행동 시퀀스 일치율 실험
표 Long-take 촬영 영상의 행동 패턴 시퀀스의 Ground Truth (상단 막대) 와 2차년도 제안 알고리즘의 행동 예측 시퀀스 (하단 막대) 비교 예시. (흰 구간은 Action이 발생하지 않는 구간)
표 3차년도 정량적 목표
표 연속 작업 패턴 데이터의 구성 예시
표 변경된 케이블 라벨링
표 세부목표를 순차적으로 수행하는 통합 알고리즘 모식도
표 통합 알고리즘에서의 1세부 알고리즘 실행 결과. (빨간 점선: False Positive 사례.)
표 1세부 알고리즘 결과에 최상위 Confidence score를 지닌 객체만으로 필터링한 결과 영상
표 Decomposed CPN 알고리즘의 케이블 핵심위치 인식 실패 사례. 우측 영상은 핵심위치 1, 2의 핵심위치 확률 분포. 핵심위치 1의 경우 양 끝단을 모두 핵심위치 후보로 보고 양 끝단에 모두 높은 확률을 부여하고 있음
표 스킵 코드를 이용한 효율적 객체검출 방법
표 조립부품 데이터 세트에 대한 통합 객체검출 모델의 실험 결과
표 50% 가림 데이터 세트에 대한 인식 및 탐지 정확도
표 50% 가림 데이터 세트에 대한 통합 객체검출 모델의 실험 결과
표 조립부품 데이터 세트에 대한 위치 정확도
표 핵심포인트 안정화 알고리즘의 다이어그램
표 핵심포인트 안정화를 위한 알고리즘의 예시
표 양방향 메시지 패싱 기반 네트워크 구조
표 CPN/ Message-CPN 계산 복잡도 비교
표 데이터 세트 설계 차이 비교
표 스파스 스킵 코드 신호 적용 예시
표 작업 부품 종류별 제안 알고리즘의 핵심 포인트 인식 정확도 비교
표 부품별 기준거리 기준 핵심 포인트
표 작업 부품 종류별 제안 알고리즘의 핵심 포인트 위치 오차 평균 비교
표 작업 부품 종류별 제안 알고리즘의 핵심 포인트 탐지 속도 성능
표 통합 작업패턴 인식 모델
표 스킵 신호를 활용한 작업 및 비 작업 구간 구분
표 조립부품 비디오 데이터에 대한 통합 작업패턴 인식 정확도
표 조립부품 비디오 데이터에 대한 작업패턴 Sequence 일치율
표 전체 프로그램 구성도
표 main.py 실행 화면 예시
표 main,py 함수 설명 및 구조도
표 analysis.py 실행 결과 예시
표 3차년도 정량적 목표 항목
표 3차년도 속도 관련 항목의 목표 GPU 요구 성능 환산 결과
표 지능형 로봇의 팔 및 팔목의 움직임에 대한 행동 단위의 예시

과제명(ProjectTitle) :	-
연구책임자(Manager) :	-
과제기간(DetailSeriesProject) :	-
총연구비 (DetailSeriesProject) :	-
키워드(keyword) :	-
과제수행기간(LeadAgency) :	-
연구목표(Goal) :	-
연구내용(Abstract) :	-
기대효과(Effect) :	-

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 제목(한글), 저자명(한글), 발행일자, 전자원문, 초록(한글), 초록(영문) 관리번호, 제목(한글), 제목(영문), 저자명(한글), 저자명(영문), 주관연구기관(한글), 주관연구기관(영문), 발행일자, 총페이지수, 주관부처명, 과제시작일, 보고서번호, 과제종료일, 주제분류, 키워드(한글), 전자원문, 키워드(영문), 입수제어번호, 초록(한글), 초록(영문), 목차
저장형식	Text(ASCII format) Excel format
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

제조용 산업로봇의 실시간 부품 조립을 위한 고화질 영상기반 LSTM 네트워크 딥러닝 작업패턴 인식 알고리즘 개발 원문보기

초록 ▼

목차 Contents

표/그림 (162)

표/그림 (162)

참고문헌 (25)

연구과제 타임라인

관련 콘텐츠

원문 보기

이 보고서와 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

제조용 산업로봇의 실시간 부품 조립을 위한 고화질 영상기반 LSTM 네트워크 딥러닝 작업패턴 인식 알고리즘 개발 원문보기

초록 ▼

목차 Contents

표/그림 (162) 모든 표/그림 보기

표/그림 (162) 슬라이드로 보기

참고문헌 (25)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

이 보고서와 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

표/그림 (162)

표/그림 (162)