[논문]인공지능형 스마트공장 데이터셋 구축 방법에 관한 연구

박윤수; 이상덕; 최정훈

doi:10.7236/jiibc.2021.21.5.203

초록
AI-Helper

제조현장에서 작업자는 작업 지시서에 따라 제조 공정에 소재를 투입하고 투입 기록을 남기는 방식으로 운영해왔으나, 누락하는 경우가 많아 제품 LOT 추적이 안되는 경우가 발생하고 있었으며, 최근 스마트공장 구축으로 RFID-Tag를 활용하여 소재 투입 정보를 자동입력 하는 시스템으로 진행되고 있다. 특히, 생산라인에 투입되는 RACK에 부착된 TAG 정보를 수신하여 RACK(TAG) ID와 RACK 투입시간 데이터 분석을 통한 투입정보를 자동으로 생성토록 하여 초기 자동인식률이 97%로 양호하였으나 멀티소재 사용 RACK, TAG분실, 신규 제품 투입 이슈 등이 발생하면서 자동인식률이 계속 낮아지는 상황이다. 인공지능형 스마트공장 데이터셋 구축 방법은 자동인식률 향상과 실시간 모니터링이 가능해지므로 생산 공정의 전반에 있어 속도와 수율(정상제품 비율)을 높이는데 기여할 것으로 기대한다.

Abstract ▼ AI-Helper

At the manufacturing site, workers have been operating by inputting materials into the manufacturing process and leaving input records according to the work instructions, but product LOT tracking has been not possible due to many omissions. Recently, it is being carried out as a system to automatica...

At the manufacturing site, workers have been operating by inputting materials into the manufacturing process and leaving input records according to the work instructions, but product LOT tracking has been not possible due to many omissions. Recently, it is being carried out as a system to automatically input materials using RFID-Tag. In particular, the initial automatic recognition rate was good at 97 percent by automatically generating input information through RACK (TAG) ID and RACK input time analysis, but the automatic recognition rate continues to decrease due to multi-material RACK, TAG loss, and new product input issues. It is expected that it will contribute to increasing speed and yield (normal product ratio) in the overall production process by improving automatic recognition rate and real-time monitoring through the establishment of artificial intelligent smart factory datasets.

주제어

표/그림 (10)

그림 그림 1. 4종 객체의 동시 투입 Fig. 1. Simultaneous input of 4 types of objects
그림 그림 2. 인공지능 최적화 데이터셋 학습 계획 Fig. 2. AI-optimized dataset training plan
그림 그림 3. 데이터셋 소재 촬영 동영상 이미지 추출정보 Fig. 3. Dataset material shooting video image extraction information
그림 그림 4. 개선된 YOLOv4의 네트워크 구조 Fig. 4. Network structure of improved YOLOv4
그림 그림 5. 전체시스템 구성도 Fig. 5. Overall system configuration
그림 그림 6. 전체시스템 구성도 Fig. 6. Overall system configuration
그림 그림 7. 간소화된ㅤYOLO v4 네트워크 구조 Fig. 7. SimplifiedㅤYOLO v4 network structure
그림 그림 8. 학습용 이미지 캡쳐 데이터 Fig. 8. Image capture data for learning
그림 그림 9. 데이터셋 모니터링 관리 현황 Fig. 9. Dataset monitoring management status
표 표 1. 투입 소재 수동 KEY IN 대비 AI 자동 인식 결과 비교 Table 1. Comparison of AI automatic recognition result compared to manual KEY IN of input material

AI 본문요약
AI-Helper

문제 정의

객체를 투입할 때 투입 기록을 기록하여야 하지만 객체 정보가 누락되는 경우, 제품 LOT 추적이 안되어 진행성 불량 발생 시 대응이 어렵다. 비효율적인 업무 프로세스를 인공지능형 스마트공장 데이터셋 구축을 통해 개선하는 것이 필요하므로, 본 연구에서는 데이터셋 클라우드로 부터 객체 정보를 추출하기 위한 딥러닝 학습 데이터셋 구축을 위한 방법에 대해 연구하였다. 스마트공장데이터셋을 구축하기 위해 투입부에 카메라를 설치하고 AI(인공지능) 영상인식 기술을 활용하여 객체를 자동 인식하여 자동 계수를 할 수 있도록 하였으며, 객체가 자동 라벨링 되어 인식된 객체 정보가 MES에 자동으로 전송되면 투입되는 객체의 투입수량이 MES Database에 자동 기록되어 LOT 추적을 용이하게 할 수 있도록 하였다.

가설 설정

특히 중요한 도금공정(RACK 도금)에서 작업자가 객체 투입 이력 Key In을 누락하면 다음 품질공정에서 전산 입력 오류가 발생한다. 넷째로, 긴급 투입으로 생산 투입되는 경우 매칭이 되지 않는다. 특히 4종 객체를 동시 투입시 (그림 1)에는 작업자 입력 오류 및 RFID 노이즈 에러가 증가하여 데이터 오류가 증가한다.

제안 방법

구현 방법은 형상(엠블럼) 이미지 전처리 후 훈련 테스트 및 성늠 검증을 위한 데이터 분할 7:2:1로 Hold out 교차 검증 수행을 하고 딥러닝 분류 모델 개발(Object Detection)을 Yolo v4 모델 기반 모델 설계와 라벨링 및 바운딩 박스처리, 모델 최적화 및 재학습 계획을 수립하여 구현한다. AI 지도학습 설계 개발 시뮬레이션은 그림 6과 같다.
객체 이미지 수집 및 라벨링은 도금 소재별 이미지 2 천장 이상 데이터 수집을 하여 MES 시스템의 IP 카메라장착을 통한 비전 데이터를 수집하였다. 도금 소재별 이미지 라벨링을 통한 image id(이미지 파일), label(소재별 id) 및 Json(소재별 id와 소재명 매핑)처리를 하여 AI 이미지 분류와 예측 모델적용 및 검증을 하였으며. AI 지도학습 모델의 설계 개발에 필요한 데이터 셋 전처리 라벨링 작업과 모설 설정 및 최적화와 재학습을 YOLO v4 모델을 통하여 구현하였다.
비효율적인 업무 프로세스를 인공지능형 스마트공장 데이터셋 구축을 통해 개선하는 것이 필요하므로, 본 연구에서는 데이터셋 클라우드로 부터 객체 정보를 추출하기 위한 딥러닝 학습 데이터셋 구축을 위한 방법에 대해 연구하였다. 스마트공장데이터셋을 구축하기 위해 투입부에 카메라를 설치하고 AI(인공지능) 영상인식 기술을 활용하여 객체를 자동 인식하여 자동 계수를 할 수 있도록 하였으며, 객체가 자동 라벨링 되어 인식된 객체 정보가 MES에 자동으로 전송되면 투입되는 객체의 투입수량이 MES Database에 자동 기록되어 LOT 추적을 용이하게 할 수 있도록 하였다. 타당성 검증 및 실제 딥러닝 모델의 구현을 위해 CNN 입력 데이터 처리 및 CNN 모델을 구성하여 데이터셋 구축의 실효성을 검증하였다.
스마트공장데이터셋을 구축하기 위해 투입부에 카메라를 설치하고 AI(인공지능) 영상인식 기술을 활용하여 객체를 자동 인식하여 자동 계수를 할 수 있도록 하였으며, 객체가 자동 라벨링 되어 인식된 객체 정보가 MES에 자동으로 전송되면 투입되는 객체의 투입수량이 MES Database에 자동 기록되어 LOT 추적을 용이하게 할 수 있도록 하였다. 타당성 검증 및 실제 딥러닝 모델의 구현을 위해 CNN 입력 데이터 처리 및 CNN 모델을 구성하여 데이터셋 구축의 실효성을 검증하였다.

대상 데이터

객체 이미지 수집 및 라벨링은 도금 소재별 이미지 2 천장 이상 데이터 수집을 하여 MES 시스템의 IP 카메라장착을 통한 비전 데이터를 수집하였다. 도금 소재별 이미지 라벨링을 통한 image id(이미지 파일), label(소재별 id) 및 Json(소재별 id와 소재명 매핑)처리를 하여 AI 이미지 분류와 예측 모델적용 및 검증을 하였으며.
학습용 데이터는 소재별 2,000개 이상으로 구현하여 구축된 데이터셋을 기반으로 학습을 수행하고 학습이된 CNN 모델을 바탕으로 구축한 Dataset를 이용하여 CNN 모델을 검증하였다. 학습용 이미지 캡쳐 데이터와데이터셋 모니터링 관리 현황은 그림 8과 그림 9와 같다.

데이터처리

그림 8에서 학습용 이미지와 추가 이미지를 캡쳐 정보를 수집하여 데이터셋을 구축 하였다. 이후 그림 9에서와 같이 구성한 CNN 모델을 통해 구축된 데이터셋을 기반으로 학습을 수행하고 학습이된 CNN 모델을 바탕으로 구축한 Dataset을 이용하여 CNN 모델을 검증하였다. 최종적으로 나온 결과 값을 기존의 RFID-Tag 결과와 비교하였다.
이후 그림 9에서와 같이 구성한 CNN 모델을 통해 구축된 데이터셋을 기반으로 학습을 수행하고 학습이된 CNN 모델을 바탕으로 구축한 Dataset을 이용하여 CNN 모델을 검증하였다. 최종적으로 나온 결과 값을 기존의 RFID-Tag 결과와 비교하였다.

성능/효과

본 연구를 통해 클라우드 기반으로 객체 분류용 딥러닝의 학습 데이터셋을 구축하고, 데이터셋의 타당성을 검증하였다. 학습용 데이터셋 구축 시 사용자에 의해 수작업으로 각 객체의 종류를 파악하고 이후 객체에 라벨링 작업을 하는 동안 작업자의 오류와 물리적 시간이 많이 소요된다는 단점을 보완할 수 있는 클라우드 기반의 인공지능형 스마트공장 데이터셋 구축은 자동인식률 향상과 실시간 모니터링이 가능해지므로 생산 공정의 전반에 있어 생산효율을 높이는데 기여할 것으로 기대된다.
초기 생산정보의 실시간 수집 및 분석단계는 21% 수준이였으나, RFID-TAG를 활용한 직접 자동화 수준은 76%대로 운영이 되었다. 본 연구에서 실제 시스템을 운영하여 검증한 결과는 정확도 97% 이상으로 자동 판별이 가능함을 확인하였다. 투입 소재 수동 KEY IN 대비 AI 자동 인식 결과 비교는 표 1과 같다.

후속연구

본 연구를 통해 클라우드 기반으로 객체 분류용 딥러닝의 학습 데이터셋을 구축하고, 데이터셋의 타당성을 검증하였다. 학습용 데이터셋 구축 시 사용자에 의해 수작업으로 각 객체의 종류를 파악하고 이후 객체에 라벨링 작업을 하는 동안 작업자의 오류와 물리적 시간이 많이 소요된다는 단점을 보완할 수 있는 클라우드 기반의 인공지능형 스마트공장 데이터셋 구축은 자동인식률 향상과 실시간 모니터링이 가능해지므로 생산 공정의 전반에 있어 생산효율을 높이는데 기여할 것으로 기대된다.

참고문헌 (9)

Soonduck Yoo, "Artificial intelligence, Ecosystem, Business ecosystem", Data acquisition, Stake holders, pp. 21-27, 2020. DOI: https://doi.org/10.7236/JIIBC.2020.20.2.21

원문보기 상세보기
A. Krizhersky, I. Sutskever and G. E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks", Communications of the ACM, Vol.60, Issue 6, pp. 84-90, 2017. DOI: https://doi.org/10.1145/3065386

상세보기
K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-scale Image Recognition", International Conference on Learning Representations, 2015. DOI: https://arxiv.org/abs/1409.1556
K. He, X. Zhang, S. Ren and J. Sun, "Deep Residual Learning for Image Recognition",The IEEE Conference on Computer Vision and Pattern Recognition, PP. 770-778, 2016. DOI: 10.1109/ITNEC.2017.8284852
Sam-Keun Kim, Jae-Geun Ahn, "Tomato Crop Diseases Classification Models Using Deep CNN-based Architectures", Journal of the Korea Academia-Industrial cooperation Society Vol. 22, No. 5 pp. 7-14, 2021. DOI : http://dx.doi.org/10.14801/jkiit.2021.19.4.1

상세보기
Hyeongjun Jang, Weonil Son, Taewon Ahn, Yongki Lee, Kihong Park, "A Study on Methods for Constructing Deep Learning Training Datasets for Object Classification Using Virtual 3D Lidar Sensor", Transaction of the Korean Society of Automotive Engineers 28(6), pp.427-437, 2020. DOI : https://doi.org/10.7467/KSAE.2020.28.6.427

상세보기
Alexey Bochkovskiy, Chien-Yao Wang, Hong -Yuan Mark Liao, "YOLOv4: Optimal Speed and Accuracy of Object Detection", Computer Vision and Pattern Recognition (cs.CV); Image and Video Processing (eess.IV), 2020. DOI: https://arxiv.org/abs/2004.10934
Xufei Wang, Le Chen, Qiutan Li, Jinku Son, Xilong Ding, Jeongyoung Song, "Influence of Self-driving Data Set Partition on Detection Performance Using YOLOv4 Network", Vol. 20, No. 6, pp.157-165, Dec. 31, 2020. DOI: https://doi.org/10.7236/JIIBC.2020.20.6.157

원문보기 상세보기
Jae-Jung Kim, Chang-Bok Kim, "Implementation of Robust License Plate Recognition System using YOLO and CNN", Journal of KIIT. Vol. 19, No. 4, pp.1-9, Apr. 30, 2021. DOI: http://dx.doi.org/10.14801/jkiit.2021.19.4.1

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

인공지능형 스마트공장 데이터셋 구축 방법에 관한 연구
A Study on Establishment Method of Smart Factory Dataset for Artificial Intelligence 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (10)

표/그림 (10)

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

참고문헌 (9)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

인공지능형 스마트공장 데이터셋 구축 방법에 관한 연구 A Study on Establishment Method of Smart Factory Dataset for Artificial Intelligence 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (10) 모든 표/그림 보기

표/그림 (10) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

참고문헌 (9)

이 논문을 인용한 문헌

저자의 다른 논문 :

최정훈 (5)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

인공지능형 스마트공장 데이터셋 구축 방법에 관한 연구
A Study on Establishment Method of Smart Factory Dataset for Artificial Intelligence 원문보기

초록
AI-Helper

표/그림 (10)

표/그림 (10)

AI 본문요약
AI-Helper