[논문]Unity 3D 기반 깊이 영상을 활용한 공장 안전 제어 시스템에 대한 연구

조성현; 정인호; 고동범; 박정민

doi:10.7583/jkgs.2020.20.3.85

Unity 3D 기반 깊이 영상을 활용한 공장 안전 제어 시스템에 대한 연구
A Study on the System for Controlling Factory Safety based on Unity 3D 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.20 no.3, 2020년, pp.85 - 94

조성현 (경북대학교 전자공학부) , 정인호 (한국산업기술대학교 전자공학부) , 고동범 (한국산업기술대학교 스마트팩토리융합학과) , 박정민 (한국산업기술대학교 컴퓨터공학부)

초록
AI-Helper

작업자-로봇 간 협업은 다품종 소량생산 기반의 스마트팩토리에서 중요한 요소가 된다. 기존 제조 공장을 스마트화하기 위해 AI 기반의 기술이 도입되고 있지만 이 경우 단기적 생산성 향상에 그친다. 이를 해결하기 위한 협업 지성은 인간의 팀워크, 창의력 등과 AI의 속도, 정확성 등이 결합되어 서로의 단점을 적극적으로 보완 할 수 있다. 그러나 현재 자동화설비는 돌발사태 발생 시 재해강도가 높기 때문에 안전대책이 요구된다. 따라서 본 논문에서는 깊이 영상 카메라를 이용하여 작업자 및 설비를 가상 세계에 구현하고, 시뮬레이션을 통해 작업자의 안전을 판별하는 공장 안전 제어 시스템을 설계하고 구현한다.

Abstract ▼ AI-Helper

AI-based smart factory technologies are only increase short-term productivity. To solve this problem, collaborative intelligence combines human teamwork, creativity, AI speed, and accuracy to actively compensate for each other's shortcomings. However, current automation equipmens require high safety measures due to the high disaster intensity in the event of an accident. In this paper, we design and implement a factory safety control system that uses a depth camera to implement workers and facilities in the virtual world and to determine the safety of workers through simulation.

주제어

표/그림 (9)

그림 [Fig. 1] Process of the system for controlling factory safety
그림 [Fig. 2] Modeling of process model using blender
그림 [Fig. 3] Process model and avatar generated on the simulator
그림 [Fig. 4] Architecture of safety control system for factory
그림 [Fig. 5] Scenarios of Factory Safety Control System
그림 [Fig. 6] The Situation of the collision and the non-collision between the detecting model and the virtual model
그림 [Fig. 7] Coordinates of the end-effects according to the process
그림 [Fig. 8] Collision of robotic arm and avatar
그림 [Fig. 9] Performance between Angle of Camera and Worker

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이러한 단점은 깊이 영상 센서를 이용하여 가상공간에서 미리 시뮬레이션 함으로써 해결될 수 있다. 따라서 본 논문에서는 Unity3D 엔진을 활용해 작업자와 로봇의 협업관계에서사이버-물리 시스템을 적용한 공장 안전 제어 시스템을 제안하고 구현한다. 이를 통해 사전에 사고를 예상하여 보다 안전하게 협업이 가능한 사이버-물리 시스템 기반의 시뮬레이션을 제공하고, 공정프로세스를 모니터링 한다.
가상공간에서 공정 모델과 아바타를 모니터링 및 제어하며, 공정 프로세스에 따라 시뮬레이션을 한다. 이 작업 과정에서 발생하는 공정 모델과 아바타의 충돌 여부를 확인한다.

가설 설정

b) Simulation Module: 시뮬레이션 모듈은 가상의 객체들을 공정 프로세스의 순서에 따라 명령대로 제어한다. 제어에 따라 결과 및 공정 상태를 다른 모듈들에게 전달한다.

제안 방법

본 장에서는 공장 안전 제어 시스템의 데모를 소개하고 1) 작업자 감지 및 인식, 2) 작업자와 공정 모델 간의 충돌 시뮬레이션, 3) 실제 환경의 공정 모델 작동의 3단계 프로세스로 데모 및 실험을 진행한다. 실험을 위해 공정에서 작업하는 6축 로봇 팔 및 제어기를 제작하고 작업자를 인식하기 위한 센서로 RGB-D 카메라를 사용한다.
본 논문에서는 인간과 로봇의 협업 관계에서 물리적 접촉을 최소화하기 위한 사이버-물리 시스템기반으로 공장 안전 제어를 위한 1) 형상 인지(Shape Recognition), 2) 모델 가상화(Model Virtualization), 3) 시뮬레이션(Simulation), 4) 가동 및 시각화(Run & Visualizing)의 단계를 제안하였다. Unity 3D 엔진을 기반으로 사이버-물리 시스템을 구현하였으며 제안 사항을 통해 비전 센서를 기반으로 작업자와 동일한 아바타와 공정모델 간의 충돌 상태를 확인 할 수 있었다.
가상 시뮬레이터 결과에 따라 물리 환경의 제어기에 명령을 내려 공정 모델을 제어한다. 충돌이 발생한 경우 제어기에 중단 명령을 내린다.
가상 시뮬레이터에서 공정 프로세스를 시뮬레이션하기 위해 실제 공장 환경과 동일한 가상공간환경을 디자인하고 공정 프로세스에 필요한 공정모델 가상공간에 복제한다. [Fig.
이에 따른 인간-로봇간의 충돌사고에 대한 연구가 진행되고 있으나, 최근 연구는 사후충돌에 대해 중점을 두고 있어 충돌회피를 보장하지 않는다. 따라서 본 절에서는 공장 설비 환경에서 깊이 카메라를 이용한 작업자 인식을 통해 미리 시뮬레이션 하도록 하며, 설비 공정에서 발생할 수 있는 작업자와 공정모델 간의 충돌을 미연에 방지하는 프로세스 4단계를 설명한다. [Fig.
시뮬레이터에서 공정 프로세스를 실행하기 위한작업자를 인식, 영상 처리하는 역할을 한다. 또한 센서의 미들웨어로부터 전달받은 데이터를 통해 가상의 아바타를 생성 및 초기화한다.
먼저 작업자와 공정 모델이 나란히 작업하는 공정 프로세스를 기반으로 깊이 카메라를 통해 작업자를 감지 및 인식한다. 인식된 작업자는 가상 시뮬레이터에 아바타로 생성되며, 작업자의 행동과 동일하게 아바타가 움직이도록 한다.
제조업이 발전함에 따라 로봇의 작업 공간을 작업자와 공유하면서 인간-로봇 협업(HRC) 및 로봇의 충돌이 중요한 이슈가 되고 있다. 본 장에서는 사이버-물리 시스템 기반의 시뮬레이션에 필요한 기본 기술 및 개념인 인간-로봇 협업(HRC), 로봇의 충돌(Robot Collision), 사이버-물리 시스템(CPS)에 대해 알아본다.
또한 가상 시스템과 물리 시스템은 휴먼 디텍터(Human Detector), 시뮬레이터(Simulator), 제어기(Controller)로 나뉜다. 센서에서 전달받은 비디오 데이터를 통해 휴먼 디텍터로 작업자를 인식하고 시뮬레이터를 통해 설비를 가상공간에서 시뮬레이션을 한다. 이후 시뮬레이션 결과를 가지고 제어기에서 공정 모델을 작동시키는 구조를 가진다.
가상 시뮬레이터는 실험 환경과 동일하게 가상공간을 구축하고 실제 환경과 최대한 동기화한다. 시뮬레이터에서는 가상의 공정 프로세스를 생성하여 공정 모델을 제어할 수 있으며, 사용자에게 공정 프로세스의 상태나 로그를 가시화한다. [Fig.
공정 모델이 작업 도중 작업자와의 충돌을 미리 감지하기 위해서는 시뮬레이터의 충돌을 인식하고 실제 설비의 작동을 정지시켜야 한다. 이러한 공정프로세스 과정에서 로봇팔 종단부의 궤적과 충돌좌표를 측정한다. 다음은 Pick-Place 과정에서 로봇과 작업자 간의 충돌이 발생한 경우 충돌된 지점과 로봇 종단부의 궤적을 보여주는 그래프이다.
따라서 본 논문에서는 Unity3D 엔진을 활용해 작업자와 로봇의 협업관계에서사이버-물리 시스템을 적용한 공장 안전 제어 시스템을 제안하고 구현한다. 이를 통해 사전에 사고를 예상하여 보다 안전하게 협업이 가능한 사이버-물리 시스템 기반의 시뮬레이션을 제공하고, 공정프로세스를 모니터링 한다.
작업자와 공정 모델이 함께 작업하는 공정 프로세스를 선택하여 시뮬레이터에서 시간 및 로봇 팔각 축의 3차원 좌표, 로봇 팔의 말단 장치(End-effector)의 위치를 측정한다. [Fig.
제안 방법론으로 총 4단계로 1) 형상 인지(Shape Recognition), 2) 모델 가상화(Model Virtualization), 3) 시뮬레이션(Simulation), 4) 가동 및 시각화(Run & Visualizing) 단계를 수행한다. 제안사항을 통해 사이버-물리 시스템 기반으로 실제 공장 환경을 가상화하여 가상환경 및 객체를 구현하고 공정 프로세스를 모니터링 및 제어할 수 있도록 한다. 제안 방법론의 사례 연구로써 공정프로세스를 충돌과 비충돌로 나누어 데이터를 수집한다.

대상 데이터

제안 방법론의 사례 연구로써 공정프로세스를 충돌과 비충돌로 나누어 데이터를 수집한다. 공정 모델로는 공장에서 많이 사용되는 6축 로봇 팔을 이용해 프로세스를 실행하였으며, 공정시나리오에 따른 데이터를 수집하고 분석한다.
본 장에서는 공장 안전 제어 시스템의 데모를 소개하고 1) 작업자 감지 및 인식, 2) 작업자와 공정 모델 간의 충돌 시뮬레이션, 3) 실제 환경의 공정 모델 작동의 3단계 프로세스로 데모 및 실험을 진행한다. 실험을 위해 공정에서 작업하는 6축 로봇 팔 및 제어기를 제작하고 작업자를 인식하기 위한 센서로 RGB-D 카메라를 사용한다.
제안사항을 통해 사이버-물리 시스템 기반으로 실제 공장 환경을 가상화하여 가상환경 및 객체를 구현하고 공정 프로세스를 모니터링 및 제어할 수 있도록 한다. 제안 방법론의 사례 연구로써 공정프로세스를 충돌과 비충돌로 나누어 데이터를 수집한다. 공정 모델로는 공장에서 많이 사용되는 6축 로봇 팔을 이용해 프로세스를 실행하였으며, 공정시나리오에 따른 데이터를 수집하고 분석한다.

성능/효과

본 논문에서는 인간과 로봇의 협업 관계에서 물리적 접촉을 최소화하기 위한 사이버-물리 시스템기반으로 공장 안전 제어를 위한 1) 형상 인지(Shape Recognition), 2) 모델 가상화(Model Virtualization), 3) 시뮬레이션(Simulation), 4) 가동 및 시각화(Run & Visualizing)의 단계를 제안하였다. Unity 3D 엔진을 기반으로 사이버-물리 시스템을 구현하였으며 제안 사항을 통해 비전 센서를 기반으로 작업자와 동일한 아바타와 공정모델 간의 충돌 상태를 확인 할 수 있었다. 사이버-물리 시스템 관점에서 제조설비를 정확하게 모니터링하기 위해서는 실시간 및 고 신뢰성을 위한 작업자의 데이터 수집이 중요한 요소가 된다.
b) Feedback Module: 피드백 모듈은 실제 공정모델의 가상 시뮬레이터의 오차를 줄이고자 동기화작업을 수행하고 공정 프로세스의 시간 차이를 줄인다.
b) Skeleton Detection Module: 관절 인식 모듈은 전달받은 각 관절별 인덱스와 위치를 통해 3차원 골격을 생성하며, 필터를 사용하여 3차원 골격이 실제 작업자와 생기는 오차를 줄인다. 또한 생성한 골격의 객체 및 영상을 제공한다.
카메라의 위치는 작업자와 수평이 되도록 위치하는 것이 가장 인식률이 좋다. 본 논문에서는 가상의 공정 설비 환경과 프로세스에 대한 시뮬레이션을 실시했지만, 연구실 환경에서 구축된 로봇 팔만을 활용하여 실험을 수행했기 때문에 실제 산업용 로봇에 적용 시 오차가 발생할 수 있다. 따라서 실제 공장 환경에서 적용 할 수 있도록 후속 연구를 진행할 필요가 있다.

후속연구

또한 본 논문에서는 충돌을 위해 가상의 충돌 시나리오를 사용했기 때문에 실제 충돌 발생하는 데이터를 통한 검증이 필요하다. 따라서 실시간 공정을 구현하기 위한 사이버-물리 시스템 및 실시간 시뮬레이션에 대한 연구를 통해 충돌 좌표를 줄일 수 있도록 차후 연구에서 다룰 예정이다.
이는 실시간 공정 시스템을 적용해 충돌회피가 아닌 충돌감지를 구현함으로써 해결될 수 있다. 또한 본 논문에서는 충돌을 위해 가상의 충돌 시나리오를 사용했기 때문에 실제 충돌 발생하는 데이터를 통한 검증이 필요하다. 따라서 실시간 공정을 구현하기 위한 사이버-물리 시스템 및 실시간 시뮬레이션에 대한 연구를 통해 충돌 좌표를 줄일 수 있도록 차후 연구에서 다룰 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	공장이 Industry 4.0 환경 전환을 실시할 때 어떤 시스템이 필요로 하는가?	공장의 Industry 4.0 환경 전환에는 광역네트워크의 확장과 많은 양의 데이터 처리를 위한 컴퓨팅 객체를 결합하는 시스템을 필요로 하고 있다[2]. 이를 위해 실제 물리적 기술과 사이버 기술이 결합하는 시스템인 사이버-물리 시스템(CPS, Cyber-Physical System)의 중요성 또한 부각되고 있다[3,4].
	인간-로봇협업에 대한 기존의 로봇 충돌 연구의 한계는 무엇인가?	그러나 기존의 로봇 충돌 연구들은 작업자와 로봇 간의 충돌 토크를 제한하거나 정지시켜 충돌한 시점을 기준으로 제어하기 때문에 충돌 회피를 보장하지 않아 작업자의 안전을 확실히 보장하지 않는다는 단점이 있다. 이러한 단점은 깊이 영상 센서를 이용하여 가상공간에서 미리 시뮬레이션 함으로써 해결될 수 있다.
	사이버-물리 시스템은 무엇인가?	사이버-물리 시스템은 센서, 네트워크, 소프트웨어, 하드웨어 등 물리적 요소뿐만 아니라 사물과 연결할 수 있는 여러 요소들이 결합된 대규모 시스템이다[5].

참고문헌 (22)

T. K. Sung, "Industry 4.0: A Korea perspective," Technological Forecasting and Social Change, vol. 132, pp. 40-45, Jul. 2018.

상세보기
J. Lee, B. Bagheri, and H.-A. Kao, "A Cyber-Physical Systems architecture for Industry 4.0-based manufacturing systems," Manufacturing Letters, vol. 3, pp. 18-23, Jan. 2015.

상세보기
A. A. F. Saldivar, Y. Li, W. Chen, Z. Zhan, J. Zhang, and L. Y. Chen, "Industry 4.0 with cyber-physical integration: A design and manufacture perspective," in 2015 21st International Conference on Automation and Computing (ICAC), 2015.
B. Chen, J. Wan, L. Shu, P. Li, M. Mukherjee, and B. Yin, "Smart Factory of Industry 4.0: Key Technologies, Application Case, and Challenges," IEEE Access, vol. 6, pp. 6505-6519, 2018.

상세보기
L. Monostori et al., "Cyber-physical systems in manufacturing," CIRP Annals, vol. 65, no. 2, pp. 621-641, 2016.

상세보기
Q. Min, Y. Lu, Z. Liu, C. Su, and B. Wang, "Machine Learning based Digital Twin Framework for Production Optimization in Petrochemical Industry," International Journal of Information Management, vol. 49, pp. 502-519, Dec. 2019.

상세보기
M. H. Cintuglu, O. A. Mohammed, K. Akkaya, and A. S. Uluagac, "A Survey on Smart Grid Cyber-Physical System Testbeds," IEEE Communications Surveys & Tutorials, vol. 19, no. 1, pp. 446-464, 2017.

상세보기
S. Robla, J. R. Llata, C. Torre-Ferrero, E. G. Sarabia, V. Becerra, and J. Perez-Oria, "Visual sensor fusion for active security in robotic industrial environments," EURASIP Journal on Advances in Signal Processing, vol. 2014, no. 1, Jun. 2014.

상세보기
S. Robla-Gomez, V. M. Becerra, J. R. Llata, E. Gonzalez-Sarabia, C. Torre-Ferrero, and J. Perez-Oria, "Working Together: A Review on Safe Human-Robot Collaboration in Industrial Environments," IEEE Access, vol. 5, pp. 26754-26773, 2017.

상세보기
L. Wang et al., "Symbiotic human-robot collaborative assembly," CIRP Annals, vol. 68, no. 2, pp. 701-726, 2019.

상세보기
H. Liu and L. Wang, "Remote human-robot collaboration: A cyber-physical system application for hazard manufacturing environment," Journal of Manufacturing Systems, vol. 54, pp. 24-34, Jan. 2020.

상세보기
A. De Santis, B. Siciliano, A. De Luca, and A. Bicchi, "An atlas of physical human-robot interaction," Mechanism and Machine Theory, vol. 43, no. 3, pp. 253-270, Mar. 2008.

상세보기
S. Haddadin, A. De Luca, and A. Albu-Schaffer, "Robot Collisions: A Survey on Detection, Isolation, and Identification," IEEE Transactions on Robotics, vol. 33, no. 6, pp. 1292-1312, Dec. 2017.

상세보기
J. Vorndamme, M. Schappler, and S. Haddadin, "Collision detection, isolation and identification for humanoids," in 2017 IEEE International Conference on Robotics and Automation (ICRA), 2017.
P. Aivaliotis, S. Aivaliotis, C. Gkournelos, K. Kokkalis, G. Michalos, and S. Makris, "Power and force limiting on industrial robots for human-robot collaboration," Robotics and Computer-Integrated Manufacturing, vol. 59, pp. 346-360, Oct. 2019.

상세보기
Y. J. Heo, D. Kim, W. Lee, H. Kim, J. Park, and W. K. Chung, "Collision Detection for Industrial Collaborative Robots: A Deep Learning Approach," IEEE Robotics and Automation Letters, vol. 4, no. 2, pp. 740-746, Apr. 2019.

상세보기
M. K. Lee, K. P. Tang, J. Forlizzi and S. Kiesler, "Understanding users! Perception of privacy in human-robot interaction," 2011 6th ACM/IEEE International Conference on Human-Robot Interaction (HRI), 2011, pp. 181-182.
D. I. Park, C. Park, and J.-H. Kyung, "Design and analysis of direct teaching robot for human-robot cooperation," in 2009 IEEE International Symposium on Assembly and Manufacturing, 2009.
T. Heikkila, T. Seppala, and T. Kuula, "Remote services with cyber physical robotics," in 2017 IEEE International Conference on Electro Information Technology (EIT), 2017.
D. D'Auria and F. Persia, "A Collaborative Robotic Cyber Physical System for Surgery Applications," in 2017 IEEE International Conference on Information Reuse and Integration (IRI), 2017.
L. Chen, H. Wei, and J. Ferryman, "A survey of human motion analysis using depth imagery," Pattern Recognition Letters, vol. 34, no. 15, pp. 1995-2006, Nov. 2013.

상세보기
Z. Zhang, "Microsoft Kinect Sensor and Its Effect," IEEE Multimedia, vol. 19, no. 2, pp. 4-10, Feb. 2012.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증