선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 선진화된 스마트 팩토리 구축을 위하여 작업장의 안전 및 보안 강화가 필요하며 효율적으로 작업을 관리할 수 있는 환경이 제공되어야 한다. 본 연구에서는 멀티터치 기술과 영상인식 기술을 기반으로 중소규모 기업에서 스마트 팩토리 구축을 위해 활용할 수 있는 플랫폼을 설계하고 구축하였다. 플랫폼의 팩토리 환경을 작업장과 관리실로 구분하였는데, 작업장에는 다수의 작업자, 각종 환경 센서와 이미지 센서, 작업내용 표출 디스플레이, 얼굴인식 및 제스처 인식용 카메라와 제어기, 작업자의 모바일 기기 등이 배치된다.
제안 방법
- 본 연구에서는 스마트 팩토리 구축을 용이하게 해 주는 멀티터치 및 영상인식 기반 인터랙션 S/W 플랫폼을 구축하였다. 작업장 내의 리모트 터치 및 센서, 영상 정보의 디스플레이 표출을 위한 통합관제 제어 서버를 개발하였으며, 유무선 네트워크 기반 센서, 영상 정보 취득 및 전송 기술을 개발하고, 작업장 내 센서 기반 터치 알람 제어 및 통신 플랫폼을 구축하였다.
- 손 동작은 빠르고 변화가 큰 표현이 가능하여 제스처 인식이 쉽지 않으며 다양한 연구가 이루어지고 있다[4][5][6]. 본 연구에서는 시간에 따른 손의 위치를 큐에 저장하여 제스처 식별에 사용하는데, 미리 학습시킨 제스처 데이터와 비교하여 해당 제스처인지 판별한다. 팩토리 작업장에서 실용적으로 사용되기 위해서는 평상시의 움직임인지 제스처인지 판별하는 것이 중요한데, 본 연구에서는 50∼100개 정도의 프레임 데이터를 사용하여 제스처를 인식한다.
- 이러한 로직은 사용자가 최대지속시간 내에 정면을 한번이라도 바라보면 누적되었던 지속시간이 초기화되므로 유연한 얼굴추적을 가능하게 해준다. 본 연구에서는 얼굴인식 관련 오픈소스[7] 등을 활용하였는데, 표 1과 그림 7의 모듈들과 로직을 사용하여 얼굴을 검출하고 검출된 얼굴을 추적한다. 추적하는 얼굴이 카메라의 범위를 벗어나면 작업자가 작업장을 벗어났다고 판단하고 이를 적절하게 다룰 수 있도록 하였다.
- 본 연구에서는 영상인식 기술을 이용하여 팩토리 작업장 내에서 등록된 작업자를 식별하여 해당 작업자를 위한 콘텐츠(작업지시서 등)를 제공하고 키보드, 마우스 등의 입력장치 없이 스크린 터치 또는 제스처 인식으로 콘텐츠 표출을 제어할 수 있는 플랫폼을 설계, 구현하였다. 영상인식 플랫폼의 기본 H/W는 그림 6과 같이 터치스크린, 얼굴인식용 카메라, Kinect 센서, 제어박스(터치스크린 후면에 설치) 등으로 구성된다.
- 본 연구에서는 작업장을 구역 별로 분할하여 센서를 배치하여 작업장 내 상황, 작업자의 상태를 관리할 수 있게 하였다. 센서가 임계치 이상의 값을 감지하였을 때 RCU를 통해 사용자에게 알람을 전달하며 구역별 사용자인터페이스 구성으로 관리자가 각 구역의 상황을 인식하기 용이하도록 하였다.
- 사람의 얼굴이 검출되면 얼굴 주변 이미지를 잘라낸 뒤 얼굴인식 알고리즘을 이용하여 서버에 등록된 사용자인지 확인한다. 팩토리 환경의 얼굴인식에 사용할 수 있는 알고리즘은 Eigenfaces(PCA), Fisherfaces(LDA), SVM 등이 있는데 SVM은 인식률이 높지만 메모리를 많이 사용하는 단점이 있다.
- 본 연구에서는 작업장을 구역 별로 분할하여 센서를 배치하여 작업장 내 상황, 작업자의 상태를 관리할 수 있게 하였다. 센서가 임계치 이상의 값을 감지하였을 때 RCU를 통해 사용자에게 알람을 전달하며 구역별 사용자인터페이스 구성으로 관리자가 각 구역의 상황을 인식하기 용이하도록 하였다. 센서의 통합 관리를 위하여 그림 2와 같은 리모트 터치 알람 셋탑박스를 구성하였으며 Autobase와 LabView를 이용하여 그림 3과 같이 직관적이고 편리한 사용자 인터페이스를 구현하였다.
- 센서가 임계치 이상의 값을 감지하였을 때 RCU를 통해 사용자에게 알람을 전달하며 구역별 사용자인터페이스 구성으로 관리자가 각 구역의 상황을 인식하기 용이하도록 하였다. 센서의 통합 관리를 위하여 그림 2와 같은 리모트 터치 알람 셋탑박스를 구성하였으며 Autobase와 LabView를 이용하여 그림 3과 같이 직관적이고 편리한 사용자 인터페이스를 구현하였다.
- 작업장 내의 리모트 터치 및 센서, 영상 정보의 디스플레이 표출을 위한 통합관제 제어 서버를 개발하였으며, 유무선 네트워크 기반 센서, 영상 정보 취득 및 전송 기술을 개발하고, 작업장 내 센서 기반 터치 알람 제어 및 통신 플랫폼을 구축하였다. 스마트 팩토리 작업장 내의 사용자 얼굴인식 및 공정정보 관리 기술 개발을 위하여 여러 사람의 동작하는 환경을 고려하여 1인 한정 알고리즘을 개발하였으며, 작업자의 편의를 위하여 제스처 인식 기능을 구현하였다. 얼굴인식과 작업자 식별 및 인증을 통한 작업지시서 제공 기능은 고정형 디스플레이뿐만 아니라 모바일 디바이스에서도 가능하다.
- 플로팅 터치 기술은 오염문제를 해결할 수 있으나 작업자가 두꺼운 장갑을 착용하고 있거나 터치스크린에 가까이 있지 않은 경우 사용이 불편하다는 단점이 있다. 이를 해결하기 위한 방안으로 제스처를 이용하여 콘텐츠 표출을 제어하도록 하였고 SwipeLeft, SwipeRight, SwipeUp, SwipeDown, Circle 등의 제스처를 설계하였고 Kinect 센서[8]에서 수집된 데이터를 이용하여 제스처 인식 기능을 구축하였다. 그림 10은 터치와 제스처 인식을 이용한 인터랙션 과정이다.
- 현대의 생산 및 작업 시설에서는 수많은 전자 장비 및 화학 장비 등의 사용으로 다양한 변수에 의해 촉발되는 돌발적 안전사고상황에 대한 대비가 필수적이다. 이에 본 연구에서는 작업장 내 센서 별 이벤트 기반 터치 알람(touch alarm) 및 제어기능과 이미지 센서를 이용한 작업장 내 영상 취득 및 전송기술을 개발하고 화재, 침수, 야간 침입자 발생, 이상 전압, 이상 온도 등의 돌발 상황 발생을 관리하기 용이하도록 리모트 터치 알람을 통해 대비할 수 있는 센서 플랫폼을 구축하였다.
- 본 연구에서는 스마트 팩토리 구축을 용이하게 해 주는 멀티터치 및 영상인식 기반 인터랙션 S/W 플랫폼을 구축하였다. 작업장 내의 리모트 터치 및 센서, 영상 정보의 디스플레이 표출을 위한 통합관제 제어 서버를 개발하였으며, 유무선 네트워크 기반 센서, 영상 정보 취득 및 전송 기술을 개발하고, 작업장 내 센서 기반 터치 알람 제어 및 통신 플랫폼을 구축하였다. 스마트 팩토리 작업장 내의 사용자 얼굴인식 및 공정정보 관리 기술 개발을 위하여 여러 사람의 동작하는 환경을 고려하여 1인 한정 알고리즘을 개발하였으며, 작업자의 편의를 위하여 제스처 인식 기능을 구현하였다.
- 그림 4와 같이 각 센서들은 평상시에 감지 값을 RCU를 통하여 지속적으로 사용자 인터페이스에 송신한다. 특정 센서가 임계치 이상의 값을 수신하였을 때를 돌발이벤트로 설정할 수 있으며, 돌발 이벤트 발생 시 사용자인터페이스로 알람을 전달하여 작업장 사고를 미연에 예방하도록 한다.
- 팩토리 작업장에서 실용적으로 사용되기 위해서는 평상시의 움직임인지 제스처인지 판별하는 것이 중요한데, 본 연구에서는 50∼100개 정도의 프레임 데이터를 사용하여 제스처를 인식한다.
성능/효과
- 제스처 인식을 위해 사용되는 Kinect 센서는 인체의 관절로 구분해서 데이터를 제공하는데, 머리, 어깨, 팔꿈치, 손목, 무릎 등 총 20개의 요소로 구성된다. 본 연구에서는 손을 이용한 제스처만 구현하였는데 다른 부위의 제스처로 간단하게 확장이 가능하다. 손 동작은 빠르고 변화가 큰 표현이 가능하여 제스처 인식이 쉽지 않으며 다양한 연구가 이루어지고 있다[4][5][6].
- 팩토리 환경의 얼굴인식에 사용할 수 있는 알고리즘은 Eigenfaces(PCA), Fisherfaces(LDA), SVM 등이 있는데 SVM은 인식률이 높지만 메모리를 많이 사용하는 단점이 있다. 작업장 환경에서 실험한 결과 Eigenfaces 방식과 Fisherfaces 방식 두 가지 모두 높은 인식률을 보여주었다.
후속연구
- 얼굴인식과 작업자 식별 및 인증을 통한 작업지시서 제공 기능은 고정형 디스플레이뿐만 아니라 모바일 디바이스에서도 가능하다. 이 플랫폼을 활용하여 팩토리 작업 환경을 선진화하고 작업장 안전, 콘텐츠 보안, 작업자의 편의 등을 향상시킬 수 있으며 향후 스마트 팩토리를 구축을 위한 기반기술로 사용할 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.