본 연구에서는 팩토리 작업장에 설치된 여러 종류의 멀티터치 기술 기반 센서로부터 수집된 이벤트와 데이터를 제공함으로써 작업장의 상태 감시와 이벤트 관리를 용이하게 할 수 있는 플랫폼을 개발하였다. 영상인식 기술을 활용하여 팩토리 작업장 내 사람들의 얼굴을 인식하여 작업자별 맞춤형 콘텐츠를 제공하며, 얼굴인식을 통한 개별 작업자 인증으로 콘텐츠 보안을 강화하도록 하였다. 제스처 인식을 통한 콘텐츠 제어 기능을 구축하여 작업자가 간단하게 문서를 검색할 수 있도록 하였고, 모바일 장치에서도 얼굴인식 기능을 구현하여 작업자를 위한 콘텐츠 제공이 가능하게 하였다. 본 연구의 결과를 작업장 안전, 콘텐츠 보안, 작업자 편의 등을 향상시키는데 이용할 수 있으며 향후 스마트 팩토리 구축을 위한 기반기술로 활용할 수 있다.
본 연구에서는 팩토리 작업장에 설치된 여러 종류의 멀티터치 기술 기반 센서로부터 수집된 이벤트와 데이터를 제공함으로써 작업장의 상태 감시와 이벤트 관리를 용이하게 할 수 있는 플랫폼을 개발하였다. 영상인식 기술을 활용하여 팩토리 작업장 내 사람들의 얼굴을 인식하여 작업자별 맞춤형 콘텐츠를 제공하며, 얼굴인식을 통한 개별 작업자 인증으로 콘텐츠 보안을 강화하도록 하였다. 제스처 인식을 통한 콘텐츠 제어 기능을 구축하여 작업자가 간단하게 문서를 검색할 수 있도록 하였고, 모바일 장치에서도 얼굴인식 기능을 구현하여 작업자를 위한 콘텐츠 제공이 가능하게 하였다. 본 연구의 결과를 작업장 안전, 콘텐츠 보안, 작업자 편의 등을 향상시키는데 이용할 수 있으며 향후 스마트 팩토리 구축을 위한 기반기술로 활용할 수 있다.
In this work, we developed a platform that can monitor status and manage events of factory workplaces by providing events and data collected from various types of multi-touch technology based sensors installed in the workplace. By using the image recognition technology, faces of the people in the fa...
In this work, we developed a platform that can monitor status and manage events of factory workplaces by providing events and data collected from various types of multi-touch technology based sensors installed in the workplace. By using the image recognition technology, faces of the people in the factory workplace are recognized and the customized contents for each worker are provided, and security of contents is enhanced by the authenticating an individual worker through face recognition. Contents control function through gesture recognition is constructed, so that workers can easily search documents. Also, it is possible to provide contents for workers by implementing face recognition function in mobile devices. The result of this work can be used to improve workplace safety, convenience of workers, contents security and can be utilized as a base technology for future smart factory construction.
In this work, we developed a platform that can monitor status and manage events of factory workplaces by providing events and data collected from various types of multi-touch technology based sensors installed in the workplace. By using the image recognition technology, faces of the people in the factory workplace are recognized and the customized contents for each worker are provided, and security of contents is enhanced by the authenticating an individual worker through face recognition. Contents control function through gesture recognition is constructed, so that workers can easily search documents. Also, it is possible to provide contents for workers by implementing face recognition function in mobile devices. The result of this work can be used to improve workplace safety, convenience of workers, contents security and can be utilized as a base technology for future smart factory construction.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
선진화된 스마트 팩토리 구축을 위하여 작업장의 안전 및 보안 강화가 필요하며 효율적으로 작업을 관리할 수 있는 환경이 제공되어야 한다. 본 연구에서는 멀티터치 기술과 영상인식 기술을 기반으로 중소규모 기업에서 스마트 팩토리 구축을 위해 활용할 수 있는 플랫폼을 설계하고 구축하였다. 플랫폼의 팩토리 환경을 작업장과 관리실로 구분하였는데, 작업장에는 다수의 작업자, 각종 환경 센서와 이미지 센서, 작업내용 표출 디스플레이, 얼굴인식 및 제스처 인식용 카메라와 제어기, 작업자의 모바일 기기 등이 배치된다.
제안 방법
본 연구에서는 스마트 팩토리 구축을 용이하게 해 주는 멀티터치 및 영상인식 기반 인터랙션 S/W 플랫폼을 구축하였다. 작업장 내의 리모트 터치 및 센서, 영상 정보의 디스플레이 표출을 위한 통합관제 제어 서버를 개발하였으며, 유무선 네트워크 기반 센서, 영상 정보 취득 및 전송 기술을 개발하고, 작업장 내 센서 기반 터치 알람 제어 및 통신 플랫폼을 구축하였다.
손 동작은 빠르고 변화가 큰 표현이 가능하여 제스처 인식이 쉽지 않으며 다양한 연구가 이루어지고 있다[4][5][6]. 본 연구에서는 시간에 따른 손의 위치를 큐에 저장하여 제스처 식별에 사용하는데, 미리 학습시킨 제스처 데이터와 비교하여 해당 제스처인지 판별한다. 팩토리 작업장에서 실용적으로 사용되기 위해서는 평상시의 움직임인지 제스처인지 판별하는 것이 중요한데, 본 연구에서는 50∼100개 정도의 프레임 데이터를 사용하여 제스처를 인식한다.
이러한 로직은 사용자가 최대지속시간 내에 정면을 한번이라도 바라보면 누적되었던 지속시간이 초기화되므로 유연한 얼굴추적을 가능하게 해준다. 본 연구에서는 얼굴인식 관련 오픈소스[7] 등을 활용하였는데, 표 1과 그림 7의 모듈들과 로직을 사용하여 얼굴을 검출하고 검출된 얼굴을 추적한다. 추적하는 얼굴이 카메라의 범위를 벗어나면 작업자가 작업장을 벗어났다고 판단하고 이를 적절하게 다룰 수 있도록 하였다.
본 연구에서는 영상인식 기술을 이용하여 팩토리 작업장 내에서 등록된 작업자를 식별하여 해당 작업자를 위한 콘텐츠(작업지시서 등)를 제공하고 키보드, 마우스 등의 입력장치 없이 스크린 터치 또는 제스처 인식으로 콘텐츠 표출을 제어할 수 있는 플랫폼을 설계, 구현하였다. 영상인식 플랫폼의 기본 H/W는 그림 6과 같이 터치스크린, 얼굴인식용 카메라, Kinect 센서, 제어박스(터치스크린 후면에 설치) 등으로 구성된다.
본 연구에서는 작업장을 구역 별로 분할하여 센서를 배치하여 작업장 내 상황, 작업자의 상태를 관리할 수 있게 하였다. 센서가 임계치 이상의 값을 감지하였을 때 RCU를 통해 사용자에게 알람을 전달하며 구역별 사용자인터페이스 구성으로 관리자가 각 구역의 상황을 인식하기 용이하도록 하였다.
사람의 얼굴이 검출되면 얼굴 주변 이미지를 잘라낸 뒤 얼굴인식 알고리즘을 이용하여 서버에 등록된 사용자인지 확인한다. 팩토리 환경의 얼굴인식에 사용할 수 있는 알고리즘은 Eigenfaces(PCA), Fisherfaces(LDA), SVM 등이 있는데 SVM은 인식률이 높지만 메모리를 많이 사용하는 단점이 있다.
본 연구에서는 작업장을 구역 별로 분할하여 센서를 배치하여 작업장 내 상황, 작업자의 상태를 관리할 수 있게 하였다. 센서가 임계치 이상의 값을 감지하였을 때 RCU를 통해 사용자에게 알람을 전달하며 구역별 사용자인터페이스 구성으로 관리자가 각 구역의 상황을 인식하기 용이하도록 하였다. 센서의 통합 관리를 위하여 그림 2와 같은 리모트 터치 알람 셋탑박스를 구성하였으며 Autobase와 LabView를 이용하여 그림 3과 같이 직관적이고 편리한 사용자 인터페이스를 구현하였다.
센서가 임계치 이상의 값을 감지하였을 때 RCU를 통해 사용자에게 알람을 전달하며 구역별 사용자인터페이스 구성으로 관리자가 각 구역의 상황을 인식하기 용이하도록 하였다. 센서의 통합 관리를 위하여 그림 2와 같은 리모트 터치 알람 셋탑박스를 구성하였으며 Autobase와 LabView를 이용하여 그림 3과 같이 직관적이고 편리한 사용자 인터페이스를 구현하였다.
작업장 내의 리모트 터치 및 센서, 영상 정보의 디스플레이 표출을 위한 통합관제 제어 서버를 개발하였으며, 유무선 네트워크 기반 센서, 영상 정보 취득 및 전송 기술을 개발하고, 작업장 내 센서 기반 터치 알람 제어 및 통신 플랫폼을 구축하였다. 스마트 팩토리 작업장 내의 사용자 얼굴인식 및 공정정보 관리 기술 개발을 위하여 여러 사람의 동작하는 환경을 고려하여 1인 한정 알고리즘을 개발하였으며, 작업자의 편의를 위하여 제스처 인식 기능을 구현하였다. 얼굴인식과 작업자 식별 및 인증을 통한 작업지시서 제공 기능은 고정형 디스플레이뿐만 아니라 모바일 디바이스에서도 가능하다.
플로팅 터치 기술은 오염문제를 해결할 수 있으나 작업자가 두꺼운 장갑을 착용하고 있거나 터치스크린에 가까이 있지 않은 경우 사용이 불편하다는 단점이 있다. 이를 해결하기 위한 방안으로 제스처를 이용하여 콘텐츠 표출을 제어하도록 하였고 SwipeLeft, SwipeRight, SwipeUp, SwipeDown, Circle 등의 제스처를 설계하였고 Kinect 센서[8]에서 수집된 데이터를 이용하여 제스처 인식 기능을 구축하였다. 그림 10은 터치와 제스처 인식을 이용한 인터랙션 과정이다.
현대의 생산 및 작업 시설에서는 수많은 전자 장비 및 화학 장비 등의 사용으로 다양한 변수에 의해 촉발되는 돌발적 안전사고상황에 대한 대비가 필수적이다. 이에 본 연구에서는 작업장 내 센서 별 이벤트 기반 터치 알람(touch alarm) 및 제어기능과 이미지 센서를 이용한 작업장 내 영상 취득 및 전송기술을 개발하고 화재, 침수, 야간 침입자 발생, 이상 전압, 이상 온도 등의 돌발 상황 발생을 관리하기 용이하도록 리모트 터치 알람을 통해 대비할 수 있는 센서 플랫폼을 구축하였다.
본 연구에서는 스마트 팩토리 구축을 용이하게 해 주는 멀티터치 및 영상인식 기반 인터랙션 S/W 플랫폼을 구축하였다. 작업장 내의 리모트 터치 및 센서, 영상 정보의 디스플레이 표출을 위한 통합관제 제어 서버를 개발하였으며, 유무선 네트워크 기반 센서, 영상 정보 취득 및 전송 기술을 개발하고, 작업장 내 센서 기반 터치 알람 제어 및 통신 플랫폼을 구축하였다. 스마트 팩토리 작업장 내의 사용자 얼굴인식 및 공정정보 관리 기술 개발을 위하여 여러 사람의 동작하는 환경을 고려하여 1인 한정 알고리즘을 개발하였으며, 작업자의 편의를 위하여 제스처 인식 기능을 구현하였다.
그림 4와 같이 각 센서들은 평상시에 감지 값을 RCU를 통하여 지속적으로 사용자 인터페이스에 송신한다. 특정 센서가 임계치 이상의 값을 수신하였을 때를 돌발이벤트로 설정할 수 있으며, 돌발 이벤트 발생 시 사용자인터페이스로 알람을 전달하여 작업장 사고를 미연에 예방하도록 한다.
팩토리 작업장에서 실용적으로 사용되기 위해서는 평상시의 움직임인지 제스처인지 판별하는 것이 중요한데, 본 연구에서는 50∼100개 정도의 프레임 데이터를 사용하여 제스처를 인식한다.
성능/효과
제스처 인식을 위해 사용되는 Kinect 센서는 인체의 관절로 구분해서 데이터를 제공하는데, 머리, 어깨, 팔꿈치, 손목, 무릎 등 총 20개의 요소로 구성된다. 본 연구에서는 손을 이용한 제스처만 구현하였는데 다른 부위의 제스처로 간단하게 확장이 가능하다. 손 동작은 빠르고 변화가 큰 표현이 가능하여 제스처 인식이 쉽지 않으며 다양한 연구가 이루어지고 있다[4][5][6].
팩토리 환경의 얼굴인식에 사용할 수 있는 알고리즘은 Eigenfaces(PCA), Fisherfaces(LDA), SVM 등이 있는데 SVM은 인식률이 높지만 메모리를 많이 사용하는 단점이 있다. 작업장 환경에서 실험한 결과 Eigenfaces 방식과 Fisherfaces 방식 두 가지 모두 높은 인식률을 보여주었다.
후속연구
얼굴인식과 작업자 식별 및 인증을 통한 작업지시서 제공 기능은 고정형 디스플레이뿐만 아니라 모바일 디바이스에서도 가능하다. 이 플랫폼을 활용하여 팩토리 작업 환경을 선진화하고 작업장 안전, 콘텐츠 보안, 작업자의 편의 등을 향상시킬 수 있으며 향후 스마트 팩토리를 구축을 위한 기반기술로 사용할 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
일본 소니사의 플로팅 터치(floating touch) 방식의 문제점은 무엇인가?
일본의 소니사에서는 비접촉으로 약 1∼2cm 거리를 두고 터치와 같은 기능을 하는 기능의 플로팅 터치(floating touch) 방식을 개발하였다. 패널을 보호하고 오염물에 대한 방지가 가능하나, 아직까지는 대형화가 어렵고 다중 터치 구현이 어려운 실정이다[2].
플로팅 터치 기술의 단점은 무엇인가?
그러나 접촉식 터치가 필요한 터치스크린은 정보 입력방식이나 오염문제, 위생문제가 있어 다수의 작업자가 사용하는 환경에 적절하지 않은 부분이 있다. 플로팅 터치 기술은 오염문제를 해결할 수 있으나 작업자가 두꺼운 장갑을 착용하고 있거나 터치스크린에 가까이 있지 않은 경우 사용이 불편하다는 단점이 있다. 이를 해결하기 위한 방안으로 제스처를 이용하여 콘텐츠 표출을 제어하도록 하였고 SwipeLeft, SwipeRight, SwipeUp, SwipeDown, Circle 등의 제스처를 설계하였고 Kinect 센서[8]에서 수집된 데이터를 이용하여 제스처 인식 기능을 구축하였다.
팩토리 환경의 얼굴인식에서 SVM 알고리즘의 단점은 무엇인가?
사람의 얼굴이 검출되면 얼굴 주변 이미지를 잘라낸 뒤 얼굴인식 알고리즘을 이용하여 서버에 등록된 사용자인지 확인한다. 팩토리 환경의 얼굴인식에 사용할 수 있는 알고리즘은 Eigenfaces(PCA), Fisherfaces(LDA), SVM 등이 있는데 SVM은 인식률이 높지만 메모리를 많이 사용하는 단점이 있다. 작업장 환경에서 실험한 결과 Eigenfaces 방식과 Fisherfaces 방식 두 가지 모두 높은 인식률을 보여주었다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.