선박은 크고, 복잡한 구조로 되어 있기 때문에 다른 작업자의 위치를 알아내기 어려우며, 특히 작업자가 쓰러진 경우에는 발견하기가 쉽지 않아 신속한 대처가 어렵다. 그리하여, 신체에 디바이스를 부착하는 방법이나 카메라를 이용하여 쓰러짐을 검출하기 위한 연구가 진행되고 있다. 기존의 영상기반 쓰러짐 검출은 사람의 신체부위를 검출하여 쓰러짐을 판단하였으나, 조선소에서는 다양한 복장과 자세로 작업으로 인해 검출하기가 어렵다. 본 논문에서는 쓰러짐 영역 전체를 추출하여 딥러닝 학습으로 선박 작업자의 쓰러짐을 이미지 기반으로 검출하였다. 학습에 필요한 데이터는 조선소의 건조중인 선박에서 쓰러진 모습을 연출하여 획득하였으며, 이미지를 좌우대칭, 크기조절, 회전하여 학습 데이터의 수를 증가하였다. 성능평가는 정밀도, 재현율, 정확도 그리고 오차율로 평가하였으며, 데이터의 수가 많을수록 정밀도가 향상되었다. 다양한 데이터를 보강하면 카메라를 이용한 쓰러짐 검출 모델의 실효성이 향상됨으로서 안전 분야에 기여할 수 있을 것으로 사료된다.
선박은 크고, 복잡한 구조로 되어 있기 때문에 다른 작업자의 위치를 알아내기 어려우며, 특히 작업자가 쓰러진 경우에는 발견하기가 쉽지 않아 신속한 대처가 어렵다. 그리하여, 신체에 디바이스를 부착하는 방법이나 카메라를 이용하여 쓰러짐을 검출하기 위한 연구가 진행되고 있다. 기존의 영상기반 쓰러짐 검출은 사람의 신체부위를 검출하여 쓰러짐을 판단하였으나, 조선소에서는 다양한 복장과 자세로 작업으로 인해 검출하기가 어렵다. 본 논문에서는 쓰러짐 영역 전체를 추출하여 딥러닝 학습으로 선박 작업자의 쓰러짐을 이미지 기반으로 검출하였다. 학습에 필요한 데이터는 조선소의 건조중인 선박에서 쓰러진 모습을 연출하여 획득하였으며, 이미지를 좌우대칭, 크기조절, 회전하여 학습 데이터의 수를 증가하였다. 성능평가는 정밀도, 재현율, 정확도 그리고 오차율로 평가하였으며, 데이터의 수가 많을수록 정밀도가 향상되었다. 다양한 데이터를 보강하면 카메라를 이용한 쓰러짐 검출 모델의 실효성이 향상됨으로서 안전 분야에 기여할 수 있을 것으로 사료된다.
In large ships with complex structures, it is difficult to locate workers. In particular, it is not easy to detect when a worker falls down, making it difficult to respond quickly. Thus, research is being conducted to detect fallen workers using a camera or by attaching a device to the body. Existin...
In large ships with complex structures, it is difficult to locate workers. In particular, it is not easy to detect when a worker falls down, making it difficult to respond quickly. Thus, research is being conducted to detect fallen workers using a camera or by attaching a device to the body. Existing image-based fall detection systems have been designed to detect a person's body parts; hence, it is difficult to detect them in various ships and postures. In this study, the entire fall area was extracted and deep learning was used to detect the fallen shipworker based on the image. The data necessary for learning were obtained by recording falling states at the shipyard. The amount of learning data was augmented by flipping, resizing, and rotating the image. Performance evaluation was conducted with precision, reproducibility, accuracy, and a low error rate. The larger the amount of data, the better the precision. In the future, reinforcing various data is expected to improve the effectiveness of camera-based fall detection models, and thus improve safety.
In large ships with complex structures, it is difficult to locate workers. In particular, it is not easy to detect when a worker falls down, making it difficult to respond quickly. Thus, research is being conducted to detect fallen workers using a camera or by attaching a device to the body. Existing image-based fall detection systems have been designed to detect a person's body parts; hence, it is difficult to detect them in various ships and postures. In this study, the entire fall area was extracted and deep learning was used to detect the fallen shipworker based on the image. The data necessary for learning were obtained by recording falling states at the shipyard. The amount of learning data was augmented by flipping, resizing, and rotating the image. Performance evaluation was conducted with precision, reproducibility, accuracy, and a low error rate. The larger the amount of data, the better the precision. In the future, reinforcing various data is expected to improve the effectiveness of camera-based fall detection models, and thus improve safety.
딥러닝은 검출하고자 하는 객체의 다양한 이미지를 신경망 학습을 이용해 특징을 추출하여 하나의 클래스로 생성할 수 있는 점을 이용하여, 조선소 작업자의 모습과 작업 중인 모습을 연출하여 데이터를 획득한 후 신경망 학습을 통해 클래스를 생성하여 쓰러짐을 검출하였다. 본 논문에서는 딥러닝을 이용하여 쓰러진 선박 작업자를 검출함으로서 해운산업의 안전 분야에 적용가능한지 확인하고자 한다.
하지만, 이러한 방법은 넘어지는 자세에 따라 판별하는 기준치가 다르며, 특수한 복장을 갖추는 조선소의 작업자들의 관절을 찾는 것은 어려움이 있다. 본 연구에서는 딥러닝을 이용한 객체 검출분야의 기술을 활용하여 쓰러진 선박 작업자를 검출하고 자 한다. 객체검출에 사용되고 있는 합성곱 신경망(CNN, Convolution Neural Networks)은 검출률이 계속 향상 되고 있으며, 이미지의 객체를 검출하는 2015년 ILSVRC(ImageNet Large Scale Visual Recognition Challenge) 대회에서 사람보다 정확한 알고리즘이 소개되었다(He et al.
제안 방법
본 논문에서는 합성곱 신경망인 Faster_rcnn_inception_v2을 적용하여 조선소에서 발생하는 작업자의 쓰러짐 검출을 이미지 기반으로 검출하였다. 쓰러진 이미지와 쓰러지지 않은 이미지 데이터를 획득한 후 반전, 크기변경, 회전을 통해 5가지의 학습데이터로 나누었다.
본 논문에서는 합성곱 신경망인 Faster_rcnn_inception_v2을 적용하여 조선소에서 발생하는 작업자의 쓰러짐 검출을 이미지 기반으로 검출하였다. 쓰러진 이미지와 쓰러지지 않은 이미지 데이터를 획득한 후 반전, 크기변경, 회전을 통해 5가지의 학습데이터로 나누었다. 테스트 이미지로 쓰러진 이미지와 쓰러지지 않은 이미지를 검출하여 혼동행렬로 분류한 후 정밀도, 재현율, 정확도 그리고 오차율로 성능을 평가하였다.
학습한 데이터를 기반으로 쓰러진 이미지와 쓰러지지 않은 이미지로 나누어 검출성능을 평가하였다. Table 2는 검출 성능을 평가하기 위한 혼동행렬로, 실제 쓰러진 이미지에 대해 쓰러짐으로 판별한 경우는 True Positive, 실제 쓰러진 이미지에 대해 쓰러지지 않은 것으로 판별한 경우는 False Negative, 실제 쓰러지지 않은 이미지를 쓰러짐으로 판별한 경우는 False Positive, 실제 쓰러지지 않은 이미지를 쓰러지지 않은 것으로 판별한 것은 True Negative로 정의하였다.
대상 데이터
모델 학습에서 필요한 데이터를 수집하기 위해, A 조선소의 야드와 건조중인 선박의 거주구역, 기관실, 갑판 등에서 쓰러지거나 일하고 있는 모습을 연출하여 이미지를 획득하였다. 이미지의 획득은 고정되지 않은 핸드폰 카메라를 이용하여 촬영을 하였으며, 별도의 조명은 설치하지 않았다.
조선소에서 획득한 이미지는 총 965장으로, 쓰러진 이미지는 592장이고, 쓰러지지 않은 이미지는 373장이다. 랜덤 모듈을 이용하여 7대 3의 비율로 676장의 학습이미지와 289장의 테스트 이미지로 나누었다.
데이터처리
쓰러진 이미지와 쓰러지지 않은 이미지 데이터를 획득한 후 반전, 크기변경, 회전을 통해 5가지의 학습데이터로 나누었다. 테스트 이미지로 쓰러진 이미지와 쓰러지지 않은 이미지를 검출하여 혼동행렬로 분류한 후 정밀도, 재현율, 정확도 그리고 오차율로 성능을 평가하였다. 학습 데이터의 수가 증가함에 따라 정밀도는 향상되었으나, 재현율, 정확도, 그리고 오차율은 비슷하였다.
이론/모형
본 실험에서는 복잡한 조선소 환경을 고려하여 겹치는 상황에서 정확도가 높은 Faster_RCNN과 여러 모듈을 병렬로 연결한 구조로서 다양한 응용 모델이 많은 인셉션(Inception)-V2를 적용하였다(Szegedy et al., 2016).
본 실험에서는 복잡한 조선소 환경을 고려하여 속도는 느리지만 겹치는 상황에서 정확도가 높은 Faster_RCNN과 GoogLeNet을 적용하였다(Szegedy et al., 2016). GoogLeNet은 Fig.
성능/효과
기존의 영상기반 쓰러짐 검출은 사람의 신체부위나 관절 등을 검출하여 쓰러짐을 검출하였으나, 조선소에서는 두꺼운 작업복과 안전장비, 도구 등을 소지하며 작업하고, 복잡한 배관과 장비가 섞여있어 특정 신체부위를 검출하기가 어렵다. 그리하여, 본 논문에서는 작업자의 쓰러진 영역 전체를 추출하여 학습하여 쓰러짐 검출을 한 결과, 검출 가능성을 확인하였다. 획득한 영상으로만 실험을 진행하였기 때문에 산업에 적용되는 것은 한계가 있으나, 다양한 데이터를 획득하고 다른 모델에도 적용함으로서 연구의 실효성이 향상될 수 있도록 하고자 한다.
테스트 이미지로 쓰러진 이미지와 쓰러지지 않은 이미지를 검출하여 혼동행렬로 분류한 후 정밀도, 재현율, 정확도 그리고 오차율로 성능을 평가하였다. 학습 데이터의 수가 증가함에 따라 정밀도는 향상되었으나, 재현율, 정확도, 그리고 오차율은 비슷하였다. 이는 본 실험에서 사용한 학습 데이터의 수가 부족한 것으로 판단된다.
후속연구
그리하여, 본 논문에서는 작업자의 쓰러진 영역 전체를 추출하여 학습하여 쓰러짐 검출을 한 결과, 검출 가능성을 확인하였다. 획득한 영상으로만 실험을 진행하였기 때문에 산업에 적용되는 것은 한계가 있으나, 다양한 데이터를 획득하고 다른 모델에도 적용함으로서 연구의 실효성이 향상될 수 있도록 하고자 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
자이로스코프와 가속도 센서로 쓰러짐 상태의 유무를 판단하는 것에 대한 단점은?
, 2009). 이러한 디바이스를 이용한 방법은 계속 신체에 부착하고 있어야 하는 단점이 있으므로 이를 개선하기 위해 영상기반으로 쓰러짐을 검출하는 연구가 이루어지고 있다.
선박은 작업자가 쓰러진 경우에 신속한 대처가 어려운 이유는?
선박은 크고, 복잡한 구조로 되어 있기 때문에 다른 작업자의 위치를 알아내기 어려우며, 특히 작업자가 쓰러진 경우에는 발견하기가 쉽지 않아 신속한 대처가 어렵다. 그리하여, 신체에 디바이스를 부착하는 방법이나 카메라를 이용하여 쓰러짐을 검출하기 위한 연구가 진행되고 있다.
딥러닝은 어떤 과정을 통해 쓰러짐을 검출하는가?
, 2017). 딥러닝은 검출하고자 하는 객체의 다양한 이미지를 신경망 학습을 이용해 특징을 추출하여 하나의 클래스로 생성할 수 있는 점을 이용하여, 조선소 작업자의 모습과 작업 중인 모습을 연출하여 데이터를 획득한 후 신경망 학습을 통해 클래스를 생성하여 쓰러짐을 검출하였다. 본 논문에서는 딥러닝을 이용하여 쓰러진 선박 작업자를 검출함으로서 해운산업의 안전 분야에 적용가능한지 확인하고자 한다.
참고문헌 (16)
Bian, Z. P., J. Hou, L. P. Chau, and M. T. Nadia(2015), IEEE Journal of Biomedical and Health Informatics, 19, pp. 430-439.
Cao, Z., T. Simon, S. E. Wei, and Y. Sheikh(2017), Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields, arXiv:1611.08050.
He, K., X. Zhang, S. Ren, and J. Sun(2015), Deep Residual Learning for Image Recognition, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 770-778.
Joo, M., M. Choo, Y. Baek, N. Kim, A. Choi, S. Im, J. Lee, H. Kim, and H. Lee(2018), Korea Coast Guard's Human Biological Materials Storage Project for Identifying Bodies Recovered from the Sea: A Model Suggestion, Journal of the Korean Society of Marine Environment & Safety, Vol. 24, No. 2, pp. 171-178.
KMST(2018), https://www.kmst.go.kr/.
Li, Q., J. A. Stankovic, M. Hanson, A. Barth, and J. Lach (2009), Accurate, Fast Fall Detection Using Gyroscope and Accelerometer-Derived Posture Information, In Proceedings of the 6th International Workshop on Wearable and Implantable Body Sensor Networks, pp. 138-143.
Lu, N., Y. Wu, L. Feng, and J. Song(2018), Deep Learning for Fall Detection: 3D-CNN Combined with LSTM on Video Kinematic Data, Vol. 23, No. 1, pp. 314-323.
Liu, W., D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Y. Fu, and A. C. Berg(2016), SSD: Single Shot MultiBox Detector, Proceedings of the European Conference on Computer Vision, pp. 21-37.
Mastorakis, G. and M. Dimitrios(2014), Fall detection system using Kinect's infrared sensors, Journal of Real-Time Image Processing, Vol. 9, No. 4, pp. 635-646.
Mundher, Z. A. and J. Zhong(2014), A Real_Time Fall Detection System in Elderly Care Using Mobile Robot and Kinect Sensor, International Journal of Materials, Mechanics and Manufacturing, Vol. 2, No. 2, pp. 133-138.
Park, K. M. and C. O. Bae(2019), A Study on Fire Detection in Ship Engine Rooms Using Convolutional Neural Network, Journal of the Korean Society of Marine Environment & Safety, Vol. 25, No. 4, pp. 476-481.
Redmon, J., S. Divvala, R. Girshick, and A. Farhadi(2016), You Only Look Once: Unified, Real-Time Object Detection, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 779-788.
Ren, S., K. He, R. Girshick, and J. Sun(2015), Faster R-CNN: Towards real-time object detection with region proposal networks, In Neural Information Processing Systems.
Solbach, M. D. and J. K. Tsotsos(2017), Vision-based Fallen Person Detection for the Elderly, The IEEE International Conference on Computer Vision (ICCV) workshops, pp. 1433-1422.
Szegedy, C., S. Ioffe, V. Vanhouche, and A. A. Alemi(2017), Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, Proceeding of the Thirty-First AAAI Conference on artificial Intelligence, pp. 4278-4284.
Szegedy, C., V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna (2016), Rethinking the Inception Architecture for Computer Vision, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2826.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.