선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 벽면 이동로봇에 고성능 Embedded Software Platform과 Webcam을 탑재한 지능 로봇의 머신러닝을 통한 벽면 균열 검출을 목표로 연구가 수행되었다. 과거뿐 아니라 현재에도 많은 벽면의 균열을 탐지하고 보수하는 작업이 사람에 의해 직접 수행되고 있지만, 대부분의 검사 및 보수작업에서 위험성이 따르고 효율성이 부족하기 때문에 이 점들을 고려하여 연구를 진행하였다.
- 이동방식에 있어서는 위치인식과 기동성을 고려해 Encoder Motor를 이용한 바퀴이동방식을 채택하였다. 특히 본 논문은 머신러닝에 특화된 고성능 Embedded Software Platform인 Jetson TX2를 이용하여 영상처리 및 머신러닝을 로봇 내에서 구현하여 균열을 검출하고 이에 대한 위치와 영상을 서버로 전송하는 방법을 연구하였다.
제안 방법
- MCU는 초음파 센서를 통해 주행을 제어하고 Encoder Motor로 위치를 추정하여 Jetson TX2에 전송하도록 구성한다. ‘벽면 이동을 위한 지능형 로봇’ 논문[10]을 참고하여 MCU에 BLDC모터와 압력센서 또한 연결하여 Chamber 내부의 압력을 측정한뒤, 상황에 맞게 BLDC모터를 제어하여 흡착세기를 조절하도록 설계하였다. [Fig.
- MCU와 Jetson TX2는 UART module을 통해 연결하여 위치 정보와 센서에서 얻은 정보로 주변 환경에 대하여 통신을 하도록 구성하고 Jetson TX2와 서버(관리자 장치)는 소켓 통신 기반 연결망(Wi-Fi, Wi-Fi Direct 등)으로 연결하여 관리자에게 필요한 정보를 전송하도록 하였다.
- 결과적으로 두 알고리즘 모두 눈에 잘 띄는 두꺼운 Crack은 잘 검출되었고 아주 얇은 Crack도 두꺼운 Crack만큼은 아니지만 대체적으로 잘 검출되었다. YOLO로 구현한 Crack Detection은 벽에 존재하는 낙서나 이물질도 Crack으로 분류하였다. 그러나 모든 낙서나 이물질 등을 Crack으로 분류하진 않았고 영상의 밝기나 객체의 형태나 크기에 영향을 받아 특정 객체만 오검출 되었다.
- 본 논문에서는 벽면 이동로봇에 고성능 Embedded Software Platform과 Webcam을 탑재한 지능 로봇의 머신러닝을 통한 벽면 균열 검출을 목표로 연구가 수행되었다. 과거뿐 아니라 현재에도 많은 벽면의 균열을 탐지하고 보수하는 작업이 사람에 의해 직접 수행되고 있지만, 대부분의 검사 및 보수작업에서 위험성이 따르고 효율성이 부족하기 때문에 이 점들을 고려하여 연구를 진행하였다.
- 균열의 위치는 Encoder Motor와 IMU를 이용하여 초기 위치에 대한 상대적인 로봇의 위치를 통해 추정[9]한다. 로봇의 위치는 Encoder Motor의 Hall Sensor의 Pulse를 이용하여 이동거리를 계산하고 IMU에서 얻은 이동거리를 Kalman filter를 통해 오차를 보정한다.
- CNN(Convolutional Neural Network)를 이용한 머신러닝을 구현하기 위해 이에 최적화된 고성능 임베디드 플렛폼인 NVIDIA사의 ‘Jetson TX2’를 사용하였으며 부피 및 무게의 적합성을 고려하여 기존 NVIDIA사에서 제공하는 Develop Board를 이용하지 않고 ConnectTech사에서 제공하는 Custom Board인 Orbitty Carrier Board를 이용하였다. 로봇의 본체에 Webcam을 벽면과 마주보는 상태로 설치하고 Jetson TX2와 연결하여 한 벽면의 모든 부분을 돌아다니며 균열 검출 임무를 수행한다.
- 3]과 같다. 본 논문에서는, AlexeyAB의 Yolo_Mark 프로그램에 함께 구성되어있는 yolo-obj.cfg 파일의 CNN[3]구성을 이용하여 구현하였다. 먼저, 이를 Crack Detection에 적용하기 위해선 Training에 쓰일 Crack Image와 더불어 각 Image마다 Bounding Box의 좌표가 입력된 Text파일을 구성해야 한다.
- Jetson TX2는 Webcam에서 출력되는 화면을 30Frames마다 Capture하고 벽면을 왼쪽부터 차례대로 탐색하며 이동한다. 시간이 지나 벽면의 모든 부분을 탐색했다고 판단되면 벽면을 이동하며 Capture한 Image를 [Fig.2]의 구성을 통해 분석한다. 최종적으로, 균열이 있다고 판단되는 Image를 관리자 장치에 전송한다.
- 먼저, 이를 Crack Detection에 적용하기 위해선 Training에 쓰일 Crack Image와 더불어 각 Image마다 Bounding Box의 좌표가 입력된 Text파일을 구성해야 한다. 위와 같이 Dataset을 구성하고 학습을 진행하여 weights파일을 생성한 후, Jetson TX2에 Webcam을 연결하고 YOLO를 실행하면 해당 weights파일을 통해 Webcam 화면에서의 Crack을 실시간으로 검출하게 된다. 최종적으로 관리자에게 전송할 Image는 Crack이 Image의 중앙에 위치하도록 하기위해 로봇의 이동속도를 고려하여 최초 검출 후 5 Frames 뒤에 Frame을 Image파일로 Capture한 후 전송하도록 구성하였다.
- 위와 같이 Dataset을 구성하고 학습을 진행하여 weights파일을 생성한 후, Jetson TX2에 Webcam을 연결하고 YOLO를 실행하면 해당 weights파일을 통해 Webcam 화면에서의 Crack을 실시간으로 검출하게 된다. 최종적으로 관리자에게 전송할 Image는 Crack이 Image의 중앙에 위치하도록 하기위해 로봇의 이동속도를 고려하여 최초 검출 후 5 Frames 뒤에 Frame을 Image파일로 Capture한 후 전송하도록 구성하였다.
- 학습이 종료된 후, Webcam의 영상을 이용하여 실험을 진행하였다. ‘Young-Jin Cha & Wooram Choi’의 알고리즘은 30Frames당 한번씩 Webcam의 영상을 Image로 저장하여 연산하였고 YOLO 알고리즘은 실시간 탐지로 6.
대상 데이터
- CNN(Convolutional Neural Network)를 이용한 머신러닝을 구현하기 위해 이에 최적화된 고성능 임베디드 플렛폼인 NVIDIA사의 ‘Jetson TX2’를 사용하였으며 부피 및 무게의 적합성을 고려하여 기존 NVIDIA사에서 제공하는 Develop Board를 이용하지 않고 ConnectTech사에서 제공하는 Custom Board인 Orbitty Carrier Board를 이용하였다. 로봇의 본체에 Webcam을 벽면과 마주보는 상태로 설치하고 Jetson TX2와 연결하여 한 벽면의 모든 부분을 돌아다니며 균열 검출 임무를 수행한다.
- 본 논문에서 학습에 사용된 Crack Image Dataset 총 60,412장의 Image로 구성되어 있다. Crack Image는 총 11,704장이고 Training Accuracy 및 AP측정에 사용되는 Valid Image는 156장이다. Intact로 구분되는 Non-crack Image는 총 48,708장이고 이 중 Valid Image는 75장이다.
- 04를 설치하였다. Webcam은 1280*720의 HD 해상도를 가진 ‘ODROID USB-CAM 720P’를 사용하였으며 한경대학교 제1공학관 407-2호 앞 복도의 벽면 균열을 대상으로 실험을 진행하였다. Dataset Training에 사용된 Desktop의 사양은 [Table.
- 본 논문에서 학습에 사용된 Crack Image Dataset 총 60,412장의 Image로 구성되어 있다. Crack Image는 총 11,704장이고 Training Accuracy 및 AP측정에 사용되는 Valid Image는 156장이다.
- Intact로 구분되는 Non-crack Image는 총 48,708장이고 이 중 Valid Image는 75장이다. 이 때 YOLO는 1개의 Class(Crack)만 검출하도록 설계되어 있어 Non-crack Image를 제외한 11,704장의 Crack Image만 학습 및 AP분석에 이용되었다. [Table.
이론/모형
- 본 논문에서는 Young-Jin Cha & Wooram Choi의 ‘Deep Learning-Based Crack Damage Detection Using Convolutional Neural Networks’의 연구[1]를 인용하여 구현한 것과 ‘YOLO : Real time Object Detection’[2](이하 YOLO)을 사용하여 Wall Crack Detection을 구현하였다.
- 본 논문에서는 기존의 연구들에서 제안한 여러 벽면 부착방식 중, 진공 흡착 방식[4][8]을 선택하였다. 적재 하중에 유리하여 여러 부품을 탑재할 수 있고 한정된 재질의 벽에 부착하여 이동할 수 있다는 환경의존성 또한 개선할 수 있다는 이유로 선택하였다.
- 적재 하중에 유리하여 여러 부품을 탑재할 수 있고 한정된 재질의 벽에 부착하여 이동할 수 있다는 환경의존성 또한 개선할 수 있다는 이유로 선택하였다. 이동방식에 있어서는 위치인식과 기동성을 고려해 Encoder Motor를 이용한 바퀴이동방식을 채택하였다. 특히 본 논문은 머신러닝에 특화된 고성능 Embedded Software Platform인 Jetson TX2를 이용하여 영상처리 및 머신러닝을 로봇 내에서 구현하여 균열을 검출하고 이에 대한 위치와 영상을 서버로 전송하는 방법을 연구하였다.
성능/효과
- 결과적으로 두 알고리즘 모두 눈에 잘 띄는 두꺼운 Crack은 잘 검출되었고 아주 얇은 Crack도 두꺼운 Crack만큼은 아니지만 대체적으로 잘 검출되었다. YOLO로 구현한 Crack Detection은 벽에 존재하는 낙서나 이물질도 Crack으로 분류하였다.
- YOLO로 구현한 Crack Detection은 벽에 존재하는 낙서나 이물질도 Crack으로 분류하였다. 그러나 모든 낙서나 이물질 등을 Crack으로 분류하진 않았고 영상의 밝기나 객체의 형태나 크기에 영향을 받아 특정 객체만 오검출 되었다. ‘Young-Jin Cha & Wooram Choi의 알고리즘’은 Crack이 포함되지 않은 Image를 Crack으로 분류하는 결과가 다소 발생 하였다.
- 일반적인 Object Detection과 다르게, Crack은 일정한 형태가 없이 어떤 부분이 손상되었다는 것을 특징으로 분류되는 객체이기 때문에 성능 개선을 위해 이번 실험에서 사용한 Dataset보다 품질이 좋아야하고 Vision에만 의존하여 Crack을 Detection하기 보단 센서 등을 함께 이용하는 것이 더 좋은 결과를 얻을 수 있을 것 같다는 결론을 내렸다.
후속연구
- 균열을 검출하는 벽면이동로봇의 목적은 향후 시설물에 대해 위험성이 있어 보수가 필요한 Crack을 찾는 것이기 때문에 낙서나 이물질을 Crack으로 분류하는 오검출이 발생하더라도 많은 Crack이 될 수 있는 객체들의 후보를 검출하는 것이 로봇의 임무수행 목적에 더 적합하다고 생각한다. 이러한 점들을 고려하여 향후에 Crack Detection을 위한 벽면이동로봇의 목적에 적합한 Model 성능지표에 대해 연구해서 그에 맞는 성능지표로 두 알고리즘을 비교할 필요가 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.