조선 및 해양플랜트 산업은 복합 및 대형화됨에 따라 유지보수 및 검사 시스템이 중요해지고 있다. 최근 작업자의 작업이해도 향상과 효율을 높이기 위해 증강현실기반 유지보수 및 검사 시스템이 많이 주목받고 있는데, 증강되는 모델과 현실정보 간의 정확한 정합이 이루어지지 않아 작업에 오히려 혼동을 초래하는 일이 자주 발생한다. 이를 위하여 실모델에 특정 이미지를 부착하는 마커 기반 증강현실 기술이 사용되었으나, 조선 및 해양플랜트 산업 특성상 마커의 훼손 가능성이 있으며, 카메라가 명확히 마커 전체를 검출할 수 있어야 하기 때문에 작업자와 마커 간의 충분한 공간을 필요로 한다. 본 연구에서는 이러한 기존 증강현실 시스템의 한계점을 극복하기 위하여 마커리스 기반 증강현실을 활용하여 조선 및 해양플랜트 산업에서 가장 많은 공정을 차지하고 있는 파이프 시스템을 대상으로 정확하게 실 모델을 인식하고 해당 모델에 가상 CAD모델을 정합하는 방법론에 대해 연구하였다. 본 시스템을 통해 현실 작업자의 자세와 제한적인 환경에 따른 증강모델의 비틀림 현상을 개선하고 작업 이해에 혼동을 주는 현상을 없앨 수 있을 것으로 기대된다.
조선 및 해양플랜트 산업은 복합 및 대형화됨에 따라 유지보수 및 검사 시스템이 중요해지고 있다. 최근 작업자의 작업이해도 향상과 효율을 높이기 위해 증강현실기반 유지보수 및 검사 시스템이 많이 주목받고 있는데, 증강되는 모델과 현실정보 간의 정확한 정합이 이루어지지 않아 작업에 오히려 혼동을 초래하는 일이 자주 발생한다. 이를 위하여 실모델에 특정 이미지를 부착하는 마커 기반 증강현실 기술이 사용되었으나, 조선 및 해양플랜트 산업 특성상 마커의 훼손 가능성이 있으며, 카메라가 명확히 마커 전체를 검출할 수 있어야 하기 때문에 작업자와 마커 간의 충분한 공간을 필요로 한다. 본 연구에서는 이러한 기존 증강현실 시스템의 한계점을 극복하기 위하여 마커리스 기반 증강현실을 활용하여 조선 및 해양플랜트 산업에서 가장 많은 공정을 차지하고 있는 파이프 시스템을 대상으로 정확하게 실 모델을 인식하고 해당 모델에 가상 CAD모델을 정합하는 방법론에 대해 연구하였다. 본 시스템을 통해 현실 작업자의 자세와 제한적인 환경에 따른 증강모델의 비틀림 현상을 개선하고 작업 이해에 혼동을 주는 현상을 없앨 수 있을 것으로 기대된다.
As the shipbuilding and offshore plant industries grow larger and more complex, their maintenance and inspection systems become more important. Recently, maintenance and inspection systems based on augmented reality have been attracting much attention for improving worker's understanding of work and...
As the shipbuilding and offshore plant industries grow larger and more complex, their maintenance and inspection systems become more important. Recently, maintenance and inspection systems based on augmented reality have been attracting much attention for improving worker's understanding of work and efficiency, but it is often difficult to work with because accurate matching between the augmented model and reality information is not. To solve this problem, marker based AR technology is used to attach a specific image to the model. However, the markers get damaged due to the characteristic of the shipbuilding and offshore plant industry, and the camera needs to be able to detect the entire marker clearly, and thus requires sufficient space to exist between the operator. In order to overcome the limitations of the existing AR system, in this study, a markerless AR was adopted to accurately recognize the actual model of the pipe system that occupies the most processes in the shipbuilding and offshore plant industries. The matching methodology. Through this system, it is expected that the twist phenomenon of the augmented model according to the attitude of the real worker and the limited environment can be improved.
As the shipbuilding and offshore plant industries grow larger and more complex, their maintenance and inspection systems become more important. Recently, maintenance and inspection systems based on augmented reality have been attracting much attention for improving worker's understanding of work and efficiency, but it is often difficult to work with because accurate matching between the augmented model and reality information is not. To solve this problem, marker based AR technology is used to attach a specific image to the model. However, the markers get damaged due to the characteristic of the shipbuilding and offshore plant industry, and the camera needs to be able to detect the entire marker clearly, and thus requires sufficient space to exist between the operator. In order to overcome the limitations of the existing AR system, in this study, a markerless AR was adopted to accurately recognize the actual model of the pipe system that occupies the most processes in the shipbuilding and offshore plant industries. The matching methodology. Through this system, it is expected that the twist phenomenon of the augmented model according to the attitude of the real worker and the limited environment can be improved.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이러한 사고 발생을 최소화하고자 유지보수 및 관리 시스템에 증강현실 (AR: augmented reality)기술을 활용에 관한 연구들이 진행 된바 있지만, 객체 검출이 원활히 이뤄지지 않아 증강된 정보들의 정합이 원활히 이루어지지 않는 문제가 발생하였다. 따라서, 본 연구에서는 선박 배관의 유지보수 환경 개선을 위한 증간현실 기반 정합 시스템 방법에 대해 연구를 진행하였다.
본 연구에서는 영상으로부터 관심영역(region of interesting)을 설정하고 컬러 필터(color filter)와 KNN(k nearest neighborhood) 기법을 활용해 트래킹하고자 하는 대상 객체 주변 노이즈를 제거하고 CAD모델을 불러와 두 데이터를 정합하는 방법을 연구하였다. 또한, 일반 이미지 카메라가 아닌 3D카메라를 활용하여 깊이 파라미터를 획득하였고 이를 활용함으로써 정합 정확도를 높였으며, 프로토타입을 개발해 본 시스템의 유효성을 입증하였다.
3D카메라는 실시간으로 3만개 이상의 포인트 클라우드 데이터를 생성하고 갱신하는데, 트래킹 하고자하는 대상 모델은 매우 작은 영역만 차지한다. 본 연구에서는 이러한 불필요한 영역을 실시간 처리에서 제외시키기 위해 대상 모델을 기반으로하는 관심 영역을 정의하고 불필요한 영역을 제거하는 작업을 수행하였다. 관심 영역은 각 포인트가 갖고 있는 xyz파라미터 값을 활용하여 정육면체 형태로 정의되며, Fig.
본 연구는 선박 및 플랜트의 유지보수 작업에 사용될 기존 증강현실기반 시스템들이 가지는 한계점을 해결하기 위하여 마커리스 기반 증강현실 정합 시스템에 관해 연구하였고 간단한 프로토타입을 개발해 유효성을 입증하였다. 본 시스템은 선박 및 플랜트와 같은 특수한 환경에서도 실시간으로 객체를 트래킹할 수 있으며, 작업자에게 이질감 없는 증강 모델을 통해 작업 정보를 제공할 수 있고 이는 배관 설치, 유지보수, 원격 협업 등 다양한 작업에 활용할 수 있을 것으로 기대된다.
제안 방법
기존 이미지 카메라를 활용한 객체 검출 방법론은 카메라로부터 들어오는 색성 정보를 기반으로 깊이 값을 추정하는 복잡한 계산과정을 필요로 하지만, 본 연구에서는 3D카메라의 깊이 센서 부터 깊이 정보(xyz표정보)를 손쉽게 얻음으로써 기존의 복잡한 계산 과정을 생략하였으며, 이미지 센서로 획득된 색상 정보(RGB)를 결합해 Fig. 4와 같은 XYZ-RGB형태의 포인트 클라우드 데이터를 생성하였다. 테스트 이미지 상에 트래킹 대상으로 하는 모델은 좌측 하단에 표시된 파란색 실린더 모델이다.
stl파일형에 맞춰 재구성한 후 포인트 클라우드 포맷인 .pcd파일형으로 변환하였다.
, 1998). 본 연구에서는 Fig. 9와 같이 앞선 과정을 통해 추출된 실제 대상 모델과 가상 CAD모델 데이터를 활용해 정합을 수행하였다.
테스트 모델은 조선 및 해양플랜트 산업에서 자주 사용 되는 재질로 제작하였다. 카메라는 Microsoft사의 Kinect-v2 를 활용하였고, 소프트웨어로는 QT를 통해 UI를 구현하였으며, 개발 환경은 C++, 포인트 클라우드를 다루고 가시화하는 공간으로는 PCL라이브러리를 사용하였다. 또한 오픈 소스 프로그램인 CloudCompare를 활용하여 CAD모델을 .
11은 제작된 테스트 모델에 마커리스 기반 정합 시스템을 적용한 결과이다. 본 연구에서는 유지보수에 핵심 검사 부위중 하나인 밸브와 그를 연결 파이프 모델을 대상으로 앞선 프로세스를 통해 데이터를 추출하고 정합을 수행하였다. 카메라나 해당 모델이 주기적으로 움직이지 않는다면 잘 정합이 되는 것을 확인할 수 있었고 만약 움직이더라도 실시간으로 객체를 트래킹하여 재정합을 수행하는 것을 확인할 수 있다.
대상 데이터
4와 같은 XYZ-RGB형태의 포인트 클라우드 데이터를 생성하였다. 테스트 이미지 상에 트래킹 대상으로 하는 모델은 좌측 하단에 표시된 파란색 실린더 모델이다.
대상 모델 근처에 남아있는 노이즈 제거를 위해 각 데이터가 갖고 있는 RGB색상 정보를 활용하였다. 실제 공간은 항상 조명의 영향을 받기 때문에 단일 색상 데이터를 갖는 객체는 존재하지 않으며, 대상 모델에 대한 색상을 정의하기 위해서는 명암이 고려된 색상 범위를 설정해 주어야 한다.
10과 같은 프로토타입을 제작하였다. 테스트 모델은 조선 및 해양플랜트 산업에서 자주 사용 되는 재질로 제작하였다. 카메라는 Microsoft사의 Kinect-v2 를 활용하였고, 소프트웨어로는 QT를 통해 UI를 구현하였으며, 개발 환경은 C++, 포인트 클라우드를 다루고 가시화하는 공간으로는 PCL라이브러리를 사용하였다.
이론/모형
또한 실제 조선 및 해양플 랜트 산업에서 사용되는 배관은 전반적으로 비슷한 색상을 갖고 있기 때문에 아직 잔류 노이즈가 다수 분포해 있을 가능성이 크다. 이를 위해 임의의 점으로부터 이웃하는 점을 찾아 일정 규모의 군집을 형성하는 KNN기법을 사용하였다. KNN은 분포된 데이터들이 사전에 설정된 군집의 규모(데이터 개수)에 맞추어 해당 조건이 만족할 때까지 군집 영역을 확장해 나가는 알고리즘으로 본 연구에서는 군집 규모로 200을 설정해 해당 군집보다 적게 형성된 군집들은 노이즈로 판단해 제거하였다.
정합은 대상모델에 대한 트래킹 정도를 파악하는 용도로 이를 수행하기 위해서는 여러 방향에서 거리영상을 취득하고 이를 종합하는 과정이 필요하다. 이 경우 두 데이터 간의 이동 및 회전 변환관계를 알아야 하며, 변환관계를 계산하기 위해 ICP (iterative closest point) 알고리즘이 사용되었다. ICP알고리즘은 두 데이터 간의 대응관계를 모르는 상황에서도 카메라의 위치에 대한 사전 정보나 모멘트를 이용한 방법 등을 통하여 구한 계수의 초기값을 이용하여 가장 가까운 점을 임시 대응점으로 가정하고 이러한 임시 대응점들의 쌍을 반복법으로 개선시키는 기법으로 두 개의 포인트 클라우드 데이터가 필요하다(Lee et al.
카메라는 Microsoft사의 Kinect-v2 를 활용하였고, 소프트웨어로는 QT를 통해 UI를 구현하였으며, 개발 환경은 C++, 포인트 클라우드를 다루고 가시화하는 공간으로는 PCL라이브러리를 사용하였다. 또한 오픈 소스 프로그램인 CloudCompare를 활용하여 CAD모델을 .pcd(point cloud data)파일로 변환하였다.
(a)는 관심 영역까지만 지정하고 추가적은 노이즈 제거를 안 했을 경우, (b)는 색상 필터 까지만 적용했을 경우이며, (c)는 정상적으로 모든 프로세스를 진행했을 경우이다. 평가 대상 항목으로는 정확도와 정합 수행에 소요된 시간으로 평가하였으며, 정확도는 영상 추적 기법의 Mean Shift를 사용하여 분포된 데이터들의 중심을 찾고, 정합된 CAD모델의 중심 간의 거리를 측정하였다. Table 1에서 보는 것과 같이 (a)의 경우 주변 노이즈의 영향으로 정합이 수행되지 않았고, (b)는 정합은 정확히 됐지만 주변 노이즈로 인한 계산량 증가로 정합 수행에 소요되는 시간이 증가한 모습을 보였다.
성능/효과
본 연구에서는 영상으로부터 관심영역(region of interesting)을 설정하고 컬러 필터(color filter)와 KNN(k nearest neighborhood) 기법을 활용해 트래킹하고자 하는 대상 객체 주변 노이즈를 제거하고 CAD모델을 불러와 두 데이터를 정합하는 방법을 연구하였다. 또한, 일반 이미지 카메라가 아닌 3D카메라를 활용하여 깊이 파라미터를 획득하였고 이를 활용함으로써 정합 정확도를 높였으며, 프로토타입을 개발해 본 시스템의 유효성을 입증하였다.
본 연구에서는 유지보수에 핵심 검사 부위중 하나인 밸브와 그를 연결 파이프 모델을 대상으로 앞선 프로세스를 통해 데이터를 추출하고 정합을 수행하였다. 카메라나 해당 모델이 주기적으로 움직이지 않는다면 잘 정합이 되는 것을 확인할 수 있었고 만약 움직이더라도 실시간으로 객체를 트래킹하여 재정합을 수행하는 것을 확인할 수 있다.
Table 1에서 보는 것과 같이 (a)의 경우 주변 노이즈의 영향으로 정합이 수행되지 않았고, (b)는 정합은 정확히 됐지만 주변 노이즈로 인한 계산량 증가로 정합 수행에 소요되는 시간이 증가한 모습을 보였다. 정합 오차 범위는 1.5~2.5cm이내로 작업자에게 충분히 이질감 없는 증강 정보를 제공할 수 있을 것으로 판단된다.
후속연구
본 연구는 선박 및 플랜트의 유지보수 작업에 사용될 기존 증강현실기반 시스템들이 가지는 한계점을 해결하기 위하여 마커리스 기반 증강현실 정합 시스템에 관해 연구하였고 간단한 프로토타입을 개발해 유효성을 입증하였다. 본 시스템은 선박 및 플랜트와 같은 특수한 환경에서도 실시간으로 객체를 트래킹할 수 있으며, 작업자에게 이질감 없는 증강 모델을 통해 작업 정보를 제공할 수 있고 이는 배관 설치, 유지보수, 원격 협업 등 다양한 작업에 활용할 수 있을 것으로 기대된다.
다만 현재 시스템으로는 정합 대상 모델 크기에(데이터 개수) 따라 트래킹 속도가 저하되는 경향을 보이고 있다. 따라서 향후 연구로는 원격 서버 연동을 통해 원격으로 ICP알고리즘을 통해 온전히 정합된 상태에서의 이동한 경로 및 거리 정보만을 전송해 작업자 환경에 반영하여 계산량을 최소화하여 소요되는 시간에 따른 제약사항을 최소화할 예정이다. 또한 현재 ROI지정이나 KNN기법에서 정의한 군집의 규모는 사용자가 임의로 지정하게 되어있어 이에 대한 전문지식이 없는 현장 작업자 기능을 다뤘을 경우 혼란을 줄 수 있다.
또한 현재 ROI지정이나 KNN기법에서 정의한 군집의 규모는 사용자가 임의로 지정하게 되어있어 이에 대한 전문지식이 없는 현장 작업자 기능을 다뤘을 경우 혼란을 줄 수 있다. 따라서 이러한 사용자 지정 방식을 최소화하여 부분적으로 학습의 개념을 추가하여 자동화시키는 방안으로 시스템을 개선할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
마커리스 증강현실 기술이란?
마커리스 증강현실 기술은 마커를 사용하지 않고 실시간 영상 신호로부터 실 모델을 인식하거나 정규화된 데이터(또는 정규화 시킨 데이터)를 분석해 도출된 결과에 따른 이벤트를 증강시키는 방식으로 객체를 인식하고 정합하는 기술과 트래킹 기술이 병합되어 구현되기 때문에 기존 마커방식 보다 다소 복잡하며, 접근 방법론도 다양하다.
마커리스 기반 증강현실 정합 시스템을 통해 기대할 수 있는 점은?
본 연구는 선박 및 플랜트의 유지보수 작업에 사용될 기존 증강현실기반 시스템들이 가지는 한계점을 해결하기 위하여 마커리스 기반 증강현실 정합 시스템에 관해 연구하였고 간단한 프로토타입을 개발해 유효성을 입증하였다. 본 시스템은 선박 및 플랜트와 같은 특수한 환경에서도 실시간으로 객체를 트래킹할 수 있으며, 작업자에게 이질감 없는 증강 모델을 통해 작업 정보를 제공할 수 있고 이는 배관 설치, 유지보수, 원격 협업 등 다양한 작업에 활용할 수 있을 것으로 기대된다.
마커 기반 증강현실 기술의 단점은?
최근 작업자의 작업이해도 향상과 효율을 높이기 위해 증강현실기반 유지보수 및 검사 시스템이 많이 주목받고 있는데, 증강되는 모델과 현실정보 간의 정확한 정합이 이루어지지 않아 작업에 오히려 혼동을 초래하는 일이 자주 발생한다. 이를 위하여 실모델에 특정 이미지를 부착하는 마커 기반 증강현실 기술이 사용되었으나, 조선 및 해양플랜트 산업 특성상 마커의 훼손 가능성이 있으며, 카메라가 명확히 마커 전체를 검출할 수 있어야 하기 때문에 작업자와 마커 간의 충분한 공간을 필요로 한다. 본 연구에서는 이러한 기존 증강현실 시스템의 한계점을 극복하기 위하여 마커리스 기반 증강현실을 활용하여 조선 및 해양플랜트 산업에서 가장 많은 공정을 차지하고 있는 파이프 시스템을 대상으로 정확하게 실 모델을 인식하고 해당 모델에 가상 CAD모델을 정합하는 방법론에 대해 연구하였다.
참고문헌 (9)
강태욱.
효과적인 포인트 클라우드 기반 건축 MEP 파이프 객체 역설계 처리를 위한 시스템 아키텍처.
한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society,
vol.15,
no.9,
5870-5876.
김재필, 이동철.
증강현실을 활용한 모바일 위치기반 응용서비스 앱 개발.
한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering,
vol.18,
no.6,
1481-1487.
Kwon, Yong-Hoon, Chae, Yi-Geun.
An Improved Object Recognition and Tracking Algorithm Based on Block Matching.
韓國情報技術學會論文誌 = Journal of Korean institute of information technology,
vol.13,
no.4,
61-.
남병욱, 이경호, 이원혁, 이재덕, 황호진.
조선소 블록 정도관리를 위한 경량화 측정 장비 및 증강현실 기반의 스마트 정도관리 시스템 개발.
한국전산구조공학회논문집 = Journal of the computational structural engineering institute of Korea,
vol.32,
no.1,
65-73.
박호식.
HSV 색 공간을 이용한 야간 차량 검출시스템.
한국정보전자통신기술학회논문지 = Journal of Korea institute of information, electronics, and communication technology,
vol.8,
no.4,
270-274.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.