[논문]주문형 케이크 제작 자동화를 위한 영상 기반 식품 모양 인식 및 측위

오장섭; 이재성

doi:10.6109/jkiice.2020.24.10.1280

[국내논문] 주문형 케이크 제작 자동화를 위한 영상 기반 식품 모양 인식 및 측위
Vision-based Food Shape Recognition and Its Positioning for Automated Production of Custom Cakes 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.24 no.10, 2020년, pp.1280 - 1287

오장섭 (Department of Electronic Engineering, Korea National University of Transportation) , 이재성 (Department of Electronic Engineering, Korea National University of Transportation)

초록
AI-Helper

본 논문에서는 주문형 케이크의 자동화 제작을 위해 필요한 일련의 영상 기반 식품 모양 인식 및 정밀 측위 방법을 제안한다. 초소형 카메라 모듈을 푸드 아트 프린터 내부의 비스듬한 위치에 장착 후 원근 변환을 적용하여 탑 뷰(top veiw) 이미지로 전환 후 에지 검출, 직선 및 원형 허프 변환 등을 수행하도록 하여 식품의 모양을 인식하고 무게 중심 좌표를 검출하도록 하였다. 본 알고리즘을 케이크 및 떡 모형에 적용하여 테스트를 수행하였으며 그 결과 180~250 lux 범위의 조명 환경에서 98.75% 의 높은 객체 인식률을 얻을 수 있었으며 50~120 lux 범위에서 0.87% 이내의 중심점 측위 오차율을 얻을 수 있었다. 이는 수요처의 요구 사항을 충분히 만족하는 수치이며 실시간 처리 성능도 프레임당 0.5초 이내로 나타나 상용화 가능성을 충분히 갖춘 것으로 판단된다.

Abstract ▼ AI-Helper

This paper proposes a vision-based food recognition method for automated production of custom cakes. A small camera module mounted on a food art printer recognizes objects' shape and estimates their center points through image processing. Through the perspective transformation, the top-view image is obtained from the original image taken at an oblique position. The line and circular hough transformations are applied to recognize square and circular shapes respectively. In addition, the center of gravity of each figure are accurately detected in units of pixels. The test results show that the shape recognition rate is more than 98.75% under 180 ~ 250 lux of light and the positioning error rate is less than 0.87% under 50 ~ 120 lux. These values sufficiently meet the needs of the corresponding market. In addition, the processing delay is also less than 0.5 seconds per frame, so the proposed algorithm is suitable for commercial purpose.

주제어

표/그림 (21)

그림 Fig. 1 Latte art printer 'Folleto' and latte art [2]
그림 Fig. 2 Rice cake (left) and cake (right) with event phrases
그림 Fig. 3 Development environment (camera module installation and wireless communication setup)
그림 Fig. 4 Flow chart of proposed algorithm
그림 Fig. 5 Projective Transformation
그림 Fig. 6 Original image captured at an oblique position (left) and top-view image after transformation(right)
그림 Fig. 7 Differences of edge Images by threshold
그림 Fig. 8 Various shapes and corresponding r-θgraphs
그림 Fig. 9 Straight line expressed in r and θ
그림 Fig. 10 Example of edge pixels' distribution
그림 Fig. 11 line detections by different Minlength values
그림 Fig. 12 Circle detection principle
표 Table. 1 Lines drawn from each point
표 Table. 2 Table of accumulation count of each (r, θ)
그림 Fig. 13 Circular or rectangular shapes of sponges used in test
그림 Fig. 14 object shape and center point recognized by proposed algorithm
그림 Fig. 15 Luminance controller
표 Table. 3 Shape recognition rates for various colors and intensity of illumination (lux)
그림 Fig. 16 difference between the true center point and the estimated center point
표 Table. 4 center point error rate (unit: pixel)
표 Table. 5 side length / radius error rate

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

가설 설정

인쇄 대상 식품은 케이크나 떡을 가정하였으며 그러한 식품들은 대부분 모양이 원형이거나 사각형이므로 원형과 사각형의 모양을 우선적으로 인식하도록 하였다. 인쇄 대상 식품 모형으로는 크림이 코팅되지 않은 케이크 또는 떡과 매우 유사한 텍스쳐(texture)를 가지는 스펀지들을 활용하였다.

제안 방법

구현하기 위해 그림 3(a)와 같이 케이크 아트 프린터 내에 소형 카메라 모듈(PI-Camera V2.1)을 장착하고 이를 프린터 시스템의 총괄 제어 및 관리를 담당하는 임베디드 보드(Raspberry Pi 3 Model B+)에 연결하였다. 카메라는 임베디드 보드에 연산 부담을 최소화하기 위해 320 × 240의 저해상도로 설정하고 물체를 촬영하도록 하였다.
필요가 있다. 그러기 위해 그림 15와 같이 인공 조명을 설치하고 조금씩 밝기에 변화를 주면서 대상 객체의 형태에 근접한 사각형 또는 원형 도형인지를 인식하는 인식률을 측정하였다. 여기서 인식의 의미는 사각형의 경우 수기로 측정한 대각선 길이(단위: 픽셀), 원의 경우 수기로 측정한 지름 길이(단위: 픽셀)와 인식 프로그램에 의해 검출(estimation)된 대각선 길이(단위: 픽셀) 또는 지름 길이(단위: 픽셀) 간 차이가 5% 이내 오차범위 안에 드는 것을 말한다.
성능 평가에 사용된 스펀지들은 그림 12 와 같으며 원형 스펀지 2종과 다양한 색상의 사각형 스펀지들로 구성되었다. 또한, 푸드 아트 프린터가 설치될매장의 다양한 조명 변화를 고려하여 다양한 조도(Lux) 에서 실험을 실시하면서 각 객체별 검출률과 측위 정확도를 산출하였다.
본 논문에서는 주문형 케이크 제작 자동화를 위해 꼭필요한 과정인 식품 모양의 자동 인식 및 정밀 측위를위하여 영상처리 기반의 알고리즘을 제안하고 프로그래밍을 통해 구현하였다. 구현된 알고리즘에 케이크, 떡모형을 적용하여 테스트를 수행하였으며 그 결과 180 ~250 lux 범위의 조명 환경에서 98.
본 논문에서는 케이크 아트 프린터 내부에 소형 카메라 모듈을 장착하고 영상처리를 통해 인쇄 대상물의 모양 인지 및 정밀 측위를 수행한다. 촬영한 대상물 이미지를 투영변환을 통해 Top-View 이미지로 만들고 그로부터 Circular Hough, Line Hough 변환 등을 통하여 원형, 사각형 또는 삼각형 모양을 인지하고 그 무게 중심의 좌표를 픽셀 단위로 정밀하게 검출하여 헤드 제어 프로그램에게 알려준다.
소형 카메라 모듈을 프린터 헤드가 있는 상단 부분에장착하면 쉽게 탑 뷰 이미지(Top-View Image)를 얻을수 있지만 오븐에서 바로 나온 음식물에서 발생할 수 있는 수증기로 인해 카메라 렌즈 오염 및 열화(blurring) 현상으로 인해 화질 저하의 가능성이 있어 그림 3과 같이중앙 상단이 아닌 수증기를 피할 수 있는 측면 부분에비스듬한 각도로 장착하였다. 이로 인해 원근 왜곡이 발생하는데 이를 보정하여 Top-View Image를 얻기 위해그림 5와 같이 투영 변환(Projective Transformation)을가장 먼저 수행한다[3].
인쇄 대상 식품 모형으로는 크림이 코팅되지 않은 케이크 또는 떡과 매우 유사한 텍스쳐(texture)를 가지는 스펀지들을 활용하였다. 물체의 모양 인식 및 중심점 정밀 측위를 위한 전체 알고리즘의 수행 과정은 그림 4와 같다.
지금까지 설명한 도형 인식 및 중심 좌표 검출 알고리즘들을 프로그래밍[12][13]을 통해 구현한 다음 다양한원형 또는 사각형 모양의 스펀지에 대해 성능 평가 실험을 실시하였다. 성능 평가에 사용된 스펀지들은 그림 12 와 같으며 원형 스펀지 2종과 다양한 색상의 사각형 스펀지들로 구성되었다.
참고로 원 모양 인식의 경우 반지름 R을 조금씩 변경하면서 원을 그려야 하므로 그려야 하는 원의 개수가 기하급수적으로 증가하기 때문에 에지 픽셀의 개수를 최소화하기 위해 경계당 한 픽셀만 반환하는 케니 에지 검출 알고리즘을 적용한 것이다.
인지 및 정밀 측위를 수행한다. 촬영한 대상물 이미지를 투영변환을 통해 Top-View 이미지로 만들고 그로부터 Circular Hough, Line Hough 변환 등을 통하여 원형, 사각형 또는 삼각형 모양을 인지하고 그 무게 중심의 좌표를 픽셀 단위로 정밀하게 검출하여 헤드 제어 프로그램에게 알려준다.
측위 정확도에 대한 분석은 그림 16와 같이 실험 객체의 실제 중심점에 마커를 이용하여 수기로 표시하고 제안된 알고리즘으로 검출(estimation)된 중심점 좌표 간 오차를 구하는 방식으로 측정하였다. 좀 더 구체적으로 설명하면 식(2)을 활용하여 각 객체의 실제 대각선 또는 지름 대비 그 오차의 비율을 계산하였으며 각 단위는 모두 픽셀이다(즉, 대각선, 지름, 오차 모두 픽셀 거리로 측정).
1)을 장착하고 이를 프린터 시스템의 총괄 제어 및 관리를 담당하는 임베디드 보드(Raspberry Pi 3 Model B+)에 연결하였다. 카메라는 임베디드 보드에 연산 부담을 최소화하기 위해 320 × 240의 저해상도로 설정하고 물체를 촬영하도록 하였다. 한편 임베디드 보드 제어 및 실시간 이미지처리 과정에서의 중간 데이터 수집을 위해 그림 3(b)와같이 Wi-Fi를 통해 매장용 데스크 톱 PC와 연결하였다.

대상 데이터

실시하였다. 성능 평가에 사용된 스펀지들은 그림 12 와 같으며 원형 스펀지 2종과 다양한 색상의 사각형 스펀지들로 구성되었다. 또한, 푸드 아트 프린터가 설치될매장의 다양한 조명 변화를 고려하여 다양한 조도(Lux) 에서 실험을 실시하면서 각 객체별 검출률과 측위 정확도를 산출하였다.

이론/모형

①가우시안(Gaussian) 필터를 이용하여 Smoothing 작업을 통해 잡음(Noise) 제거를 수행한다.
정확도가 중요한 본 연구에서는 비록 연산량은 높지만 정확도가 높은 허프 변환(Hough Transform)을 사용하였다. 허프 변환은 잔류 외곽선 픽셀들이 많이 남아있는 상태에서도 도형 검출 성능이 우수하나 그만큼 연산량이 많이 증가한다.
직선 검출의 경우 수직/수평 방향 에지에민감하게 반응하고 연산 복잡도가 비교적 낮은 프리윗 (Prewitt) 1차 미분 필터를 활용하였고[5][6][7], 원형 라인 검출의 경우 대각선 방향의 에지에 민감하게 반응하는 소벨(Sobel) 1차 미분 필터를 활용한 케니(Canny) 에지 검출 알고리즘을 활용하였다[8]. 케니 에지 검출 알고리즘의 세부적인 처리 과정은 다음과 같다.
허프 변환은 잔류 외곽선 픽셀들이 많이 남아있는 상태에서도 도형 검출 성능이 우수하나 그만큼 연산량이 많이 증가한다. 직선 검출의 경우 직선 허프 변환(Line Hough Transform)을 적용하며 일반적으로 사용되는 직교 좌표계에서  형태의 직선 방정식을 사용하지 않고 그림 9와 같이 극 좌표계에서  형태의 식을 사용한다[9].

성능/효과

④의 과정에서 서로 다른 범위의 Double threshold 값을 적용하면 그림 7과 같이 실제 원의 윤곽선을 표현하는 에지 라인의 검출률을 좀 더 향상시킬 수 있었으며, 이후 과정인 Circular Hough transform 의 최적 원 도출 결과도 만족스럽게 나타났다.
통해 구현하였다. 구현된 알고리즘에 케이크, 떡모형을 적용하여 테스트를 수행하였으며 그 결과 180 ~250 lux 범위의 조명 환경에서 98.75% 의 높은 객체 인식률을 얻을 수 있었으며 50~120 lux 범위에서 0.87% 이내의 중심점 측위 오차율을 얻을 수 있었다. 이는 수요처의 요구 사항인 인식률 90% 이상, 오차율 5% 이하를 크게 상회 또는 밑도는 수치이며 실시간 처리 성능도프레임당 0.
본 연구 환경에서는 카메라 모듈이 고정되어 있기 때문에 사전에 정의된 4개의 좌표로부터 Homography 행렬을 도출하면 그 영역 내의 다른 임의의 픽셀에도 그 행렬을 적용할 수 있으며 결과적으로 그림 6과 예제들과 같이 Top-View Image를 얻을 수 있다.
본 측위 정확도 분석은 객체의 모양 및 중심점이 정상적으로 인식된 이미지에 한하여 수행하였으며, 중심점의 최대 오차는 4 픽셀 미만으로 나타났고 양변의 길이및 반지름의 최대 오차도 3 픽셀 미만으로 나타나 매우정밀하게 측위가 되었다고 볼 수 있다.
있다. 수행 시간 측정 결과 평균적으로 한 프레임당 0.5초 이하의 처리 시간이 소요되는 것으로 나타나 상용화에 문제가 되지 않음을 확인하였다.
이 방법은 각 픽셀의 좌표를 직교 좌표계에서 극 좌표계로 변환시 연산량이 크게 높지 않아 경량 알고리즘으로서도 활용 가치는 있으나 실험을 통해 직접 적용해본 결과 전 단계인 에지 검출 단계에서 케니 에지 검출 알고리즘과 같은 고성능 알고리즘을 적용을 하여도 그림 7 과 같이 원치 않는 외곽선들까지 잔류하는 경향이 있어서 그림 8 과 같은 깔끔한 형태의 파도 그래프가 그려지지 않아 도형 모양 검출 정확도가 다소 떨어지는 단점이 있는 것으로 나타났다.

후속연구

5초 이내로 나타나 상용화 가능성을 충분히갖춘 것으로 사료된다. 향후에는 보다 다양한 크기의 실제 음식물에 대하여 테스트를 수행할 예정이며 그 과정에서 발견되는 문제점들 파악하고 해결 방안을 모색할계획이다.

참고문헌 (13)

Asia Economy, A special latte art by a robot barista [Internet]. Available: https://view.asiae.co.kr/article/2020070911192438556
Latte Art Printer Folletto [Internet]. Available: www.latteart-printer.com/.
S. W. Seo, S. W. Joeng, Y. S. Han, J. S. Choi, and S. K. Lee, "Efficient Homography Estimation for Panoramic Image Generation," Journal of the Institute of Electronics Engineers of Korea, vol. 50, no. 8, pp. 2143-2152, Aug. 2013.
P. Topno and G. Murmu, "An Improved Edge Detection Method based on Median Filter," Devices for Integrated Circuit (DevIC), Kalyani, India, pp. 378-381, Mar. 2019.
J. Lian, "Two Adaptive Schemes for Image Sharpening," IEEE 2nd International Conference on Information and Computer Technologies (ICICT), Kahului, HI, USA, 2019, pp. 122-125, Mar. 2019.
S. Hong and J. Lee, "An Method for Inferring Fine Dust Concentration Using CCTV," Journal of the Korea Institute of Information and Communication Engineering, vol. 23, no. 10, pp. 1234-1239, Oct. 2019.
D. J. Kim and P. L. Manjusha, "Building Detection in High Resolution Remotely Sensed Images based on Automatic Histogram-Based Fuzzy C-Means Algorithm," Asia-pacific Journal of Convergent Research Interchange, vol. 3, no. 1, pp. 57-62, Mar. 2017.
Y. Song, B. Ma, W. Gao, and S. Fan, "Medical Image Edge Detection Based on Improved Differential Evolution Algorithm and Prewitt Operator," Acta Microscopica, vol. 28, no. 1, pp. 30-39, Feb. 2019.
J. H. Cho, E. Tsogtbaatar, S. H. Kim, Y. M. Jang, P. M. L. Nguyen, and S. B. Cho, "Improved lane detection system using Hough transform with super-resolution reconstruction algorithm and multi-ROI," 2014 International Conference on Electronics, Information and Communications (ICEIC), Kota Kinabalu, pp. 1-4, 2014.
S. H. Hwang and Y. J. Lee, "FPGA-based real-time lane detection for advanced driver assistance systems," 2016 IEEE Asia Pacific Conference on Circuits and Systems (APCCAS), Jeju, pp. 218-219, 2016.
S. H. Kim and H. I. Choi, "Circular Shape Detection using Improved 2D Hough Transform," in Proceedings of the KIISE conference, Seoul, pp. 233-237, 2008.
OpenCV team. Open Source Computer Vision Library [Internet]. Available: https://docs.opencv.org/master/d9/df8/tutorial_root.html.
D. G. Kim, C++ API OpenCV Programming, Dec. 2016.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증