[논문]이동 객체 검출을 통한 승객 인원 개수에 대한 연구

유상현

doi:10.7472/jksii.2020.21.2.9

[국내논문] 이동 객체 검출을 통한 승객 인원 개수에 대한 연구
A study on counting number of passengers by moving object detection 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.21 no.2, 2020년, pp.9 - 18

유상현 (Department of Convergence Software, KyungMin University)

초록
AI-Helper

영상 처리 기법을 이용한 영상 인식 분야는 버스 승차 및 하차 시에 승객을 움직이는 객체로 검출하고 개수하는 방법이 연구되고 있다. 이러한 기술 중에는 인공지능 기법의 하나인 딥러닝 기법이 사용되고 있다. 또 다른 방법으로 스테레오 비전 카메라를 이용하여 객체를 검출하는 방법도 사용되고 있다. 그러나 이러한 방법들은 객체를 검출할 때 사용되는 장비의 연산량이 많이 들어 고가의 하드웨어 장비가 필요하다. 그러나 대중교통 중 하나인 버스 승객을 검출하기 위해 상대적으로 연산량이 적은 기법을 이용하여 다양한 장비에 맞는 영상 처리 기술이 필요하다. 이에 본 논문에서는 다양한 장비에 맞는 이동 객체 검출 기법 중 배경 제거를 통한 객체의 윤곽선을 검출하여 대중교통 중의 하나인 버스에 탑승객의 수를 효율적으로 획득 할 수 있는 기법을 제안한다. 실험 결과 스테레오 비전을 장착한 장비보다 더 저사양의 장비에서 약 70%의 정확도로 승객을 개수하였다.

Abstract ▼ AI-Helper

In the field of image processing, a method of detecting and counting passengers as moving objects when getting on and off the bus has been studied. Among these technologies, one of the artificial intelligence techniques, the deep learning technique is used. As another method, a method of detecting an object using a stereo vision camera is also used. However, these techniques require expensive hardware equipment because of the computational complexity of used to detect objects. However, most video equipments have a significant decrease in computational processing power, and thus, in order to detect passengers on the bus, there is a need for an image processing technology suitable for various equipment using a relatively low computational technique. Therefore, in this paper, we propose a technique that can efficiently obtain the number of passengers on the bus by detecting the contour of the object through the background subtraction suitable for low-cost equipment. Experiments have shown that passengers were counted with approximately 70% accuracy on lower-end machines than those equipped with stereo vision camera.

Keyword

표/그림 (16)

그림 (그림 1) Canny Edge Detection으로 추출된 승객 (Figure 1) Passengers extracted with Canny Edge Detection
그림 (그림 2) 최초 실험 환경 카메라 위치 (Figure 2) Camera position at first experiment
표 (표 1) 라즈베리 파이3 모델B+ 제품 사양 (Table 1) Raspberry Pi3 Model B+Specifications
표 (표 2) 라즈베리 파이 표준 카메라 모듈 (Table 2) Raspberry Pi Standard Camera Module
그림 (그림 3) 변경된 카메라 위치 (Figure 3) Changed camera position after first experiment
그림 (그림 4) 영상 영역 분할 (Figure 4) Video region segmentation
그림 (그림 5) 회색 조 영상 (Figure 5) Gray image
그림 (그림 6) 이진화 영상 (Figure 6) Binary image
그림 (그림 7) 배경 제거 후 영상 (Figure 7) Video after background subtraction
그림 (그림 8) 윤곽선 추출 후 영상 (Figure 8) Video after contours extraction
그림 (그림 9) 사각형으로 움직이는 객체 검출 (Figure 9) Object detection by bounding box
그림 (그림 10) 승객 검출 단계 (Figure 10) Passenger detection step
그림 (그림 11) 두 명 이상의 승객 검출 처리 (Figure 11) Detect two or more passengers
그림 (그림 12 a) 임계값 100 (Figure 12 a) Threshold=100
그림 (그림 12 b) 임계값 300 (Figure 12 b) Threshold=300
표 (표 3) 승객 개수 (Table 3) Number of passengers

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 이동 객체 검출 기술을 이용하여 대표적인 대중교통 차량인 버스에서 탑승객의 수를 효율적으로 획득할 수 있는 영상 처리 기법을 제안한다. 제안 기법은 영상에서 배경을 제거하고 승객의 윤곽선의 특징을 추출하고 이를 기반으로 승객으로 분류하는 기법을 사용하였다.
본 논문은 차량 탑승 승객을 개수하기 위해 버스 차량 앞문 위에 카메라를 설치하여 버스에 탑승하는 승객을 이동 객체로 판단하고, 지정된 경로를 통해 이동하는 객체를 승객으로 판단하여 승객을 개수하는 방법을 제안하였다. 움직이는 객체의 정확한 검출을 위해 카메라의 위치를 앞문의 바로 위가 아닌 탑승 경로를 추적할 수 있는 위치에 장착하여 승객이 아닌 객체를 이동 객체로 인식하는 문제점 예를 들어 문 앞에 서 있는 차량을 이동 객체로 인식하는 문제를 해결하였다.

제안 방법

본 논문에서는 이동 객체 검출 기술을 이용하여 대표적인 대중교통 차량인 버스에서 탑승객의 수를 효율적으로 획득할 수 있는 영상 처리 기법을 제안한다. 제안 기법은 영상에서 배경을 제거하고 승객의 윤곽선의 특징을 추출하고 이를 기반으로 승객으로 분류하는 기법을 사용하였다. 또한, 기존 버스에 이미 장착된 낮은 사양의 하드웨어와 카메라를 이용해서도 승객 카운트 처리가 활용할 수 있도록 실험 환경을 구성하고, 승객 수를 획득하는 기법을 제안한다.
제안 기법은 영상에서 배경을 제거하고 승객의 윤곽선의 특징을 추출하고 이를 기반으로 승객으로 분류하는 기법을 사용하였다. 또한, 기존 버스에 이미 장착된 낮은 사양의 하드웨어와 카메라를 이용해서도 승객 카운트 처리가 활용할 수 있도록 실험 환경을 구성하고, 승객 수를 획득하는 기법을 제안한다.
실험은 약 30분 동안 5개의 정류장을 지나치며 12명의 승객이 탑승한 영상을 실시간으로 적용하고 녹화하여 실험을 수행하였다. 실험 결과 승객을 움직이는 객체로 검출하기 위해 배경 제거 부분에서 임계값을 두고 실험하였다.

대상 데이터

실험 환경은 저 사양의 하드웨어 환경이나 기존에 버스에 장착된 CCTV를 이용해서도 탑승 승객 수를 확인하기 위해 저 해상도의 카메라와 하드웨어를 이용하였다. 하드웨어는 라즈베리 파이라는 마이크로 보드를 사용하였고 이 보드의 성능은 아래의 표 1과 같다.
실험에 사용된 환경은 승객이 승차 시 승객 객체를 검출하기 위해 초기에 버스 차량 앞문 바로 위의 위치에 카메라를 설치하였다. 최초 실험 환경에서 설치된 카메라를 통해 획득한 이미지는 그림 2와 같다.

데이터처리

실험은 약 30분 동안 5개의 정류장을 지나치며 12명의 승객이 탑승한 영상을 실시간으로 적용하고 녹화하여 실험을 수행하였다. 실험 결과 승객을 움직이는 객체로 검출하기 위해 배경 제거 부분에서 임계값을 두고 실험하였다. 임계값의 설정은 수동으로 변화 값을 측정하였다.

이론/모형

또 다른 알고리즘인 GMG 알고리즘은 통계적 배경 이미지 제거와 픽셀 단위 베이지안 분할(Bayesian Segmentation)을 결합한 것이다[28]. 이 알고리즘은 백그라운드 모델링을 위해 처음 몇 프레임에 기본적으로 120 픽셀 값을 사용하며 배경이 아닌 전경이나 움직이는 객체를 추출하기 위해 베이지안 추론을 사용한다.
움직이는 객체에서 윤곽선은 객체의 모양을 분석하거나 객체 검출 또는 인식에서 자주 사용되는데 배경 제거 전 처리 과정 후 대상의 외형을 파악하여 객체를 분류하는 데 사용 할 수 있다[29]. 윤곽선의 처리는 객체 검출 속도와 연산량에 영향을 줄 수 있으므로 기존의 윤곽선 검출은 카메라부터 입력되는 영상에 공간 윤곽선 정보를 이용하였다[30]. 윤곽선 정보를 이용한 기법은 Canny Edge Detection으로 John F Canny에 의해 개발되었다.
윤곽선의 처리는 객체 검출 속도와 연산량에 영향을 줄 수 있으므로 기존의 윤곽선 검출은 카메라부터 입력되는 영상에 공간 윤곽선 정보를 이용하였다[30]. 윤곽선 정보를 이용한 기법은 Canny Edge Detection으로 John F Canny에 의해 개발되었다. 이 알고리즘은 단계별로 구성되어 있다.
이미지를 스캔하는 동안 gradient 방향으로 스캔 구역에서 gradient의 최댓값을 가진 픽셀만을 남기고 나머지는 0으로 억제 한다. 마지막으로 연결된 윤곽선이 실제 윤곽선인지 판단하는데 높은 값의 임계값을 사용하여 gradient 방향에서 낮은 값의 임계값이 나올 때까지 추적하며 윤곽선을 연결하는 히스테리시스 임계값(Hysteresis Thresholding) 방식을 사용하여 판단한다. 아래 그림 1은 Canny Edge Detection으로 추출된 승객의 윤곽선 모양을 보여주고 있다.
이렇게 생성된 윤곽선을 Suzuki85[33] 알고리즘에 적용한다. Suzuki85 알고리즘은 Satoshi Suzuki와 Keiichi Abe에 의해 1983년에 제안된 알고리즘이다.
배경 제거는 개선된 가우시안 모델[18][25] 을 사용하여 효과적으로 그림자와 불필요한 정보를 제거하여 이동중인 승객만을 추출할 수 있었다. 아래 그림 7과 같이 배경이 제거된 영상에서 움직이는 객체의 윤곽선을 표시하고 그 윤곽선의 집합을 이용하여 객체를 하나의 사각형 표현할 수 있다.
임계값의 설정은 수동으로 변화 값을 측정하였다. 임계값을 수동으로 설정한 이유는 연산량이 떨어지는 장비에서 통계적인 방법을 이용한 Otsu와 같은 알고리즘을 이용하여 임계값을 측정하면 일정량의 연산량이 더 필요하므로 이번 실험에서는 배제하였다.

성능/효과

이러한 영역 분할과 이동 객체의 경로를 이용하여 이전 카메라 위치에서 발생한 출입문을 이동 객체로 인식하거나 빛을 이동 객체로 인식하는 것을 방지하였다. 차량 문이 이동하는 객체로 인식된 경우, 그림 4의 Gate 영역으로 이동하면서, 인식 범위가 줄어든다면 승객이 아니라 문으로 처리하여 이동 객체 대상에서 제외하였다.
실험 결과 정거장 1번에서는 정확하게 탑승객과 개수된 승객이 일치하였다. 그러나 정거장 2번에서는 승객을 두 명 정도 놓쳤다.

후속연구

실험에 사용된 하드웨어 환경은 낮은 사양의 컴퓨팅 환경을 버스에 장착하여 기존에 버스에서 사용된 하드웨어 환경과 그리 큰 차이를 보이지 않는다. 따라서 실험에서 사용된 하드웨어 환경에서 승객 카운트가 정상적으로 이루어진다면, 기존 버스에 장착된 하드웨어의 변경 없이도 승객 카운트를 위한 시스템을 탑재할 수 있을 것이다.
앞으로의 연구는 빛의 난반사와 같은 문제점과 그 외에 발생할 수 있는 다양한 문제점들을 해결하여 승객 개수를 위한 추가적인 연구와 저가의 카메라 두 대를 사용하여 고가의 스테레오 카메라와 같은 성능을 낼 수 있게하고 이 카메라를 제어 할 수 있는 방법을 경량화해서 적용하는 방법에 관한 연구를 수행해야 할 것이다.

참고문헌 (35)

Parekh, Himani S., Darshak G. Thakore, and Udesang K. Jaliya. "A survey on object detection and tracking methods." International Journal of Innovative Research in Computer and Communication Engineering 2.2, pp. 2970-2979, 2014. http://www.rroij.com/open-access/a-survey-on-object-detection-and-tracking-methods.pdf
Athanesious, J. Joshan, and P. Suresh. "Systematic survey on object tracking methods in video." International Journal of Advanced Research in Computer Engineering & Technology (IJARCET) 1.8, pp. 242-247, 2012. http://ijarcet.org/wp-content/uploads/IJARCET-VOL-1-ISSUE-8-242-247.pdf
Kaur, Manpreet, and Abha Choubey. "A Survey of Object Tracking and Detection Techniques." Journal of Artificial Intelligence Research & Advances 1.3, pp. 24-27, 2015. http://computers.stmjournals.com/index.php?journalJoAIRA&pagearticle&opview&path%5B%5D284
Park, Jong-Hyun, et al. "Moving object detection using clausius entropy and adaptive Gaussian mixture model." Journal of the Institute of Electronics Engineers of Korea CI 47.1, pp. 22-29, 2010. http://ocean.kisti.re.kr/downfile/volume/ieek/DHJJMM/2010/v47n1/DHJJMM_2010_v47n1_22.pdf
Jang, In-Tae, et al. "Real Time Object Tracking Method using Multiple Cameras." Journal of the Korea Industrial Information Systems Research 17.4, pp. 51-59, 2012. http://ocean.kisti.re.kr/downfile/volume/ksiis/SOJBB3/2012/v17n4/SOJBB3_2012_v17n4_51.pdf
Kim, Dong-Woo, et al. "Object Detection Method for The Wild Pig Surveillance System." The Journal of The Institute of Internet, Broadcasting and Communication 10.5, pp.229-235, 2010. http://ocean.kisti.re.kr/downfile/volume/iwitt/OTNBBE/2010/v10n5/OTNBBE_2010_v10n5_229.pdf
Kim, Jin Su, and Sung Bum Pan. "Real-Time Loitering Detection using Object Feature." Smart Media Journal 5.3, pp. 93-98, 2016. http://scholar.googleusercontent.com/scholar?qcache:rePOqC08vTUJ:scholar.google.com/&hlko&as_sdt0,5&scioqA+Survey+of+Object+Tracking+and+Detection+Techniques
Jeon, Ji-Hye, et al. "A Study on Object Detection Algorithm for Abandoned and Removed Objects for Real-time Intelligent Surveillance System." The Journal of Korean Institute of Communications and Information Sciences 35.1C, pp. 24-32, 2010. http://ocean.kisti.re.kr/downfile/volume/kics/GCSHCI/ 2010/v35n1C/GCSHCI_2010_v35n1C_24.pdf
Min, JiHong, Jung-Chul Kim, and Kicheon Hong. "Implementation of Drowsiness Driving Warning System based on Eyes Detection and Pupi1 Tracking." Proceedings of the Korean Institute of Intelligent Systems Conference. Korean Institute of Intelligent Systems, pp. 249-252, 2005. http://www.koreascience.or.kr/article/CFKO200508824092919.page
O. Boreiko and V. Teslyuk, "Structural model of passenger counting and public transport tracking system of smart city" 2016 XII International Conference on Perspective Technologies and Methods in MEMS Design (MEMSTECH), Lviv, pp. 124-126, 2016. http://dx.doi.org/10.1109/MEMSTECH.2016.7507533
A. S. A. Nasir, N. K. A. Gharib and H. Jaafar, "Automatic Passenger Counting System Using Image Processing Based on Skin Colour Detection Approach," 2018 International Conference on Computational Approach in Smart Systems Design and Applications (ICASSDA), Kuching, pp. 1-8, 2018. http://dx.doi.org/10.1109/ICASSDA.2018.8477628
T. Chen, C. Chen, D. Wang and Y. Kuo, "A People Counting System Based on Face-Detection," 2010 Fourth International Conference on Genetic and Evolutionary Computing, Shenzhen, pp. 699-702, 2010. http://dx.doi.org/10.1109/ICGEC.2010.178
Lengvenis, Paulius, et al. "Application of computer vision systems for passenger counting in public transport." Elektronika ir Elektrotechnika 19.3, pp. 69-72, 2013. https://doi.org/10.5755/j01.eee.19.3.1232
Lumentut, Jonathan Samuel, and Fergyanto E. Gunawan. "Evaluation of recursive background subtraction algorithms for real-time passenger counting at bus rapid transit system." Procedia Computer Science 59, pp. 445-453, 2015. https://doi.org/10.1016/j.procs.2015.07.565

상세보기
Li, Feng, et al. "Automatic passenger counting system for bus based on RGB-D video." 2nd Annual International Conference on Electronics, Electrical Engineering and Information Science (EEEIS 2016). Atlantis Press, 2016. https://doi.org/10.2991/eeeis-16.2017.29
PERNG, Jau-Woei, et al. The design and implementation of a vision-based people counting system in buses. In: 2016 International Conference on System Science and Engineering (ICSSE). IEEE, pp. 1-3, 2016. https://doi.org/10.1109/ICSSE.2016.7551620
CHEN, Chao-Ho, et al. People counting system for getting in/out of a bus based on video processing. In: 2008 Eighth International Conference on Intelligent Systems Design and Applications. IEEE, pp. 565-569, 2008. https://doi.org/10.1109/ISDA.2008.335
Tarek Yahiaoui, Louahdi Khoudour, and Cyril Meurie "Real-time passenger counting in buses using dense stereovision," Journal of Electronic Imaging 19(3), 031202 (1 July 2010). https://doi.org/10.1117/1.3455989

상세보기
ERHAN, Dumitru, et al. Scalable object detection using deep neural networks. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 2147-2154, 2014. http://openaccess.thecvf.com/content_cvpr_2014/papers/Erhan_Scalable_Object_Detection_2014_CVPR_paper.pdf
Gogwang-eun, and Shimgui-bo. " Trends in Object Recognition and Detection Technology Using Deep Learning." The Journal of Institute of Control, Robotics and Systems 23.3, pp. 17-24, 2017. http://www.dbpia.co.kr/journal/articleDetail?nodeIdNODE07245728
REN, Shaoqing, et al. Faster r-cnn: Towards real-time object detection with region proposal networks. In: Advances in neural information processing systems. pp. 91-99, 2015. http://papers.nips.cc/paper/5638-faster-r-cnn-towards-real-time-object-detection-with-region-proposal-networks.pdf
VIOLA, Paul; JONES, Michael. Rapid object detection using a boosted cascade of simple features. In: Proceedings of the 2001 IEEE computer society conference on computer vision and pattern recognition. CVPR 2001. IEEE, pp. I-I, 2001. https://doi.org/10.1109/CVPR.2001.990517
Viola, Paul, and Michael Jones. "Robust real-time object detection." International journal of computer vision 4, pp. 34-47, 2001. https://www.hpl.hp.com/techreports/Compaq-DEC/CRL-2001-1.pdf
Rakibe, Rupali S., and Bharati D. Patil. "Background subtraction algorithm based human motion detection." International Journal of scientific and research publications 3.5, pp. 2250-3153, 2013. http://citeseerx.ist.psu.edu/viewdoc/download?doi10.1.1.414.5782&reprep1&typepdf
KaewTraKulPong, Pakorn, and Richard Bowden. "An improved adaptive background mixture model for real-time tracking with shadow detection." Videobased surveillance systems. Springer, Boston, MA, pp. 135-144, 2002. http://info.ee.surrey.ac.uk/Research/VSSP/Publications/papers/KaewTraKulPong-AVBS01.pdf
Zivkovic, Zoran, and Ferdinand Van Der Heijden. "Efficient adaptive density estimation per image pixel for the task of background subtraction." Pattern recognition letters 27.7, pp. 773-780, 2006. https://doi.org/10.1016/j.patrec.2005.11.005

상세보기
ZIVKOVIC, Zoran. Improved adaptive Gaussian mixture model for background subtraction. In: Proceedings of the 17th International Conference on Pattern Recognition, ICPR 2004. IEEE, pp. 28-31, 2004. https://doi.org/10.1109/ICPR.2004.1333992
GODBEHERE, Andrew B.; MATSUKAWA, Akihiro; GOLDBERG, Ken. Visual tracking of human visitors under variable-lighting conditions for a responsive audio art installation. In: 2012 American Control Conference (ACC). IEEE, pp. 4305-4312, 2012. https://doi.org/10.1109/ACC.2012.6315174
YE, Sang-Myoung; PARK, Rae-Hong. Accurate segmentation of moving objects using object contours. In: ITC-CSCC: International Technical Conference on Circuits Systems, Computers and Communications. pp. 1138-1139, 2007. http://www.dbpia.co.kr/Journal/articleDetail?nodeIdNODE01600095
Canny, John. "A computational approach to edge detection." Readings in computer vision. Morgan Kaufmann, pp. 184-203, 1987. https://doi.org/10.1109/TPAMI.1986.4767851
Young-Bong Jung, Dae-Seong Kang. (2010). Image Noise Reduction Using Block-based Gaussian Filter. Proceedings of KIIT Conference, pp. 467-469, 2010. http://www.dbpia.co.kr/journal/articleDetail?nodeIdNODE01455088&languageko_KR
Park, Eun-Soo, et al. "Implementation of Fast Sobel Edge Detector Using SSE Instructions." Proceedings of the KIEE Conference. The Korean Institute of Electrical Engineers, pp. 113-114, 2007. http://www.dbpia.co.kr/journal/articleDetail?nodeIdNODE01975452
SSUZUKI, Satoshi, et al. Topological structural analysis of digitized binary images by border following. Computer vision, graphics, and image processing, pp. 32-46, 1985, 30.1. https://doi.org/10.1016/0734-189X(85)90016-7

상세보기
ANDERSSON SANTIAGO, Gabriel; FAVRE, Martin. DesinoBot: The construction of a color tracking turret. 2015. https://kth.diva-portal.org/smash/get/diva2:915902/FULLTEXT01.pdf
Kim, Sangduk, et al. "Bounding Box based Shadow Ray Culling Method for Real-Time Ray Tracer." Journal of Korea Game Society 13.3, pp. 85-94, 2013. http://www.dbpia.co.kr/journal/articleDetail?nodeIdNODE07437775

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증