[논문]환자움직임 감지를 위한 효율적인 하드웨어 및 소프트웨어 혼성 모드 영상처리시스템설계에 관한 연구

정승민; 정의성; 김명환

doi:10.7472/jksii.2024.25.1.29

초록
AI-Helper

본 논문에서는 환자와 같은 특정 객체의 움직임을 감지하고 추적하기 위한 효율적인 영상처리 시스템을 제안한다. 이진화된 차 영상에서 객체의 윤곽선추출을 위하여 기존 알고리즘대비 대비 정밀한 감지가 가능하고 혼성모드설계에 용이한 세선화 알고리즘을 적용하여 영역을 추출한다. 연산량이 많은 이진화와 세선화 단계를 RTL(Register Transfer Level) 기반으로 설계하여 논리회로 합성을 거쳐 최적화된 하드웨어 블록으로 대체된다. 설계된 이진화 및 세선화 블록은 표준 180n CMOS 라이브러리를 이용하여 논리회로로 합성한 후 시뮬레이션을 통하여 동작을 검증하였다. 소프트웨어기반의 성능비교를 위해 32bit FPGA 임베디드시스템 환경에서 640 × 360 해상도의 샘플 영상을 적용하여 이진 및 세선화 연산에 대한 성능분석도 실시하였다. 검증결과 혼성모드 설계가 이전의 소프트웨어로만 이루어지는 처리속도에서 이진 및 세선화 단계에서 93.8% 향상될 수 있음을 확인하였다. 제안된 객체인식을 위한 혼성모드 시스템은 인공지능 네트워크가 적용되지 않는 엣지 컴퓨팅 환경에서도 환자의 움직임을 효율적으로 감시할 수 있을 것으로 기대된다.

Abstract ▼ AI-Helper

In this paper, we propose an efficient image processing system to detect and track the movement of specific objects such as patients. The proposed system extracts the outline area of an object from a binarized difference image by applying a thinning algorithm that enables more precise detection comp...

In this paper, we propose an efficient image processing system to detect and track the movement of specific objects such as patients. The proposed system extracts the outline area of an object from a binarized difference image by applying a thinning algorithm that enables more precise detection compared to previous algorithms and is advantageous for mixed-mode design. The binarization and thinning steps, which require a lot of computation, are designed based on RTL (Register Transfer Level) and replaced with optimized hardware blocks through logic circuit synthesis. The designed binarization and thinning block was synthesized into a logic circuit using the standard 180n CMOS library and its operation was verified through simulation. To compare software-based performance, performance analysis of binary and thinning operations was also performed by applying sample images with 640 × 360 resolution in a 32-bit FPGA embedded system environment. As a result of verification, it was confirmed that the mixed-mode design can improve the processing speed by 93.8% in the binary and thinning stages compared to the previous software-only processing speed. The proposed mixed-mode system for object recognition is expected to be able to efficiently monitor patient movements even in an edge computing environment where artificial intelligence networks are not applied.

주제어

표/그림 (12)

그림 (그림 1) 소프트웨어기반 객체 움직임 검출 알고리즘 (Figure 1) Software-based object motion detection algorithm
그림 (그림 2) 소프트웨어기반 객체 움직임 검출 알고리즘 처리 결과 (640 x 360 (ninth HD)) (Figure 2) Software-based object motion detection algorithm processing results (640 x 360 nHD)
그림 (그림 3) 소프트웨어기반 알고리즘의 CPU 점유를 분석하기 위한 FPGA 보드 알고리즘 처리 결과 (640 x 360 (ninth HD)) (Figure 3) FPGA board for analyzing CPU occupancy rate of software-based algorithms
그림 (그림 4) 제안된 혼성모드 객체 움직임 검출 시스템 (Figure 4) Proposed mixed-mode object motion detection system
그림 (그림 5) 픽셀 인덱스와 P(i)의 계산예 (Figure 5) Calculation example of pixel index and P(i)
그림 (그림 6) P(i) 의connectivity 계산예 (Figure 6) Example of connectivity calculation of P(i)
그림 (그림 7) S(Pi) 계산을 위한 제안된 논리회로 (Figure 7) Proposed logic circuit for calculating S(Pi)
그림 (그림 8) 세선화를 위한 3x3 쉬프트 레지스터 동작 (Figure 8) 3x3 shift register operation for thinning
그림 (그림 10) 논리회로 시뮬레이션 결과 (Figure 10) Logic simulation results
그림 (그림 9) 세선화 처리기의 RTL 블럭도 (Figure 9) RTL block diagram of thinning processor
그림 (그림 11) 세선화처리기 동작결과 (640 x 360 ) (Figure 11) Thinning processor operation result (640 x 360 resolution sample image)
표 (표 1) 이진화 및 세선화 CPU 점유율 비교 (640x320 이미지 샘플) (Table 1) Comparison of binarization and thinning CPU occupancy (640x320 image samples)

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 그림 4 에서와 같이 환자와 같은 특정 객체의 움직임을 감지하고 추적하기 위한 효율적인 소프트웨어 및 하드웨어 블록이 혼재된 혼성모드 영상처리 시스템을 제안한다. 연산량이 많은 이진화와 세선화 단계를 RTL(Register Transfer Level) 기반으로 설계하여 논리회로 합성을 거쳐 최적화된 하드웨어 블록으로 대체한다.
본 논문에서는 영상에서 환자와 같은 특수한 환경에 존재하는 객체의 움직임을 감지하고 추적하기 위한 효율적인 하드웨어 및 소프트웨어 혼성모드 시스템을 제안한다. 움직이는 객체영역 감지는 기존의 방식대비 정밀제어가 가능하고 하드웨어 구현에 더 효율적인 세선화 알고리즘을 이용하여 윤곽선을 추출하고 영역의 중심 좌표를 매 프레임마다 모니터링 하여 추적한다.
본 논문에서는 영상에서 환자와 같은 특수한 환경에 존재하는 객체의 움직임을 감지하고 추적하기 위한 효율적인 하드웨어 및 소프트웨어 혼성모드 시스템을 제안한다. 움직이는 객체영역 감지는 기존의 방식대비 정밀제어가 가능하고 하드웨어 구현에 더 효율적인 세선화 알고리즘을 이용하여 윤곽선을 추출하고 영역의 중심 좌표를 매 프레임마다 모니터링 하여 추적한다.

제안 방법

이진화와 세선화 단계는 RTL(Register Transfer Level) 기반으로 설계하여 논리회로 합성을 거쳐 하드웨어 블록으로 대체된다. 640 x 360 nHD (nineth High Definition)급 해상도의 샘플 영상을 적용하여 기존방식 대비 하드웨어 논리회로로 구현된 윤곽선 추출 단계의 세선화 연산에 대한 성능분석을 확인한다. 기존 소프트웨어 기반 알고리즘의 성능분석에는 32 bit RISC MCU 를 합성하고 Embedded FPGA 시스템을 이용하여 CPU 소요 사이클 수를 분석한다.
이진화와 세선화 알고리즘의 연산은 RTL 설계에 의한 합성된 하드웨어 논리회로로 구현이 용이하여 별도의 프로세서로 설계하여 수행할 경우, 작은 규모의 논리회로를 이용해도 일반적인 고성능 CPU와 운영체제를 탑재한 소프트웨어적인 처리에 비하여 처리속도가 매우 빠르고 전력소모도 작아 효율적이다. 본 논문에서는 움직이는 객체영역 감지를 위해 기존의 방식대비 정밀제어가 가능하고 하드웨어 구현에 더 효율적인 세선화 알고리즘을 적용하여 윤곽선을 추출하고 영역의 중심 좌표를 매 프레임마다 모니터링하여 추적하였다. 이진화와 및 세선화 단계는 RTL 기반으로 설계하여 논리회로 합성을 거쳐 하드웨어 블록으로 대체하고자 한다.
본 논문에서는 영상에서 환자와 같은 특수한 환경에 존재하는 객체의 움직임을 감지하고 추적하기 위한 효율적인 하드웨어 및 소프트웨어 혼성모드 시스템을 제안한다. 움직이는 객체영역 감지는 기존의 방식대비 정밀제어가 가능하고 하드웨어 구현에 더 효율적인 세선화 알고리즘을 이용하여 윤곽선을 추출하고 영역의 중심 좌표를 매 프레임마다 모니터링 하여 추적한다. 이진화와 세선화 단계는 RTL(Register Transfer Level) 기반으로 설계하여 논리회로 합성을 거쳐 하드웨어 블록으로 대체된다.
이진화된 이미지는 그림 2(d)와 같이 윤곽선 추출 알고리즘을 거쳐 움직임이 발생한 객체영역을 사각형 블록으로 표시한다. 윤곽선 추출 알고리즘에는 일반적으로 Sobel 연산자 혹은 유사한 형태의 다른 알고리즘이 적용되나 본 논문에서는 환자와 같은 특수한 환경에 존재하는 객체의 움직임을 감지하기 위하여 기존의 방식대비 정밀제어가 가능하고 하드웨어 구현에 더 효율적인 세선화 알고리즘을 이용하여 윤곽선을 추출하였다. 움직이는 객체의 중심은 추출된 객체영역의 중심좌표로 결정되며 매 프레임마다 변화를 추적하여 다양한 방식으로 객체의 상태를 판단하는데 응용될 수 있다.

데이터처리

이진화와 및 세선화 단계는 RTL 기반으로 설계하여 논리회로 합성을 거쳐 하드웨어 블록으로 대체하고자 한다. 640 x 360 nHD 급 해상도의 샘플 영상을 적용하여 기존방식 대비 하드웨어 논리회로로 구현된 윤곽선 추출 단계의 세선화 연산에 대한 성능분석을 통해서 그 성능을 비교분석 하였다. 기존 소프트웨어 기반 알고리즘의 성능 분석에는 32 bit RISC MCU 를 합성하고 Embedded FPGA 시스템을 이용하여 CPU 소요 사이클 수를 분석하였다.
구현된 소프트웨어 기반 알고리즘의 성능 분석에는 그림 3과 같이 Embedded FPGA 시스템을 이용하여 32 bit RISC MCU를 합성하고 알고리즘의 단계별 CPU 소요 사이클 수는 ARM 에뮬레이터를 동시에 이용하여 분석하였다. 알고리즘 명령어의 모든 결과는 ARM 프로세서의 소프트웨어 에뮬레이터인 ARM 에뮬레이터의 결과로 분석될 수 있다.
기존 소프트웨어 기반 알고리즘의 성능 분석에는 32 bit RISC MCU 를 합성하고 Embedded FPGA 시스템을 이용하여 CPU 소요 사이클 수를 분석하였다. 설계된 이진화 및 세선화 블록은 표준 180n CMOS 라이브러리를 이용하여 논리회로로 합성한 후 시뮬레이션을 통하여 동작을 검증하였다. RTL 방식의 하드웨어 기반의 혼성모드 설계가 윤곽선 추출단계에서 이전의 소프트웨어로만 이루어지는 처리속도에서 93.
연산량이 많은 이진화와 세선화 단계를 RTL(Register Transfer Level) 기반으로 설계하여 논리회로 합성을 거쳐 최적화된 하드웨어 블록으로 대체한다. 설계된 이진화 및 세선화 블록은 표준 180n CMOS 라이브러리를 이용하여 논리회로로 합성한 후 시뮬레이션을 통하여 동작을 검증한다. 소프트웨어기반의 성능비교를 위해 32bit FPGA 임베디드시스템 환경에서 640 x 360 해상도의 샘플 영상을 적용하여 이진 및 세선화 연산에 대한 결과를 바탕으로 비교분석을 실시한다.
설계된 이진화 및 세선화 블록은 표준 180n CMOS 라이브러리를 이용하여 논리회로로 합성한 후 시뮬레이션을 통하여 동작을 검증한다. 소프트웨어기반의 성능비교를 위해 32bit FPGA 임베디드시스템 환경에서 640 x 360 해상도의 샘플 영상을 적용하여 이진 및 세선화 연산에 대한 결과를 바탕으로 비교분석을 실시한다.

성능/효과

설계된 이진화 및 세선화 블록은 표준 180n CMOS 라이브러리를 이용하여 논리회로로 합성한 후 시뮬레이션을 통하여 동작을 검증하였다. RTL 방식의 하드웨어 기반의 혼성모드 설계가 윤곽선 추출단계에서 이전의 소프트웨어로만 이루어지는 처리속도에서 93.8% 향상될 수 있음을 확인하였다. 제안된 객체인식을 위한 혼성모드 시스템은 인공지능 네트워크가 적용되지 않는 엣지 컴퓨팅 환경에서도 환자의 움직임을 효율적으로 감시할 수 있을 것으로 기대된다.
표 1은 ARM 에뮬레이터에 의하여 분석된 소프트웨어기반 동작의 CPU 점유율과 RTL 방식의 하드웨어 기반에서 이진화 및 세선화 동작의 점유율을 나타낸다. 검증결과 RTL 방식의 하드웨어 기반에서 이진화 및 세선화 동작에서 94% 의 CPU점유율 향상도를 나타내었다.

후속연구

8% 향상될 수 있음을 확인하였다. 제안된 객체인식을 위한 혼성모드 시스템은 인공지능 네트워크가 적용되지 않는 엣지 컴퓨팅 환경에서도 환자의 움직임을 효율적으로 감시할 수 있을 것으로 기대된다.

참고문헌 (15)

Yegi Lee, Shin Kim, Hanshin Lim, Hee Kyung Lee,？Hyon-Gon Choo, Jeongil Seo, and Kyoungro Yoon,？"Performance Analysis of Object Detection Neural？Network According to Compression Ratio of RGB and？IR Images," JBE, Vol. 26, No. 2, March 2021.？https://doi.org/10.5909/JBE.2021.26.2.155

원문보기 상세보기
Seulkee Jung, Jong-Bae Lee, Seongsoo Lee,？"Implementation of Real-Time Multi-Camera Video？Surveillance System with Automatic Resolution Control？Using Motion Detection," Journal of IKEEE, Vol. 18,？No. 4, pp. 612-619, Dec. 2014.？https://doi.org/10.7471/ikeee.2014.18.4.612

원문보기 상세보기
Lin, Tsung-Yi, et al., "Focal loss for dense object？detection," Proceedings of the IEEE international？conference on computer vision, pp. 2980-2988, 2017.？https://doi.org/10.48550/arXiv.1708.02002
Girshick, Ross, et al., "Rich feature hierarchies for？accurate object detection and semantic segmentation,"？Proceedings of the IEEE conference on computer？vision and pattern recognition, pp. 580-587, 2014.？https://doi.org/10.48550/arXiv.1311.2524
Girshick Ross, "Fast rcnn,"Proceedings of the IEEE？international conference on computer vision, pp.？1440-1448, 2015.？https://doi.org/10.1109/ICCV.2015.169
Ren, Shaoqing, et al., "Faster rcnn: Towards real-time？object detection with region proposal networks," IEEE？transactions on pattern analysis and machine？intelligence, Vol. 39, No. 6, pp. 1137-1149, 2016.？https://doi.org/10.48550/arXiv.1506.01497
Dong-Hoon Shin, Ji-Won Baek, Roy C. Park,？Kyungyong Chung, "Deep Learning-based Vehicle？Anomaly Detection using Road CCTV Data," Journal？of the Korea Convergence Society, Vol. 12. No. 2, pp.？1-6, 2021.？https://www.dbpia.co.kr/journal/voisDetail?voisIdVOIS00645034
Redmon, Joseph, et al., "You only look once: Unified,？real-time object detection," Proceedings of the IEEE？conference on computer vision and pattern recognition,？pp. 779-788, 2016.？https://doi.org/10.48550/arXiv.1506.02640
Farahnakian, Fahimeh, et al., "Deep Convolutional？Neural Network based Fusion of RGB and IR Images？in Marine Environment," 2019 IEEE Intelligent？Transportation Systems Conference (ITSC), pp. 21-26,？2019. https://doi.org/10.1109/ITSC.2019.8917332
Liu, Shuo, and Zheng Liu, "Multi-channel CNN-based？object detection for enhanced situation awareness,"？arXiv preprint arXiv :1712. 00075, 2017.？https://doi.org/10.48550/arXiv.1712.00075
Ha-Rin Lee, Yoo-Jin Kim, Min-Ah Lee, Jae-Hyun？Moon, "Motion Recognition of SmartPhone using？Sensor Data,"Proceedings of the Korean Information？Processing Society 2020 Online Fall Conference,？Vol.27, No. 2, Dec. 2020.
Y. C. Lee, and C. W. Lee, "Danger Alert Surveillance？Camera Service using AI Image Recognition？technology," Journal of Korea Multimedia Society, vol.？17, no. 12, pp. 1437-1445, 2014.？https://doi.org/10.3745/PKIPS.y2020m11a.814
Seungmin Jung, "VLSI Implementation of Algorithm？for Performance Improvement of Minutiae Based？Fingerprint Recognition System," Journal of Computing？Science and Engineering Vol. 14, No. 4, pp. 146-153,？Dec. 2020. https://doi.org/10.5626/JCSE.2020.14.4.146

상세보기
Kim dong-woo, Song young-jun, Kim ae-kyeong, Ahn？jae-hyeong, "The moving object detection for moving？picture with gaussian noise," Korea Contents？Association 2009 Spring Conference, 2009？.https://doi.org/10.1109/MECO.2019.8760066
Jong-beom Park, "A Study on the Background Image？Updating Algorithm for Detecting Fast Moving？Objects," J. Korea Inst. Intell. Transp. Syst. Vol. 5, No.？41, pp. 53~160, 2016.？https://doi.org/10.12815/kits.2016.15.4.153

원문보기 상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

환자움직임 감지를 위한 효율적인 하드웨어 및 소프트웨어 혼성 모드 영상처리시스템설계에 관한 연구
A study on the design of an efficient hardware and software mixed-mode image processing system for detecting patient movement 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (12)

표/그림 (12)

AI 본문요약
AI-Helper

문제 정의

제안 방법

데이터처리

성능/효과

후속연구

참고문헌 (15)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

환자움직임 감지를 위한 효율적인 하드웨어 및 소프트웨어 혼성 모드 영상처리시스템설계에 관한 연구 A study on the design of an efficient hardware and software mixed-mode image processing system for detecting patient movement 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (12) 모든 표/그림 보기

표/그림 (12) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

데이터처리

성능/효과

후속연구

참고문헌 (15)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

환자움직임 감지를 위한 효율적인 하드웨어 및 소프트웨어 혼성 모드 영상처리시스템설계에 관한 연구
A study on the design of an efficient hardware and software mixed-mode image processing system for detecting patient movement 원문보기

초록
AI-Helper

표/그림 (12)

표/그림 (12)

AI 본문요약
AI-Helper