여러 가지 센서를 이용한 IOT(Internet Of Thing) 시스템의 FPGA 설계용 교육장비를 소개한다. 센서들은 다양한 출력 방식을 가지고 있어서 출력 방식에 따른 센서 인터페이스컨트롤러를 FPGA 상에서 설계가 필요하다. 본 장비는 아날로그 출력인 경우에 FPGA(Field Programmable Gate Array)내에 있는 ADC(Analog-to-Digital Converter) 방식과 디지털 출력인 경우에 $I^2C$(Inter-Integrated Circuit), SPI(Serial Peripheral Interface Bus) 통신방식 및 GPIO(General-Purpose Input/Output)를 통해 사용한 방식에 따른 여러 가지 센서 인터페이스 컨트롤러의 설계가 가능하다. 이미지 센서를 이용해서 영상 처리 하드웨어 설계가 가능하고 더불어 영상 및 영상처리 결과를 모니터에 출력하는 VGA(Video Graphics Array) 컨트롤러 설계도 가능하다. 본 장비는 유,무선 네트워크에 통신이 가능한 IOT 시스템을 위해서 한 칩에 디지털 하드웨어와 Linux System을 결합한SOC(System on Chip) 설계가 가능하다. 이 장비를 이용해서 "이미지센서 기반의 하드웨어 설계와 가속도센서 기반의 하드웨어 설계"의 사례를 소개하고 그 설계를 기반으로 "FPGA를 이용한 디지털시스템 설계" 교과목의 교육 가능한 사례를 소개한다. 학생들에 의해서 새롭게 설계한 하드웨어를 본 FPGA를 이용해서 하드웨어 장비에 적용시키는 능력을 배양할 수 있고, 또한 개념설계, 부분설계, 상세설계를 통해서 FPGA 기반 하드웨어의 창의적 종합설계 능력을 키울 수 있다.
여러 가지 센서를 이용한 IOT(Internet Of Thing) 시스템의 FPGA 설계용 교육장비를 소개한다. 센서들은 다양한 출력 방식을 가지고 있어서 출력 방식에 따른 센서 인터페이스 컨트롤러를 FPGA 상에서 설계가 필요하다. 본 장비는 아날로그 출력인 경우에 FPGA(Field Programmable Gate Array)내에 있는 ADC(Analog-to-Digital Converter) 방식과 디지털 출력인 경우에 $I^2C$(Inter-Integrated Circuit), SPI(Serial Peripheral Interface Bus) 통신방식 및 GPIO(General-Purpose Input/Output)를 통해 사용한 방식에 따른 여러 가지 센서 인터페이스 컨트롤러의 설계가 가능하다. 이미지 센서를 이용해서 영상 처리 하드웨어 설계가 가능하고 더불어 영상 및 영상처리 결과를 모니터에 출력하는 VGA(Video Graphics Array) 컨트롤러 설계도 가능하다. 본 장비는 유,무선 네트워크에 통신이 가능한 IOT 시스템을 위해서 한 칩에 디지털 하드웨어와 Linux System을 결합한SOC(System on Chip) 설계가 가능하다. 이 장비를 이용해서 "이미지센서 기반의 하드웨어 설계와 가속도센서 기반의 하드웨어 설계"의 사례를 소개하고 그 설계를 기반으로 "FPGA를 이용한 디지털시스템 설계" 교과목의 교육 가능한 사례를 소개한다. 학생들에 의해서 새롭게 설계한 하드웨어를 본 FPGA를 이용해서 하드웨어 장비에 적용시키는 능력을 배양할 수 있고, 또한 개념설계, 부분설계, 상세설계를 통해서 FPGA 기반 하드웨어의 창의적 종합설계 능력을 키울 수 있다.
Education equipment for field programmable gate array (FPGA) design of sensor-based IOT (Internet Of Thing) system is introduced. Because sensors have different interfaces, several types of interface controller on FPGA need. Using this equipment, several types of interface controller, which can cont...
Education equipment for field programmable gate array (FPGA) design of sensor-based IOT (Internet Of Thing) system is introduced. Because sensors have different interfaces, several types of interface controller on FPGA need. Using this equipment, several types of interface controller, which can control ADC (analog-to-digital converter) for analog sensor outputs and $I^2C$ (Inter-Integrated Circuit), SPI (Serial Peripheral Interface Bus), and GPIO (General-Purpose Input/Output) for digital sensor outputs, can be designed on FPGA. Image processing hardware using image sensors and display controller for real and image-processed images or videos can be design on FPGA chip. This equipment can design a SOC (System On Chip) consisting of a hard process core on Linux OS and a FPGA block for IOT system which can communicate with wire and wireless networks. Using the education equipment, an example of hardware design using image sensor and accelerometer is described, and an example of syllabus for "Digital system design using FPGA" course is introduced. Using the education equipment, students can develop the ability to design some hardware, and to train the ability for the creative capstone design through conceptual, partial-level, and detail designs.
Education equipment for field programmable gate array (FPGA) design of sensor-based IOT (Internet Of Thing) system is introduced. Because sensors have different interfaces, several types of interface controller on FPGA need. Using this equipment, several types of interface controller, which can control ADC (analog-to-digital converter) for analog sensor outputs and $I^2C$ (Inter-Integrated Circuit), SPI (Serial Peripheral Interface Bus), and GPIO (General-Purpose Input/Output) for digital sensor outputs, can be designed on FPGA. Image processing hardware using image sensors and display controller for real and image-processed images or videos can be design on FPGA chip. This equipment can design a SOC (System On Chip) consisting of a hard process core on Linux OS and a FPGA block for IOT system which can communicate with wire and wireless networks. Using the education equipment, an example of hardware design using image sensor and accelerometer is described, and an example of syllabus for "Digital system design using FPGA" course is introduced. Using the education equipment, students can develop the ability to design some hardware, and to train the ability for the creative capstone design through conceptual, partial-level, and detail designs.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 FPGA를 이용한 IOT 기반의 실습 교육 장비를 소개했다. 이 교육 장비는 FPGA의 기본적인 원리를 이해하고, 센서를 통해 여러 인터페이스를 숙지할 수 있도록 도와주는 개발 장비이다.
본 논문은 FPGA를 이용해서 다양한 센서를 이용한 IOT 시스템 설계 교육장비를 소개한다. 이 장비를 이용해서 영상센서 기반의 하드웨어 설계와 가속도센서 기반의 하드웨어 설계의 사례를 소개하고 그 설계를 기반으로 “FPGA를 이용한 디지털시스템 설계” 교과목의 교육 가능한 사례를 소개한다.
본 논문은 본 교육용 장비의 활용 가능성을 알아보기 위해서 본 장비를 이용한 하드웨어 설계 사례로 “영상센서기반 물체 추적 시스템”과 “가속도센서기반 낙상 감지 시스템” 작품을 소개한다.
제안 방법
DSVM은 가속도의 변화량만을 계산하기 위해 사용한다. DSVM을 계산하기 위해 먼저 간단한 FIFO 시스템을 통해 현재의 데이터와 직전의 데이터의 차이를 구해준 뒤 SVM와 동일한 과정을 통해 DSVM을 구해준다. Theta는 현재 축과의 각도를 표현하기 위해 사용한다.
GDSVM은 가속도의 변화에 중력방향으로 가중치를 두어서 다른 움직임들과 확실히 구분할 수 있는 특징 벡터로 사용한다. GDSVM을 계산하기 위해 현재 각도를 중력방향으로 가중치를 고려해 계산한 뒤 DSVM과 곱해준다. 그리고 5가지 파라미터들을 토대로 행동 모델 별 패턴을 파악하기 위해 사용자의 가슴에 DE0-Nano를 착용하고, walking, sitting, running, jumping, lying down forward, lying down backward, falling forward, falling backward의 패턴 별 데이터 값을 UART 프로토콜을 이용해 Zigbee 무선통신으로 DE1-SOC보드에 보내게 된다.
HDL 관련 교과목 수강이 완료된 학생을 대상으로 본 논문에서 제안한 FPGA를 이용한 센서기반의 IOT 시스템 설계 교육장비를 이용하여 다음에 설명한 내용을 주 별로 설계 교육을 진행하고 단계별로 교육 및 설계하는 학습 내용은 다음과 같다.
SVM을 계산하기 위해 데이터를 각 각 제곱을 한 뒤 Floating Point Transform Module을 만들어 IEEE 규격 32bit 부동소수 변환을 해준다. 그 후 Square Root Module을 통해 루트연산을 해준 뒤 Inverse Floating Point Transform Module을 만들어 부동소수 역 변환 과정을 해준다. DSVM은 가속도의 변화량만을 계산하기 위해 사용한다.
GDSVM을 계산하기 위해 현재 각도를 중력방향으로 가중치를 고려해 계산한 뒤 DSVM과 곱해준다. 그리고 5가지 파라미터들을 토대로 행동 모델 별 패턴을 파악하기 위해 사용자의 가슴에 DE0-Nano를 착용하고, walking, sitting, running, jumping, lying down forward, lying down backward, falling forward, falling backward의 패턴 별 데이터 값을 UART 프로토콜을 이용해 Zigbee 무선통신으로 DE1-SOC보드에 보내게 된다. 그림 9는 뒤로 낙상(backward-falling) 행동 모델에 대한 파라미터를 나타낸 것이다.
그리고 지터 잡음(Jitter Noise)를 제거하기 위하여 FIFO(First Input First Output) 시스템을 이용하여 Moving Average Filter Module을 만들어 데이터를 통과시킨다. 그리고 낙상을 판별하기 위한 파라미터인 SVM(sum vector magnitude), DSVM(differential SVM), Theta(각도), GSVM(gravitiy SVM), GDSVM(gravity DSVM) 을 각각 만들어 준다[17]. 여기서 SVM은 움직임의 양의 정량화하기 위해 사용한다.
먼저 3축 가속도 센서의 데이터를 받아 낙상을 판단하기 위한 데이터로 만들기 위해 1의 보수를 취한다. 그리고 지터 잡음(Jitter Noise)를 제거하기 위하여 FIFO(First Input First Output) 시스템을 이용하여 Moving Average Filter Module을 만들어 데이터를 통과시킨다. 그리고 낙상을 판별하기 위한 파라미터인 SVM(sum vector magnitude), DSVM(differential SVM), Theta(각도), GSVM(gravitiy SVM), GDSVM(gravity DSVM) 을 각각 만들어 준다[17].
이 장비를 이용해 카메라, VGA(Video Graphic Array), Ethernet, GPIO(General Purpose Input/Output) 등을 이용하여 센서를 통한 IOT 시스템 설계가 가능하다. 본 IOT 시스템 설계용 교육장비를 기반으로 Altera에서 무료로 제공하는 Quartus II Web Edition Software[15]을 이용해서 다양한 센서 기반의 디지털 논리회로 및 시스템을 설계한다. Quartus II는 회로도나 VHDL과 Verilog과 같은 하드웨어 기술 언어(hardware description language; HDL)을 지원하고 그것들을 이용해서 프로그램 가능한 논리 소자들에 설계하고자 하는 논리 회로를 구현할 수 있도록 한다.
이 설계는 카메라를 통해 실시간으로 영상 입력에 따라 움직이는 물체를 인식 하는 것과 가속도센서에서 실시간으로 출력된 가속도 데이터를 이용해 낙상 감지 알고리즘[17]을 적용하여 낙상을 판별하는 설계이며 다음 절과 같다.
이 장비를 이용해서 영상센서 기반의 하드웨어 설계와 가속도센서 기반의 하드웨어 설계의 사례를 소개하고 그 설계를 기반으로 “FPGA를 이용한 디지털시스템 설계” 교과목의 교육 가능한 사례를 소개한다.
그림 9는 뒤로 낙상(backward-falling) 행동 모델에 대한 파라미터를 나타낸 것이다. 이 행동 모델 별 데이터를 분석하여 Threshold를 잡아 일상과 낙상을 판별한다.
이론/모형
D5M 카메라로부터 받은 640 × 480 영상데이터의 실시간 처리를 위하여 용량 축소를 먼저 해야 한다. 따라서 용량 축소를 위해 사용한 Sobel Edge Algorithm[18]을 사용하였다. 그림 5는 D5M으로부터 받은 영상을 Grayscale로 변화에 대한 결과물과 프로그래밍 및 RTL(Register-Transfer Level)을 보여준다.
성능/효과
영상센서기반 물체 추적 시스템을 사용하여 움직이는 대상을 추적하는 것이 가능하다. 가속도센서기반 낙상 감지 시스템을 사용하여 6명의 사람을 대상으로 행동 모델 별 성공여부를 측정한 결과가 99.11%의 높은 낙상 감지율이 나타내었다.
이를 통해 학생들은 하드웨어 기반의 언어를 통해 설계한 모듈을 본 장비에 적용시키는 능력을 배양할 수 있고 UART, SPI 통신, I2C 통신, ADC 모듈을 직접 설계함으로써 FPGA 설계하는 능력을 키울 수 있다. 그리고 센서의 값을 직접 받아보고 연산함으로써 센서에 대한 이해와 적용 능력을 높이고, 또 FPGA와 HPS을 연동함으로써 SOC 임베디드 설계와 ARM Cortex-A9의 대한 이해도를 높일 수 있다. 더불어 IOT 세상에 유무선 통신 방식을 하드웨어로 설계하는 과정을 이해할 수 있다.
이 교육 장비는 FPGA의 기본적인 원리를 이해하고, 센서를 통해 여러 인터페이스를 숙지할 수 있도록 도와주는 개발 장비이다. 이를 통해 학생들은 하드웨어 기반의 언어를 통해 설계한 모듈을 본 장비에 적용시키는 능력을 배양할 수 있고 UART, SPI 통신, I2C 통신, ADC 모듈을 직접 설계함으로써 FPGA 설계하는 능력을 키울 수 있다. 그리고 센서의 값을 직접 받아보고 연산함으로써 센서에 대한 이해와 적용 능력을 높이고, 또 FPGA와 HPS을 연동함으로써 SOC 임베디드 설계와 ARM Cortex-A9의 대한 이해도를 높일 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
IOT란 무엇을 의미하는가?
IOT(Internet Of Thing)은 상태 감지, 내 외부 환경과의 통신과 상호작용을 위해 임베디드 기술을 탑재한 물리적 사물들의 네트워크를 의미한다[1]. 이러한 IOT에 대하여 글로벌 시장조사업체 가트너는 PC, 태블릿 PC, 스마트폰을 제외한 IOT 기기가 2009년 9억 대에서 2020년에는 약 30배 증가한 260억 대에 이를 것으로 전망했다[2].
최근에 어떠한 분야에서 FPGA를 사용한 병렬처리를 시도하고 있는가?
IOT는 사물들 간의 네트워크가 가능한 사물 인터넷이 매우 중요하고 특히 사물들의 상태와 사물들을 제어하는 디바이스가 매우 중요하다. 최근에 DSP(Digital Signal Processing), 방어 시스템, 주문형 반도체(Application Specific Integrated-Circuit; ASIC) 초기버전, 의료 영상, 음성 인식, 암호학, 생물정보학, 검색엔진, 빅데이터 분석, 신약 개발, 항공 시뮬레이션 등 고도의 복잡한 계산이 필요한 분야에서 최근 FPGA(Field Programmable Gate Array)를 사용한 병렬처리를 시도하고 있다[3]. 특히, 다양한 센서들을 이용한 IOT 기기들이 마이크로컨트롤러을 사용한 소프트웨어 기반으로 많이 개발되고 있으나 FPGA 상에서 하드웨어 기반으로 IOT 설계하는 연구[4,5]는 그것에 비해서 상대적으로 적다.
기존의 FPGA를 이용해서 다양한 멀티미디어 데이터 처리가 가능한 교육장비는 어떠한 시스템에 적당하지 않는가?
지금까지는 FPGA를 이용해서 다양한 멀티미디어 데이터 처리가 가능한 교육장비가 소개되었고[6] 이 장비는 영상인식 기반의 하드웨어 설계와 무선통신, Labivew와 FPGA 설계 능력을 키울 수 있는 교육이 가능하다. 그러나 이 장비는 센서 인터페이스와 유무선 네트워크를 결합한 IOT 시스템에는 적당하지 않다. 그러므로 새로운 IOT 시스템의 FPGA 기반의 하드웨어 설계가 가능한 교육장비가 요구된다.
참고문헌 (18)
L. Atzori, A. Iera, and G. Morabito, "The internet of things: A survey," Computer Networks, vol. 54, no. 15, pp. 2787-2805, October 2010.
A. P. Johnson, R. S. Chakraborty, and D. Mukhopadhyay. "A PUF-enabled secure architecture for FPGA-based IoT applications," IEEE Transactions on Multi-Scale Computing Systems, vol. 1, no. 2, pp. 110-122, October 2015.
Q. Chi, H. Yan, C. Zhang, Z. Pang, and L. D. Xu, "A reconfigurable smart sensor interface for industrial WSN in IoT environment," IEEE Transactions on Industrial Informatics, vol. 10, no. 2, pp. 1417-1425, May 2014.
Y. S. Yu, "Education equipment for FPGA-based multimedia player design," Journal of Practical Engineering Education, vol. 6, no. 2, pp. 91-97, December 2014.
Terasic. TRDB-D5M User Manual [Internet]. Available: http://www.terasic.com/.
Texas Instrument. Second generation system-on-chip solution for 2.4 GHz IEEE 802.15.4/RF4CE/ZigBeeC2530 [Internet]. Available: http://www.ti.com/.
Altera. Introduction to the $Quartus^{(R)}$ II software, version 15.1, Altera Corp. San Jose, CA [Internet]. Available: http://www.altera.com/.
DE1-SoC My First HPS [Internet]. Available: http://www.terasic.com/.
D. Lim, C. Park, N. H. Kim, S.-H. Kim, and Y. S. Yu, "Fall-detection algorithm using 3-axis acceleration: combination with simple threshold and hidden markov model," Journal of Applied Mathematics, vol. 2014, Article ID 896030, 8 pages, September 2014.
S. L. Eddins, R. C. Gonzalez, and R. E. Woods, Digital image processing using matlab, upper saddle river, New Jersey, NJ: Pearson Education, 2009.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.