关于AI视觉——目标检测与物体分类（基于FZ5C）

首先引入一个概念：

边缘计算：是指 在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务 。 边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端。

文章目录

本篇博文基于百度大脑与米尔电子联合推出的
FZ5C AI 计算盒

。

介绍：FZ5C 基于 XILINX Zynq UltraScale+ MPSoC 系列 FPGA 可伸缩计算架构，可支持二次开发，支持高精度模型/多模型部署，同时搭载百度大脑 PaddlePaddle（飞浆）框架，能无缝衔接百度大脑 AI 开放能力与工具平台。

1. 设备连接

设备支持串口连接和网口连接。

① 使用 MobaXterm 串口连接

MobaXterm 是一款远程终端控制软件， 集串口，SSH远程登录和FTP传输 三合一的工具，便携版操作简单，使用非常方便。
MobaXterm 下载地址： MabaXterm 官网
打开 MobaXterm ，新建连接，选择Serial，波特率选择115200，Flow Control不选

新建之后，输入用户名和密码登录

② 使用网口连接

设备在出厂时设置了静态ip：192.168.1.254，通过网线直连电脑或连接路由设备

使用SSH协议登录系统。

1. 配置本地网络 ：

netsh interface ip set address "以太网" static 192.168.1.104 255.255.255.0 192.168.1.1

1. 调试完设备还原本地网络：

netsh interface ip set address "以太网" dhcp

1. 使用 cmd / PowerShell 连接设备

ssh [email protected]

1. 也可以用 MobaXterm 连接

2. 目标检测

物体检测除了能知道物体的类型，还能检测出物体所在的位置坐标。

示例图片：

① 加载驱动

一般来说，驱动加载一次就够了

insmod /home/root/workspace/driver/fpgadrv.ko

如果出现方框内的提示则说明已经加载过了

② 编译项目

// 打开分类项目目录
cd /home/root/workspace/sample/detection/
 
// 进入 build 目录
cd build
// 调用 cmake 创建 Makefile
cmake ..
// 编译项目
make

③ 执行项目

从json文件中读取模型和图片信息，加载并执行。
执行时需要指定 相应的配置文件。

# ./image_detection ../configs/vgg-ssd/screw.json

执行结果：

edgeboard-183:~/workspace/sample/detection/build# ./image_detection ../configs/vgg-ssd/screw.json
 version:1 device_type:500 filter_cap:2048 colunm:8
label:1,score:1 loc:781,146,137,137
label:1,score:1 loc:652,224,137,136
label:1,score:1 loc:963,272,145,149
label:1,score:1 loc:1106,264,145,140
label:1,score:1 loc:661,368,143,140
label:1,score:1 loc:659,523,149,154
label:1,score:1 loc:918,692,140,145
label:1,score:0.999512 loc:1085,415,140,143
label:1,score:0.999512 loc:830,504,139,152
label:1,score:0.988281 loc:1148,608,136,159
label:2,score:0.914551 loc:830,583,122,278
label:2,score:0.90918 loc:928,129,227,162
label:2,score:0.688477 loc:1020,537,132,239
label:2,score:0.645996 loc:815,340,205,186
label:2,score:0.512207 loc:637,672,194,184

3. 物体分类

读取一张本地图片，调用模型进行推理，并输出结果。

示例图片：

① 加载驱动

同上

② 编译项目

// 打开分类项目目录
cd /home/root/workspace/sample/classification/
// 如果没有 build 目录就新建一个
mkdir build
cd build
// 调用 cmake 创建 Makefile
cmake ..
// 编译项目
make

③ 执行项目

从json文件中读取模型和图片信息，加载并执行。
执行时需要指定 相应的配置文件。

# ./image_classify ../configs/resnet50/drink.json

执行结果：

edgeboard-183:~/workspace/sample/classification/build# ./image_classify  ../configs/resnet50/drink.json
 version:1 device_type:500 filter_cap:2048 colunm:8
label:2:cestbon
index:2
score:1

识别出示例图片中是 怡宝（cestbon）