ZRRGZN-01人工智能综合实验平台

一、产品构造构成

系统含有六自由度机械臂、宽动态*视觉摄像头、Jetson Nano边缘处置整理终端17.3寸边缘计算显露单元、机器视觉场景应用资源包、可模仿人工智能典型应用场景，完成人工智能应用技术教学实训。

教学平台系统预装Ubuntu18.04实操系统，全部环境代码库文件均已装配，开机即用。基于多维度学习掌控把握实践平台，由浅入深循序渐进，从基础单独的GPIO拓展开始学习掌控把握过渡到传感器实训项目再进入OpenCVPyTorch、ROS系统，机器动作学，*机器视觉，*语音识别听觉等学习掌控把握，从而学会*人工智能研发。

所提供的算法源代码（包括人脸检验测试、车牌识别、垃圾分类、目标检验测试），兼容Caffe/TensorFlow/MXNet实训模型和API，可以让学生对机器视觉的流程、处置整理方式等有更好的理解，熟悉相关算法，理解实际应用场景，贴近工程化应用。

1、JetsonNano边缘计算平台

NVIDIA Jetson Nano是一个小巧却功能强大的计算机，它可以让你并行运行多个神经互联网、对象检验测试、分割和语音处置整理等应用程序,Jetson Nano搭载四核cortex-A57处置整理器，128核MaxwellGPU及4GB LPDDR内部存储，带来足够的*计算能力,提供472GFLOP算力,并支持一系列流行的Al框体结构和算法，比如TensorFlow、Pytorch.caffe/caffe2、Keras、MXNET等

2、机器视觉(机器臂)

视觉机械臂以Jetson nano为主控，Open Source CV为图像处置整理库，以主流的Jupyter Lab为研发工量具,使用Python3为主要编程语言。摄像头与机械臂机身一体式设计，“手眼合一”的视觉识别让机械臂显得更加灵动，它不仅可以完成颜色识别追踪与抓取，还能人体特征识别互动，甚至实行垃圾分类模型实训垃圾分拣;经过RO5机器人操控系统，简化了6自由度串行总线舵机复杂动作控制。

1080P摄像头：感光元件尺寸：1/237”有效分辨率：1928*1088;数值格式：YUY2/MJPG;像素大小：3.0μm*3.0μm;宽动态界限：96DB;自动控制：饱和度，对比度，锐度，白平衡，曝光。

机械臂：Cortex-M3内核的处置整理器控制板，自由度桌面式机械臂，大功率串行总线智能舵机，臂展350mm，负载≥300g，带夹爪，阳极氧化处置整理铝制机身，主要用来工业机械臂的控制。支持python编程，可灵活和调动每一关节角度和位置；支持PC上位机、手机APP、USB游戏手柄控制；

3、语音识别-麦克风阵列

麦克风阵列是基于MSM261S4030H0数字麦克风芯片设计的，模型块声音识别感知度、信噪比全部对比高，可应用来声源定位、语音识别、波束成型等需求场合。

1. :RISC-V Dual Core 64bit,with内核,主频400MHz,8M Byte,内置语音识别麦克风阵列(8mics),互联网模型:支持YOLOv3 Mobilenetv2 TinyYOLOv2,支持TensorFlow/Keras/Darknet/Caffe等主流框体结构

2. 麦克风:6+1个MSM261S4030H0构成阵列（声压级:140 dB SPL，感知度:-26，信噪比: 57dB，THD<1%，时钟频率:1.0-4.0MHz正常模式，150-800kHz低功耗模式）

2.灯光:12个LED经过双信号线级联（颜色和亮度可调)

3.支持声源定位、语音导航、语音交互、离线语音识别。

4、激光雷达

相较于传统技术，运用红外激光设备可完成超大屏幕的多点触摸，其反应更快、精度更高、抗环境光能力更强。激光雷达作为核心传感器，可快速获取环境轮廓信息，协作SLAMWARE使用，可以帮助机器人完成自主组建地图、就地实时路径规划与自动避开障碍物。应用领域智能扫地机、家用机器人。

测量半径：12米，测量频率：8000次/秒，扫描频率：5.5HZ，360度扫描测距

工程应用方向

1. 计算机视觉基础应用与机械臂的动作控制

（1）视觉定位：放置随意物体在视野中，在图像中将其分割（框出来），并输出中心点坐标；

（2）颜色识别和分选：多种颜色混合放放置于视野中，每种颜色各一个，控制手臂挑选出某种颜色，并放置在一侧；

（3）颜色识别和堆叠：多种颜色混合放放置于视野中，如两种，每种颜色两个，控制手臂抓取某种颜色并堆叠，或多颜色分别堆叠；

（4）形状识别和分选：多种形状混合放放置于视野中，每种形状各个，控制手臂挑选出某种形状，并放置在一侧；

（5）形状识别和堆叠：多种形状混合放放置于视野中，如两种，每种形状两个，控制手臂抓取某种形状并堆叠，或将多种形状分别堆叠；

（6）单一形状目标按大小排序：同种形状，放置三种不一样尺寸的物体于视野中，控制手臂按照从大到小的顺序依次放置；

（7）多种形状目标同时按形状和大小堆叠：三种形状，每种形状放置三种不一样尺寸的物体于视野中，控制手臂按照不一样形状、从大到小的顺序分别实行堆叠（即三个堆垛，均为从大到小）；

（8）垃圾分类：在目标上贴上不一样物体的图案，如白菜、标识为有毒物品的玻璃瓶、纸箱，混合放放置于视野中，经过配备，控制机械臂按照厨余垃圾、有害垃圾、可回收垃圾实行分类；

（9）手势交互：比如伸出1、2、3、4个手指，机械臂分别执行向上、向下、向左、向右动作，伸出5个手指，则画一个圆；

（10）目标跟踪：实操者手持一个小球，机械臂识别该小球（形状或颜色），并小球的位移而位移；

（11）OCR光学字符识别与排序：目标上贴上字符，乱序摆放（可要求字符必须朝同一个方向，但顺序是乱的），机械臂经过视觉识别，将其按照123456的顺序摆放到指定位置

2.计算机视觉与人脸识别、车牌识别等应用

（1）人脸识别：事先录入人脸，对新的人脸实行识别，识别成功弹出人员的信息，识别不到则提醒该人员不在系统中；

（2）人脸门禁：识别到人脸后，打开门禁系统，同时绿色指示灯亮起，识别不到，黄色指示灯亮起，提醒无该人员信息；

（3）人员入侵预警：同上。同一人脸连续识别超过 3 次，而且均显露不在系统中，红灯亮起，同时蜂鸣器报警；

（4）车牌识别：事先录入车牌，对新的车牌实行识别，识别成功弹出车主信息，同时绿色指示灯亮起，识别不到则黄色灯亮起，并提醒该车辆不在系统中；

（5）车辆入侵预警：同上。同一车牌连续识别超过 3 次，而且均显露不在系统中，红灯亮起，同时蜂鸣器报警；

（6）动作目标识别与跟踪：应用视频就地实时识别的方式，对视野中的一个或多个人员实行识别，框出来，标记识别到的人员数量，并人员的位移实行跟踪；

3.语音识别与智能家居系统

（1）智能门禁控制：预先对语音实行标记，经过配备语音指令和门禁系统控制算法，完成如发出“开门”的指令，门禁系统自动打开的动作；

（2）智能灯光控制：预先对语音实行标记，经过配备语音指令和灯光控制算法，完成如发出“开灯”的指令，灯光自动打开的动作；

（3）智能风扇控制：预先对语音实行标记，经过配备语音指令和风扇控制算法，完成如发出“打开风扇”的指令，风扇自动开启的动作；

（4）智能温湿度检验测试：预先对语音实行标记，经过配备语音指令和温湿度传感器控制算法，完成如发出“今天的温度是多少”的指令，传感器自动开启可以在屏幕上显露当前环境温湿度的动作。

西门子plc拟真实训系统包括基础指令、应用指令、顺序控制指令

一、基础指令：电动机启停控制、电动机正反转控制、电动机循环正反转、可逆运行反接限制动作、三速电动机控制、星角降压启动控制、数码管点亮控制、交通灯控制、恒压供水系统控制九项。

1、电动机启停控制包括：实训要求、实训器件、器件布置、I/O分配、T型图、电子回路连接、通电运行等七项

（1）实训要求：文字、图片的形式展示。将主要掌控把握的知识点予以概括，理解本模型块主要的学习掌控把握内容包括两地控制电子回路的编程方法，学会实际控制设计PLC的外围电子回路，学会分局实际控制要求设计简便的梯形图等。

（2）实训器件：列出电动机启停控制单元所用到的全部器件，包括三相异步电动机、PLC、交流AC接触器、三相断路器、熔断器、热继电器、启动按钮、停止按钮。

（3）器件布置：将器件库中的拟真器件放到拟真配电储物柜中的相应位置，用来实训学生对器件及电子回路的理解。电子回路上要有相应的符文号，器件拖拽错误器件会拖拽不上去并会有相应的声音显露。

（4）I/O分配：系统中有I/O分配地址和电子回路图，将鼠标点到分配地址资源后会有相应的事物图片展示，用来让学生更好的理解器件模型与电子回路图。

（5）T型图：给出缺失符文号的T型图和相应的符文号，学生按照所学知识用鼠标将符文号拖拽到T型图上，如果正确则符文号保留在T型图上，错误则消失。

（6）电子回路连接：

原理图中闪烁的线条即为当前应连接的电子回路，用鼠标点击连接此线的两触点中的一个触点，然后拖动鼠标，找到另一个触点并点击，若正确将出现连接线，不正确此线消失，只有当该连线连接正确后，才能实行下一条线的接线实操。如果接线中出现困难可点击“答案”按钮，点击后将出现已完成的接线图，可参考该图完成你所实行的实操，再次点击“答案”按钮，答案将消失。

可以自由接线，参照电子回路图可以实行自由接线，如果不会可以点击提醒，鼠标点击任何一个接线热点另外的一端热点会闪烁显露。

（7）通电运行：以拟真实训方式完成。通电后，可按照实操步骤按下相应开关，即可直观地查看到电子回路的运行现象，同时协作模拟真实场景的声效，达到拟真的效果。

配套实训内容

Python基础部分实训

章 Python

第二章 研发环境搭建和使用方法

第三章 Python基础

3.1 Python语法

3.2 Python缩进

3.3 Python注释

3.4 Python变量

3.5 Python引入外援

3.6 Python基础数值类型

3.7 Python常用实操符

第四章 Python分支与循环

4.1 Python分支与循环

4.2 Python条件表达式与断言

4.3 Python循环语句

第五章 Python

5.1 Python清单

5.2 Python元组

5.3 Python字符串

5.4 Python序列

5.5 Python字典

5.6 Python集合

第六章 Python函数

6.1 Python函数的创建与调用

6.2 Python函数的功能数值及返回值

6.3 Python函数的变量

6.4 Python函数式编程

6.5 Python递归

第七章 Python存储

7.1 Python文件

7.2 Python文件系统（OS）

第八章 Python异常处置整理

8.1 Python try-except语句

8.2 Python try-finally语句

8.3 Python r--se语句

第九章 Python类和对象

9.1 Python对象

9.2 Python继承

9.3 Python多重继承

9.4 Python结合

9.5 Python魔法方法-构造与析构

第十章 Python模型块

10.1 Python模型块

10.2 Python包

PyQT部分实训

章 PyQt5

第二章 PyQt5研发环境搭建与使用方法

第三章 个PyQt5窗口程序

3.1 PC端PyQt5应用程序研发流程

3.2 PyQt5应用程序运行在边缘端

第四章 PyQt5窗口设计基础

4.1 单窗口属性与设定

4.2 信号与槽

4.3 多窗口设计

第五章 PyQt5常用控件设计

5.1 文本类研发（Label、TextEdit、SpinBox）

5.2 按钮类研发（PushButton、CheckBox）

5.3 日期时间类（Data/TimeEdit）

5.4 进度条类（ProgressBar）

5.5 对话框类（QMessageBox）

第六章 PyQt5布置管理

6.1 线性布置

6.2 GridLayout网格布置

第七章 PyQt5数值库

7.1 SQLite数值库

7.2 MySQL数值库

第八章 PyQt5文件实操

第九章 PyQt5多线程编程

9.1 QTimer定时器类

9.2 QThread线程类

第十章 PyQt5程序打包

第十一章 PyQt5互联网编程

第十二章 PyQt5物联网编程

12.2 物联网传感器数值获取并显露

12.3 物联网执行器控制

机器视觉部分实训

章 机器视觉说明

1.1 机器视觉简介

1.1.1 机器视觉简介

1.1.2 机器视觉发展

1.2 OpenCV简介

1.2.1 OpenCV简介

1.2.2 OpenCV构造图

第二章 研发环境的搭建和使用方法

第三章 OpenCV图像基础

3.1 OpenCV读取图像

3.2 OpenCV显露图像

3.3 OpenCV保存图像

第四章 OpenCV视频基础

4.1 OpenCV捕获摄像头

4.2 OpenCV读取视频

4.3 OpenCV显露视频

4.4 OpenCV保存视频

第五章 OpenCV绘图功能

5.1 画线

5.2 画矩形

5.3 画圆

5.4 画椭圆

5.5 画多边形

5.6 图像上添加文字

第六章 OpenCV图像实操基础

6.1 访问和修改像素值

6.2 访问图像属性

6.3 图像兴趣区域ROI

6.4 拆分和合并图像通道

第七章 OpenCV图像算术运算

7.1 图像加法

7.2 图像融合

7.3 图像按位运算

第八章 OpenCV颜色空间

8.1 颜色空间简介

8.2 BGR颜色空间

8.3 GRAY颜色空间

8.4 HSV颜色空间

第九章 OpenCV图像变换

9.1 图像缩放

9.2 图像翻转

9.3 图像平移

9.4 图像旋转

9.5 图像仿射变换

9.6 图像透视变换

第十章 OpenCV阈值处置整理

10.1 阈值处置整理说明

10.2 二阶阈值处置整理

10.3 反二阶阈值处置整理

10.4 截断阈值处置整理

10.5 低阈值零处置整理

10.6 超阈值零处置整理

10.7 自适应阈值处置整理

10.8 Otsu处置整理

第十一章 OpenCV图像金字塔

11.1 pyrDown金字塔向下采样

11.2 pyrUp金字塔向上采样

第十二章 OpenCV图像平滑处置整理

12.1 均值滤波

12.2 方框滤波

12.3 高斯滤波

12.4 中值滤波

12.5 双边滤波

第十三章 OpenCV形态学实操

13.1 腐蚀

13.2 膨胀

13.3 开运算

13.4 闭运算

13.5 形态学梯度运算

第十四章 OpenCV边缘检验测试

14.1 Canny边缘检验测试基础

14.2 Canny函数及使用

第十五章 OpenCV图像轮廓

15.1 查找和测绘制作轮廓

15.1.1 查找轮廓

15.1.2 测绘制作轮廓

15.2 矩特征

15.2.1 计算轮廓面积

15.2.2 计算轮廓长度

15.3 轮廓结合

15.3.1 矩形包围框

15.3.2 *小矩形包围框

15.3.3 *小圆形包围框

15.3.4 结合椭圆包围框

15.4 凸包

第十六章 OpenCV直方图处置整理

16.1 测绘制作直方图

16.1.1 hist函数测绘制作直方图

16.1.2 calcHist函数测绘制作直方图

16.2 直方图均衡化

第十七章 OpenCV傅里叶变换

17.1 Numpy完成傅里叶变换

17.2 Numpy完成逆傅里叶变换

17.3 OpenCV完成傅里叶变换

17.4 OpenCV完成逆傅里叶变换

17.5 高通滤波

17.6 低通滤波

第十八章 OpenCV模版匹配

18.1 模版匹配基础

18.2 模版多匹配

第十九章 OpenCV霍夫变换

19.1 霍夫直线变换

19.2 概率霍夫直线变换

19.3 霍夫圆环变换

第二十章 OpenCV二维码识别

第二十一章 OpenCV颜色检验测试

第二十二章 OpenCV面部、眼睛检验测试

第二十三章 OpenCV汽车和行人检验测试

第二十四章 OpenCV手写数字识别

深度学习掌控把握部分实训

章 深度学习掌控把握发展简史

1.1 人工智能简介

1.2 神经互联网与深度学习掌控把握

1.3 神经互联网发展简史

1.4 深度学习掌控把握特别点

1.5 深度学习掌控把握应用

1.6 深度学习掌控把握框体结构

第二章 实训环境配备

2.1 Anaconda 下载与装配

2.2 Anaconda 配备tf2 环境

2.3 Tensorflow 装配

2.4 Jupyter notebook 装配

2.5 RK3399 环境简介

第三章 TensorFlow 基础部分

3.1 张量创建实训

3.2 张量运算实训

3.3 张量维度变换实训

第四章 线性回归

4.1 一元线性回归实训

4.2 多元线性回归实训

4.3 波士顿房价预测实训

第五章 逻辑回归

5.1 一元逻辑回归实训

5.2 多元回归实训

5.3 实战鸢尾花分类实训

第六章 人工神经互联网

6.1 单层神经互联网实训

6.2 多层神经互联网实训

6.3 模型保存或载入实训

第七章 卷积神经互联网

7.1 卷积实操实训

7.2 卷积神经互联网实训

7.3 数值预处置整理实训

第八章 神经互联网迁移学习掌控把握

8.1 经典神经互联网简介

8.2 迁移学习掌控把握猫狗分类实训

第九章 循环神经互联网

9.1 循环神经互联网简介

9.2 情感分类实训

9.3 文本生成实训

第十章 人工智能综合实训

10.1 人脸识别实训

10.2 口罩检验测试实训

10.3 水果识别实训

麦克风阵列部分实训

1. 声源定位实训

2. 音频可视化实训

3. 语音识别实训

机械臂部分实训

基础实训

1.控制RGB灯

2.控制蜂鸣器

3.控制单个舵机

4.读取舵机当前的位置

5.一次控制6个舵机

6.机械臂上下左右摆动

7.机械臂跳舞

8.机械臂记忆动作

9.机械臂夹方块

10.大自然搬运工

11.叠罗汉

人工智能综合实训

1.颜色校准

2.颜色识别抓取积木

3.颜色分拣与堆叠

4.垃圾分拣

5.目标追踪