ubuntu20.04安装教程 csdn_ubuntu18.04安装教程

智能驾驶 车牌检测和识别（五）《C++实现车牌检测和识别（可实时车牌识别）》

　　​ 智能驾驶 车牌检测和识别（五）《C++实现车牌检测和识别（可实时车牌识别）》

　　1. 前言

　　这是项目《智能驾驶 车牌检测和识别》系列之《C++实现车牌检测和识别（可实时车牌识别）》；本项目将开发一个C/C++版本的车牌检测和识别，其中车牌检测算法采用YOLOv5模型，车牌识别算法采用PlateNet模型；车牌检测和识别Demo在OpenCL加速下，可以达到实时的检测和识别效果，基本满足业务的性能需求。

　　车牌识别Demo效果展示：

　　【 整套项目下载地址】：智能驾驶 车牌检测和识别（五）《C++实现车牌检测和识别（可实时车牌识别）》

　　【Android Demo体验】Android实现车牌检测和识别-Android文档类资源-CSDN下载

　　【尊重原创，转载请注明出处】 智能驾驶 车牌检测和识别（五）《C++实现车牌检测和识别（可实时车牌识别）》：https://blog.csdn.net/guyuealian/article/details/128704276

　　更多项目《智能驾驶 车牌检测和识别》系列文章请参考：智能驾驶 车牌检测和识别（一）《CCPD车牌数据集》：https://blog.csdn.net/guyuealian/article/details/128704181智能驾驶 车牌检测和识别（二）《YOLOv5实现车牌检测（含车牌检测数据集和训练代码）》：https://blog.csdn.net/guyuealian/article/details/128704068智能驾驶 车牌检测和识别（三）《CRNN和LPRNet实现车牌识别（含车牌识别数据集和训练代码）》：https://blog.csdn.net/guyuealian/article/details/128704209智能驾驶 车牌检测和识别（四）《Android实现车牌检测和识别（可实时车牌识别）》：https://blog.csdn.net/guyuealian/article/details/128704242智能驾驶 车牌检测和识别（五）《C++实现车牌检测和识别（可实时车牌识别）》：https://blog.csdn.net/guyuealian/article/details/128704276智能驾驶 红绿灯检测（一）《红绿灯(交通信号灯)数据集》：https://blog.csdn.net/guyuealian/article/details/128222850智能驾驶 红绿灯检测（二）《YOLOv5实现红绿灯检测(含红绿灯数据集+训练代码)》：https://blog.csdn.net/guyuealian/article/details/128240198智能驾驶 红绿灯检测（三）《Android实现红绿灯检测(含Android源码 可实时运行)》：https://blog.csdn.net/guyuealian/article/details/128240334 智能驾驶 车辆检测（一）《UA-DETRAC BITVehicle车辆检测数据集》：https://blog.csdn.net/guyuealian/article/details/127907325 智能驾驶 车辆检测（二）《YOLOv5实现车辆检测(含车辆检测数据集+训练代码)》：https://blog.csdn.net/guyuealian/article/details/128099672 智能驾驶 车辆检测（三）《Android实现车辆检测(含Android源码 可实时运行)》：https://blog.csdn.net/guyuealian/article/details/128190532

　　2. 车牌检测模型（YOLOv5）

　　车牌检测模型训练过程，请参考：智能驾驶 车牌检测和识别（二）《YOLOv5实现车牌检测（含车牌检测数据集和训练代码）》：https://blog.csdn.net/guyuealian/article/details/128704068

　　为了能部署在开发板或者手机平台上，本人对YOLOv5s进行了简单的模型轻量化，并开发了一个轻量级的版本yolov5s05_416和yolov5s05_320模型；轻量化模型在普通Android手机上可以达到实时的检测效果，CPU(4线程)约30ms左右，GPU约25ms左右 ，基本满足业务的性能需求。下表格给出轻量化模型的计算量和参数量以及其检测精度模型input-sizeparams(M)GFLOPsmAP_0.5:0.95yolov5s640×6407.216.50.75261yolov5s05416×4161.71.80.74593yolov5s05320×3201.71.10.74341

　　车牌检测效果：

　　YOLOv5车牌检测模型在C++端上部署过程，请参考如下

　　（1） 将Pytorch模型转换ONNX模型

　　训练好yolov5s05或者yolov5s模型后，你需要将模型转换为ONNX模型，并使用onnx-simplifier简化网络结构

　　GitHub： https://github.com/daquexian/onnx-simplifierInstall: pip3 install onnx-simplifier

　　（2） 将ONNX模型转换为TNN模型

　　目前CNN模型有多种部署方式，可以采用TNN，MNN,NCNN，以及TensorRT等部署工具，鄙人采用TNN进行Android端上部署：

　　TNN转换工具：（1）将ONNX模型转换为TNN模型，请参考TNN官方说明：TNN/onnx2tnn.md at master · Tencent/TNN · GitHub（2）一键转换，懒人必备：一键转换 Caffe, ONNX, TensorFlow 到 NCNN, MNN, Tengine (可能存在版本问题，这个工具转换的TNN模型可能不兼容，建议还是自己build源码进行转换，2022年9约25日测试可用)

　　3. 车牌识别模型（PlateNet）

　　车牌识别模型训练过程，请参考 智能驾驶 车牌检测和识别（三）《CRNN和LPRNet实现车牌识别（含车牌识别数据集和训练代码）》：https://blog.csdn.net/guyuealian/article/details/128704209

　　项目基于CRNN或LPRNet模型构建车牌识别算法，支持绿牌和蓝牌识别；为方便后续工程化，项目对CRNN模型进行魔改，提出一个PlateNet模型，用于支持部署到Android平台或者开发板上

　　整套智能车牌检测和识别系统，在OpenCL加速下，可以达到实时的检测效果，基本满足业务的性能需求。下表格给出CRNN，LPRNet和PlateNet模型的计算量和参数量以及其车牌识别的准确率：模型input-sizeparams(M)GFLOPsAccuracyLPRNet94×240.48M0.147GFlops0.9393CRNN160×328.35M1.06GFlops0.9343PlateNet168×481.92M1.25GFlops0.9583

　　车牌识别Demo效果展示：

　　PlateNet车牌识别模型在C++端上部署过程，请参考如下

　　（1） 将Pytorch模型转换ONNX模型

　　车牌识别项目源码demo.py文件中参数--export设置为True，可将Pytorch的模型转换为ONNX模型文件，且ONNX文件会默认保存在Pytorch的模型文件同一目录下。

　　（2） 将ONNX模型转换为TNN模型

　　TNN转换工具，请参考：（1）将ONNX模型转换为TNN模型，请参考TNN官方说明：TNN/onnx2tnn.md at master · Tencent/TNN · GitHub（2）一键转换，懒人必备：一键转换 Caffe, ONNX, TensorFlow 到 NCNN, MNN, Tengine (可能存在版本问题，这个工具转换的TNN模型可能不兼容，建议还是自己build源码进行转换，2022年9约25日测试可用)

　　4. 车牌检测和识别C++端上部署

　　（1） 项目结构

　　（2） 配置开发环境(OpenCV+OpenCL+base-utils+TNN)

　　项目仅在Ubuntu18.04进行测试，Windows系统下请自行配置和编译安装OpenCV：图像处理

　　图像处理（如读取图片，图像裁剪等）都需要使用OpenCV库进行处理

　　安装教程：Ubuntu18.04安装opencv和opencv_contrib_AI吃大瓜的博客-CSDN博客_opencv opencv_contrib ubuntu OpenCV库使用opencv-4.3.0版本，opencv_contrib库暂时未使用，可不安装 安装OpenCL：模型加速

　　安装教程：Ubuntu16.04 安装OpenCV&OpenCL_xiaozl_284的博客-CSDN博客_clinfo源码下载 OpenCL用于模型GPU加速，若不使用OpenCL进行模型推理加速，纯C++推理模型，速度会特别特别慢 base-utils：C++库

　　GitHub：https://github.com/PanJinquan/base-utils （无需安装，项目已经配置了） base_utils是个人开发常用的C++库，集成了C/C++ OpenCV等常用的算法 TNN：模型推理

　　GitHub：https://github.com/Tencent/TNN （无需安装，项目已经配置了） 由腾讯优图实验室开源的高性能、轻量级神经网络推理框架，同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。TNN框架在原有Rapidnet、ncnn框架的基础上进一步加强了移动端设备的支持以及性能优化，同时借鉴了业界主流开源框架高性能和良好拓展性的特性，拓展了对于后台X86, NV GPU的支持。手机端 TNN已经在手机QQ、微视、P图等众多应用中落地，服务端TNN作为腾讯云AI基础加速框架已为众多业务落地提供加速支持。

　　（3） 部署TNN模型

　　项目实现了C/C++版本的车牌检测和车牌识别，车牌检测模型YOLOv5和车牌识别模型PlateNet，模型推理采用TNN部署框架（支持多线程CPU和GPU加速推理）；图像处理采用OpenCV库，模型加速采用OpenCL，在普通设备即可达到实时处理。 如果你想在这个 Demo部署你自己训练的车牌检测模型YOLOv5和车牌识别模型PlateNet，你可将训练好的Pytorch模型转换ONNX ，再转换成TNN模型，然后把原始的模型替换成你自己的TNN模型即可。

　　（4）CMake配置

　　这是CMakeLists.txt，其中主要配置OpenCV+OpenCL+base-utils+TNN这四个库，Windows系统下请自行配置和编译

　　（5）main源码

　　主程序中函数main_for_detect_plate()实现车牌检测+车牌识别的过程，函数main_for_plate()仅仅包含车牌识别，没有车牌检测

　　（6）源码编译和运行

　　编译脚本，或者直接：bash build.sh

　　如果你要测试CPU运行的性能，请修改src/main_for_crnn.cpp DeviceType device = CPU; 如果你要测试GPU运行的性能，请修改src/main_for_crnn.cpp （需配置好OpenCL） DeviceType device = GPU;

　　下面截图给出开启OpenCL加速的性能对比截图，纯C++推理模式需要耗时几秒的时间，而开启OpenCL加速后，GPU模式耗时仅需十几毫秒，性能极大的提高。

　　CPU:

　　GPU:

　　5. 车牌检测和识别效果

　　C++版本的opencv不支持中文显示,暂时未解决这个BUG，不过LOG会打印车牌的信息，凑合的用吧

　　下图GIF这是Python版本的车牌检测和识别效果，C++版本与Python版本的结果几乎是一致

　　​

　　6. 项目源码下载

　　【车牌检测和识别C/C++源码下载】智能驾驶 车牌检测和识别（五）《C++实现车牌检测和识别（可实时车牌识别）》

　　整套项目源码内容包含：提供YOLOv5车牌检测模型：包含快速版yolov5s05车牌检测模型，在普通手机可实时检测识别，CPU(4线程)约30ms左右，GPU约25ms左右；包含高精度版本yolov5s车牌检测模型，CPU(4线程)约250ms左右，GPU约100ms左右提供PlateNet车牌识别模型：支持蓝牌和绿牌车牌识别C++源码支持CPU和GPU，GPU模型加速需要配置好OpenCL，否则速度很慢

　　如果你想体验一下车牌检测和识别效果，可下载Android版本进行测试，Android和C++版本的车牌检测和识别核心算法是一样的【Android APP Demo体验】Android实现车牌检测和识别-Android文档类资源-CSDN下载

　　更多项目《智能驾驶 车牌检测和识别》系列文章请参考： 智能驾驶 车牌检测和识别（一）《CCPD车牌数据集》：https://blog.csdn.net/guyuealian/article/details/128704181智能驾驶 车牌检测和识别（二）《YOLOv5实现车牌检测（含车牌检测数据集和训练代码）》：https://blog.csdn.net/guyuealian/article/details/128704068智能驾驶 车牌检测和识别（三）《CRNN和LPRNet实现车牌识别（含车牌识别数据集和训练代码）》：https://blog.csdn.net/guyuealian/article/details/128704209智能驾驶 车牌检测和识别（四）《Android实现车牌检测和识别（可实时车牌识别）》：https://blog.csdn.net/guyuealian/article/details/128704242智能驾驶 车牌检测和识别（五）《C++实现车牌检测和识别（可实时车牌识别）》：https://blog.csdn.net/guyuealian/article/details/128704276

　　​