Adlik 喊你来体验 Cheetah 版本啦！

内容简介：Adlik 项目的 Cheetah 版本发布啦！ Adlik 是由中兴通讯向 Linux 基金会 AI&Data 基金会捐献的一个开源项目，旨在为深度学习落地提供一个简单有效的工具，加速深度学习模型在不同部署环境下的推理速度。Adlik 中通...

Adlik 项目的 Cheetah 版本发布啦！

Adlik 是由中兴通讯向 Linux 基金会 AI&Data 基金会捐献的一个开源项目，旨在为深度学习落地提供一个简单有效的工具，加速深度学习模型在不同部署环境下的推理速度。Adlik 中通过模型编译器、模型优化器来优化深度学习模型并根据具体的硬件环境完成模型的编译，然后由推理引擎实现模型在云、边、端等环境下的运行。

相较于上个版本，Adlik 做了很多优化，在 MLPerf 的测试中有不错的表现。看看下面的新特性，哪个是你感兴趣的呢？快来下载体验，期待你的反馈哦。

模型编译器 Model Compiler

• Adlik 编译器扩展支持多种新的深度学习框架，包括 PaddlePaddle、Caffe 和 MxNet

• Adlik 编译器目标模型格式扩展支持 TVM

• 编译器支持 OpenVINO 量化

• 支持 TVM 自动搜索，通过重新规划调度模板，采用全局自动调度搜索方案，对 Resnet50 模型进行优化，推理时延在x86 CPU 下略优于 OpenVINO（基于 MLPerf 测试结果）

模型优化器 Model optimizer

• Yolo V4 模型优化

• Resnet-50 最新剪枝，蒸馏，量化等优化，模型大小压缩 93%，精度 76%，推理时延 1.33ms（MLPerf测试），8 核推理比原始模型提升 5.0x，单核提升 10.7x

推理引擎 Inference Engine

• 支持 TVM TF-TRT 运行时

• 云原生镜像发布 0.3 版本，支持引擎各组件最新版本：

–   OpenVINO：2021.1.110版本

–   TensorFlow：2.4.0

–   TensorRT：7.2.1.6

–   TFLite：2.4.0

–   TVM：0.7

Benchmark Test

• 支持 Paddle 模型的性能测试，包括 Paddle OCR、PP-yolo、PPresnet-50

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。