Adlik Deer(V0.4.0)版本发布,模型推理加速就靠它啦

栏目: 软件资讯 · 发布时间: 2年前

内容简介:今天,Adlik Deer 版本 (V0.4.0) 发布啦! 本次的新版本中,可以看到 Adlik 最近一段时间的许多技术探索,对优化器来说有集成蒸馏、Zen-NAS 优化等;推理引擎也更易用、支持更多硬件和推理运行时。针对 Bert 的模...

今天,Adlik Deer 版本 (V0.4.0) 发布啦!

Adlik Deer(V0.4.0)版本发布,模型推理加速就靠它啦

本次的新版本中,可以看到 Adlik 最近一段时间的许多技术探索,对优化器来说有集成蒸馏、Zen-NAS 优化等;推理引擎也更易用、支持更多硬件和推理运行时。针对 Bert 的模型推理优化,Adlik 使用 Ansor 来搜索全局最优的张量调度方案,为动态输入的推理提供了专用调度器,在 x86 CPU 上能达到比 OpenVINO 更高的吞吐量。

欢迎大家体验试用新版本哦,用 Adlik 实现模型推理性能的飞跃。

Compiler

  1. Adlik 编译器支持 OpenVINO INT8 量化
  2. Adlik 编译器支持 TensorRT INT8 量化,支持扩展量化校准器,降低引入量化带来的精度下降

Optimizer

  1. 支持集成蒸馏方式,使用多教师网络进行蒸馏优化
  2. 支持 ZEN-NAS 搜索增强特性,包括并行训练,搜索加速优化,修复原有实现 bug 等,在搜索时间下降 15% 左右情况下,搜索 Score 略有提升,搜索到的模型训练精度提升 0.2%~1%

Inference Engine

  1. 支持 Paddle Inference Runtime,使用 Paddle 模型时无需再通过 Onnx 组件转换,直接可以在 Adlik 环境上运行推理。
  2. 支持 Intel TGL-U i5 设备推理,完成多模型支持验证,提交 Benchmark
  3. 云原生镜像发布 0.4 版本,支持引擎各组件最新版本:
    1. OpenVINO:2021.4.582 版本
    2. TensorFlow:2.6.2
    3. TensorRT:7.2.1.6
    4. Tf-lite:2.4.0
    5. TVM:0.7
    6. Paddle Inference:2.1.2
  4. 新增 C++ 版本 Client API,支持 cmake 和 bazel 方式编译,方便用户在 C/C++ 场景应用部署。

Benchmark Test

在 Intel TGL-U i5 设备完成 Resnet-50,Yolo v3/v4,FastRCNN,MaskRCNN 等模型 Benchmark 测试,包括时延,吞吐量,以及 GPU/CPU 视频解码下的各种性能指标。


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

程序员的职业素养

程序员的职业素养

Robert C.Martin / 章显洲、余晟 / 人民邮电出版社 / 2012-9-1 / 49.00元

本书是编程大师Bob 大叔40 余年编程生涯的心得体会, 讲解成为真正专业的程序员需要什么样的态度、原则,需要采取什么样的行动。作者以自己以及身边的同事走过的弯路、犯过的错误为例,意在为后来人引路,助其职业生涯迈上更高台阶。 本书适合所有程序员,也可供所有想成为具备职业素养的职场人士参考。一起来看看 《程序员的职业素养》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

html转js在线工具
html转js在线工具

html转js在线工具