盘点 | 十个移动端深度学习框架,将智慧带入手机

栏目: 编程工具 · 发布时间: 4年前

内容简介:随着AI的广泛落地,深度学习技术已经进入到我们身边的每一个角落。从拍照识别到美颜相机、从语音翻译到文本预测,各式各样的应用都从电脑走向手机、从云端落地到移动设备中。如何在近年来国内外各个厂家推出了一系列深度学习架构,除了对网络压缩、剪枝、量化等常规操作进行了优化,还针对内存、GPU/CPU型号进行了特定提升,甚至在指令集架构的汇编层次进行了深入的优化,使得移动端框架日趋完善。下面就让我们来一起浏览目前广泛使用的

盘点 | 十个移动端深度学习框架,将智慧带入手机 编写: T.R

随着AI的广泛落地,深度学习技术已经进入到我们身边的每一个角落。从拍照识别到美颜相机、从语音翻译到文本预测,各式各样的应用都从电脑走向手机、从云端落地到移动设备中。如何在 移动端 更好地部署和使用深度学习模型, 充分利用有限的算力实现快速准确的预测 是移动端需要解决的关键问题。

近年来国内外各个厂家推出了一系列深度学习架构,除了对网络压缩、剪枝、量化等常规操作进行了优化,还针对内存、GPU/CPU型号进行了特定提升,甚至在指令集架构的汇编层次进行了深入的优化,使得移动端框架日趋完善。下面就让我们来一起浏览目前广泛使用的 10个深度学习移动端框架 (建议先收藏后阅读) 以便在将来的学习工作中更好地进行 移动端AI项目的开发和部署

1. TensorFlow Lite

作为深度学习领域最大的框架之一, TensorFlow 在2017年针对性地 为移动端推出了lite框架系统 ,为用户提供训练模型向移动端的无缝迁移。

盘点 | 十个移动端深度学习框架,将智慧带入手机

在使用TensorFlow Lite时,主要通过 打包、转换、部署和优化 四个步骤实现。其中Lite转换器将训练好的模型转换为压缩格式,而优化部分会将32位的浮点数转换为8位整型数,或是部署到移动端GPU上进行运算提高计算速度。

盘点 | 十个移动端深度学习框架,将智慧带入手机

:link: https://www.tensorflow.org/lite

2. Core ML

苹果 作为最大的手机产商之一,在移动端机器学习布局已久。Core ML是一套能够 将机器学习模型整合到app中 工具 链系统。

盘点 | 十个移动端深度学习框架,将智慧带入手机

在使用时首先要将训练的模型转换为苹果支持的mlmodel格式。随后利用Core ML加载到app中运行。目前针对各种框架都有便捷的转换器可供使用。

盘点 | 十个移动端深度学习框架,将智慧带入手机

整个框架构建于苹果的底层加速组件之上,包括了基础神经网络模块和针对GPU优化的图形学模块和加速器等。在此基础上可以支持主流的视觉、自然语言处理和各种机器学习任务。由于苹果自己进行硬件设计,对于软件有着更多的优化空间,实现了很多设备运行与内存优化。

:link:   https://developer.apple.com/documentation/coreml

3. Caffe2

这是 Facebook 推出的轻量化、模块化、可规模化使用的架构,可以适用于多平台的深度学习应用,可以同时适应大规模的云计算和移动端,还提供了一系列预训练模型供开发者使用或进一步训练。目前Caffe2与PyTorch已经合并,以便更有效地打通 从训练到部署的全套流程

盘点 | 十个移动端深度学习框架,将智慧带入手机

:link:  https://caffe2.ai/

4. Bender

Bender是 Xmartlabs 开源的一套机器学习框架,框架基于 Metal 构建。

盘点 | 十个移动端深度学习框架,将智慧带入手机

Bender可以方便地在iOS的app中定义和运行神经网络,比Core ML更加便捷易用,可以支撑更多层数的模型,并完全通过MPS API释放GPU的性能,并可以便捷地增加预处理和后处理层来处理模型输入输出。

盘点 | 十个移动端深度学习框架,将智慧带入手机

盘点 | 十个移动端深度学习框架,将智慧带入手机

:link:  https://xmartlabs.github.io/Bender/

5. MXNet

亚马逊 官方推荐的深度学习框架,是一款灵活高效的深度学习架构,拥有多种语言接口。针对移动端,MXNet提供了轻量化的接口和单一的文件依赖(MXNet Amalgamation)来 最大限度的减少开发者配置和部署的工作 。所有的接口同一融合成了单一的.cc文件并且只依赖与BLAS库。甚至还有不依赖于BLAS的 迷你版本 ,极大地方便了移动端的开发。

盘点 | 十个移动端深度学习框架,将智慧带入手机

:link:  https://mxnet.incubator.apache.org/versions/master/faq/smart_device.html#deployment-environments

国内互联网巨头和手机产商在移动端的AI发展中也推出了一系列自研的开源框架,包括 百度的MDL,阿里的MNN,腾讯的NCNN和小米的MACE 等都在自家的app上接受了市场的考验。

6. NCNN

腾讯 推出的手机端前向推理框架,针对手机CPU进行了更深入的优化,不依赖任何第三方库,也不依赖于基本计算框架包。NCNN支持多种复杂的网络结构和操作,可拓展可精简、支持量化与半精度,方便多种常见模型的移植。

此外腾讯还开源了FeatherCNN推理库和PockerFlow模型压缩框架用于移动端AI。

:link:

https://github.com/Tencent/PocketFlow

https://github.com/Tencent/FeatherCN

7. paddle-mobile(MDL)

属于 百度 开源框架飞桨下的移动端项目,针对多种GPU硬件进行优化,除了移动端外也针对嵌入式设备进行过优化,FPGA、树莓派都可以开跑。目前支持飞桨自己的Fluid模型,但可以通过转换器将其他格式的模型转换到Fluid模型。

盘点 | 十个移动端深度学习框架,将智慧带入手机

paddle-mobile主要包含了加载、程序、执行、操作、核以及变量张量管理模块。文档中包含了详细设计架构图可以学习。

:link:  https://github.com/PaddlePaddle/paddle-mobile/blob/develop/doc/design_doc.md

8. MNN

阿里巴巴 开源的轻量级移动端推理引擎,主要负责在移动端上运行 模型预测 。它针对设备深度优化了多个操作,不依赖于其他包和库,静态库和动态库都在几兆到几百k的量级。支持主流深度学习框架的模型格式。

盘点 | 十个移动端深度学习框架,将智慧带入手机

框架主要包含了转换器部分和解释器部分。转化器中包含了前端和图优化过程,而解释器则包含了加载模型、计算图调度的引擎和负责内存分配,Op实现的后端组成。

盘点 | 十个移动端深度学习框架,将智慧带入手机

:link:  https://github.com/alibaba/MNN/blob/master/README_CN.md

9. MACE

小米 开源的深度学习框架,针对异构平台优化神经网络计算,对卷积操作进行了指令集的优化,支持多种高中低端CPU,GPU芯片和TensorFlow,Caffe等多种模型格式。

盘点 | 十个移动端深度学习框架,将智慧带入手机

:link:  https://github.com/XiaoMi/mace

10. MindSpore

华为 最新发布的手机由一系列AI特别是计算机技术的支撑,其内部拥有一套名为MindSpore的移动端框架。框架设计友好、训练执行高效,具有不同场景不同设备的适应性。

盘点 | 十个移动端深度学习框架,将智慧带入手机

此外各个公司还有一系列没有开源的移动端框架由于自己的产品,包括 商汤的PPL (Parrots)、阿里的xNN、高通的SNPE 等。

相信随着AI的加速落地和更多移动端、边缘计算对AI的需求,未来会出现更多性能更好、更准确、更快速的模型,在方方面面便捷着我们的生活。

ref:

https://zhuanlan.zhihu.com/p/60896625

https://blog.csdn.net/zeusee/article/details/89601634

https://blog.csdn.net/u010333076/article/details/87896734

https://blog.csdn.net/zchang81/article/details/74280019

https://www.zhihu.com/people/nihui-2/activities

https://www.zhihu.com/question/62871439

MindSpore https://www.huawei.com/en/about-huawei/publications/communicate/86/driving-ai-to-new-horizons

Coral and Nano: https://www.leiphone.com/news/201903/HAmHSBKkpd0rrveF.html

https://www.zhihu.com/question/295045153

https://blog.csdn.net/u010333076/article/details/87896734

https://github.com/XiaoMi/mobile-ai-bench/blob/master/README_zh.md

picture logo:https://dribbble.com/shots/6473215-Illustrator-Curve-Step

-The End-

将门 是一家 以专注于 发掘、加速及投资技术驱动型创业公司 的新型 创投机构 ,旗下涵盖 将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底,创始团队由 微软创投在中国的创始团队 原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

将门创新服务 专注于使创新的技术落地于真正的应用场景,激活和实现全新的商业价值,服务于行业领先企业和技术创新型创业公司。

将门技术社群 专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容,使创新成为持续的核心竞争力。

将门创投基金 专注于投资通过技术创新激活商业场景,实现商业价值的初创企业,关注技术领域包括 机器智能、物联网、自然人机交互、企业计算。 在三年的时间里,将门创投基金已经投资了包括量化派、码隆科技、禾赛科技、 宽拓科技、 杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务, 欢迎发送或者推荐项目给我“门”:  bp@thejiangmen.com

盘点 | 十个移动端深度学习框架,将智慧带入手机     

点击右上角,把文章分享到朋友圈

盘点 | 十个移动端深度学习框架,将智慧带入手机  

将门创投

让创新获得认可!

微信:thejiangmen

bp@thejiangmen.com

点击“ ❀在看 ”,让更多朋友们看到吧~


以上所述就是小编给大家介绍的《盘点 | 十个移动端深度学习框架,将智慧带入手机》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

编程之道

编程之道

杰弗雷﹒詹姆斯 / 清华大学出版社 / 1999-05 / 18.00元

本书出自美国一位善于进行哲学思考、有十多年工作经验的程序设计师——杰弗雷·詹姆斯之手,他以一种敏锐的眼光审视着发生在程序设计室里的各种各样的小故事,并利用古老的道家思想对其进行分析。简单的故事蕴含深奥的道理,是本书的最大特色。本书语言优美,比喻生动,可读性极强。一起来看看 《编程之道》 这本书的介绍吧!

URL 编码/解码
URL 编码/解码

URL 编码/解码

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具