剖析 AI 和大数据的分布式实践 —— 2018 UCan下午茶·北京站

栏目: 数据库 · 发布时间: 5年前

内容简介:12月16日北京,2018年UCan下午茶的收官之作 —— 主题为“回归云核心,服务大数据和AI的分布式实践”沙龙在望京浦项中心W1 Platform举行,此次活动围绕云的“分布式实践”进行了深入的讨论和精彩的分享,为到场的数百名开发者带来了一场技术盛宴。虽然天气寒冷,但会场依然爆满,再次证明了大家对云计算核心技术的热情,是无法阻挡的。由于是年度收官之作,本次UCan下午茶采用了Keynote和开放式演讲相结合的形式,并且伴有精彩的答题活动和抽奖,新颖的形式和精彩的内容也使得会场始终保持火热的温度。UCl

12月16日北京,2018年UCan下午茶的收官之作 —— 主题为“回归云核心,服务大数据和AI的分布式实践”沙龙在望京浦项中心W1 Platform举行,此次活动围绕云的“分布式实践”进行了深入的讨论和精彩的分享,为到场的数百名开发者带来了一场技术盛宴。虽然天气寒冷,但会场依然爆满,再次证明了大家对云计算核心技术的热情,是无法阻挡的。

由于是年度收官之作,本次UCan下午茶采用了Keynote和开放式演讲相结合的形式,并且伴有精彩的答题活动和抽奖,新颖的形式和精彩的内容也使得会场始终保持火热的温度。

新一代公有云分布式数据库——UCloud Exodus

UCloud关系型存储研发部负责人罗成对第一个演讲,他对新一代公有云分布式数据库UCloud Exodus进行了详细的介绍。罗成对首先介绍了UCloud云数据库现状,他表示,UCloud云数据库于2013年上线商用、至今已经稳定运营近6年,覆盖全球29个可用区,服务上万家企业用户,实例数几万个,数据量达到10PB+,单用户实例数达到6k+,单用户数据量1.8PB。

罗成对接着简单地介绍了UCloud云数据库发展历程,并指出了云数据库目前面临的运营痛点,即容量、性价比、性能、兼容性,而解决这四大痛点的方法,就是数据层和基础设施层的共生复用。而UCloud Exodus就是这样一个云数据库,Exodus支持最主流的开源数据库MySQL,协议完全兼容,通过融合最新软硬件技术,包括RDMA、Skylake、SPDK、用户态文件系统等,基于计算存储分离新型架构,采用UCloud最新一代高性能分布式存储系统,计算层采用深度定制的MySQL InnoDB引擎,架构设计上支持一主多从,通过这些设计,Exodus一举解决了云数据库容量、性能、性价比、兼容性四大痛点。最后,罗成对介绍了Exodus(UXDB)的开发计划,并透露该产品会在2019年Q3进行公测。

罗成对的演讲结束之后,紧接着进行的就是三场同时开始的开放式演讲,分别是由 UCloud LabU深度学习开发工程师范融 带来的演讲 AI PaaS平台实践UCloud资深存储研发工程师丁顺 带来的 数据库高可用容灾方案设计和实现 以及 奥思数据创始人&CTO李明宇 带来的演讲 技术内幕:分布式存储中的数据分布算法 。会场被分成了三个演讲区域,每个演讲区域都是人气满满,讨论热烈。

AI PaaS平台实践

范融在演讲中,首先说明了AI场景下做PaaS面临的挑战,诸如AI选型、AI开发周期、应用迭代、推理环境等痛点,并总结对AI PaaS平台的需求。针对UCloud自己做AI公有云平台和私有云解决方案,详细的论述了UCloud利用公有云的规模效应和分时租赁特性,降低企业的AI转型门槛,使广大公有云用户提供一套开箱即用的AI开发、测试、部署的一体化环境。最后,推而广之论述在其迁移私有云过程中的演进和未来发展。

数据库高可用容灾方案设计和实现

UCloud云数据库的资深研发工程师丁顺,对传统数据库服务与高可用数据库进行了对比,为解决数据库宕机导致数据无法读写,而对运维、提供服务带来更多便利的要求,高可用数据库应运而生。面对高可用数据库带来的好处,丁顺还详细分析了业界典型高可用数据库架构,并按照数据同步的方式进行了划分,包括共享存储、操作系统实时数据块复制、基于主从的复制、基于一致性协议的复制四种数据同步的方式。

除此以外,他还详细介绍了UCloud云数据库产品UDB,UDB采用经典的主从模式设计,为了提高数据一致性,采用了半同步的模式,保证可靠性。他表示大规模高可用数据库运维中日常要进行例行巡检、定期容灾演练很有必要。运维当中对高可用容灾记录要进行全方位记录,并且切换失败时候要进行及时的告警。

技术内幕:分布式存储中的数据分布算法

分布式存储作为数据存储的主流方案,而数据分布算法作为分布式存储最核心的技术之一,不仅仅要考虑到数据分布的均匀性、寻址的效率,还要考虑扩充和减少容量时数据迁移的开销,兼顾副本的一致性和可用性。李明宇介绍了几种典型的数据分布算法,并详细叙述了计算复杂度低,均匀性较好的一致性哈希算法。

并就这一年大火的区块链技术中的数据分布算法进行了讨论,针对云存储服务、企业级存储系统,区块链存储等不用的存储场景,对数据分布的需求也不尽相同,在一种算法无法满足所有问题的情况下,分析各算法的优缺点,助力开发者在具体应用中可以灵活选择。

Kyligence:释放大数据生产力

最后一个登场的是Kyligence云与生态合作部副总裁刘一鸣,他带来了题为《Kyligence:释放大数据生产力》的演讲。大数据分析技术不断涌现,海量数据处理能力与数据分析的门槛依旧很高,在查询性能、数据建模易用性、语义模型表达能力、高并发响应等场景均存在最后一公里问题。针对数据分析生产力场景设计,刘一鸣详细介绍了Kyligence在云端的业务实践。

除了干货满满的主题分享,UCloud在本次2018 UCan下午茶年终精选的场内外也准备了精彩纷呈的展区互动和抽奖环节,不仅增强了现场参会者的互动交流,更为本次沙龙增添了喜悦与欢乐。


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

思考的技术

思考的技术

[日]大前研一 / 刘锦秀、谢育容 / 中信出版社 / 2010-11 / 32.00元

思路决定出路,没有了思路,也就没有了出路。 在充满危机与冒险的当下,我们缺乏的不是技巧而是揭发事务本质的动力和好奇心,缺少怀疑一切的心态和对固有模式的怠惰。 大前研一凭借他30多年的管理咨询经验,为我们提供了一种全新的可借鉴的思考方式。 企业和个人惟有改变既有的思考模式,放弃对过去成功经验的迷恋,学习有创意的思考方法,方能找到正确的经营思路。一起来看看 《思考的技术》 这本书的介绍吧!

URL 编码/解码
URL 编码/解码

URL 编码/解码

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试