Spark Streaming--应用与实战(一)

内容简介：Spark Streaming--应用与实战(一)

接下来的几篇博客是一个连续的部分，主要分为了：

1. SparkStreaming-应用与实战(一),讲解背景与架构改造，以及为什么使用spark streaming
2. SparkStreaming-应用与实战(二),通过代码实现具体细节，并运行项目
3. SparkStreaming-应用与实战(三),对streaming监控的介绍以及解决实际问题
4. SparkStreaming-应用与实战(四),对项目做压测与相关的优化

一、问题描述

• 有一块业务主要是做爬虫抓取与数据输出，通过大数据这边提供的SOA服务入库到HBase,架构大致如下：

  

以对于以上的架构存在一些问题，我们可以看见数据在Dubbox服务阶段处理后直接通过HBase API入库了HBase，中间并没做任何缓冲，要是HBase出现了问题整个集群都完蛋，没法写入数据，数据还丢失，HBase这边压力也相当大，针对这一点，对入库HBase这个阶段做了一些改造。

二、架构改造

• 为什么不直接入库到HBase，这样做有什么好处？

1. 缓解了HBase这边峰值的压力，并且流量可控
2. HBase集群出现问题或者挂掉，都不会照成数据丢失的问题
3. 增加了吞吐量

三、 为什么选择Kafka和Spark streaming

1. 由于Kafka它简单的架构以及出色的吞吐量.
2. Kafka与Spark streaming也有专门的集成模块.
3. Spark的容错,以及现在技术相当的成熟.

以上所述就是小编给大家介绍的《Spark Streaming--应用与实战(一)》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。