Q Con 2017 PPT 学习笔记

内容简介：Q Con 2017 PPT 学习笔记

我一直觉得，每次开技术会议之后，花时间把相关的 PPT 过一遍，无论是预习还是复习，都是开拓视野和思路的好方法。所以凡是能找到下载的，我都会看看，这里是我的学习笔记。

更新历史

• 2017.05.21: 开始更新

这里我简单划分成为几大类（及子分类），大家可以使用页面右边的目录挑选自己感兴趣的。

大数据

基于 Impala 构建实时用户行为分析引擎

• 用户行为：Who, When, Where, How, What，本质是一种特殊的日志数据
• 典型应用
  • 运营监控：PV, UV, 销售，活跃用户
  • 产品改进：用户粘性，核心流程转化，新功能使用情况
  • 商业决策
• 灵活性 > 及时性 > 时效性
• 查询引擎：支持 SQL（足够灵活），交互式查询（足够快）
• 架构：底层 HBase + HDFS，上面是 Impala
  • 基于 MPP 的查询引擎
  • 较低的容错性
  • 较高的内存需求
  • 较高的查询效率
• 数据存储 Kudu + Parquet
  • Kudu 存实时数据，Parquet 存历史数据
  • 定期进行数据转储 Kudu -> Parquet
• 优化逻辑
  • 使用每天的活跃用户数据构建 Bloom Filter
  • Join 之前先用 Bloom Filter 进行过滤

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。