内容简介：Hadoop 文件格式
CSV
CSV（Comma-Separated Value 逗号分隔值）
特性
- 文本文件
- 面向行
- 记录被分隔符分隔为字段
- 记录有着相同的字段序列
场景
易于解析，适用于从 Sqoop 导入到 HDFS 或从 HDFS 导出到数据库的文件格式
提示
- 文本编码
- 保证记录中的字段不包含分隔符（使用不常用的字符作为分隔符或者替换字段中的分隔符）
-
使用 Apache Commons Lang 3 项目的
StringUtils.splitPreserveAllTokens替换 Java String 自带的string.split解析 CSV
JSON
JSON（JavaScript Object Notation JavaScript 对象标记）
特性
- 文本文件
- 面向行
场景
可读性好，适用于调试
Avro
特性
- 序列化框架
- 自描述 Schema
- 面向行
- 可分片
- 支持内部压缩
场景
空间利用率高，适用于归档数据
Parquet
特性
- 自描述 Schema
- 面向列
- 可分片
- 支持内部压缩
场景
列式存储，适用于结构化查询
Kudu
特性
- 面向列
场景
列式存储，适用于流处理
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
算法技术手册
[美]海涅曼 (Heineman.G.T.)、[美]波利切 (Pollice.G.)、[美]塞克欧 (Selkow.S.) / 东南大学出版社 / 2009-4 / 58.00元
创造稳定的软件需要有效的算法，但是程序设计者们很少能在问题出现之前就想到。《算法技术手册(影印版)》描述了现有的可以解决多种问题的算法，并且能够帮助你根据需求选择并实现正确的算法——只需要一定的数学知识即可理解并分析算法执行。相对于理论来说，本书更注重实际运用，书中提供了多种程序语言中可用的有效代码解决方案，可轻而易举地适合一个特定的项目。有了这本书，你可以： 解决特定编码问题或改进现有解决......一起来看看 《算法技术手册》 这本书的介绍吧!
