【老贝伏枥】Hive的系列化和反系列化

对象的序列化主要有两种用途：对象的持久化，即把对象转换成字节序列后保存到文件中。

hive的序列化的作用是可以方便的将数据加载到表中而不需要对数据进行转换，这样在处理海量数据时可以节省大量的时间。

序列化

序列化是hive对象转换为字节序列的过程；反序列化是字节序列恢复为Hive对象的过程。

SerDe说明hive如何去处理一条记录，包括Serialize/Deserilize两个功能。

Serialize把hive使用的java object转换成能写入hdfs的字节序列，或其他系统能识别的流文件；

Deserilize把字符串或者二进制流转换成hive能识别的java object对象。

比如：

select语句会用到Serialize对象， 把hive对象的hdfs数据解析出来；

insert语句会使用Deserilize，数据写入hdfs系统，需要把数据序列化让hive能识别。

本文由贝克汉姆 创作，采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。

转载、引用前需联系作者，并署名作者且注明文章出处。

本站文章版权归原作者及原出处所有 。内容为作者个人观点， 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台，并不用于任何商业目的，如果有任何问题，请及时联系我们，我们将根据著作权人的要求，立即更正或者删除有关内容。本站拥有对此声明的最终解释权。