学习 Flink(十六):Streaming Parquet File

栏目: 数据库 · 发布时间: 3年前

内容简介:Flink 支持将流数据以文件的形式写入文件系统(HDFS、本地文件系统),支持 CSV、JSON 面向行的存储格式和 Parquet 面向列的存储格式。应用场景:Flink 消费 Kafka 数据进行实时处理,并将结果以 Avro / Parquet 格式写入 HDFS。之后,遍可以使用 Spark 或 MPP 进行进一步分析。

更新至 Flink 1.8 版本

Flink 支持将流数据以文件的形式写入文件系统(HDFS、本地文件系统),支持 CSV、JSON 面向行的存储格式和 Parquet 面向列的存储格式。

应用场景:Flink 消费 Kafka 数据进行实时处理,并将结果以 Avro / Parquet 格式写入 HDFS。之后,遍可以使用 Spark 或 MPP 进行进一步分析。

学习 Flink(十六):Streaming Parquet File

由于流数据本身是无界的,所以,流数据将数据写入到分桶(bucket)中。默认使用基于时间的分桶策略。在分桶中,又根据滚动策略,将输出拆分为 part 文件。

Flink 提供了两个分桶策略,分桶策略实现了 org.apache.flink.streaming.api.functions.sink.filesystem.BucketAssigner 接口:

  • BasePathBucketAssigner ,不分桶,所有文件写到根目录;

  • DateTimeBucketAssigner ,基于系统时间分桶。

Flink 提供了两个滚动策略,滚动策略实现了 org.apache.flink.streaming.api.functions.sink.filesystem.RollingPolicy 接口:

  • DefaultRollingPolicy 当超过最大桶大小(默认为 128 MB),或超过了滚动周期(默认为 60 秒),或未写入数据处于不活跃状态超时(默认为 60 秒)的时候,滚动文件;

  • OnCheckpointRollingPolicy 当 checkpoint 的时候,滚动文件。

依赖

编辑 pom.xml 文件,添加依赖:

<dependency>  
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-parquet</artifactId>
    <version>1.8.0</version>
</dependency>  
<dependency>  
    <groupId>org.apache.parquet</groupId>
    <artifactId>parquet-avro</artifactId>
    <version>1.10.0</version>
</dependency>  
<dependency>  
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-filesystem_2.11</artifactId>
    <version>1.8.0</version>
</dependency>  
<dependency>  
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-shaded-hadoop2</artifactId>
    <version>1.8.0</version>
</dependency>

Sink

StreamingFileSink<Event> parquetFileSink = StreamingFileSink  
        .forBulkFormat(new Path("hdfs://RESOURCE_MANAGER/data/event"), ParquetAvroWriters.forReflectRecord(Event.class))
        .withBucketAssigner(new DateTimeBucketAssigner<>("'date='yyyy-MM-dd'/hour='HH"))
        .build();

eventStream.addSink(parquetFileSink);

注意:Bulk-encoding 格式仅支持 OnCheckpointRollingPolicy ,即在每次 checkpoint 时滚动 part 文件。

总结

截止目前,Flink 的 Streaming File Sink 仍存在不少问题,如:

  • 不支持写入到 Hive

  • 写入 HDFS 产生大量小文件

参考


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

轻营销

轻营销

唐文 / 机械工业出版社 / 2015-6 / 35元

《轻营销》,中国第一本全面讲述如何在互联网新时代用小预算做大营销的书籍,以求把中小微企业从那些以大预算为基础而难以落地的营销理论和案例中解脱出来。用“轻”但真正起作用的方法,帮助传统企业抓住互联网新一波浪潮的机遇,转型升级。 “怒打价格战、拼命砸广告、渠道金字塔”是过去中国企业做营销的基本功课,背后的逻辑是花钱。今天这三招已经不太管用了,广告费用的多少不再是决定性因素。取而代之的是直面客户的......一起来看看 《轻营销》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

SHA 加密
SHA 加密

SHA 加密工具

html转js在线工具
html转js在线工具

html转js在线工具