封装了 Hadoop Client 的 API YourHDFS

码农软件 · 软件分类 · 大数据 · 2020-02-13 15:44:32

软件介绍

一个封装了Hadoop Client的简单、方便的API,已经在生产环境中经受日千万级别次IO操作的检验。

支持以下功能:

1)自定义HDFS目录前缀

2)支持时间目录格式

3)支持按文件固定大小切分

4)支持一段时间内无IO操作文件自动关闭

5)支持中文

6)支持namenode自动探测实现failover.

7)API本身是线程安全的.

8)API的参数发生变化对用户使用是透明的,框架内部透明处理, [线程,参数]组合对应着一个文件。

HDFS的原理图:

本文地址:https://www.codercto.com/soft/d/25531.html

数字化崇拜

数字化崇拜

[加] 文森特·莫斯可 / 黄典林 / 北京大学出版社 / 2010-1 / 26.00元

与此前的许多技术发展一样,以互联网为标志的数字化时代同样为人们提供了社会根本性变革的许诺:通过电脑,我们可以超越时空和政治。在本书中,文森特·莫斯可透过技术发展和经济泡沫的迷雾,试图探明围绕数字化新技术出现了哪些迷思,以及为何人们对这些迷思坚信不疑。他认为互联网时代投资者如此狂热的动因并不是他们对经济规则的无知,而是对赛博空间开启了一个新世界这样的迷思的坚定信念。 莫斯可指出,迷思并不是一些......一起来看看 《数字化崇拜》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

SHA 加密
SHA 加密

SHA 加密工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试