Web 爬虫 Apache Nutch 1.18 发布

栏目: 软件资讯 · 发布时间: 4年前

内容简介:Apache Nutch 1.18 发布了。Nutch是一个成熟的、可用于生产的 Web 爬虫。 Nutch 1.x 可以依靠 Apache Hadoop™ 数据结构进行细粒度配置,这对于批处理非常有用。 此版本包含 30 多个错误修复和改进,部分更新内容...

Apache Nutch 1.18 发布了。Nutch是一个成熟的、可用生产的 Web 爬虫。 Nutch 1.x 可以依靠 Apache Hadoop™ 数据结构进行细粒度配置,这对于批处理非常有用。

Web 爬虫 Apache Nutch 1.18 发布

此版本包含 30 多个错误修复和改进,部分更新内容如下:

Bug 修复

  • javax.ws packaging.type 的可靠解决方案
  • 升级 lvy 以解决未设置 package.type 属性的问题
  • RobotsRulesParser 命令行检查器,以使用 http.robots.agents 作为后备
  • FreeGenerator 实际应用于提取列表的配置数量
  • MoreIndexingFilter-无法解析错误的日期

改进

  • MoreIndexingFilter 重构:将用于解析 “lastModified” 的数据格式移动到配置文件
  • 设置 Tika 1.19 中用于 MIME 检测的 XML SAX 解析池大小
  • 升级到 crawler-commons 1.1
  • 更新到 Tika 1.25
  • 把 commons-jexl 从 2 更新到 3

详细内容请查看更新公告


以上所述就是小编给大家介绍的《Web 爬虫 Apache Nutch 1.18 发布》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

孵化Twitter

孵化Twitter

[美]尼克·比尔顿(Nick Bilton) / 欧常智、张宇、单旖 / 浙江人民出版社 / 2014-1 / 49.90元

一个在挣扎中生存的博客平台Odeo,一小撮龙蛇混杂的无政府主义者员工,经历了怎样的涅槃,摇身一变,成为纽交所最闪耀的上市企业Twitter? 一个野心勃勃的农场小男孩,一个满身纹身的“无名氏“,一个爱开玩笑的外交家,一位害羞而又充满活力的极客,这四位各有特色的创始人如何从兢兢业业、每日劳作的工程师,成为了登上杂志封面、奥普拉秀和每日秀的富裕名人?而在Twitter日益茁壮成长的过程中,他们又......一起来看看 《孵化Twitter》 这本书的介绍吧!

MD5 加密
MD5 加密

MD5 加密工具

html转js在线工具
html转js在线工具

html转js在线工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试