Apache Nutch 1.14 发布,Web 爬虫

栏目: 软件资讯 · 发布时间: 8年前

内容简介:Apache Nutch 1.14 发布了。Nutch是一个成熟的、可用于生产的 Web 爬虫。 Nutch 1.x 可以依靠 Apache Hadoop™ 数据结构进行细粒度配置,这对于批处理非常有用。 更新内容: Bug 修复 [NUTCH-2071] - A parser fa...

Apache Nutch 1.14 发布了。Nutch是一个成熟的、可用于生产的 Web 爬虫。 Nutch 1.x 可以依靠 Apache Hadoop™ 数据结构进行细粒度配置,这对于批处理非常有用。

更新内容:

Bug 修复

  • [NUTCH-2071] - A parser failure on a single document may fail crawling job

  • [NUTCH-2235] - Classpath discrepancy with protocol-selenium in deploy mode

  • [NUTCH-2269] - Clean not working after crawl

  • [NUTCH-2295] - Nutch master docker container broken

  • [NUTCH-2297] - CrawlDbReader -stats wrong values for earliest fetch time and shortest interval

  • [NUTCH-2316] - Library conflict with Parser-Tika Plugin and Lib Folder

提升

  • [NUTCH-1763] - Improving comments on the Injector Class

  • [NUTCH-2034] - CrawlDB filtered documents counter.

  • [NUTCH-2035] - Regex filter using case sensitive rules.

  • [NUTCH-2046] - The crawl script should be able to skip an initial injection.

  • [NUTCH-2135] - Ant Eclipse build does not include protocol-interactiveselenium

  • [NUTCH-2193] - Upgrade feed parser plugin to use rome 1.5

完整更新内容请查看发布说明

下载地址:


【声明】文章转载自:开源中国社区 [http://www.oschina.net]


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

可用性工程

可用性工程

尼尔森 / 刘正捷 / 机械工业出版社 / 2004-1 / 28.00元

《可用性工程》系统地介绍可用性工程,被国际可用性工程界一致推崇为该领域的最佳入门书籍。《可用性工程》着重讲述了能取得良好成本效益的可用性方法,并详细介绍了在软件开发生命周期的不同阶段如何运用这些方法,以及其他与可用性相关的特殊问题。一起来看看 《可用性工程》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

在线进制转换器
在线进制转换器

各进制数互转换器

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器