Apache Nutch 1.14 发布,Web 爬虫

栏目: 软件资讯 · 发布时间: 8年前

内容简介:Apache Nutch 1.14 发布了。Nutch是一个成熟的、可用于生产的 Web 爬虫。 Nutch 1.x 可以依靠 Apache Hadoop™ 数据结构进行细粒度配置,这对于批处理非常有用。 更新内容: Bug 修复 [NUTCH-2071] - A parser fa...

Apache Nutch 1.14 发布了。Nutch是一个成熟的、可用于生产的 Web 爬虫。 Nutch 1.x 可以依靠 Apache Hadoop™ 数据结构进行细粒度配置,这对于批处理非常有用。

更新内容:

Bug 修复

  • [NUTCH-2071] - A parser failure on a single document may fail crawling job

  • [NUTCH-2235] - Classpath discrepancy with protocol-selenium in deploy mode

  • [NUTCH-2269] - Clean not working after crawl

  • [NUTCH-2295] - Nutch master docker container broken

  • [NUTCH-2297] - CrawlDbReader -stats wrong values for earliest fetch time and shortest interval

  • [NUTCH-2316] - Library conflict with Parser-Tika Plugin and Lib Folder

提升

  • [NUTCH-1763] - Improving comments on the Injector Class

  • [NUTCH-2034] - CrawlDB filtered documents counter.

  • [NUTCH-2035] - Regex filter using case sensitive rules.

  • [NUTCH-2046] - The crawl script should be able to skip an initial injection.

  • [NUTCH-2135] - Ant Eclipse build does not include protocol-interactiveselenium

  • [NUTCH-2193] - Upgrade feed parser plugin to use rome 1.5

完整更新内容请查看发布说明

下载地址:


【声明】文章转载自:开源中国社区 [http://www.oschina.net]


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

O2O进化论

O2O进化论

板砖大余、姜亚东 / 中信出版社 / 2014-5 / 49

在互联网的1.0时代,Online的商业和Offline的商业就像是两条平行线,没有交汇点,在移动浪潮下,他们正在交汇,这就是O2O(Online to Offline)。于是,人们认为:O2O就是线下将线上作为销售前台。结论是对的,但并非简单相加就可以达到。人们已经进入数据革命时期,O2O是线上和线下全流通的数据化工具,电子商务就是非数据商品的数据化。其次,O2O还是一种竞争格局。这决定了以O2......一起来看看 《O2O进化论》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码

SHA 加密
SHA 加密

SHA 加密工具