内容简介:Apache Nutch 1.18 发布了。Nutch是一个成熟的、可用于生产的 Web 爬虫。 Nutch 1.x 可以依靠 Apache Hadoop™ 数据结构进行细粒度配置,这对于批处理非常有用。 此版本包含 30 多个错误修复和改进,部分更新内容...
Apache Nutch 1.18 发布了。Nutch是一个成熟的、可用于生产的 Web 爬虫。 Nutch 1.x 可以依靠 Apache Hadoop™ 数据结构进行细粒度配置,这对于批处理非常有用。
此版本包含 30 多个错误修复和改进,部分更新内容如下:
Bug 修复
- javax.ws packaging.type 的可靠解决方案
- 升级 lvy 以解决未设置 package.type 属性的问题
- RobotsRulesParser 命令行检查器,以使用 http.robots.agents 作为后备
- FreeGenerator 实际应用于提取列表的配置数量
- MoreIndexingFilter-无法解析错误的日期
改进
- MoreIndexingFilter 重构:将用于解析 “lastModified” 的数据格式移动到配置文件
- 设置 Tika 1.19 中用于 MIME 检测的 XML SAX 解析池大小
- 升级到 crawler-commons 1.1
- 更新到 Tika 1.25
- 把 commons-jexl 从 2 更新到 3
详细内容请查看更新公告。
以上所述就是小编给大家介绍的《Web 爬虫 Apache Nutch 1.18 发布》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
UNIX环境高级编程
W.Richard Stevens Stephen A.Rago、Stephen A. Rago / 人民邮电出版社 / 2006-2 / 99.00元
本书是被誉为UNIX编程“圣经”的Advanced Programming in the UNIX Environment一书的更新版。在本书第一版出版后的十几年中,UNIX行业已经有了巨大的变化,特别是影响UNIX编程接口的有关标准变化很大。本书在保持了前一版的风格的基础上,根据最新的标准对内容进行了修订和增补,反映了最新的技术发展。书中除了介绍UNIX文件和目录、标准I/O库、系统数据文件和信......一起来看看 《UNIX环境高级编程》 这本书的介绍吧!