风铃虫 2.0.0 发布，新增抓取深度限制

内容简介：风铃虫是一款轻量级的高效爬虫工具，配置简单，方便二次开发，能抓取js渲染的网页，可以抓取任何数据，支持保存网页快照，智能防封杀，天然适合分布式。 本次更新是一个重大的版本更新，在本次更新过程中，对大量...

风铃虫是一款轻量级的高效爬虫工具，配置简单，方便二次开发，能抓取js渲染的网页，可以抓取任何数据，支持保存网页快照，智能防封杀，天然适合分布式。

本次更新是一个重大的版本更新，在本次更新过程中，对大量代码进行重构，提升了代码质量，并新增了许多新功能。在保证稳定性的同时，将默认使用正则表达式匹配改为使用关键词匹配，使用门槛进一步降低。另外还新增了去重接口，使用户能够根据需要实现自定义去重逻辑。与此同时，本次更新还增加了深度限制功能，可以根据用户的设置来限制抓取深度。

本次更新点如下

1. 重新定义任务调度器，优化调度相关算法
2. 剥离请求去重模块，能自定义去重逻辑
3. 优化实例别名设置，实现全局别名依赖
4. 修复基于内存实现的请求记录器中的严重漏洞
5. 增加请求深度限制机制，允许设置抓取深度
6. 优化规则构造器，增加构造规则
7. 优化同步启动接口
8. 增加无查询参数去重器
9. 修改XPATH提取内核
10. 优化构造规则，规则组织更合理和人性化
11. 优化定义内容解析器
12. 优化定义链接解析器
13. 优化测试系列接口
14. 优化内容匹配默认设置
15. 增加链接过滤规则，支持多种方式过滤链接
16. 修复处理相对路径时的逻辑错误

以上所述就是小编给大家介绍的《风铃虫 2.0.0 发布，新增抓取深度限制》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。