XXL-CRAWLER v1.1.0,面向对象的分布式爬虫框架

栏目: 软件资讯 · 发布时间: 7年前

内容简介:XXL-CRAWLER v1.1.0 已发布,更新如下: 新特性: 页面默认cssQuery调整为html标签; 升级Jsoup至1.11.1版本; 修复PageVO注解失效的问题; 属性注解参数attributeKey调整为selectVal; 代理IP:对抗反采集策略规...

XXL-CRAWLER v1.1.0 已发布,更新如下:

新特性:

  1. 页面默认cssQuery调整为html标签;

  2. 升级Jsoup至1.11.1版本;

  3. 修复PageVO注解失效的问题;

  4. 属性注解参数attributeKey调整为selectVal;

  5. 代理IP:对抗反采集策略规则WAF;

  6. 动态代理:支持运行时动态调整代理池,以及自定义代理池路由策略;    

《面向对象的分布式爬虫框架XXL-CRAWLER》

XXL-CRAWLER 是一个灵活高效、面向对象的分布式爬虫框架。一行代码开发一个分布式爬虫,拥有"多线程、异步、IP动态代理"等特性;

特性

  1. 面向对象:通过VO对象描述页面信息,提供注解方便的映射页面数据,爬取结果主动封装 Java 对象返回;

  2. 多线程;

  3. 扩散全站:将会以现有URL为起点扩散爬取整站;

  4. 去重:防止重复爬取;

  5. URL白名单:支持设置页面白名单正则,过滤URL;

  6. 异步:支持同步、异步两种方式运行;

  7. 自定义请求信息,如:请求参数、Cookie、userAgent等;

  8. 轻量级:底层实现仅依赖jsoup,简洁高效;

  9. 超时控制:支持设置爬虫请求的超时时间;

  10. 主动停顿:爬虫线程处理完页面之后进行主动停顿,避免过于频繁被拦截;

  11. 单个页面支持抽取一个或多个PageVO;

  12. 代理IP:对抗反采集策略规则WAF;

  13. 动态代理:支持运行时动态调整代理池,以及自定义代理池路由策略;

文档地址:中文文档
技术交流:社区交流


【声明】文章转载自:开源中国社区 [http://www.oschina.net]


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Dynamic HTML权威指南

Dynamic HTML权威指南

Danny Goodman / 2009-6 / 99.80元

《Dynamic HTML权威指南(第3版)》涵盖了最新的Web规范和各种浏览器功能特性,如果您要使用HTML、XHTML、CSS、文档对象模型(DOM)和JavaScript进行开发,那么它正是您要寻找的一站式终极资源宝库。《Dynamic HTML权威指南(第3版)》为富互联网应用程序的设计者提供了全面而翔实的参考。在《Dynamic HTML权威指南(第3版)》的帮助下,无论是Interne......一起来看看 《Dynamic HTML权威指南》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具