内容简介：XXL-CRAWLER v1.1.0 已发布，更新如下： 新特性： 页面默认cssQuery调整为html标签； 升级Jsoup至1.11.1版本； 修复PageVO注解失效的问题； 属性注解参数attributeKey调整为selectVal； 代理IP：对抗反采集策略规...
XXL-CRAWLER v1.1.0 已发布，更新如下：
新特性：
页面默认cssQuery调整为html标签；
升级Jsoup至1.11.1版本；
修复PageVO注解失效的问题；
属性注解参数attributeKey调整为selectVal；
代理IP：对抗反采集策略规则WAF；
动态代理：支持运行时动态调整代理池，以及自定义代理池路由策略；
《面向对象的分布式爬虫框架XXL-CRAWLER》
XXL-CRAWLER 是一个灵活高效、面向对象的分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理"等特性；
特性
面向对象：通过VO对象描述页面信息，提供注解方便的映射页面数据，爬取结果主动封装 Java 对象返回；
多线程；
扩散全站：将会以现有URL为起点扩散爬取整站；
去重：防止重复爬取；
URL白名单：支持设置页面白名单正则，过滤URL；
异步：支持同步、异步两种方式运行；
自定义请求信息，如：请求参数、Cookie、userAgent等；
轻量级：底层实现仅依赖jsoup，简洁高效；
超时控制：支持设置爬虫请求的超时时间；
主动停顿：爬虫线程处理完页面之后进行主动停顿，避免过于频繁被拦截；
单个页面支持抽取一个或多个PageVO；
代理IP：对抗反采集策略规则WAF；
动态代理：支持运行时动态调整代理池，以及自定义代理池路由策略；
【声明】文章转载自：开源中国社区 [http://www.oschina.net]
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Domain-Driven Design Distilled
Vaughn Vernon / Addison-Wesley Professional / 2016-6-2 / USD 36.99
Domain-Driven Design (DDD) software modeling delivers powerful results in practice, not just in theory, which is why developers worldwide are rapidly moving to adopt it. Now, for the first time, there......一起来看看 《Domain-Driven Design Distilled》 这本书的介绍吧!
