内容简介:XXL-CRAWLER v1.2.0 发布,新特性如下: 1、爬虫Builder底层API优化; 2、支持设置请求Headers; 3、支持设置多UserAgent轮询; 4、失败重试:支持请求失败后主动重试,并支持设置重试次数; 5、动态参数:支持运...
XXL-CRAWLER v1.2.0 发布,新特性如下:
1、爬虫Builder底层API优化;
2、支持设置请求Headers;
3、支持设置多UserAgent轮询;
4、失败重试:支持请求失败后主动重试,并支持设置重试次数;
5、动态参数:支持运行时动态调整请求参数;
6、分布式支持:支持自定义RunData(运行时数据模型)并结合 Redis 或DBd等共享运行时数据来实现分布式。默认提供LocalRunData单机版爬虫。
文档
技术交流
《面向对象的分布式爬虫框架XXL-CRAWLER》
XXL-CRAWLER 是一个面向对象的分布式爬虫框架。一行代码开发一个分布式爬虫,拥有"多线程、异步、IP动态代理、分布式"等特性;

2017年度最受欢迎中国开源软件评选中,期待您为"XXL-JOB"投出宝贵的一票!
【声明】文章转载自:开源中国社区 [http://www.oschina.net]
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Java编程思想 (第4版)
[美] Bruce Eckel / 陈昊鹏 / 机械工业出版社 / 2007-6 / 108.00元
本书赢得了全球程序员的广泛赞誉,即使是最晦涩的概念,在Bruce Eckel的文字亲和力和小而直接的编程示例面前也会化解于无形。从Java的基础语法到最高级特性(深入的面向对象概念、多线程、自动项目构建、单元测试和调试等),本书都能逐步指导你轻松掌握。 从本书获得的各项大奖以及来自世界各地的读者评论中,不难看出这是一本经典之作。本书的作者拥有多年教学经验,对C、C++以及Java语言都有独到......一起来看看 《Java编程思想 (第4版)》 这本书的介绍吧!
JS 压缩/解压工具
在线压缩/解压 JS 代码
HTML 编码/解码
HTML 编码/解码