XXL-CRAWLER v1.2.0 发布,分布式爬虫框架

栏目: 软件资讯 · 发布时间: 8年前

内容简介:XXL-CRAWLER v1.2.0 发布,新特性如下: 1、爬虫Builder底层API优化; 2、支持设置请求Headers; 3、支持设置多UserAgent轮询; 4、失败重试:支持请求失败后主动重试,并支持设置重试次数; 5、动态参数:支持运...

XXL-CRAWLER v1.2.0 发布,新特性如下:

  • 1、爬虫Builder底层API优化;

  • 2、支持设置请求Headers;

  • 3、支持设置多UserAgent轮询;

  • 4、失败重试:支持请求失败后主动重试,并支持设置重试次数;

  • 5、动态参数:支持运行时动态调整请求参数;

  • 6、分布式支持:支持自定义RunData(运行时数据模型)并结合 Redis 或DBd等共享运行时数据来实现分布式。默认提供LocalRunData单机版爬虫。

文档

技术交流


《面向对象的分布式爬虫框架XXL-CRAWLER》

XXL-CRAWLER 是一个面向对象的分布式爬虫框架。一行代码开发一个分布式爬虫,拥有"多线程、异步、IP动态代理、分布式"等特性;

XXL-CRAWLER v1.2.0 发布,分布式爬虫框架

2017年度最受欢迎中国开源软件评选中,期待您为"XXL-JOB"投出宝贵的一票!


【声明】文章转载自:开源中国社区 [http://www.oschina.net]


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

自制编程语言 基于C语言

自制编程语言 基于C语言

郑钢 / 人民邮电出版社 / 2018-9-1 / CNY 89.00

本书是一本专门介绍自制编程语言的图书,书中深入浅出地讲述了如何开发一门编程语言,以及运行这门编程语言的虚拟机。本书主要内容包括:脚本语言的功能、词法分析器、类、对象、原生方法、自上而下算符优先、语法分析、语义分析、虚拟机、内建类、垃圾回收、命令行及调试等技术。 本书适合程序员阅读,也适合对编程语言原理感兴趣的计算机从业人员学习。一起来看看 《自制编程语言 基于C语言》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

MD5 加密
MD5 加密

MD5 加密工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具