Scrapy 1.6.0 发布,Web 爬虫框架

栏目: 编程工具 · 发布时间: 6年前

内容简介:Scrapy 1.6.0 发布了,Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。主要更新内容有:详细更新内容请看

Scrapy 1.6.0 发布了,Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。

主要更新内容有:

  • 更好的 Windows 支持;

  • 兼容 Python 3.7;

  • 文档更新,包括了从 .extract_first() + .extract() API 到 .get() + .getall() API 的转移;;

  • feed exports,FilePipeline 和 MediaPipeline 性能提升;

  • 更好的可扩展性,包括 item_error request_reached_downloader 信号、以及 from_crawler 对 feed exporters, feed storages 和 dupefilters 更好的支持;

  • scrapy.contracts 的修复和新特性;

  • telnet 终端安全性提升(作为 backport 首次发表在 Scrapy 1.5.2 (2019-01-22) );

  • 清理已弃用代码,Bug 修复,其他新特性的新增等……

详细更新内容请看 更新说明

下载地址:


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

蚂蚁金服

蚂蚁金服

廉薇、边慧、苏向辉、曹鹏程 / 中国人民大学出版社 / 2017-7 / 59.00

打开支付宝,我们不但可以用手机即时付款,给好友转账,为信用卡还款,购买水、电、天然气,还可以办理出国购物退税;因为余额宝,我们可以开始打理手中的零用钱,随时随地进行理财;因为芝麻信用,我们感受到信用为我们带来的信任、尊严与方便——免押金租车、租房、骑行。从支付宝到蚂蚁金服,可以毫不夸张地说,一家企业改变了我们的生活。 蚂蚁金服无疑是目前中国最具代表性的金融科技巨头,同时也是全球估值最高的金融......一起来看看 《蚂蚁金服》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具