Scrapy 1.6.0 发布，Web 爬虫框架

内容简介：Scrapy 1.6.0 发布了，Scrapy 是一套基于 Twisted 的异步处理框架，纯 Python 实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。 主要更新内容有： 更好的 ...

Scrapy 1.6.0 发布了，Scrapy 是一套基于 Twisted 的异步处理框架，纯 Python 实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。

主要更新内容有：

• 更好的 Windows 支持；

• 兼容 Python 3.7；

• 文档更新，包括了从 .extract_first() + .extract() API 到 .get() + .getall() API 的转移；；

• feed exports，FilePipeline 和 MediaPipeline 性能提升；

• 更好的可扩展性，包括 item_error 和 request_reached_downloader 信号、以及 from_crawler 对 feed exporters, feed storages 和 dupefilters 更好的支持；

• scrapy.contracts 的修复和新特性；

• telnet 终端安全性提升（作为 backport 首次发表在 Scrapy 1.5.2 (2019-01-22)）；

• 清理已弃用代码，Bug 修复，其他新特性的新增等……

详细更新内容请看更新说明

下载地址：

• Source code(zip)

• Source code(tar.gz)

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。