内容简介：这边我写了一个自定义的过滤器，继承于scrapy-redis中的。因为我有个需求是，这条url https://segmentfault.com/stop-robot不过滤。settings.py注意我项目名字是tutorial
from scrapy_redis.dupefilter import RFPDupeFilter
class CustomFilter(RFPDupeFilter):
def request_seen(self, request):
"""Returns True if request was already seen.
Parameters
----------
request : scrapy.http.Request
Returns
-------
bool
"""
if 'https://segmentfault.com/stop-robot' in request.url:
return False
fp = self.request_fingerprint(request)
# This returns the number of values added, zero if already exists.
added = self.server.sadd(self.key, fp)
return added == 0
这边我写了一个自定义的过滤器，继承于scrapy-redis中的。因为我有个需求是，这条url https://segmentfault.com/stop-robot不过滤。
settings.py
DUPEFILTER_CLASS = 'tutorial.CustomFilter.CustomFilter'
注意我项目名字是tutorial
4615
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
重新定义团队：谷歌如何工作
拉兹洛·博克 / 宋伟 / 中信出版集团 / 2015-12-1 / CNY 56.00
谷歌首席人才官拉斯洛•博克权威力作，谷歌公开认可的谷歌高层作品，首度揭秘谷歌颠覆工业时代模式的人才和团队管理的核心法则，《纽约时报》畅销榜第一名，Business Insider 2015最佳商业书籍，谷歌的创造力就在于此！ 编辑推荐！ 1、 谷歌人才官首次公开谷歌人才和团队管理的核心秘籍 在谷歌执掌人事多年的拉斯洛•博克是人才和团队管理的顶级专家。他加入谷歌后，谷歌的员工数从六......一起来看看 《重新定义团队：谷歌如何工作》 这本书的介绍吧!
