爬虫管理平台 Crawlab v0.4.10 发布

内容简介：前言 本次更新包括几个部分： 日志集中管理 自动安装依赖 开放 API Web Hook 自动生成结果集 更新日志 功能 / 优化 优化日志管理. 集中化管理日志，储存在 MongoDB，减少对 PubSub 的依赖，允许日志异常检测. 自动...

前言

本次更新包括几个部分：

1. 日志集中管理
2. 自动安装依赖
3. 开放 API
4. Web Hook
5. 自动生成结果集

更新日志

功能 / 优化

• 优化日志管理. 集中化管理日志，储存在 MongoDB，减少对 PubSub 的依赖，允许日志异常检测.
• 自动安装依赖. 允许从 requirements.txt 和 package.json 自动安装依赖.
• API Token. 允许用户生成 API Token，并利用它们来集成到自己的系统中.
• Web Hook. 当任务开始或结束时，触发 Web Hook http 请求到预定义好的 URL.
• 自动生成结果集. 如果没有设置，自动设置结果集为 results_<spider_name>.
• 优化项目列表. 项目列表中不展示 "No Project".
• 升级 Node.js. 将 Node.js 版本从 v8.12 升级到 v10.19.
• 定时任务增加运行按钮. 允许用户在定时任务界面手动运行爬虫任务.

Bug 修复

• 无法注册. #670
• 爬虫定时任务标签 Cron 表达式显示秒. #678
• 爬虫每日数据缺失. #684
• 结果数量未即时更新. #689

产品规划

• 结果展示
  • 支持其他数据库
• 爬虫
  • 支持容器爬虫
  • 长任务爬虫支持
• 可配置爬虫
  • 可配置爬虫支持 Splash
  • 可配置爬虫支持 CrawlSpider
  • 可配置爬虫支持正则表达式字段
• 定时任务
  • 日历展示
• 服务器
  • 支持终端操作 Docker 镜像
• SDK
  • 更多命令支持
• 全局
  • 热更新

参考

• Github: https://github.com/crawlab-team/crawlab
• Demo: https://crawlab.cn/demo
• 文档: http://docs.crawlab.cn

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助，请加作者微信 tikazyq1 并注明 "Crawlab"，作者会将你拉入群。欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue。另外，欢迎您对 Crawlab 做开发贡献。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。