spider-flow 0.1.0 发布，Java 开源爬虫平台

内容简介：历时三个多月，第一个正式版发布 spider-flow 是一个无需写代码的爬虫平台，通过定义流程的方式制定爬虫 现已有特性如下： 支持css选择器、正则提取 支持JSON/XML格式 支持Xpath/JsonPath提取 支持多数据源、SQL...

历时三个多月，第一个正式版发布

spider-flow 是一个无需写代码的爬虫平台，通过定义流程的方式制定爬虫

现已有特性如下：

• 支持css选择器、正则提取
• 支持JSON/XML格式
• 支持Xpath/JsonPath提取
• 支持多数据源、SQL select/insert/update/delete/批量插入
• 支持爬取JS动态渲染的页面
• 支持代理
• 支持二进制格式、二进制流格式
• 支持保存/读取文件(csv、xls、jpg等)
• 常用字符串、日期、文件、加解密等函数
• 支持流程嵌套
• 支持插件扩展(自定义执行器，自定义函数）
• 支持HTTP接口

已有插件如下：

• selenium 插件
• redis 插件
• mongodb 插件
• IP代理池 插件
• OCR 识别插件
• OSS 插件
• 电子邮箱 插件

部分截图：

以上所述就是小编给大家介绍的《spider-flow 0.1.0 发布，Java 开源爬虫平台》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。