实时异常检测的开源框架 datastream.io

码农软件 · 软件分类 · 安全相关框架 · 2019-10-01 19:58:41

软件介绍

使用 Python,Elasticsearch 和 Kibana 进行实时异常检测的开源框架。

该项目的目的是执行以下功能:

  • 消耗从各种文件和流格式的数据。

  • 实时转换数据流以获取感兴趣的统计信息,如聚合,计数,会话,分组或提取功能。

  • 通过无监督的机器学习对产生的流进行建模,以全局或者在设备/用户层面捕获正常的基线行为。

  • 通过将每个新事件与基准模型进行比较来评分。

  • 在轻量级可定制仪表板上可视化异常事件,并且轻量级的后端。

安装

推荐的安装方法是在 Python 3.x virtalenv 中使用 pip。

virtualenv --python=python3 dsio-env
source dsio-env/bin/activate
pip install -e git+https://github.com/MentatInnovations/datastream.io#egg=dsio

用法

您可以通过命令行使用 dsio 或将其导入到您的 Python 代码中。您可以使用内置的 Bokeh 服务器可视化您的数据流,也可以将它们重新定位到 Elasticsearch,并使用 Kibana 对其进行可视化。在任何一种情况下,dsio 都会为您的数据流生成适当的仪表板。另外,如果您通过 Jupyter 笔记本调用 dsio,则会将流式 Bokeh 仪表板嵌入到同一个笔记本中。

Jupyter

本文地址:https://www.codercto.com/soft/d/15828.html

机器学习系统设计

机器学习系统设计

[德] Willi Richert、Luis Pedro Coelho / 刘峰 / 人民邮电出版社 / 2014-7-1 / CNY 49.00

如今,机器学习正在互联网上下掀起热潮,而Python则是非常适合开发机器学习系统的一门优秀语言。作为动态语言,它支持快速探索和实验,并且针对Python的机器学习算法库的数量也与日俱增。本书最大的特色,就是结合实例分析教会读者如何通过机器学习解决实际问题。 本书将向读者展示如何从原始数据中发现模式,首先从Python与机器学习的关系讲起,再介绍一些库,然后就开始基于数据集进行比较正式的项目开......一起来看看 《机器学习系统设计》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试