SAQL:基于流查询的实时异常行为检测系统

栏目: 服务器 · 发布时间: 7年前

作者: {Fr4nk}@ArkTeam

原文作者: Peng Gao, Xusheng Xiao, Ding Li, Zhichun Li, Kangkook Jee, Zhenyu Wu, Chung Hwan Kim, Sanjeev R. Kulkarni, Prateek Mittal

原文标题: SAQL: A Stream-based Query System for Real-Time Abnormal System Behavior Detection

原文会议: The 27th USENIX Security Symposium

由一系列漏洞和终端主机组合发起的高级网络攻击严重威胁了受到良好保护企业的安全性。为了应对这些挑战,作者提出了一种基于流的实时查询系统,将来自企业中众多主机聚合的实时事件提要作为输入,并提供了用于识别异常行为事件提要的实时查询引擎。为了便于根据知识库表达异常,系统使用了特定查询语言 SAQL ,它允许研究人员定义基于规则的异常、时间序列的异常、基于不变量的异常以及基于异常值的模型。

SAQL:基于流查询的实时异常行为检测系统 1 主要异常系统行为类型

SAQL 提供( 1 )事件模式的语法,以简化特定相关系统活动及其关系 ; 2 )用于滑动窗口和有状态计算的构造,它允许在数据流上的每个滑动窗口中计算有状态异常模型。系统通过对监视数据流的连续查询来检查 SAQL 中的指定模型,并连续输出报告检测到的异常。

作者基于系统级监控工具 auditd [2] ETW [3] 和现有的流管理系统 Siddhi[1] 构建了整个 SAQL 系统,如图 2 所示。根据输入的 SAQL 查询,系统汇合 Siddhi 查询以匹配来自流的数据,同时执行有状态计算、构造异常模型以检测流上的异常。

为解决大规模系统监控数据上处理多个并发异常查询的可扩展性,系统根据滑动窗口、事件属性等维度分析提交的查询,随后将可兼容的查询放入同一个组中,在每个组中主查询直接访问流数据,其他相关查询利用主查询的中间执行结果。

SAQL:基于流查询的实时异常行为检测系统

2 SQAL 系统架构

最后,作者在包含 150 台主机的 NEC Labs America 中部署系统,并使用 1.1TB 的实际系统监控数据(包含 33 亿个事件)对其进行了评估。实验在对广泛的攻击行为和微基准测试的评估结果中表明, SAQL 具有低检测延迟( <2s )和高系统吞吐量( 110,000 个事件 / ; 支持 ~4000 个主机),并且实现更高效的内存利用,从而平均节省了 30 %的检测时间。项目网站: https://sites.google.com/site/saqlsystem/

参考文献:

[1] Siddihi complex event processing engine. https://github.com/wso2/siddhi.

[2] The Linux audit framework. https://github.com/linux-audit/.

[3] ETW events in the common language runtime. https://msdn.microsoft.com/en- us/library/ff357719(v=vs.110).aspx.


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

数据结构(C语言版)

数据结构(C语言版)

严蔚敏、吴伟民 / 清华大学出版社 / 2012-5 / 29.00元

《数据结构》(C语言版)是为“数据结构”课程编写的教材,也可作为学习数据结构及其算法的C程序设计的参数教材。 本书的前半部分从抽象数据类型的角度讨论各种基本类型的数据结构及其应用;后半部分主要讨论查找和排序的各种实现方法及其综合分析比较。其内容和章节编排1992年4月出版的《数据结构》(第二版)基本一致,但在本书中更突出了抽象数据类型的概念。全书采用类C语言作为数据结构和算法的描述语言。 ......一起来看看 《数据结构(C语言版)》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具