Apache Metron晋升顶级项目

内容简介：Apache Metron晋升顶级项目

Hortonworks和Apache 宣布 Metron正式晋升为顶级项目。 Metron 是一种多功能的安全遥测数据捕获、流分析和威胁响应平台，代表了安全数据平台的最新发展水平。该项目最早可溯源至Cisco的开源大数据系统安全框架项目 OpenSOC 。Metron提供的功能包括：日志的聚合、对网络包全面捕获的索引和存储、高级行为分析及数据浓缩，并可以将当前的威胁情报信息应用到安全遥测中。Metron在同一平台中集成实现了所有的这些功能。

Metron从概念上可划分为四个组件：数据捕获与摄取、实时数据处理、受保证的数据持久化和存储、用于驱动监控和风险报警服务的机器学习模型。

从核心上看Metron是 Kappa 架构。Kappa是 Lambda 架构的一种变体，使用Apache Kafka作为统一的数据总线，并使用Apache Strom作为处理组件。 Bro插件 提供了将 Bro 日志发送给Kafka的能力，这使得Metron可以捕获对深度探究数据包尤为有用的数据、借助Kafka的可靠性保证捕获并重建数据，以及与其他大数据生态系统进行集成。

数据捕获组件实现将遥测数据发布到Metron的消息总线上，进而持久化或经由Storm进行实时处理到 HBase 中。Metron对被捕获的数据提供了多种方法建立搜索索引和进行实时与近实时处理。Metron提供了数据接口，使得HBase可根据情况与ElasticSearch、 Lucene 和 Solr 进行接口。Metron默认提供的系统管理和仪表盘接口是基于 Kibana 构建的。

Metron具有一些不同于新兴数据流水线标准的特征。首先，Metron是通过 Stellar 与一系列的数据转换功能和API进行集成的。Stellar是一种威胁情报分离和场转换语言，通过Metron的RESTful 模型即服务 （MaaS，Modeling-as-a-Service）功能进行部署和执行。MaaS功能使用 Yarn 管理，设计实现为一种实时或近实时的威胁检测和响应机制。其次， 数据浓缩 工具集提供了管理和加载各种数据浓缩和威胁情报源到Metron的HBase数据接收器的功能。通过MaaS部署的机器学习模型，Metron实现了对数据浓缩步骤的增强。最后一点，Metron提供了一系列的分析工具。当实时和近实时的遥测数据进入数据总线以及在HBase中持久化时，分析 工具 实现了执行特性抽取和截取数据窗口的机制。

该Apache项目由 Owen O'Malley 领导，最早正是他负责将OpenSOC项目迁移为Metron项目。

查看英文原文： Apache Metron Graduates to Top-Level Project

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。