Apache Spot（孵化）对抗网络威胁的社区方法
用提供洞察潜在威胁的模式识别大海捞针。
Apache Spot 概览
Apache Spot 是一个社区驱动的网络安全项目，从头开始构建，旨在为开放、可扩展的平台上的所有 IT 遥测数据提供高级分析。 它是一个开源软件，用于利用来自流和数据包分析的洞察力。 Spot 通过机器学习加速威胁检测、调查和补救，并将所有企业安全数据整合到一个基于开放数据模型的综合 IT 遥测中心。 Spot 的可扩展性和机器学习功能支持基于 ML 的应用程序生态系统，这些应用程序可以在单个、共享、丰富的数据集上同时运行，为组织提供最大的分析灵活性。
Apache Spot 通过服务交付的透明度和识别在云规模运行的资源之间发生的潜在安全威胁或攻击，帮助企业和服务提供商深入了解他们的计算环境。 尽管当前的威胁情报工具有所帮助，但识别未知威胁和攻击仍然是一个挑战。 Spot 利用来自 Centrify、Cloudera、Cybraics、Endgame、英特尔、Jask、Streamsets 和 Webroot 的多元化专业知识社区。 Apache Spot 提供了一些工具来加速公司利用流和数据包分析技术暴露可疑连接和以前未发现的攻击的能力。
Apache Spot 优势
Apache Spot 使用最好的工具只是为了提供最好的功能来防止攻击、识别未知威胁和提供网络安全。 外围流、DNS、代理和内部流提供了显着的优势，可创建快速高效的数据分析。
如何运作？
Apache Spot 使用机器学习作为过滤器，将不良流量与良性流量区分开来，并表征网络流量的独特行为。 上下文丰富、噪声过滤、白名单和启发式的经过验证的过程也应用于网络数据，以生成最可能的安全威胁的候选名单。
并行题取框架
该系统使用开源的优化解码器来处理二进制流和数据包，加载到 HDFS 和 Hadoop 内的数据结构中。 解码后的数据以多种格式存储，因此可用于搜索、机器学习使用、传输给执法部门或输入到其他系统。
机器学习
该系统使用 Apache Spark 的组合来运行可扩展的机器学习算法。 机器学习组件不仅用作将不良流量与良性流量分开的过滤器，而且还用作表征组织中网络流量的独特行为的一种方式。
运营分析
除了机器学习之外，上下文丰富、噪声过滤、白名单和启发式等经过验证的过程也被应用于网络数据，以生成最可能的模式的简短列表，这些模式可能是安全威胁。
主要特点
可疑的 DNS 数据包
Apache Spot 能够对 DNS 流量执行深度数据包检查，以构建可能和不可能的 DNS 有效负载的配置文件。 在可视化、规范化和进行模式搜索之后，分析师有一份 DNS 流量中最可能存在的威胁的候选名单。
威胁事件和响应
给定一个 IP 地址，Apache Spot 会收集与其相关的通信的所有特征——该 IP 地址的“社交网络”。 然后 Apache Spot 为源自该 IP 的对话构建一个时间线。
可疑连接
Apache Spot 使用高级机器学习来构建网络上的机器及其通信模式的模型。 然后将概率最低的机器之间的连接可视化、过滤噪声并搜索已知模式。 结果是数据中最有可能的威胁模式，从数十亿个流中挑选出几百个流。
故事板
在分析师调查了威胁之后，仍然需要在整个组织内就事件进行沟通。 “仪表板”可以快速回答您已经知道要问的问题。 分析师需要的是“故事板”，它可以通过文字和交互式可视化来说明故事的人物、内容、地点和方式。
开放数据模型
Apache Spot 为网络、端点和用户提供通用的开放数据模型，提供丰富的事件数据的标准格式，可以更轻松地集成跨应用程序数据，以获得完整的企业可见性并开发全新的分析功能。 Spot 的开放数据模型可帮助组织在发现新威胁时快速相互共享新分析。
合作
Apache Spot 的开放数据模型可帮助组织在发现新威胁时在它们之间快速共享新分析。 并且，借助 Hadoop，组织能够针对全面的历史数据集运行这些分析，帮助组织识别过去已经从裂缝中溜走的威胁。 借助此功能，Spot 旨在让安全专业人员能够像网络犯罪分子一样进行协作。
Apache Spot 开放数据模型 (ODM)
Spot 最初支持的主要用例包括网络流（Netflow、sflow 等）、DNS 和代理的网络流量分析。 Spot 开放数据模型战略旨在扩展 Spot 功能以支持更广泛的网络安全用例。
ODM 概览
包括越来越多的用于常见数据源的打包摄取管道目录
丰富的事件提供完整的上下文，从而实现更好的分析和更快的事件响应
组织维护和控制其安全数据的单个副本
Spot 培育丰富的应用生态系统
Spot 通过提供网络安全分析框架来加速网络安全应用程序的开发。 这意味着可以更快地创建更多解决方案。 这是因为 Spot 允许组织专注于为发现网络犯罪的应用程序开发分析和可视化，而不是花时间构建系统来摄取、集成、存储和处理大量或各种安全数据。
加入 Apache Spot 社区并使用通用框架与我们协作。
用例
网络流量分析
Spot 允许组织通过识别可疑的网络连接，使用开箱即用的算法分析大量 netflow、DNS、代理数据来检测潜在的恶意活动。
减少事件检测和解决的平均时间 (MTTR)
Spot 为中央数据存储提供了功能，该存储存储促进调查所需的所有数据，在几秒和几分钟（而不是几小时和几天）内返回调查查询结果，这有效地降低了事件 MTTR 并最大限度地减少了违规的不利影响。
威胁追踪
Spot 通过提供分析灵活性来对大量数据执行临时搜索和查询，以及应用临时算法来检测大海捞针，从而提高了威胁追踪的效率。
网络安全数据管理
由于使用 Hadoop 存储和处理数据的成本，将数据从传统网络安全系统（例如 SIEM）卸载到 Spot 可以立即产生经济价值。 随着组织在其新成立的安全数据中心部署众多分析用例之一，它还开辟了未来价值。
Be First to Comment