机器数据的指南-splunk系列(1)

(一)前言

时间序列数据(TIME-SERIES DATA)、大数据(BIG DATA)。无论您称之什么，机器数据(machine data)都是任何组织中最容易低估的资产之一。而且，不幸的是，数据通常保留一段很短的时间，然后就被丢弃，再也看不见。

但是，您可以从中获得的一些最重要的见解，这通常隐藏在这些数据中：哪里出问题，如何优化客户体验，以及欺诈证据。所有这些见解都可以在组织的正常操作所生成的机器数据中找到。

机器数据是有价值的，因为它包含客户、用户、交易、应用程序、服务器、网络和移动设备的所有活动和行为的确定性记录。它包括配置，来自API的数据、消息队列、事件，诊断命令的输出，来电详细记录和工业系统等的传感器数据。

利用机器数据的挑战在于它令人眼花缭乱的不可预测的格式，传统的监控和分析工具无法应对数据的种类、速度、容量或变化。但是，利用这些数据的组织有很大的优势，包括快速诊断服务问题，检测复杂的安全威胁，了解远程设备的运行状况和性能并证明合规性。

在实践中使用机器数据

使用机器数据需要三个(看似简单的)步骤：摄取、关联和分析。

从机器数据获得最大价值的组织能够区分不同的数据类型，将它们链接在一起，并从结果中获得价值。但是最大的挑战之一就是理解你应该摄取哪些数据。

根据需求，定义use cases – 无论是安全性、IT操作、业务分析还是物联网 – 你可以开始识别数据源，并开始关联。

本书提供了几乎所有规模的组织中最常见的机器数据类型的概述。虽然每个组织的需求和数据来源将随着供应商、产品和基础设施的不同而不同，但本书详细介绍了应该查找机器数据的位置及价值。

本书中列出的许多数据源可以支持多种use cases – 这是驱动机器数据巨大价值的主要部分。每个数据源支持的use cases可以用下面的图标轻松识别。

(二)数据源

可用的数据源有：用户数据、应用数据、中间件数据、网络数据、操作系统数据、基础设施数据、物联网数据及其他数据源，本文列出了8大类，59小类数据。

其中每种数据前面的不同的颜色代表不同的价值，其中安全相关的是黄色的，共43小类，也可以看出安全能用的数据真不少。

以下抽样几种与安全相关的数据介绍，原文见：https://www.splunk.com/pdfs/ebooks/the-essential-guide-to-machine-data.pdf

(三)用户数据介绍

用户类两种：认证数据和VPN数据，以认证数据为例：

use cases：安全与合规，IT运营，应用交付

示例：AD、LDAP、身份管理，单点登录

IT操作和应用交付：验证数据支持IT操作团队，因为能对身份验证相关的问题进行排错。

安全合规性：为了安全起见，认证数据提供了大量关于用户活动的信息，例如在给定时间窗口内多次登录失败或成功，在一定时间内来自不同位置的登录，以及暴力破解活动。特别：

•Active Directory域控制器日志包含有关用户帐户的信息，例如特权帐户活动，以及有关远程访问，新建帐户创建和过期帐户活动的详细信息。

•LDAP日志包括用户登录系统的时间和地点以及访问信息的记录。

•身份管理数据显示用户、组和职位的访问权限(例如CEO，主管或普通用户)。该数据可用于识别可能存在潜在的访问异常 – 例如，CEO访问低级网络设备或通过CEO帐户的进行网络管理。

(四)应用数据介绍

应用类以漏洞扫描类数据为例：

Use Cases:安全合规

示例: ncircle IP360, Nessus

找到安全漏洞的有效方法是从攻击者的角度来检查基础设施。漏洞扫描探测组织的网络，以获得为外部攻击者提供入口点的已知软件缺陷。这些扫描产生关于开放端口和IP地址的数据，攻击者可以利用这些数据来获取进入特定系统或整个网络。

默认情况下，系统通常会保持网络服务运行。这些运行的、不受监控的服务是外部攻击的常见方式，因为它们可能没有更新补丁。大规模漏洞扫描可以揭示的安全漏洞。

安全与合规性：漏洞扫描产生有关恶意代理程序可以使用的开放端口和IP地址的数据，以获取进入特定系统或网络。数据可用于识别：

•系统配置错误导致安全漏洞

•过时的补丁

•不必要的网络服务端口

•配置不当的文件系统，用户或应用程序

•系统配置变更

•各种用户，应用或文件系统权限的变更

(五)中间件数据介绍

Middleware Data以web服务器数据为例：

Use Cases: IT Operations, Application Delivery, Security & Compliance,

Business Analytics

Examples: Java J2EE, Apache, Application Usage Logs, IIS logs, nginx

Web服务器是每个web网站后端应用，传递浏览器客户端所看到的所有内容。 Web服务器访问静态HTML页面，并以各种语言运行应用程序脚本，生成动态内容，并调用其他应用程序(如中间件)。

安全合规性：Web日志记录错误条件，例如访问没有适当权限的文件的请求，并且还跟踪标记为安全攻击(例如未经授权进入或DDoS)的用户活动。它还可以帮助识别SQL注入，并支持关联欺诈交易。

•由于Java app经常访问网络服务和敏感数据库，安全团队可以使用日志数据来检查J2EE应用程序的完整性，识别可疑应用程序行为和应用程序漏洞。

•Apache Web日志可告警安全攻击，如尝试未经授权的进入，XSS，缓冲区溢出或DDoS。

•与Web日志一样，Application Usage Logs可以告警未经授权的访问，例如某人比平时消耗更多资源，或在奇怪的时间使用应用。

(六)网络数据介绍

以DNS数据为例：

Use Cases: IT Operations, Security & Compliance

Examples: BIND, PowerDNS, Unbound, Dnsmasq, Erl-DNS

安全合规性：安全团队可以使用DNS日志来调查客户端地址请求，例如将查找表与活动相关联，调查：请求是否针对不适当、其他可疑网站以及站点或域的相对受欢迎程度。由于DNS服务器是DDoS攻击的重点目标，日志可以显示来自外部源的异常高数量的请求。同样，由于受攻击的DNS服务器本身通常用于对其他站点发起DDoS攻击，因此DNS日志可以显示组织的服务器是否已被攻击。 DNS数据还可以提供对未知域名，恶意域名和临时域名的检测。