火眼金睛:利用机器学习识别加密流量中的恶意软件

2018-02-01 recco 思科联天下 思科联天下

尽管依靠证书验证的加密超文本协议 https 在很大程度上降低了明文数据在客户端与服务器传输过程中被三方窃取和篡改的可能性,但加密后的超文本协议依然无法完全避免被病毒浸染的可能。而且,利用加密的保护,黑客可以将恶意软件及病毒置于加密流量当中,从而避开检测,继续实施恶意侵害。


传统的解决方案是代理(proxy)模式,即通过第三方技术对流量解密后分析其中的行为和内容,之后再次加密进行发送,但这至少存在两个问题:


  • 第三方技术解密破坏了加密技术解决数据隐私的初衷,同时增加了通道完整性风险;

  • 加密流量的持续增加,会消耗大量资源进行解密,同时造成网络性能下降。


思科安全团队给出了支持无需解密并可视化的加密网络流数据安全分析方案 Stealthwatch,以解决通过第三方解密加密超文本协议 https 进行流量安全检测方案带来的数据泄露、资源消耗以及网络性能下降等问题。该系统主要针对加密流量内部的元数据进行机器学习算法分析,准确定位加密流量中的恶意模式,助力识别威胁并提高事件响应效率,帮助企业快速确定可能受到感染的设备和用户,最终提升企业面对安全事件时的响应速度和水平。据思科透露,识别准确率超过 99.997%。


主要原理

充分利用网络基础架构(网络交换机)的能力,结合机器学习,提取加密数据中的多个特征,关联思科安全大数据中的安全地图(Security Map),寻找恶意软件痕迹是加密流量监测的基本思路。



解析加密连接的初始数据包,充分利用未加密字段。值得注意的是,当处于客户端向服务器端索要并验证公钥,以及双方协商生成 “对话密钥” 的握手阶段,除发生的少量随机数密钥外,该阶段大部分通信都是明文,这一明文数据包则可能包含加密相关的宝贵数据,如加密采用的 HTTP URL、DNS 主机名、TLS 版本、算法、证书、TLS 扩展选项等。


SPLT(包长度和时间序列)显示 TLS 数据差异


根据数据包长度和报文的时间间隔和顺序,以及被分析的数据流中数据包的有效载荷上的字节分布,对 tcp 里面包含的数据包内容进行分析。根据这些发现,获得加密数据的流量模型, 也可以为加密流量传输的流量内容提供重要线索。对思科而言,他们能获取到 TCP/IP 的 HEAD 信息,也就能知道 DATA 的长度、分片、时间间隔等 HTTPS 无法加密的信息,思科也因此能用其中的 HEAD 信息做模型分析和区别正常流量。


值得强调的是,由于这一基于网络的检测流程采用了机器学习技术,其功效会随着时间的推移而持续上升。


强大的全球可视化能力

互联网是开放环境,通信双方都是未知身份,这为协议的设计带来了很大的难度,而藏身于加密流量中的攻击成为不可视威胁,这也使得 SSL/TLS 协议变得异常复杂。随着更多用户和设备添加到网络中,获得对现状的可视性更加困难。


数据显示,80% 以上的网络流量在数据中心里从东向西传输,这导致企业对自身网络内部环境并不清楚。可惜的是,安全信息和事件管理 (SIEM) 系统和完整数据包捕获等传统的安全技术几乎无法提供对内部网络的可视性。此外,从有限部署向外进行扩展时,这些方法几乎无法实施。



思科 StealthWatch 则能够获得跨所有网络对话(包括东-西流量和北-南流量)的可视性,以检测内部和外部威胁。


实际上,不管是网络安全还是智慧网络,强大的网络流量可视化能力一直是思科安全领域技术的核心支撑。这一部分得益于思科在覆盖全球 160 个国家和地区庞大的网络检测布局及日均 1000 亿条互联网访问数据的学习和积累。此外,通 过Lancope 的收购,思科已部署网络和安全设备作为监测点对网络流量中的异常进行监测,并可集成思科的身份服务引擎(ISE),以提供更深层次的网络可见性,快速发现网络中的威胁。


同时,思科专业安全研究团队,研究了数百万不同流量上恶意流量和正常流量使用TLS、DNS 和 SPLT方面的差异,提炼出恶意软件最明显的一系列流量特性,并最终形成了思科针对恶意软件流量传输模型的安全地图( Security Map)。


快速响应能力

高效的威胁反应能力来自 StealthWatch 能够基于企业现有的基础设施,提供横跨整个企业网络提供广泛的可视性和安全情报的能力。


StealthWatch 流量传感器通过深度数据包检测 (DPI) 交付全面的网络和服务器性能指标可视性。如果组织的网络不支持 NetFlow,将部署 FlowSensor 作为生成网络遥感勘测数据的设备。FlowSensor 的遥感勘测数据发送到 FlowCollector,以实施行为分析,它可以识别应用和协议,优化安全性、网络运行和应用性能。


这里的核心技术在于FlowCollector(专用收集器),它能够识别 NetFlow 的特殊格式。其主要作用在于,采集并进一步分析缓存中很难被识别到的超时 Flow 信息。而 StealthWatch 则依靠 FlowCollector,能够以每秒 24 万个持续流的速率存储和分析最多 4000个遥测源,并可在同一网络上汇聚最多 25 个 FlowCollector,每秒最多 600万个流。


同时,Stealthwatch 的高级安全分析能力通过与收集来自全新 Catalyst 9000 交换机和 Cisco 4000 系列集成多业务路由器的增强型 NetFlow 信息进行组合,最终帮助 IT人员在无需解密的情况下找出加密流量中的恶意威胁。



StealthWatch 在网络威胁预测方面至少赋能企业网络三大能力:


1. 持续网络监控通过深入洞察网络上所有活动,任何类型和规模的组织都能快速设定其环境的正常行为基准。确立