火眼金睛:利用机器学习识别加密流量中的恶意软件

recco 思科联天下 2018-02-01

尽管依靠证书验证的加密超文本协议 https 在很大程度上降低了明文数据在客户端与服务器传输过程中被三方窃取和篡改的可能性,但加密后的超文本协议依然无法完全避免被病毒浸染的可能。而且,利用加密的保护,黑客可以将恶意软件及病毒置于加密流量当中,从而避开检测,继续实施恶意侵害。


传统的解决方案是代理(proxy)模式,即通过第三方技术对流量解密后分析其中的行为和内容,之后再次加密进行发送,但这至少存在两个问题:


  • 第三方技术解密破坏了加密技术解决数据隐私的初衷,同时增加了通道完整性风险;

  • 加密流量的持续增加,会消耗大量资源进行解密,同时造成网络性能下降。


思科安全团队给出了支持无需解密并可视化的加密网络流数据安全分析方案 Stealthwatch,以解决通过第三方解密加密超文本协议 https 进行流量安全检测方案带来的数据泄露、资源消耗以及网络性能下降等问题。该系统主要针对加密流量内部的元数据进行机器学习算法分析,准确定位加密流量中的恶意模式,助力识别威胁并提高事件响应效率,帮助企业快速确定可能受到感染的设备和用户,最终提升企业面对安全事件时的响应速度和水平。据思科透露,识别准确率超过 99.997%。


主要原理

充分利用网络基础架构(网络交换机)的能力,结合机器学习,提取加密数据中的多个特征,关联思科安全大数据中的安全地图(Security Map),寻找恶意软件痕迹是加密流量监测的基本思路。



解析加密连接的初始数据包,充分利用未加密字段。值得注意的是,当处于客户端向服务器端索要并验证公钥,以及双方协商生成 “对话密钥” 的握手阶段,除发生的少量随机数密钥外,该阶段大部分通信都是明文,这一明文数据包则可能包含加密相关的宝贵数据,如加密采用的 HTTP URL、DNS 主机名、TLS 版本、算法、证书、TLS 扩展选项等。


SPLT(包长度和时间序列)显示 TLS 数据差异


根据数据包长度和报文的时间间隔和顺序,以及被分析的数据流中数据包的有效载荷上的字节分布,对 tcp 里面包含的数据包内容进行分析。根据这些发现,获得加密数据的流量模型, 也可以为加密流量传输的流量内容提供重要线索。对思科而言,他们能获取到 TCP/IP 的 HEAD 信息,也就能知道 DATA 的长度、分片、时间间隔等 HTTPS 无法加密的信息,思科也因此能用其中的 HEAD 信息做模型分析和区别正常流量。


值得强调的是,由于这一基于网络的检测流程采用了机器学习技术,其功效会随着时间的推移而持续上升。


强大的全球可视化能力

互联网是开放环境,通信双方都是未知身份,这为协议的设计带来了很大的难度,而藏身于加密流量中的攻击成为不可视威胁,这也使得 SSL/TLS 协议变得异常复杂。随着更多用户和设备添加到网络中,获得对现状的可视性更加困难。


数据显示,80% 以上的网络流量在数据中心里从东向西传输,这导致企业对自身网络内部环境并不清楚。可惜的是,安全信息和事件管理 (SIEM) 系统和完整数据包捕获等传统的安全技术几乎无法提供对内部网络的可视性。此外,从有限部署向外进行扩展时,这些方法几乎无法实施。



思科 StealthWatch 则能够获得跨所有网络对话(包括东-西流量和北-南流量)的可视性,以检测内部和外部威胁。


实际上,不管是网络安全还是智慧网络,强大的网络流量可视化能力一直是思科安全领域技术的核心支撑。这一部分得益于思科在覆盖全球 160 个国家和地区庞大的网络检测布局及日均 1000 亿条互联网访问数据的学习和积累。此外,通 过Lancope 的收购,思科已部署网络和安全设备作为监测点对网络流量中的异常进行监测,并可集成思科的身份服务引擎(ISE),以提供更深层次的网络可见性,快速发现网络中的威胁。


同时,思科专业安全研究团队,研究了数百万不同流量上恶意流量和正常流量使用TLS、DNS 和 SPLT方面的差异,提炼出恶意软件最明显的一系列流量特性,并最终形成了思科针对恶意软件流量传输模型的安全地图( Security Map)。


快速响应能力

高效的威胁反应能力来自 StealthWatch 能够基于企业现有的基础设施,提供横跨整个企业网络提供广泛的可视性和安全情报的能力。


StealthWatch 流量传感器通过深度数据包检测 (DPI) 交付全面的网络和服务器性能指标可视性。如果组织的网络不支持 NetFlow,将部署 FlowSensor 作为生成网络遥感勘测数据的设备。FlowSensor 的遥感勘测数据发送到 FlowCollector,以实施行为分析,它可以识别应用和协议,优化安全性、网络运行和应用性能。


这里的核心技术在于FlowCollector(专用收集器),它能够识别 NetFlow 的特殊格式。其主要作用在于,采集并进一步分析缓存中很难被识别到的超时 Flow 信息。而 StealthWatch 则依靠 FlowCollector,能够以每秒 24 万个持续流的速率存储和分析最多 4000个遥测源,并可在同一网络上汇聚最多 25 个 FlowCollector,每秒最多 600万个流。


同时,Stealthwatch 的高级安全分析能力通过与收集来自全新 Catalyst 9000 交换机和 Cisco 4000 系列集成多业务路由器的增强型 NetFlow 信息进行组合,最终帮助 IT人员在无需解密的情况下找出加密流量中的恶意威胁。



StealthWatch 在网络威胁预测方面至少赋能企业网络三大能力:


1. 持续网络监控通过深入洞察网络上所有活动,任何类型和规模的组织都能快速设定其环境的正常行为基准。确立基准有利于更轻松地识别可疑行为。此外,组织还可以识别重要的网络资产并进行适当分段,从而改善访问控制和保护。


2. 早期威胁检测StealthWatch 应用情景感知安全分析自动检测异常行为,能够识别各种攻击,包括恶意软件、零日攻击、DDoS、 APT 和内部威胁。独特的是,它不仅监控传入和传出网络的流量,还监控横向(东-西)流量。因此,它可以揭示网络错用和滥用情况以及在网络内部进行操作的攻击者。


3. 事件后调查分析StealthWatch 不仅仅改善实时威胁检测,更能够动态地加快事件响应速度,通常将故障排除时间从几天或几个月减少到几分钟。更值得注意的是,StealthWatch 可以将网络数据存储几个月甚至几年,对所有网络活动提供重要的审核跟踪,因而对于实施精确的事件后调查分析研究至关重要。


除了提供对网络流量的全面了解,StealthWatch 还可以提供额外级别的安全情景,包括用户和设备感知、云可视性、应用感知以及威胁源数据。


透过 StealthWatch,可以明显地发现思科在自动化、智能化的网络流量风险监控方面找到了清晰定位,这种加密流量分析技术堪称是思科基于全数字化网络架构(DNA)安全技术的重大革新,使得企业即使在加密环境中,依然有能力实现全面的网络可见性及威胁可见性。


最后,Stealthwatch 还可以和其它思科安全产品联动协作,如与ISE(身份服务引擎)、思科 Firepower 下一代防火墙、AMP for Endpoints (终端安全)以及思科Talos 威胁情报,信息共享,完美集成,最终实现以威胁防御为中心的全面架构式防御,自动快速隔离潜在威胁,提供最佳安全效能。


文章来源:安全牛,作者:recco


◆ 相关文章 


从网络到终端,思科AMP全方位封锁高级恶意软件

■ 致“老友”黑客的一封信 

■ 思科安全年度大戏 | 他们竟然搬来一座机场……

■ 思科安全“年度成绩单”,来了

-广告-

本站仅按申请收录文章,版权归原作者所有
如若侵权,请联系本站删除
觉得不错,分享给更多人看到