中文版 Global
首页 > 安全资讯 > 正文

揭秘360安全大脑“中枢”——奇麟实时大数据平台

  • 2021-08-13 19:31:39

网络世界，表面上岁月静好，实则暗涛汹涌。

“450万移动端新增恶意程序样本，1006亿次钓鱼网站攻击，52.8亿次恶意程序攻击，224亿个骚扰电话，177亿个垃圾短信”。

没有感知的人会产生一种错觉，似乎网络安全威胁已是上个时代的事情，网络灰暗世界早已风平浪静。实际上，网络攻击不仅没有消失，反而愈加猖獗，新型病毒木马、攻击手段层出不穷，无时无刻不在制造新的威胁。

上面这组数据是360公司(股票代码：601360.SH，简称360)在2020年拦截或识别的网络威胁数量，假设这些威胁没有被“看见”和处理，后果将不堪设想。让威胁能够被看见的根源在于360有着全球排行前三的网络安全大数据，包括290亿样本数据、22万亿安全日志、80亿域名信息、2EB以上的安全大数据，量级比肩微软、谷歌。

久负盛名的开源大会ApacheCon首次举办亚太会议

作为一家世界级的安全公司，360十分注重技术的领先性，与全球各大开源社区保持密切合作，是推动新技术发展的重要力量。8月7日，久负盛名的开源大会ApacheCon举办首次亚太峰会，会议以线上的方式进行，360、阿里巴巴、美团、网易等中国科技公司参会，会上360公司技术专家范新普发表演讲分享了360实时计算平台的演进史，进而揭开了起着360安全大脑中枢作用的“奇麟大数据”平台的神秘面纱。

业务需求+技术发展 奇麟大数据平台应运而生

据悉，360安全大脑以安全大数据分析为基础，具备感知、学习、推理、预测、决策的五大能力，当威胁出现，大脑第一时间与底层安全大数据进行比对，做出操作决策，保障用户网络安全。让大脑对威胁及时做出反应，需要一套强大的“中枢”系统作为支撑，这一系统需要通过分布式的实时大数据处理，来保障360安全大脑的反应的及时性、稳定性。在此背景下，“奇麟大数据”平台应运而生。

由于存在高并发的海量数据处理需求，要求“中枢”具有足够大的吞吐量，更为重要的是，在安全场景下，对数据处理的实时性要求极高，从发现病毒到拦截病毒的过程中，哪怕毫秒级的延迟都有可能让病毒有可乘之机，造成不可挽回的损失。

从行业角度看，在如今的“快”时代中，越来越多的企业开始重视数据的实时性，曾经主流的“批处理“已经跟不上数据发展的脚步。随着技术的升级以及大数据的发展，“流处理”思维应运而生，“实时性”已成为企业构建技术架构的第一考量。Apache Flink 是一个分布式处理引擎，用于离线和实时的计算。凭借其极致的流式处理性能和优秀的框架设计吸引了众多开发者加入，各大科技公司也都纷纷引入Flink作为其主要的流式开发引擎。

十余年间，360始终致力于实时大数据计算平台的研发，时刻紧跟全球最前沿的技术发展。2020年，经过技术的多次迭代，360结合最新一代“流处理”开源引擎Apache Flink，正式推出了“奇麟大数据平台”，向下对接底层网络安全大数据，向上对接业务系统的算法、算力需求，作为360安全大脑的“中枢”发挥着至关重要的作用。

回溯360实时计算平台的演进史，范新普表示，360在实时计算方向有多年的积累，从十几年前就开始利用Storm引擎搭建实时计算平台，早期与Storm社区也有许多交流与贡献，虽然Storm是一个很棒的开源引擎，但是Flink的出现让360看到完全取代Storm的可能。据了解，Storm属于初代实时计算引擎，直到为流式计算而生的Flink出现，从各方面实现了对Storm的超越，不仅性能的消耗低于Storm，数据的吞吐量高于Storm，延时也要低于Storm，甚至比Storm更易于编写。

基于开源引擎优化 360打造网安特色大数据平台

据悉，目前为止奇麟大数据平台几乎支撑了公司全部实时计算任务的运行，目前超过50个内部产品团队在使用，每天通过平台处理的实时数据量超过1万亿条。“中台部门的永恒命题是降本增效”，范新普表示，奇麟大数据平台完全重构了任务诊断分析模块，重新实现了一版任务分析系统，希望能够在最快时间内，在尽量多的维度上定位问题，提升任务运行的效率。

作为一家安全公司，360在奇麟大数据平台之上构建了独有的规则引擎解决方案，作为基础设施支持360安全大脑解决了各种各样的安全领域的问题。可在查杀云的样本检测场景下鉴别勒索软件、木马软件、钓鱼文档等；在终端EDR场景下，判断是否发生进程劫持、高危域名访问，以及恶意文件上传等事件；在用户中心的账号风控场景下判断是否存在恶意注册、撞库攻击或暴力破解等情况。

除此之外，360奇麟大数据平台创新性的将Flink技术与正则匹配技术Hyperscan结合，形成了特定的规则数据库，被广泛应用于网关数据中的安全检测，每一条网关数据都要与海量的安全规则进行匹配，以保证数据的安全性和及时性。

未来，奇麟大数据平台还将从平台优化、流批一体、湖仓一体三个维度上做出进一步优化，让接入更简单、使用更方便、运行更稳定、产品更丰富、运维更简单，在为公司降本增效的同时反哺Flink社区，为推动大数据开源技术的发展做出贡献。同时，也将继续承担360安全大脑的中枢角色，守护政府、城市、企业、人民的网络安全。


360安全卫士

热点排行

用户
反馈 返回
顶部