以 AI 对抗 AI :“守护者”杨勇和腾讯安平的进化

三年前,腾讯安全平台掌舵人杨勇遇到一个名叫“快啊答题”的黑产团队,后者专攻验证码破解,俗称“打码”。单在 2017 年一季度,“快啊答题”的打码量高达 259 亿次,识别率超过 80% ,一骑绝尘,几乎垄断了地下打码市场。

打码一般是采取“人工+OCR”方式,而验证码安全方也在不断升级,特别是像 12306 这类应用,需要根据文字辨认图片,识别率低,对黑产来说有不小的难度。

“快啊答题”用到了当时最流行的 Caffe 深度学习框架,使用了卷积神经网络模型,只要输入原始图像,就可以通过深度学习获得高识别率。他们收集了大量不同风格的验证码,作为训练样本,样本库超过 5000 万。

AI 技术如此齐整整地用于黑产,这是国内首例。

不仅如此,这个 AI 打码技术还被包装成接口(API),对外提供服务,打通了从打码、晒密,到撞库的整个黑色产业链条。

黑产对新技术的“好奇心”、“开放性”和“动手能力”让杨勇震惊。要知道,当时 AI 也才刚刚热起来,杨勇仍在内部向团队一次次解释“安全为什么要用 AI”,而现在,武装了 AI 的黑产已经攻到眼前。

“我们以守护者自居,但‘江洋大盗’都用上火枪了,我们还在那儿讨论到底是砍刀牛还是火枪牛。至少我们先配上火枪嘛!”杨勇说。

成为 Coolc

黑产是黑客产业链,准确地说应该叫骇客。与之相对,还有一拨白帽黑客(也被称为白帽子),是用自己的黑客技术来维护网络正义的安全爱好者。

早期的白帽黑客主要是喜欢钻研系统、研究技术的一拨人,杨勇自己便是其中一员。他们是一群技术完美主义者,不断寻找网络系统中的漏洞,并迫使其不断改进。

进入首都经贸大学的第一天起,作为文科生的杨勇就成了图书馆的常客,四年下来,每一本计算机书籍的借书卡上都留下了他的名字。

大三时他看了一本讲黑客攻防的书,书里列了 2000 多个黑客工具,还夹带一张光盘。

其中的很多工具作者都活跃在当时最富盛名的安全焦点论坛,但这 2000 多个工具却没几个好使的。杨勇尝试按着可找到的邮箱地址联系作者,向其指出工具里的 bug,有个人回复了他,这人叫冰河,真名黄鑫,号称“木马教父”,是安全工具 X-Scan 的作者。

冰河在回邮里说:“你提的 bug 没法重现,要不我们见一面,看看问题在哪?”就这样,通过冰河,杨勇走进了安全圈。

以 AI 对抗 AI :“守护者”杨勇和腾讯安平的进化

(图注:在安全焦点论坛的杨勇给自己起了 Coolc 这个ID)

冰河所在的安全焦点论坛,聚集了众多的第一代白帽黑客。每个白帽黑客都有一个 ID,杨勇也给自己起了一个 ID 叫 Coolc 。

大四要毕业时,杨勇先找到了冰河:你们这个挺酷,我能不能参与?

冰河的回复是:可以参与,但如果不是专科出身,薪水会很低。杨勇觉得,加入这个圈子,就能和一群高手交往,算上学费,薪水也可以了。这个换算不能算牵强,当时他报一个 7 天的基础课程班,都还需要和父母借上一笔钱。

于是,在经济系的同学纷纷去银行入职时,杨勇选择了北京一家航天科技企业做网络安全研究员。工资确实不高,但每个月 15-25% 的资金是绝对不能动的,这是他为自己购买计算机书的特定经费。

早期的白帽黑客其实很多都不是科班出身。冰河当时召集了一次第一代白帽黑客的大聚会,杨勇作为为数不多的 80 后,坐在一堆大哥面前,询问各家的专业出身,有说是中文系的,还有说是锅炉行业的,算下来,一半是非计算机专业。大家全凭爱好驱动,多数是像杨勇这样,有热情,有耐心,愿意花时间钻研。

进入公司后,为了节省从北京城南到城北近四个小时的通勤时间,杨勇带着一张行军床住到了单位,这其中还有一个私心是,单位里有平时接触不到的昂贵小型机,自己可以借着下班时间在上面练手。

机房温度低,开着窗户觉得冷,关上窗户屋里味道又太大,杨勇半夜常常进行着开窗又关窗,关窗又开窗的循环动作。有一次不小心睡着了,锅炉烧着,水蒸气漫了整个楼层,航天部的同事半夜集体出动,端着消防器材着急忙慌赶来要灭火,才发现这位常驻同事。

从安焦到安平

2004 年,QQ 注册用户突破 3 亿,屡屡被黑客攻击问题困扰的腾讯对安全人才表现出前所未有的饥渴。为了组建安全部门,腾讯主要创始人之一、原 CTO 张志东四处找人。

在安全焦点论坛两年后,杨勇被引荐给腾讯。他从北京来到深圳,此时腾讯刚刚组建了安全运维组,总共也就两个人,杨勇几乎经历了腾讯整个安全体系从无到有的建设过程。

安全团队从组建起就被给予了极高的重视度。张志东在骨干面前不厌其烦地一遍遍强调安全之于腾讯的重要性,极力扩充人马。他站台的腾讯安全峰会,将全国的白帽黑客集聚于深圳。也是在这一时期,腾讯成为第一个建立 SRC(安全应急响应中心)的互联网公司。年终总结大会上,马化腾亲自为安全团队颁奖,团队的同学在台上热情地高喊口号:“保护腾讯,保护 QQ!”

以 AI 对抗 AI :“守护者”杨勇和腾讯安平的进化

(图注:2013 年,安全平台部在腾讯内部主办的第六届安全技术峰会)

那时的安全,除了腾讯几万台服务器的安全,防止木马和渗透,主要就是 QQ 客户端的安全:查杀 QQ 盗号木马。

到 2009 年,杨勇的安全运维团队已有 20 人,主要应对盗号的黑产,QQ 医生是主要的武器。但结果发现,很多操作系统自身就不安全,到了 2010 年,QQ 医生变成电脑管家,额外承担了操作系统的安全工作。

杨勇的职责,除了要保护 QQ,还要保护腾讯旗下的几十款应用软件,团队也被升级为腾讯安全平台部,也就是现在腾讯内部所称的“安平”。

以 AI 对抗 AI :“守护者”杨勇和腾讯安平的进化

(图注:2009 年,安全平台部年会)

何谓平台?一是应用程序,二是操作系统。黑客想突破,就要找后门,突破它们的权限。应用程序安全有电脑端的,是桌面安全;手机端的,就是移动安全。

如今操作系统的概念也在不断延伸,有个人电脑端的,有服务器上的,还有网络设备的操作系统。广义来讲,云服务对于用户而言,也可以看作一个虚拟的操作系统,可以申请虚拟的 CPU、存储,这也就有了云的安全。

传统安全领域的战场基本覆盖这些范围,攻防也在这个战场展开。

然而 AI 一来,战场从传统操作系统平台扩展到 AI 基础设施领域,攻击工具和方法有 AI 加持 ,攻防双方的力量失去平衡,也就有了“快啊答题”这种黑产在短时间内的横扫。

AI 安全战事兴起

2016 年,杨勇去了趟硅谷,拜访了谷歌、Facebook,也约见了苹果等一众头部公司的同仁。坐在几位硅谷工程师面前,听对方滔滔不绝地分享着 AI 在安全上的应用,杨勇想通了。

当国内还困在 AI 利弊问题的辩驳中时,硅谷这群工程师已经能够引出 AI 安全的实战案例,他们没有在现有的安全技术和 AI 技术之间纠结取舍,在前沿研究上更大胆,也更为果断、开放地拥抱了新技术、新力量。

2017 年,安平内部成立了很多兴趣小组,每个小组研究一类新技术方向,其中一个叫 Tencent Blade Team 的小组研究的是谷歌刚刚开源的 TensorFlow 深度学习框架,这个 AI 框架当时已有不少人使用,但很少有人研究它的安全问题——也或者是能力跟不上。

Tencent Blade Team 小组出手打破了 TensorFlow 0 漏洞的记录,一连发现并报告了 TensorFlow 的前 7 个安全漏洞。比较典型的一个是,黑客可以构造恶意的虚拟文件,框架只要一读取文件就会被攻破,前者便可由此控制整个系统。另外,框架使用的第三方库,处理协议时也会有溢出,导致框架被控制。

以 AI 对抗 AI :“守护者”杨勇和腾讯安平的进化

(图注:Tensorflow 发布的安全公告及致谢)

这些问题报给谷歌时,谷歌甚至还没有漏洞的报告渠道,是腾讯安平的 TSRC(腾讯安全应急响应中心)协助他们建立并完善了漏洞报告机制。

深度学习框架可以比作 AI 的基础设施,这意味着黑客不仅仅是像“快啊答题”那样,利用 AI 框架来破解,框架本身甚至也成为了攻防的前线。

对于互联网用户而言,更直观的感受就是 DeepFake ,用 Deep learning (深度学习)来 Fake (伪造)图像和视频,可以让已有的图像或视频叠加到目标图像和视频上,可用于名人影片、恶作剧、假新闻、色情行业等,以假乱真,混淆视听,由此带来的影响至今未息。由此,大众也开始认识到了 AI 的另一面:AI 能带来生产力的提高,也能带来伦理、隐私和安全问题。

真正的 AI 安全问题还隐藏在冰川之下。除了框架这样的 AI 基础设施,数据、模型、算法,任何一个环节都是攻防的最前线。

一方面是 AI 基础设施被攻击,传统的后门概念的边界,从应用程序和操作系统权限,被延伸到数据、模型、算法。

另一方面是 AI 技术带来的攻防失衡。如果攻方用了 AI ,守方不用 AI ,后者就会处于完全的被动,被攻击得体无完肤。

在安全问题上,攻方在突破上本身占据优势,如验证码问题,只要有 20% 的识别率,攻破的概率就非常之高;而守方必须是 100% 的防守,出现一点点漏洞,造成的破坏效果便不可估量。

攻守双方成本也有着相当的悬殊。比如盗号的挑战,对于腾讯这样强社交应用的公司,是个经典的安全问题。对方可能有 100 万台肉鸡,用一个蠕虫程序、一个程序员就可以发起攻击;防御方则需要有 100 万台机器防御,全部是真金白银的投入。

以 AI 对抗 AI :“守护者”杨勇和腾讯安平的进化

(图注:2014 年,TSRC 在北京讨论 SRC 发展)

最常见的 DDoS 攻击,之前是靠人值守,相当于冷兵器对战。安平曾有一位同事由此得一外号,叫“一夜七次郞”,一晚上最多要起床七次,抵御攻击。

如今腾讯安平的宙斯盾上线了用 AI 分析运维人员的行为模型,用 AI 探索 DDoS 攻击检测新思路。基于其操作习惯排查攻击行为,可以实现秒级响应,被看作一种现代兵器式的防御。守方把 AI 运用得当,才能掌握主动。

除了在 DDoS 攻防场景,腾讯也尝试将 AI 技术运用到更多的安全场景中。如通过与流量分析结合,助力传统基础安全能力的提升。

腾讯安平门神 WAF(Web Application Firewall,WAF)基于腾讯海量正常流量和人工打标的恶意攻击流量,建立了丰富高质量的黑白样本库,通过 AI 机器学习算法的应用,在样本训练测试中攻击检出率可以达到 99%,同时误报率控制在 0.03% 以下。 

众生守护者

2018 年春节的团队聚会,杨勇在饭桌上照旧和同事们描绘着 AI 安全的蓝图。酒酣之际,每个人都有些兴奋,聊天也越来越开怀。同坐的女同事坦承自己曾对这份工作怀有的犹疑。她的专业是图像识别,在当前科技行业机会遍地,而做安防需要同时研究硬件与 AI 算法,基本等于进入一个全新行业,曾在前期有过不小挫败的杨勇对这种跨界的挑战深有感受。

但也是在春节前的这段时间,看到被拐卖儿童因为AI 安全的助力被寻回,身为人母的同事更坚定了对这份工作的认同:自己所从事的事业正在保护很多人,正在为社会带来可预见的改变。

“人内心的动力是很可贵的。”杨勇说。

腾讯安平团队还基于视觉 AI 技术,研发了一套智能视频分析解决方案,推出了 “智能跌倒监测系统”,通过人工智能技术对视频数据进行检测、分析,帮助深圳的养老护理院判断老人是否摔倒或有走失风险,并在第一时间预警,以缩短救援时间。在杨勇看来,这更是“安全人”利他价值观的体现。

安全从业者长期隐于幕后,“被需要的时候才会被想起”是这个群体的宿命,失败要独自承受压力,成功也少有人觉察、记住。进入安全行业,既要时刻学习,拥抱变化,也要做好长时间和孤独打交道的准备,但奖励是身在其中的人也会获得一种“众生守护者”的价值感。

在安全行业近 20 年,杨勇越来越觉得,不管是 AI 还是其它技术,最重要的在于,可以辅助人做善良的事,这一点尤其重要。

做善良的事,然后一步步改变社会,安全人守住这个价值观,也才能守护众生。在此,安全人的使命也和腾讯力主的“科技向善”实现汇流。

Q & A

AI 源创评论:走上安全这条职业道路,对你影响最大的一件事是什么?

杨勇:遇见贵人,比如像我遇到冰河。不需要多,但他会在人格上影响到你,让你对自己长远的发展有一个清晰的认知。这会决定你道路的选择。

AI 源创评论:这些年你对于安全的理解,出现过哪些变化?

杨勇:我在航天领域的时候,对安全的理解就是 0 分和 100 分,比如卫星一出事就完了,要么就是 100 分,就是成功了。

从航天行业出来以后,我发现不完全是这样。安全本质上是一个投入产出比的问题,怎么让坏人放弃?一个很重要的策略就是让他的成本过大,让他觉得不值得这样做。那时我就会做一个很难的技术,去防御,让对方过不来。

干了十几年以后,我发现这个认知又不对了,因为对手在进化。以前黑客是孤狼式的,现在孤狼越来越少,都是团队作战,而且各有分工,有一堆专有设备和大数据支撑。如果从企业级的角度去看,之前的对抗理论就崩溃了。

攻防失衡了。攻击方成本很低,做一次攻击就像做一次轰炸,如果把你轰炸了,他就把这个城市占领了,没有占领,他也没什么损失。而守城的人就不行,平常就老得准备防御着,成本高。

这时候我们就发现 AI 是可以很大地缓解这种资源的不对称性的。计算机科学、数据科学,都是可以极大缓解这种资源不对称性的。一个企业,一个组织,包括一个国家,不可能无限投入资源,但是 AI 可以解决这个问题。

所以如果你是一个互联网企业的 CEO,在 AI 安全上可能要关注两类问题:一类是 AI 算法、基础设施的安全;一类是如何用 AI 技术去做安全。

AI 源创评论:在 AI 安全这件事情上,你看到的国内和国外的情况有什么不同?

杨勇:很多时候,文化差异会导致技术认知的差异。比如从文化上来说,从数据出发去做决策,在国外特别受重视,像航空航天、医学这些很核心的东西都要依托于数据科学。社会的接受度高,导致他们产业的接受度也高。只要能用数据论证,就比较容易让人明白,你是有一个配套的机制去验证某个技术到底靠不靠谱的。只要能用行业的数据来证明,就比较容易被接受。

而咱们国内的特点是,对于应用场景接受度高。我们看重的是在一个特定场景,能不能带来一些体验上的改善。很多企业比较看重生存问题,盈利问题。

以 AI 对抗 AI :“守护者”杨勇和腾讯安平的进化

AI 源创评论:黑产的技术越来越强,攻方在使用 AI,我们守方也在使用 AI。以 AI 对抗 AI,怎么决胜负?

杨勇:AI 安全里,算法就像在冰山之上,但还有冰山之下的东西决定这件事,那就是数据和算力。

数据决定了你的天花板有多高,数据越丰富,理论上天花板的高度就越往上走。但是有这么多数据,算力不够怎么办?实际的攻防中,所有计算出的模型和效果都是有时效性的,必须要有超出常人的算力才行。

你会发现,学术界有些算法试验数据特别好,但工业界没法用,为什么?有相当一部分原因是算力没法支撑。所以,如果想做 AI 安全或者 AI 的工程化,得有一大批人解决好算法的工程化问题。

AI 有点像当年钱老造导弹,是一个非常系统的工程。它包括特种工程,算力的解决,基础设施的搭建、安全保障,使用的场景,算法,模型,配套设施怎么使用等等,越来越细分。

AI 源创评论:安平现在各个部门都需要具备哪方面的能力?

杨勇:每个部门要求不一样。负责基础安全的部门,需要对安全技术非常熟悉和了解;负责风控安全的,需要对黑产了解;平台部门则需要对数据敏感度高。实验室就要对业界特别敏锐,对新的东西特别开放,愿意去研究。

AI 源创评论:从过去两年的发展来看,2020 年的安全行业会有哪些变化?

杨勇:这两年非常明显地进入了数据和云的时代,所以主要矛盾还是会在数据和云上。

国内可能会产生的比较大的变化就是安全合规性问题。国家在合规方面的要求在明显增强,2020 年要求会更加严格。企业的建设压力和安全带来的经营压力一定会很大。安全的工程人员和建设人才,在之后两年会特别稀缺。以前一个企业雇佣两个安全人员就可以搞定的问题,会因为 IPv6 等变量搞不定了,所以这也会带来云市场的很大繁荣。

黑产挺敏捷的,也在不断引入 AI 算法和新技术。一个一般规模或中大规模的企业,在数据积累、算力准备、算法研究上都很难跟云化的安全能力相媲美。而黑产的积累程度可能要远远超过一个大规模企业,因为它成本很低,只要达到局部成功就可以获利。

从这个角度看,中小企业安全的云化是不可避免的,各种内外部环境都会把它往这个方向推动。

AI 源创评论:对于准备进入或者已经进入安全领域的从业人员,您愿意给出什么样的建议?

杨勇:这个说起来比较天马行空。首先是要对自己有信心,这条路比较艰难,没有信心注定坚持不住。要花很多时间、精力去学习。一定要对做长期的沉淀有充分的思想准备,包括家人能不能理解和支持。

大多数做安全的人没有高官厚禄,一般不出事儿的时候,大家想不起你。如果真的想做安全,就得忍受孤独。你很难出现在镁光灯下,一定要想明白这个事情。但是做安全会给你另外一种东西,就是“众生守护者”的那种价值感。

(感谢黄善清对本文的贡献。)

雷锋网(公众号:雷锋网) 雷锋网 雷锋网

雷锋网原创文章,未经授权禁止转载。详情见转载须知

以 AI 对抗 AI :“守护者”杨勇和腾讯安平的进化

(完)