网络世界，就像一道无尽的步行街。
而不同的网址，就像一扇扇大门，分列在街道左右。这些门背后，有摩天大厦，也有木屋小宅。
例如：
你推开“www.taobao.com”这扇门 ，就走入了美不胜收的商场。
你推开“www.baidu.com”这扇门，就能够轻松把你传送到想去的门前。
你推开“www.icbc.com.cn”这扇门，就能进入“爱存不存”的钱庄。
你推开“www.leiphone.com”这扇门，就能够看到让本人死而无憾的最前沿科技新闻。
但是，惊悚的故事总需求一些反派。在林立的大门中，有一些不太利于社会主义调和社会的建立。
例如：
有些门看起来质朴无华，一旦吃瓜大众误入，里面的木马病毒就会趁机“上身”。
有些门挂着很像银行的招牌，以至走进去看也很类似。事实上那却是骗人钱财的钓鱼网站。
有些门通向公开赌场，人们锦衣玉食进去，光着屁屁出来。
有些门口点着粉色小灯，里面却是让你 喜闻乐见 灰飞烟灭的小发廊。
当你推开一扇门的时分，很可能并不晓得本人将会身处险境。这时，你可能需求一只“上帝之手”，在你误入歧途的一霎时，把你拉回人世。
这位“全知全能”的上帝，就是百度网址平安中心所扮演的角色。
这世上的圈套
百度，必定不能做一个安静的引荐者。由于人们等待并且请求它为引荐的结果担任。所以，在把网址链接呈现给用户之前，即便是刀山油锅，网址平安中心的童鞋们也要为用户“尝试”一下。
坐镇国内最大的搜索引擎旗下，百度网址平安中心可谓“阅人无数”。
那么，这个平安中心终究如何运作，其中又有什么有趣的技术呢?雷锋网宅客频道采访到了百度商业平安研发部技术总监冯景辉，他担任百度平安旗下企业平安产品的研发工作。
冯景辉通知我们，普通状况下歹意网址分为以下几类：
歹意病毒网址：
这类网页会躲藏歹意脚本，应用你的系统破绽装置木马病毒。假如你的系统没有晋级到最新版本，有可能被木马“钻”进来。木马一旦“进驻”就会进而获取你的隐私信息，或者远端控制你的电脑。
黄赌毒网址：
这三类网址能够统一归为违法网址。它们所鼓吹的内容自身并不合法，严重影响社会安定，所以显然属于歹意网址范畴。
而且这类网站中，很大一局部也躲藏着病毒木马。
钓鱼网址：
严厉地说，这类网址自身的存在并不违法，但它们是诈骗环节的一局部。例如：仿冒的银行网页，虚假的中奖信息网页。骗子会经过各种渠道把这些网址发送给受害人，诱骗他们填入密码等信息，进而盗取银行欠款，或者进一步诈骗。
这些歹意网站，背后被不同的经济形式所驱动。在金钱的诱惑面前，总会有人铤而走险。中国境内歹意网址的数量，以至超越了我们的人口。
依据团队的研讨，冯景辉总结了歹意网址的一些特性：
1、一切歹意网址中，数量最大的是钓鱼网址。这些页面中，有70%是“虚假中奖”“虚假购物”这类诈骗网页，而其他30%则是针对银行或电商的“仿冒网站”。
和一切诈骗一样，这类网址普通是“打一枪换一个中央”。网址链接(URL)的均匀存活时间，国际上是29小时，而在中国是33小时。
2、黄赌毒网页的绝对数量不多，但是访问量在一切歹意网址中所占的比例最高。和钓鱼网站不同，这类网站需求“长期运营”。(看来，和人性的斗争的确艰辛卓绝。)
3、挂马网页的绝对数量最少。
百度VS黑产，神魔斗法的“两大法宝”
看上去，歹意网址都是那么地“个性鲜明”，判别一个网址是不是属于歹意网址似乎很简单。但是认真剖析，你会发现至少面临两个宏大的技术艰难。
1、在浩若烟海的网络空间中，怎样找到要检测的目的?
2、面对数以亿计的目的网址，如何在可控的时间内完成检测?
冯景辉向雷锋网宅客频道引见了团队用来完成检测任务的两大“法宝”。
一、爬虫中的“战役虫”
你可能会熟习“搜索引擎爬虫”，也就是百度搜索产品的重要技术。
回到最初的比喻，假如用街道上的门来比喻一个个网址，搜索引擎爬虫的主要任务是把那些“门”里的大致情形记下来，然后在需求的时分呈现给用户。为了准确，有事还会推开门拍一张厅堂的“快照”(网页快照)。
但是，这样的爬虫并不能“感受”到在房间内部终究有怎样的“机关暗道”。这时，你需求“战役爬虫”。
“战役爬虫”不只仅是“看一眼”或“拍张照”这么简单，而是把一切的门都探究一遍。一些网页会存在跳转、加密。“战役爬虫”要做的，就是应用种种技术手腕，把房间中的暗门和夹层全部记载下来。
另外，系统还面临一个任务，那就是尽可能多地找到不同的网址用于审定。
冯景辉说，
爬虫系统的输入源，包括百度搜索的结果内容，还包括百度内部的贴吧等内容，也有手机卫士平安客户端报告的高危网址，还包括协作方提供的URL。
二、察言观色的老刑警：检测引擎
材料完备，接下来就到了另一个关键时辰：检测。
当然，检测歹意网址最牢靠的办法就是交给人工。但是，面对如此庞大的网址数量，全国人民一同上阵都一定忙得过来。
所以，这些材料会通通交给一位经历丰厚的“老刑警”来搞定，这个老刑警就是“网址平安检测引擎”。
网址平安检测引擎关于不同品种的歹意网址，有不同的审定流程。
揪出歹意病毒网址
关于歹意挂马网页的检测方式，和对病毒的检测方式十分相似。
木马传播到电脑上，普通都会应用破绽，而这些破绽都有“特征内容”。应用对这些特征的辨认，就能够判别出网页能否有挂马行为。但是，很多黑产也会采用加密、变形等手腕增加我们的检测难度。我们主要在对立这些手腕。
冯景辉说。
有些网页在脚本中躲藏了歹意木马，但是这种荫蔽办法和一些病毒相似，需求在真实的网页环境中才会被触发。关于这类“嫌疑网页”，百度网址平安中心的童鞋们会应用相似“沙箱”的系统，让网页脚本跑在虚拟机中，让它显露“真面目”。
文雅地“鉴黄”
关于“黄赌毒”内容的检测，和传统反病毒所需的技术差异很大。实践上，引擎所要做的根本任务，就是依据网页内容把它停止分类。
这里面主要用到了一种数学技术：TF-IDF 算法。
所谓 TF-IDF 算法，简单说来就是提取网页内可以表述网页内容的关键词，找到在这个网页中呈现频繁，但是其他网页中并不普遍的词汇。
这种技术，常常能够协助系统判别一个网页的“中心机想”，断定“黄赌毒”再合适不过。
辨认钓鱼网站
仿冒正轨网站的钓鱼网站，精华就在于“像”。
既然黑产的目的是“像”，那么对立的技术就是“比照类似性”。这其中又主要用到一种数学算法：SIMHASH 算法。
简单说来，SIMHASH 算法就是把一个网页内容转换成一个64位的“特征字”，假如两个内容的特征字间隔小于规则值，那么就断定二者类似度极高。这种算法最早由谷歌研发，用于网页搜索去重。
写过毕业论文的童鞋都晓得，从网上 Down 哪怕一段内容，都会被论文查重系统的火眼金睛发现。没错，教师们正是用 SIMHASH 这种“人类聪慧的结晶”在和“不法学生”对立。
但是，在钓鱼网页中，还有70%的“虚假中奖”类页面，它们并没有仿冒其他网页，这关于冯景辉和团队来说，是一个不大不小的难题。
关于这样的问题，他们手里还有一样“机密武器”。
机密武器——人工智能
判别一个网页是不是“虚假中奖”页面，关于一个人来说，可能是小菜一碟。假如能够锻炼机器来模仿人的判别，问题就会迎刃而解。
人工智能，可是百度的“招牌菜”。
冯景辉通知雷锋网(公众号：雷锋网)宅客频道，
除了一些司法上的特征，很多“虚假中奖”页面还会有其他的特征，例如：
<ul list-paddingleft-2?="">
- 网页中的图片比例很高，呈现瀑布流状;
- 而这类网页链接由于频繁变动，经常是一些和正常网址不一样的奇异域名。
- 这类网站也会援用大量的外部链接。
相似的特征还有很多，把这些特征参数放到深度学习引擎中，机器就能够本人总结出一套断定“虚假中奖”页面的规范，完成自动的智能辨认。
辨认“高段位”的黄赌毒网页，同样需求这种深度学习的办法。
例如一些小说站和图片站。关于描写的尺度、内衣的高度(为了避免本文被断定为黄赌毒网页，就不多说了)这些擦边水平的判别，只能人为地划定规范(参考车展和 ChinaJoy 为美女“量身定做”的“两厘米”规则。。。)，然后把这些规范输入深度学习系统，把这种让人“心力交瘁”的工作甩给机器。
以上这种深度学习的办法， 被称为“有监视学习”，简单来说，就是需求人类不时提供一些特征规范，机器依据这些特征停止下一步总结。但是冯景辉说，他们下一步想要搞的，是“无监视学习”。
无监视学习，就是基本不通知人工智能系统任何“人类总结出的特征”，仅仅是给它大量的黑白样本，让系统自动笼统出一些特征。人类只担任通知机器它的判别是对还是错，机器依据这个结果来改良它总结的特征。
这些特征常常十分奇葩，有些以人类大脑的逻辑并不容易总结和表述。但是，这类“无法描绘”的特征常常一针见血，精准异常。
深度对立——魔高一尺，道高一尺五
连人工智能这种“原子弹”级别的武器都被抬出来了，这下该天下安定了吧?哈哈，图样图森破。
充满着黑产的赛博世界历来都是“Hard”形式。要晓得，冯景辉和团队面对的是无数“老司机”，“束手待毙”这四个字历来就不在他们的字典里。
冯景辉举了一个最简单的例子：
很多黑产为了规避对违法文本内容的打击，会把这些文本做成图片的方式。当然，图片上的 OCR 文字辨认技术曾经很成熟了。我们需求做的，就是把这种技术重新部署进我们的系统，不时晋级对立的手腕。
但是，一言不合黑产老司机就脑洞大开，新玩法层出不穷。
“林丹”身上的歹意网址
不要低估黑产的嗅觉。
在“林丹”事情被爆出的那一刻，反响最快的不是林丹，不是谢杏芳，而是黑产。他们手中控制了一个僵尸网站群，在第一时间把这一站群的集中援用页面的关键词都改为“林丹”，这样，这一站群的关键词都会成为林丹，被搜索引擎自动匹配关联。
这样，在有关林丹的音讯还没有大范围迸发的时间窗口，歹意网站就会占领搜索引擎的最佳位置。
由于平常这些网站群处于“蛰伏”状态，不一定被“战役爬虫”和“检测引擎”发现。此时它们忽然大范围跳出，借助人们关于林丹的“如炽热情”，能够大赚一票。
当然，“林丹”显然是躺枪。最近每呈现一个爆炸性的新闻，黑产都会应用流量效应疾速“捞一把”。
另外，百度搜索引擎有联想功用，能够关联两个相关的词汇。例如：人们会搜索某个明星的名字，但是名字比拟复杂，很多人第一次输入错误，搜索之后又更正为正确的重新搜索。这时，搜索引擎就会自动关联这两个词汇。
黑产会应用机器学习的这一特性，发起手上的肉鸡不时同时搜索两个关键词，这两个关键词，一个是正常的热点词，另一个就是黑产页面的关键词。这样的话，每当用户搜索抢手关键词的时分，就有可能搜索到黑产相关的页面。
在搜索引擎改良对立机制的同时，网址平安中心的技术团队也会优先排查和热点词相关联的页面能否平安。
有一些开放的平台，允许用户上传信息。这时，假如黑产在上面发表了带有有害链接的帖子评论，就会引发大量的点击。这种链接传播更广，危害也会更大，需求在第一时间筛查，我们必需优先保证可能被访问最多的网页是最平安的。
冯景辉说。
和百度躲猫猫的黑产们
其实，黑产早就认识到了百度网址平安中心这类机构关于他们的围堵，所以早就开端玩起了猫鼠游戏。
冯景辉举了一个简单的例子。
有些网页在被加载之后，可能会静默两秒，之后歹意脚本才会执行。
这样的玩法，正是为了规避检测引擎中“沙盒”的虚拟执行。而在得知黑产采用这种对立战略后，冯景辉和童鞋们就在检测办法中增加了针对性的战略。
在之后的对立中，歹意网址从失败中吸取了经历，“进化”得愈加智能。
例如：
某些歹意网页会把百度和其他平安公司的 IP 列为“黑名单”，一旦发现被这些 IP 访问，就装作“乖宝宝”，自始至终不展开歹意行为。
于是我们发现，经过公司内部的单点去爬，可能会“中招”，于是变换 IP 继续爬。
到后来，黑产以至把这些大平安公司所在的省份一切的 IP 直接参加“黑名单”，
全省的 IP 都被黑产屏蔽，这时我们就应用散布在全国的机房去爬。
在对立中，黑产发现平安人员总能找到新的办法来对立，于是痛快采用了“断臂求生”的办法，网页在白昼关闭，只在夜间开放。
歹意网页分时开放的战略，在进步平安系统检测难度的同时，意味着他们诈骗的受众面也变小了。
冯景辉不无自豪。
目前，百度网址平安中心的检测结果会提供应微软、百度、爱奇艺、小米路由器、火狐阅读器、新浪微博等协作同伴。由这些终端来执行弹窗提示、网页屏蔽或者实时阻断。
序幕
自在是互联网的姿势。
互联网的自在在于，你能够不受限制地推开每一扇门。但一扇扇形形色色的门背后，可能是温馨浪漫的花园，也可能是蛇蝎隐藏的幻境。
存在着诈骗和攫取的互联网，并不是天堂，它只是我们的理想在赛博世界的翻版。我们在大多数时分对本人的判别力自信无比，但我们的父母，我们的孩子却可能坠落圈套。
如冯景辉所说，
百度网址平安中心，或许还没方法做到对歹意网址 100% 的断定。但一切的人的努力，都是为了逼迫歹意网址的领地不时减少。
面对丑恶，抱怨历来无济于事。在洪荒的世界里，哪怕迈出重构次序的一小步，都值得赞赏。
