什么是大数据黑产？

什么是大数据黑产？ - 知乎

http://www.zhihu.com/question/31533325

周伯爵的回答

-----------------------------

任何一个行业都是一个江湖，有江湖就有故事，追名逐利的人喜欢被写入故事，踏实做事的人却希望被隐匿。久而久之，江湖上的故事越来越虚名浮利，听故事的人也越来越坐井观天。岂不见无数江湖武侠小说，开篇的人物总是让我们误以为是江湖大侠，看着看着才发现一山更比一山高，到最后才发现开篇人物简直是不入流的小啰啰。而真正的高人，反而隐匿成传说。
互联网行业也是如此，大家喜欢创造故事，故事也越来越千篇一律的浮躁：什么产品上线7天就几百万用户、什么开发阶段就上亿投资、什么90后霸道总裁颠覆行业、什么大咖的内部分享、从xx看xx的四大趋势、从xx看xx的十大价值、xx的专注力、xx的微创新、xx的平台化、xx的独家专访首次讲述xx辛酸、xx概念的深度解析加独特见解，等等。翻来覆去，好像也就是那么多东西了。
就好像有些江湖人士，是需要靠卖艺为生，请个会吆喝的帮忙吆喝吆喝，弄个猴子上蹿下跳一下，响啰使劲的敲几下，骗骗几个外行人，撒点碎银子，仅此而已。接下来大家再接着吹嘘一番，比比谁拿的碎银子多点，动口不动手。长期以往，有些人招摇撞骗，也竟然成为了一代口碑中的大侠。久而久之，如今很多江湖人士只是卖艺拿贵客的碎银子为生，如何卖艺卖的更好是大家追求的目标。那些内功心法，武功秘籍，也都成为了历史，那些大侠们，也成为了传说。
难道江湖不再是那个江湖了么？其实不然，浮躁沉沦的只是江湖白道，只是这些大内侍卫，镖局镖师，衙门捕头而已。而江湖黑道中，黑客技术、海盗精神，继续被追捧，虚浮的商业模式永远不如深度技术被重视，“铁甲依旧在”的情怀还在回荡，而地下产业链相关的进步也在不断的深入，并且潜伏起来暗自发展，为了更大的目标和黑暗梦想。
TOMsInsight继续互联网黑市的分析报告系列，今天的主角是：社工库的传说。
什么是社工库
社工库是社会工程学数据库的简称（Social Engineering Data）。
提到社工库就必须先介绍一下社会工程学（Social Engineering），这个名词最早是在2002年由传奇黑客米特尼克（Kevin David Mitnick）在提出，但其初始目的是让全球的网民们能够懂得网络安全，提高警惕，防止没必要的个人损失。由于米特尼克在黑客界的传奇地位，很快社会工程学就开始被深入研究并且发扬光大。
社会工程学，准确来说是一门艺术和窍门的集合。它利用人性的弱点、心理的缺陷，以顺从意愿、满足欲望的方式，让人们上当，或以此为入口进行攻击。社会工程学的窍门也蕴涵了各式各样的灵活的构思与变化因素，利用人的弱点如人的本能反应、好奇心、信任、贪便宜等弱点进行攻击。它集合了心理学、社会心理学、组织行为学等一系列的学科，由于其非法性和在很多国家地区都被严厉的打击，社会工程学也变成了一个见不得光的学派。
但是在黑客群体中，社会工程学就是他们的第一方法论和必修课。离开了社会工程学，黑客们运用的网络技术几乎都没有用武之地。如果我们用黑客最喜欢的海盗来比喻，各种网络技术可以比作航海、游泳、剑术、而社会工程学即是海盗们的行为准则和创新指引。
那么什么是社会工程学数据库（社工库）呢？即黑客在运用社会工程学进行攻击的时候，积累的各方面数据的结构化数据库。简单的说，社工库是黑客用来记录攻击手段和方法的数据库，这个数据库里面有大量的信息，甚至可以找到每个人各种行为记录（每个人在每个网站上的账号、密码、分享的照片、信用卡记录、订的机票记录、通话记录、短信内容、各种社交软件的聊天等等包罗万象），比如之前有很火爆的查询开房记录的数据库，就是一个典型的极简单的社工库的例子。
那么社工库又是如何产生的，在国内的互联网地下产业链中，又是什么模式的存在，发展又是什么情况呢，我们接着分析。
社工库的发展：数据盗窃
既然是传说，背后就有很多故事，说到社工库的产生和发展，我们就得先从互联网的数据窃取与交易开始说起。
互联网用户数据泄露一直是行业关注的焦点，从最近的京东用户密码泄露事件，到之前的CSDN的数据库完全爆出，再到如家酒店的用户数据泄露，网站和黑客在用户数据上一直在进行着旷日持久的攻防战。但是爆出来的数据泄露，仅仅是冰山一角，甚至也不到。而且这些信息其实对于黑客来说，根本没有什么价值。而对于用户来说的危害，也没有想象的那么大，因为大多数时候这些数据在黑市中几乎都已经是半公开的性质了。
而数据窃取与交易这个细分领域也几乎是地下产业链隐藏的最深的一部分，很多在互联网地下产业链中沉寂了多年的大佬都并不了解此道的相关信息。绝大多数被盗窃后的网站数据，并不会公开与众，只是交易后进入到地下产业链的其他环节而已。所以目前到底有多少网站的数据已经被窃取我们没法客观的进行数据分析。但在互联网黑市中，大家说起来类似的问题，常用的一个词是“十墓九空”，也许这个说法有点夸张，但是也可以参考。
我们从2009年以来，通过黑市的舆情监控和专业网络调查，对互联网每年的流量排名前100的网站（刨去没有用户账号机制的）进行调查，结果如下：

数据窃取产业虽然隐藏的非常深，但是发展历史永久，地下产业链也随之成熟，对于如何把数据变成货币，已经有了非常完整的程序的分工协作渠道。而其模式相对简单，一般只包括：脱库、洗库、撞库这几个阶段。
在地下产业术语里面，“脱库”是指入侵有价值的网络站点，把数据库全部盗走的行为，因为谐音，也经常被戏称作“脱裤”。在取得大量的用户数据之后，黑客会通过一系列的技术手段清洗数据，并在黑市上将有价值的用户数据变现交易，这通常也被称作“洗库”。最后黑客将得到的数据在其它网站上进行尝试登陆，叫做“撞库”，因为很多用户喜欢使用统一的用户名密码，“撞库”也可以是黑客收获颇丰。
在早期的数据窃取过程中，这几个阶段几乎都是由同一个团队、甚至单个人来完成的。发展到今天，已经完全细化成产业链，很少有人从脱库、洗库一起做了，而变成：定制化模式，或交易化模式。
定制化模式：就是现有下游客户指定的某一家网站，然后聘请黑客去脱库，脱库后获得佣金的模式，在定制化模式中，有很强的黑产规矩即数据属于下游客户，而黑客不可以再次出售，或者在一定的窗口期内不能再次出售。
交易化模式：黑客去某一家网站脱库，脱库后直接在黑市上寻找下家，在这种模式下一般可以反复出售，但是由于风险较大，而且数据真实度和新鲜度不一定能得到保证，又充满了骗局，越来越没落了。
而下游客户定制某特定一家网站的脱库，是怎么盈利呢？
大多数时候，都是竞争对手或者上下游企业采购，而且大多数都是主流互联网产业链中的客户，甚至是传统企业客户。其实这个模式很简单，想一想在生意场上，这家网站的数据库对谁谁有利，谁就可能是潜在的定制客户，只不过由于很多主流互联网企业或者传统行业很少了解这个地下产业，所以就会有一些中间人，来做中介促成相关的生意，而这些中间一般情况就是黑市里面的买家或者定制客户了。

----------------
我们用实际的例子说明：M哥在黑客圈小有名气，技术过硬。某互联网医疗产品最近要拿投资，深度用户不够啊，通过中间人，辗转的找到了M哥。M哥奋战了几天，直接脱裤了几家三甲医院的网络挂号系统，历史数据应有尽有，结构化分类一应俱全。M哥到手200w，中间人到手300w，而这家互联网医疗产品由于用户的激增和数据的全面性，以及对应新产品的虚假运营，多拿来1000w的投资，绝对双赢。
社工库的发展：洗库撞库
如之前分析，不管数据如何贩卖交易，卖给谁，怎么卖，最后黑客手里面还会有一份数据，由于黑市一般都采取定制化交易，黑客们不能再次出售了，所以一般情况下黑客们会用这份数据进行洗库撞库再洗库操作。
洗库主要是清洗这些数据中可以直接变现的部分，但是这样可以直接洗库的就能洗出价值的数据，其实并不多。一般都是有预存款或者虚拟物品交易的数据库才能洗出来价值，例如：游戏账号、电商账号等等。
更多的时候，黑客将得到的数据在其它网站上进行尝试登陆，叫做“撞库”，因为很多用户喜欢使用统一的用户名密码，“撞库”其实可以收获颇丰。而撞库和洗库的过程是配合的，黑客使用自己开发的工具、直接数据库匹配登录技术以及配合黑色产业链中的打码机制（之前TOMsInsight报告中有介绍）可以对很多网站进行批量撞库，一旦成功，可以进行再次洗库。
这就好比黑客们拿到了一份没什么价值的网站的全部用户名和密码，没关系，可以用这份用户名密码来尝试着登录有价值的网站嘛，如果能登录，不就可以洗出来价值了么，我们还是继续看M哥的例子。
----------------
M哥卖掉了几家三甲医院患者的挂号数据，虽然到手200w，但是也不满足。想想这几百万条数据，应该还会有别的价值吧。但是M哥又是一个传统的讲道义的黑客，不会再次出售给别的买家。只能从这些数据本身来找到价值了。
M哥尝试用这些数据登陆QQ、京东、支付宝、淘宝、各类网游，从而洗掉里面的资产，但是由于各种网络的安全策略的保护，M哥虽然有收益，但是却不多，甚至都不够自己的洗库撞库的网络成本，于是M哥继续沉寂下来，这一沉寂，开辟了一个传说。
社工库的发展：构建传说
在很多时候，社工库都是一个传说，就像海盗里面流传的那笔谁也不知道的宝藏，只有那块已经不知道转了多少手的脏兮兮的残缺的藏宝图才预示着它的存在。但是社工库却又很客观的放在那里，一直存在，一直沉寂。
除了贩卖数据本身得到金钱上的利益之外，黑客还会把得到的数据进行整理，制作成社工库。社工库是一个积累的过程，也需要大量的人力物力的去建设，同时还是一个漫长的过程。开始的时候就像M哥一样，单兵作战的去积累，今天是三甲医院的数据库，明天是旅游网站的数据库，后天的演唱会订票网站的数据库，这些数据库积累越来越多。
M哥后来遇到了V哥，V哥是同行，手里面也有很多数据库，可以和M哥互补，两人一拍即合，把双方的数据库融合起来，内容变得更丰富。而且两个人不断的进行分析维护，排除噪点数据和没有价值的数据，相互关联，刻意的去丰富一些必需的数据字段：比如QQ号和密码、比如手机号、比如身份证号。再刻意的去交换购买补充一些极其有价值的，比如征信报告。
社工库的内容越来越丰富，而M哥和V哥两个人力量还是小，两人刻意的去联合同行，组成利益联盟，把手里面的数据都放到一个社工库，组织力量去维护去分析。
这是一个放大的效应，由于社工库的日益庞大，信息的日益完善，再加上时间的沉淀，很多数据都可以慢慢地浮出水面，可以获得相当多的信息。目前有一些公开的社工库，信息全面性和对于用户隐私的了解以及让人震惊，但是这才是仅仅公开的社工库，对于黑客们来说其实已经是没有价值的信息。真正地下的社工库的数据信息丰富程度要远远更大，也绝对隐匿。
利用社工库，几乎可以暴漏出一个网络用户的全部网络行为、大量的用户隐私，和一些牵扯到个人身份财产的相关的数据信息。
首先让洗库变得更加容易：由于数据量很大信息很全，很多的账号的的虚拟财产的转移就不像之前那么困难，了解到信息之多甚至都可以伪装成这个用户去进行操作了。
其次让各种诈骗变得简单：之前大多数诈骗都是光撒网模式，而社工库的完善后，可以非常有针对性对一些特定的用户进行诈骗。利用数据技术，甚至通过木马分析一些用户QQ聊天的内容，寻找有价值的目标，和相对更信任的关系网络。这种模式风险会更小，而且由于诈骗目标相对较大，收益更大。在这种模式下，完成技术分析工作的一般是黑客，但是最后完成诈骗的却一般不是，黑客把按照客户要求去分析，最后把可以完成某种特定诈骗的目标连通相关信息出售（黑市称脚本）。
最后社工库也成为地下产业链的基础服务商：全面的社工库基础数据，也是精准的流量获取来源，成为流量获取分发的地下产业链的基础服务和大数据服务商。一些特有的黑色产业目前非常依赖社工库，例如精准定位的赌博平台、一些p2p金融类型的诈骗、或者是一些商业骗术。
社工库还可以进行网络的定向攻击，有时候一些不懂行的人进入互联网，糊里糊涂的就被骗的搞的一塌糊涂，互联网并不简单，简单的是那些幼稚的主流科技媒体，真正的中国互联网行业水很深，深到还没有外企可以成功的地步。
而社工库也在不断的扩大，丰富，并且继续沉寂。
社工库的发展：未来趋势
从2013年以后，国内互联网黑市上的数据交易产生了严重的分层：一些大的数据盗窃团伙早已经完成早期的数据积累构建非常完善的社工库，对于一般的数据定制需求都不会再接，会专注于更深度变现更强的金融诈骗；而一些小的数据盗窃团伙还在不断的相互交易、交换数据、而且相对高调的浮出水面，其实危害反而没有那么大。
而且出于用户交互方面的考虑，目前越来越多的移动终端支付或者金融产品的安全策略略浅，再加上更丰富的网络电商活动，导致沉寂在黑产中的数据危害也越来越大。这可能也会是更多的互联网产品的设计时需要考虑的问题所在。
而真正沉浸起来的社工库，一方面已经成为传说，另外还在构建着自己未来的目标，这些才是真正危害，也是对于我们最大的威胁。我们TOMsInsight分析到此很矛盾：在这个主流互联网都在炒作概念玩击鼓传花的骗术，而地下互联网都在积累的年代，也许我们真的应该沉下心去仔细的去研究去分析去洞察，而不是人云亦云。
“暴漏出来的社工库都是小孩玩的，真正有价值的社工库谁也不会暴漏，都在沉寂”， M哥对我们TOMsInsight的调研员说到“有时候真的看不懂现在主流的互联网，拿几百万投资就嘚瑟的不得了，其实就是不入流的卖艺打赏呗，小孩过家家。我们这行很多人都能一天赚出来这个投资数的现金来，反而继续去沉寂，沉下心钻研，为了未来更大的打算。“ M哥的话有些绝对了，但是在某种程度上也值得我们反思。
给我们的启示
江湖的故事会继续，传说也会继续。有些人可以选择视而不见，有些人也会选择去逃避。但是冬天始终都会到来，冷暖自知。我们不能要求每一个互联网人都踏实下来，毕竟一些浮躁的跟风卖艺求打赏也会是很多人的生存之道，但是我们应该知道，江湖并不是由他们构成，那些传说，也都和每一个故事一样的真正的存在我们的身边。
当一个行业的地下产业比主流产业更踏实，看的更长远，也更注重积累的时候，也许很值的我们所有的从业人员反思。毕竟，传说应该属于真正的英雄！