未来生活进行时23: Big Data数据分析之于未来的商业智慧变革

“现在是收集情报数据的黄金时代，因为所有人都在自觉自愿地表达他们是谁。”CIA前分析师Ross Stapleton-Gray

真的想知道，那些脑子好用，智商绝高的人才，都去哪儿了？什么样的工作才能吸引到那些高智商的天才呢？

大数据需要大智慧

在商言商，大家都偏爱用数据说话。可是直到今天为止，被公认有极大价值的数据依然得不到任何智能化处理上的进步。面对不断以加速度膨胀的大数据，一直在让数据更智能的路上举步维艰。可是，还能这样眼睁睁看多久？

即便是在最顶尖的企业机构里，数据分析依然是个无法灵活变通或具有针对性价值的东西。大部分企业能做的是把数据集中起来，美名其曰“数据库”当人们希望通过数据了解目标人群的某个分布趋势，期望对市场做出预见的时候，还是只能去“讨好”那些专门搞数据分析的主。

编辑、作者: Vivian Peng @DamnDigital
Cover Image: Wang Qi@DamnDigital
(原创内容，转载请注明来自DamnDigital)

不过，至少有一点已经基本毋庸置疑：数据分析技术，真的可以预测，我们下一步要做什么。

几年前，笔者就不断思考一个问题：为什么互联网发展如此迅猛，而数据却不能变的更聪明一些？

假设你手上有一堆好用的旧书，实在放不下，又不舍得扔掉，与此同时，在世界的某个角落，一群小朋友希望看书而没有能力或者根本没有书可看，此时此刻，你和这群小朋友是真正对的上口的供需双方，可你们彼此完全不知道对方的存在，或在哪里。 是的，也许你可以上网，搜索搜索，或者去百姓网发帖子？ 这么多年来，这种被动的方法，直到今天，还是唯一我们所能做到的，最多，只是搜索的数据更为精确一些而已，可我依然无法更快更有效地找到真正需要的对方。从这个意义上说，数据和相关数据之间，依然不能很好地相互感应并对接上。

如果我们曾经所说过的Web3.0时代，语义网一切都将悄然来到，那么至少需要先实现一个前提：数据的相互关联能顺利地实现。这是一场非常非常重大的革命。

在今天这个信息时代下，数据可以帮助我们认识一切，甚至预测到未来。数据分析的进步为所有人带来更为精确，个性化的信息资讯。比如，GPS帮助我们驾驶正确路线，LBS告诉我们附近哪里有咖啡店，银行，餐厅。

数据对于服务业的未来发展有着至关重要的影响力。数据可以帮助我们提前察觉各类社会问题和事件。它可以前所未有地将世界各个角落的人相互连接起来，满足彼此的需要，互补联合。有了数据分析，还能为我们带来更多意想不到的好处。总的来说，数据，帮助我们更好地认识需求，更有针对性地解决需求。让我们生活在一个供需双方彼此良性循环运作和对接的世界里。

怎么说？

数据什么都知道——作用于公共服务领域的智能数据

公共服务领域往往是历史上任何一个普及性转变到来前搞起动作的一个“预告牌”。在现代国家体制的任何地区，国家，自上而下是目前唯一的普及运动形式，历来都是如此，创新技术领域，更不例外。

SecureAlert: 用数据抵御犯罪，保卫和平

总部位于美国犹他州桑迪市的SecureAlert公司是一家GPS定位技术的提供者，该技术使得警察和法院能够实时跟踪和监控犯罪分子，另外这项技术还有助于执法者提前预测犯罪行为。

根据Steve Florek的介绍，他是该公司负责罪犯剖析和知识管理业务的常务董事：SecureAlert公司提供的内置GPS功能的脚环可用于跟踪预审被告、假释罪犯和缓刑罪犯。例如，一个偷车贼在汽车经销商附近逗留很长时间，或者性犯罪分子在学校周围长时间游荡，SecureAlert的监控中心就会标识一面虚拟红旗来提醒执法者采取相应的预防措施。

SecureAlert目前跟踪大约3000个美国罪犯并正在向国际化扩展，其服务运行在微软SQL Server平台之上，根据Florek介绍。但是不断增长的业务开始涉及到可扩展性问题，大约一年前，它求助于ParAccel公司缓解这个问题。

SecureAlert服务的预测原理适用于任何时间内检测到的犯罪分子活动的不寻常模式。例如，SecureAlert监控中心曾经发现一个加州的假释者每天下午2点左右都出现在同一个路口。进一步调查显示，该路口是一个学校巴士停靠站，Florek说。于是这个情况被“升级”到更高的层级并且将该情况通知给当地警察部门。Florek说他的公司正致力于通过进一步自动化从监控到地理位置调查的过程来增强系统的预测能力。

“对于我们这样规模的公司，我们产生了大量的数据。目前我们每天大约有一万宗交易，”Florek解释到：“在未来一天24小时内不断地向你推送这些数据，并且往往是相当单调和重复的，因为一个GPS轨迹不同于其它数据，通常只是一个非常小的变动量，最新的一般是最有用的和最有意义的。”

Florek为这项工作考察了许多数据库工具，包括列式系统和行式系统。Florek考察的工具包括Oracle BI Enterprise Edition以及Teradata、Netezza和Vertica等公司的软件。

Netezza公司首先被淘汰出局，因为Florek和他的团队认为该产品的数据压缩功能需要改进。Oracle、Teradata、Netezza和Vertical由于价格因素均被淘汰。 而ParAccel公司让客户以更少的硬件和软件开展工作，因而比其他厂商具有更低的价格。Florek也很喜欢ParAccel公司愿意添加一些自定义的空间技术。

Florek表示，ParAccel的列式数据库技术是一个巨大成功，尽管实际上ParAccel可以使用更多的管理工具，比如来自第三方供应商或其自身。在与ParAccel公司合作大约一年之后，SecureAlert立即缓解了其性能瓶颈。该公司目前正在使用ParAccel作为其预测监控计划发展的基础。

从治安管理系统到FBI、中情局：来自美国政府的渴望~

据国外媒体报道，美国联邦执法部门和情报机构在网上发布的信息征集启事显示，美国政府正在寻找一款能够分析社交媒体海量数据，并预测未来恐怖主义袭击和国外暴乱等重大事件的软件。

FBI透露它希望借助数据工具来扫描和分析整个社交媒体中的庞大数据。美国国防部和情报局总监办公室（Office of the Director of National Intelligence）也已向私有企业求谋良策，希望利用社交媒体上人们每日共享的数十亿条帖子来识别可能会发生的突发事件，例如恐怖主义威胁和骚乱活动。

在情报界，分析公众信息并不是什么新鲜事。例如，在冷战时期，美国中央情报局（CIA）的特工人员就经常阅读俄罗斯新闻报纸，拦截他们的电视和广播节目，企图推断苏联领导人正在想什么。

在过去几年中，社交媒体的崛起极大地改变了公众信息的数量和类别。Twitter CEO迪克-科斯特罗（Dick Costolo）在最近一次会议中声称，该微博网站的用户平均每三天发布10亿条消息。

“现在是收集情报的黄金时代，因为所有人都在自觉自愿地表达他们是谁。”CIA前分析师罗斯-斯塔普勒顿-格雷（Ross Stapleton-Gray）说。在20世纪90年代初，格雷供职于CIA总监办公室。他现在是一名技术顾问，为公司提供安全、监控和隐私等方面的建议。

格雷声称，美国情报机构早期收集互联网信息的努力，遭到了一些元老级人物的阻扰，他们坚信机密信息比任何人均能够获取的互联网信息更有价值。但是，这些机构寻找最佳社交媒体分析工具的做法表明，这种阻力已经大大减弱了。

美国情报局总监办公室下属的研究部门致力寻找的软件系统，将会融合网络研究到维基百科编辑到流量监控等各种功能，而且将能够预测未来可能发生的重大事件，包括从经济混乱到瘟疫爆发。

美国国防部寻找的工具将跟踪社交媒体，监测那些可能影响作战士兵情绪的信息的传播，并让军方在社交网络上执行“有效的网络作战方案”，打击各种敌对活动。美国情报局总监办公室和国防部声称，他们不会在美联社要求的期限内回答有关这项提议的具体问题。

FBI正在寻找一款网络应用程序，这款软件必须能够自动地挖掘社交网络，寻找有价值的线索，从而让该机构能够在犯罪分子在谷歌地图等界面上搞阴谋破坏活动的时候，能够及时地出面制止。

img source: New York Times

Splunk： 数据分析绝对是份时髦的工作

一家名为Splunk的创业公司在旧金山的办公室是时下年轻最为追求和羡慕的那种时髦工作空间，堪比Facebook和Zynga,工程师们在宽敞开阔的大厅里工作，边上还有几台弹子机、台球、桌上足球、还有Hello Kitty 主题的办公室。工作时间不时会搞Party,聚会什么的。

难怪他连续四年被评委“最佳雇主”。

什么是Splunk？

Splunk是一个功能强大的日志管理工具，它不仅可以用多种方式来添加日志，生产图形化报表，最厉害的是它的搜索功能 – 被称为“Google for IT”。Splunk有免费和收费版，最主要的差别在于每天的索引容量大小（索引是搜索功能的基础），免费版每天最大为500M。在使用免费版时，如果在30天之内，有7天的索引数据量超过500M，那么就不可以在搜索了（真是可惜啊！）。根据你的需要，你可以选择购买每天的索引容量大小。

2004年硅谷开始讨论大数据这个词，当时Splunk就已经创建，到现在他们约有3200家客户，遍布全球75个国家，其中一半以上为《财富》100强公司。比如社交游戏公司Zynga通过该公司的软件监测游戏功能，用来确定玩家卡在什么地方，离开游戏，然后就可以即时调整游戏，挽留玩家。

Splunk只是从事大数据（big data）分析业务的企业软件创业公司之一。有一些长期被甲骨文和IBM等公司控制的领地正在受到这类创业公司的挑战。

大数据让风投们也垂涎三尺。Twitter、LinkedIn等社交网络不断飙升的估值让投资者们蠢蠢欲动，但现在投资者们越来越关注那些为其他公司开发软件的公司。来自Gartner的数据显示，2010年全球企业软件收入达到了2440亿美元。有些投资者认为Splunk这样老谋深算的创业公司也能在这个市场中分一杯羹。

Splunk在创建之初就获得了4000万美元投资。当时人们认为所有需要解决的问题已经解决了，因此大公司不可避免地要瞄准企业级产品市场的空白，但Splunk面对企业问题不落窠臼，并创造了一个有价值、有颠覆性的平台。这或许就是他们的魅力所在。

“有很多投资都在瞄准这个由非结构化数据构成的新世界，我认为Splunk具有先发优势，因为这一行我们已经做了好几年了。”Splunk CEO Godfrey Sullivan说到。

Splunk CEO介绍Splunk

Splunk + Machine Data Operational Intelligence

美国国务院前任官员、海军分析中心（Center for Naval Analyses）现任分析师威廉姆-迈坎茨（William McCants），负责监测网上的“基地”组织的宣传片。他声称担心FBI和其他机构寻找的系统会让他们过度地依赖于技术，而不重视培训人类分析师。目前，人类分析师仍然更擅长于鉴别最重要的细节。

“你使用的数据越多，软件越复杂，你得出的结论就可能越平庸。”因为朋友之间喜欢开玩笑。“你不一定要登陆Twitter才知道埃及正在进行革命。”

Palantir 了不起的创新例子在数据分析行业更是屡见不鲜

“一位投资者曾问我，这究竟是家公司，还是邪教组织？我看起来过得并不太像邪教领袖吧！——Palantir的创始人Mikr Firkri说道 ”

你还不知道这家公司吗？

从阿富汗特别行动，到追踪佛罗里达的银行欺诈案，控制全球警察与保安所使用的千里眼和顺风耳的都是这家公司——Palantir干的！

也就是这个家伙：

photo source: business week

Palantir由前PayPal员工和斯坦福的一群科学家创建于2004年，为政府机构和金融机构提供高级数据分析平台。主要用户都在首都华盛顿，来自政府的业务占到了70%，其余业务主要来自私人金融机构。

2005年，当Alex Karp为自己的创业公司Palantir（视眼石）推销给投资商们，渴望获得融资时，很多投资者都拒绝了。

Palantir究竟拥有什么呢？具体来说，是一套数据分析技术平台，可以同时扫描多个数据库，政府官员和公司可以通过这个工具解决复杂问题。用此技术，可以将所有相关的人物和其它当事人，涉及人建立起联系，从而看到这一群人之间在做些什么，倾向于做什么，以及将会做什么。

Palantir的基本要点就是收集大量数据，帮助非科技用户发现关键联系，并最终找到复杂问题的答案。该产品源自PayPal，最初用做反欺诈措施：Palantir平台把人工算法和强大的引擎（可以同时扫描多个数据库）整合到了几近完美的境界。

Palantir有两种服务：分别面向政府和金融机构。其基本系统像是好莱坞间谍恐怖片里的软件那样，可以同时处理大量数据库，并允许用户通过多种方式快速浏览相关信息。和PayPal模式不同，Palantir还对各种安全问题高度敏感。

和很多竞争对手不同，Palantir强调自己并不提供服务，永远是一家产品导向型公司。

这种对旗舰产品精益求精的执着精神在Palantir处处可见。比如，公司每个月发布一次软件更新（政府类产品），工程师们利用元素周期表中的元素来命名这些更新，并设计专门的T恤加以纪念。以工程师为本的公司文化进一步强化了这种精神，实际上所有员工都是27岁上下的工程师。办公室里有大大的豆袋椅，一群宠物狗，战棋游戏，《光环（Halo）》游戏，一套健身器材，Carebears油画，甚至还有一台泡泡机，当有人进入办公室的时候，它就会吐泡泡。

今时今日，资金，对他们来说，已经完全不是什么问题。

Ushahidi 了不起的地图映射协作模式

Ushahidi是东非肯尼亚的一个开源数据分析平台，今天，它已成为海地和智利地震的“英雄”，为我们昭示了人道主义的未来，以及事实真相的新观念和新特性。

2007年，肯尼亚争议不断的选举落幕后爆发了暴力事件。从南非回国投票的著名肯尼亚籍律师兼博主奥里·奥克洛（Ory Okolloh）对选举进行了评论，因此遭受威胁，只得返回南非。她在网络上发表文章，提出建立网络地图映射工具的想法，以便人们可以匿名报道暴力事件及其它违法行为。一些拥有技术的人看到了她的文章，便联系了她，一起用了一个周末的时间，打造出了Ushahidi网络平台。

Ushahidi收集有关暴乱、难民、强奸、死亡等事件的短信报告，并按照报告者提供的位置在地图上标明这些事件。与新闻报道和选举监督机构相比，Ushahidi可以在更短的时间内收集到更多的证据。

当海地发生地震后，Ushahidi再次行动起来，通过广播公布了手机短信紧急求助号码，结果收到了数千条有关被困人员的信息。散居在美国各地的大量海地裔美国人翻译了这些信息，并把它们标注在“危机地图”上。而在弗莱彻法律与外交学院（位于波士顿郊外的梅德福地区）的灾情观察室里，Ushahidi志愿者们向海地的美国海岸警卫队发送即时消息，告诉他们搜寻地点。在智利地震中，Ushahidi同样发挥了作用。

地图映射协作模式存在许多缺点，比如虚假和夸张信息，但随着数据的汇集，危机地图能够揭示出隐含的实际情况：飓风在陆地上移动了多少英里？强奸案大体上是随机分布还是集中于军营附近？

Ushahidi展示了一种新的人道主义工作模式。在一对多的旧模式下，外国记者和援助人员前往灾祸地区进行报道，并按照手中或多或少的资料分配援助物资。而在多对多的新模式下，受灾者提供现场资料，自我组织的全球志愿者进行翻译并协助安排援助物资，记者和援助人员则使用这些资料展开有针对性的行动。

此外，Ushahidi还代表了新的创新领域。拥有大学、金融家、资深顾问、技术移民和强大专利的硅谷一直是无与伦比的创新楷模，而Ushahidi则来自不同的世界，在那里企业家出身贫寒，创新者致力于用更少的钱做更多的事，而不是售卖那些经过改进的新玩意儿。

因为Ushahidi是在危机中诞生，所以没人试图去申请专利从而垄断它；因为肯尼亚国家贫穷，许多人接触不到电脑，所以Ushahidi的系统便以手机为基础；也因为没有风险资本的支持，所以Ushahidi使用开源软件，并因此免费让他人修改其网络地图映射工具来进行新的应用。

随着新应用的不断涌现，Ushahidi正悄悄地改变着悲剧事件证据的概念。长期以来，提供事件证据的先是进行实时报道的记者，然后是受害者或作家，最后是历史学家。但在如今这个瞬时时代，此类证据变得够快、够多、够好、且够广泛。

负责Ushahidi危机地图映射工具运作的弗莱彻学院学生帕特里克·迈耶（Patrick Meier）表示：“我们已超越了信息非假即真的观念。”

从大数据的智慧，到集体协作式的商业智慧

看到了吗，所有这些在数据分析领域先行起来的创新者们，虽然各自所做的东西都不尽相同。发展的路径也大相径庭，只是，他们在今天之于社会与人类的意义，以及对于人类共同未来的价值与回报，却有着非常微妙的相似。

比如，他们都获得了最丰厚的多家顶级投资公司的大力支持。

比如，他们今天都拥有一群全世界头脑最好用的伙伴们，各个领域的高智商头脑，顶级技术达人们，都无怨无悔地跟着这些创新者们每天挖掘一些新的可能，一点一点……

究竟是什么人在推动者数据分析行业的发展呢？除了这些少数个人的极大推动之外，其实人人都可以成为贡献者之一。

Sparked.com的故事：集体智慧与互助分享

一位美国约翰·霍普金斯大学传媒系本科生，在学习期间，他对“新媒体与社区服务”课题产生兴趣，继而推出网络平台www.sparked.com，尝试让忙碌的现代人用微博行善。该平台的原理很简单：先由基层慈善组织发出求助帖，简要说明志愿任务。接着网站将任务分类，并以微博形式传给对口志愿者。志愿者利用手机解答问题，同样以微博形式回复平台，一次“微志愿”活动就此完成。

在Sparked社区里，有人会发帖进行求助，你可以加入任何一个问题小组，贡献出你的点子，建议，经验，信息，与其他用户一起帮助解决问题，或者一起完成某项计划。

以最新实例来说明。有一家NGO向墨西哥贫民提供无息小额贷款，最近他们收集到了许多申请，但都是当地农民们用西班牙语写的。NGO没有请人翻译的预算，便将原文发上网络。几天之后，就被志愿者陆续翻译为英文。参与者既有高校学生，也有大公司职员，他们都是利用片刻闲暇，用手机逐句翻译的。愚公移山、为人民服务、白求恩大夫的国际主义精神，“慈善微博”一样不少。

Micro-Volunteering 微型志愿服务

这是来自于sparked的联合创始人Ben在TEDXNASA上针对Micro-volunteering所作的演讲：

TEDxNASA – Ben Rigby – Micro-Volunteering – Giving Back for Busy People
这不是什么宣扬精神文明的心灵鸡汤而已，更重要的是，这是一种全新的商业模式，一种集体智慧协作下的商业创新模式

idealist社区 分享创意点子，做个新型的志愿者吧！

在这里，你可以分享你的每一个小小的点子，志同道合的人会来找你，与你不谋而合的伙伴会在世界的另一个角落里在这里与你相遇，对你的点子有兴趣的朋友可以与你联系上，一起商量商量如何把点子发展，实现出来……

勿以善小而不为。

除了idealist,sparked这样的集体智慧互助社区/项目之外，以上所有的成功例子，都在告诉我们，一切创新的开始的，往往都是由一些小的点子，项目，实践中开始的。这也是我们互动中国一直想要为之努力的一个愿景，希望尽可能找到更多的具有创新力量的点子，项目，什么都行，把一切微小的力量聚集起来，成为一股影响力。数据的影响力正是来自于每一个人的贡献。创新的变革不也同样如此吗？

参考资料：

• SecureAlert

• Splunk

• Palantir (这个网站，国内是彻底不能进入的。)

• Ushahidi

• New York Times

• Sparked

• Volunteering UK

• idealist