交易员是否值得配读的一本书：信号与噪声

《信号与噪声:大数据时代预测的科学与艺术》内容简介：书中涉及如下有趣又值得研究的问题：天气预报说降水概率为60%，你出门会带伞吗？被雷电击中的概率到底有多大？地震发生之前，我们真的无法预测吗？中情局为什么会忽略“9.11”恐怖袭击发生的信号？禽流感为何会突然爆发，又突然消失？为什么大数据时代的预测更容易失败？“信号”是我们想要和需要的事实，比如能帮助我们侦破早期鞋子炸弹案的信号。“噪声”则是另一回事，通常是不相干的信息，它阻碍或误导我们搜索信号。
人类每时每刻都需要对未来进行预测并制定相应的策略，如此国家、企业乃至个体才能持续发展，因此我们对于“下一刻会发生什么”倍加关注。在信息爆炸的大数据时代，随着我们的生活节奏变得越来越快，我们所要做出的预测的速度和数量都在不断增加。一个不容忽视的事实是，现实世界中的很多预测都失败了，由此付出了巨大的社会代价。“9.11”恐怖袭击事件、2008年金融危机、卡特里娜飓风、2011年日本大地震、禽流感肆虐，这些“黑天鹅”事件的发生在很大程度上应归咎于糟糕的预测，也就是说预测者们被众多信息中的噪声干扰，而忽视了其中真正的信号。
作者最为美国最具影响力的预测专家之一，检视了从飓风到地震、从经济到股市、从NBA到政治选举在内的众多领域的预测事例，旨在回答一个问题：如何才能从繁杂的海量数据中筛选出真正的信号，摒弃噪声的干扰，从而做出接近真相的预测。
真正优秀的预测者会用概率的方法思考问题，他们谦虚而且勤恳，他们能清楚地区分什么是不可预测的、什么是可预测的，他们注重能带领他们接近真相的成千上百个小细节，他们能辨识出什么是噪声、什么是信号。从全球经济的健康到战胜恐怖主义，都依靠预测的质量。《信号与噪声》可以给你想要的答案。

商品描述编辑推荐《信号与噪声》系《华尔街日报》2012年度10本最佳非虚构类图书之一，《经济学人》杂志2012年度书籍，长踞《纽约时报》畅销书排行榜达6个月之久。
2008年美国总统大选期间，纳特•西尔弗只对一个州做出了错误预测，对其余49个州的竞选结果的预测全部命中。在2012年的美国总统大选期间，他更是准确地预测出了全部50个州的竞选结果，媒体评论说，2012年美国总统大选一役，最大的赢家除了奥巴马，便是号称“神奇小子”的西尔弗，他的预测能力似乎不可思议，打败了从时政记者、政党媒体顾问到政治评论员的一众人等。
《信号与噪声》将带给我们一场睿智的、优雅的、科学与艺术交叉的预测之旅，从中我们可以领略到当大数据遇到人类冲动、贪婪、欲望、偏见的本性时将会发生什么——一个又一个错误的预测。
在大数据时代，为什么很多预测都失败了，而只有少数成了真？这本书告诉我们：“9•11”恐怖袭击事件本来是可以避免的，日本9级大地震也是有迹可循的，2008年金融危机不是必然发生的……然而为什么这些我们眼中的“黑天鹅”事件最终都发生了，根本的原因就在于我们错把大数据中的“噪声”误以为是“信号”。
《信号与噪声》就像一部精密的“测试仪”，它能帮助我们区分大数据中哪些是噪声、哪些是信号，它是我们当下最需要的工作、生活、管理工具。对于身处大数据时代的每一个企业、每一个政策制定者和每一个“关心下一刻会发生什么”的人来说，这本书都不可不读。
在你读完这本书后，你一定会更了解为什么接下来一周的天气预报对你来说更有用，而一周以后的天气预报根本是无稽之谈。
从海量的大数据中筛选出真正的信号，“黑天鹅”事件也可提前预知！

名人推荐如果说信息稀缺制约着预测，西尔弗的《信号与噪声》则告诉我们，信息大爆炸时代，过多的信息同样也干扰正确的预测。
在金融行业流行的一句与预测相关的名言是：重要的不仅是预测下雨，还要建造诺亚方舟，从这个意义上说，本书提供了面对海量数据预测时建造用于预测的“诺亚方舟”的一些思路和方法，值得推荐。
——巴曙松，国务院发展研究中心金融研究所研究员及副所长、博士生导师、中国银行业协会首席经济学家
本书是大数据时代的敲门砖，专业而有趣的统计学家去除噪声，获得有价值的信息。
中国需要借鉴类似经验，当理论压力预测与实际市场反应常常天差地别，我们得知道为什么，才能知道怎么办。
——叶檀，财经评论家
非常棒的一本书，而且充满阅读的乐趣。西尔弗用这本书给我们制造了一个愉悦的信号。
——蒂姆•哈福德，《金融时报》专栏作家
预测很难，特别是对于未来的预测。在这本重要的著作中，西尔弗解释了为什么专家的预测有时正确，有时却一无是处；也分析了为什么我们必须未雨绸缪。对于每一个关心下一刻可能会发生什么的人来说，这都是本必读书。
——理查德•泰勒，《助推》作者
在大数据时代做预测可能跟你想象的完全不同。这本观点新鲜且原创的书，为我们区分关于未来的预测中哪些是主观现实、哪些是客观现实，提供了意想不到的启发性视角。作者还指出，只要我们明智地从糟糕的预测中吸取教训，那我们一定会在科学、技术和政治的预测方面取得进步。
——洪博培，前美国驻华大使
在你读完这本书后，你一定会更了解为什么有些预测模型有效，而有些毫无用处。你也会更加注意接下来一周的天气预报，而对一周以后的天气预报则毫不在意。西尔弗将一个复杂的、艰涩的话题变成了有趣的、轻松的和亲切的。
——皮特•奥斯扎格，前美国国家管理及预算办公室主任
西尔弗并没有提出一个如何做出好预测的综合性理论，但他的这本著作的确有利于帮助人们在诡谲多变的商业世界中做出正确的预测。
——克里斯•威尔逊，谷歌公司开发大使

媒体推荐这本书对大众的精神启迪意义不亚于像约翰•肯尼斯•加尔布雷斯（曾引发对经济政策的讨论）这样的公共知识分子和像沃尔特•克朗凯特（曾改变对越南战争的看法）这样的社会名人，它将会成为未来十年内最重要的书籍之一。
——《纽约时报》书评版
西尔弗轻松随性的语言风格让哪怕是最艰涩的统计资料都变得简单易懂。更重要的是，他的论据和案例都来自于费尽苦心的研究。
——《华尔街日报》
西尔弗是统计学界的科特•柯本（美国已故著名摇滚歌手），他写作的这本新书既是一本实践指南，也是一部哲学宣言，通过一系列案例研究——从飓风到职业扑克牌手到恐怖主义，集中论述了一个主题：预测。对于那些想对未来做出更好预测的人和想验证他人预测正确与否的人来说，这本书都极具价值。
——《波士顿环球报》
西尔弗以令人难以置信的轻松语言，写了一本关于如何做预测的入门读物，每个人都应该读一读。
——《华盛顿邮报》
这本书就像一座宝库，里面有数不尽的宝藏：贝叶斯定理与概率论，运气和性格，扑克牌手对生活的看法，等等。然而最重要的是，它是帮助我们区分繁杂数据中哪些是噪声、哪些是信号的“测试仪”，是我们当下最需要的基本工具；它有时还能帮助我们正确评估那些我们不熟悉却必须了解的信息的价值。
——《时尚先生》
统计学或预测是让很多人望而却步的话题，而本书就是关于这个话题的一本有趣的普及读物，棒球比赛、职业扑克牌手、政治选举等例子足以勾起读者的好奇心，甚至会让他们废寝忘食地阅读，而且其中潜藏着帮你做出正确预测的能量。
——《石板》杂志
这本书与畅销书《黑天鹅》的观点有异曲同工之妙。西尔弗认为，人类对自己的预测能力往往过度自信，以至于他们排斥用概率的方法思考问题，也不允许自己的预测模型中存在不确定性。
——《经济学人》
西尔弗剖析了我们对股市、风暴、体育等并非一成不变的事物所做的预测。
——《连线》杂志
对于身处大数据时代的每一个企业、每一场运动赛事和每一个政策制定者来说，这本书都不可不读。
——《福布斯》

作者简介作者：（美国）纳特•西尔弗

纳特•西尔弗，统计学家、作家和《纽约时报》政治性网站538.com的创始人。2008年美国大选期间他成功预测出49个州的选举结果，2012年大选期间更是成功预测出全部50个州的选举结果，被称为“神奇小子”。2009年，《时代》周刊将他评选为全球100位最具影响力的人物之一。

目录引 言 XIII

第一章 预测失败的灾难性后果 001
一场错误预测引发的悲剧 001
他们只是不想让“音乐”停下来罢了 004
评级机构为什么会犯下致命的错误？ 007
第一幕：房地产泡沫 011
第二幕：负债经营 014
幕间休息：从贪婪到恐惧 017
第三幕：这次还是犯了同样的错误 019
失败的预测都是非样本预测 022
失败预测的公式——非样本，无思考 024
前事不忘，后事之师 025

第二章 政治选举预测：狐狸和刺猬，谁更聪明？ 027
政治学家是名副其实还是徒有虚名? 030
狐狸型专家：善于变通，更善于做出准确的预测 032
刺猬型专家更适合做电视节目嘉宾 034
政治预测为什么常常失败？ 035
狐狸型预测方法 038
原则一：用概率的方法思考问题 040
原则二：今天的预测是你以后人生的第一个预测 043
原则三：寻求共识 044
定性信息与定量信息同等重要 046
做出客观的预测并非易事 049

第三章 棒球比赛预测：球探和数据怪才，谁更胜一筹？ 051
构建棒球比赛的预测系统 053
全世界最丰富的统计数据库 055
老化曲线与相似分数 056
球探与数据怪才的矛盾冲突 062
系统与球探的对决：球探赢了 063
球探和数据怪才的偏见 066
生理指标与心理指标 069
信息是决定预测成败的关键 074
并不是信息越多，预测就越成功 076
《点球成金》的真正意义 079

第四章 天气预测：蝴蝶扇动翅膀，有可能引起龙卷风 083
我们真能准确地预测天气吗？ 085
气象预报简史 086
用矩阵来预测天气 088
混沌理论与蝴蝶效应 092
视觉化预测与抽象化预测 094
被雷电击中的概率越来越小了 098
什么样的预测才算是好预测？ 101
商业竞争如何使预测变得更糟糕？ 103
天气预报说降水概率为60%，你出门会带伞吗？ 106
尽可能地做出准确预测 110

第五章 地震预测：一个困惑了人类1 000 年的难题 115
地震可以预测吗？ 116
“圣杯”根本就不存在 118
我们对于地震的了解 121
究竟是信号还是噪声？ 125
那些以失败收场的地震预测 128
过度拟合模型：将噪声误认为信号 133
2011 年日本大地震引发的思考 137
地震震级的上限是多少？ 141
被审判的预测科学 142

第六章 经济预测： 经济学家为什么没有预测到2008 年经济危机？ 145
不可忽视预测中的不确定性 146
经济学家都是理性的吗？ 148
相关的两个经济变量未必互为因果 152
变化莫测的经济 156
经济数据中充满噪声 160
经济是一个动态系统，不是一个方程式 161
经济预测中不可避免地会存在偏见 164
克服预测偏见的两种选择 166

第七章 传染性疾病预测：禽流感为何会突然爆发，又突然消失？ 171
人们又一次高估了H1N1 的致命率 175
外推法的危害——艾滋病感染人数被低估了一半 178
为什么2009 年的流感预测会失败？ 179
自我实现预测与自我否定预测 182
预测模型越简单越好，还是越复杂越好？ 185
所有的预测都失败了 189
预测是为了让损失最小化 193

第八章 贝叶斯定理：只有正确的预测才能让我们更接近真相 195
成功的赌客是如何思考问题的？ 200
贝叶斯留下的宝贵遗产 203
概率、预测与科学进步 205
简单的运算推导出重大的预测 206
为什么大数据时代的预测更容易失败？ 211
当统计数据偏离了贝叶斯定理 213
成功践行贝叶斯定理的体育赌客 216
通往真理的贝叶斯之路 218

第九章 国际象棋大战：计算机与人类的智能博弈 221
国际象棋的人机大战 223
国际象棋比赛预测和启发法 225
开局阶段：独立思考能力更重要 227
中局阶段：宽度与深度的两难选择 229
残局阶段：计算机能力方面的较量 233
计算机战胜了人类 236
国际象棋大师为何败给了“深蓝”计算机？ 240
计算机擅长做什么？ 245
用试错法提高计算机的预测能力 246
克服人类的技术盲点 248

第十章 扑克牌游戏：如何从1 326 种组合中猜出对手的底牌？ 251
是心理游戏，也是数学游戏 252
出色的扑克牌玩家如何读出对手的牌？ 254
是弃牌还是跟注，如何选择？ 257
虚张声势，让对手猜不出你的底牌 265
学习曲线与二八原则亦适用于预测领域 267
扑克牌经济的繁荣 270
扑克牌经济泡沫的破灭 274
既靠运气也拼技能 275
我们对于扑克牌游戏的妄想 278
以过程而不是结果为导向 281

第十一章 股票市场：非理性交易者的存在让价格泡沫不可避免 283
贝叶斯定理世界中的价码牌 284
预测市场中的“无形的手” 286
群体预测往往优于个体预测 288
有效市场假说理论的缘起 290
过去的表现不代表未来的结果 292
技术分析法并不能预测股市 293
有效市场假说的3 种形式 294
追涨杀跌的股市投资策略真能获利吗？ 296
当有效市场假说遇到非理性繁荣 298
羊群效应催生股市泡沫 305
过度自信的投资者逃不开“赢家的诅咒” 311
股市泡沫需要很长时间才能被挤出 312
有时，价格的确是错误的！ 313
金融市场中的噪声 314
直觉判断让投资者深陷“高买低卖”的误区 316
有没有可能预测到市场泡沫的出现？ 319

第十二章 温室效应：未来10 年，全球气温会上升还是下降？ 323
温室效应真会导致全球气温变暖吗？ 324
温室效应假说的3 种怀疑论 328
对“全球气温会持续升高”预测的批判 331
达成共识的预测结果 333
不能把所有鸡蛋都放在一个篮子里 335
气候科学不是“火箭科学” 336
模型越复杂，预测越糟糕 338
气候预测中的3 类不确定性 339
评判气候预测准确性的时刻到了 343
“全球变冷”事件的教训 347
正确的预测绝对离不开科学的方法 349
气温变化趋势的真相 351
政治与科学的针锋相对 355

第十三章 恐怖主义： 比“9•11”更严重的恐怖袭击事件会发生吗？ 359
信号无处不在 360
你不知道的不代表不会发生 365
“9•11”恐怖袭击事件是“已知的未知”？ 366
用数学的方法研究恐怖主义 371
用统计学的方法测量恐怖主义 374
9 级恐怖袭击很可能会发生 378
为什么恐怖分子不去炸购物中心？ 384
如何辨识恐怖袭击的信号？ 386

结束语 389
致 谢 397


序言本书的内容涵盖了信息技术和科学进步，也包括了自由市场、商业竞争以及观念革新。本书罗列了许多事物，这些事物使得人类比计算机更聪明，书中同样列举了人类所犯的错误。本书还描述了我们如何一步一步地学习认识客观世界，也解释了为什么有时会出现历史倒退的情况。
这是一本有关预测学方面的书，这一学科是涉及上述所有内容的交叉学科，旨在研究为什么有些预测很准确，而另外一些预测却失败了。我真诚地希望这本书能使你在规划未来时更有远见，而避免目光短浅。

信息越多，问题越多
人类最初的信息技术革命并非始于微型芯片的发明，而是以印刷机的诞生为开端的。1440 年，约翰内斯• 古腾堡发明了印刷机，这项发明使普通民众能方便地了解信息，由此产生的思想洪流带来了前所未有的结果和影响。印刷机的发明点燃了1775 年的工业革命之火，也促成了人类文明的迅猛发展——由从前那种科学和经济几乎止步不前的状态迅速跨越到呈指数型增长的状态，还带来了我们今天所熟悉的变化。除此之外，这一发明促成了一些历史事件，这些事件开启了欧洲启蒙运动，也加速了美利坚合众国的建立。
但是，印刷机发明之初并没有引发上述各种巨变，倒是可能催生了另外的事件，如持续了几百年的“圣战”。当人类开始相信他们可以预知和选择自己的命运时，人类历史上最血腥的时代也就开始了。
早在古腾堡发明印刷机之前，书籍就已经存在了，但当时书的数量和读书的人都很少，书籍只是贵族阶层的奢侈品。因为抄写员每次只能抄写一份副本，复制一份原稿的费用大约是每5 页1 弗洛林（一种金币，1 弗洛林约合200 美元），因此像你现在读的这本书，在当时可能要花费20 000 美元才能得到。而且，经过无数次的抄写，书中难免有大量的抄写错误，这些错误代代相传，成倍增加，甚至还会演变成与原意相反的错误。
这就使得知识的积累变得极其困难。要想阻止以文字记录的知识的不断减少，就需要付出巨大的努力，因为书籍腐烂的速度远远大于其生成的速度。只有几个版本的《圣经》和少量的哲学论述——比如柏拉图和亚里士多德的文章——被保留了下来，其他那些数不清的智慧，由于缺乏记载动机，都遗失在那个年代了。
过去，也许人们觉得对于知识的追求即使不全是无用功，似乎也没什么实际价值。如今世事瞬息万变，我们总会有一种“世事无常”的感觉，而对于我们的前辈来说，这种“无常的世事”则更受关注。《圣经• 传道书》中有一句唯美的诗句：“日光之下无新事”，可事实却并非如此，之所以说“无新事”，并不是因为每件事都已经被发掘出来了，而是因为所有事情都将被遗忘。
印刷机永久而深刻地改变了这一状况。几乎是一夜之间，一本书的成本就骤降近300 倍，书的售价从相当于今天20 000 美元的价格剧降至70 美元。印刷机迅速在欧洲普及，到1470 年，印刷机已从德国传播到罗马、西班牙塞维利亚、法国巴黎和瑞士巴塞尔，随后的10 年里，几乎所有的欧洲主要城市里都有了印刷机的影子。印刷机问世的第一个世纪里，书籍的生产规模呈指数型增长，数量增长了近30倍。人类知识旋即进入快速积累期。
然而，正如万维网建立初期那样，印刷机使用之初的信息质量也是参差不齐的。
当时，人们只顾追逐眼前利益，印刷机几乎都用来印制那些质量较高的地图了，异端的宗教文章和一些伪科学文章也很快就占据了畅销书单的主要位置。印刷错误大量出现，那本被叫作《邪恶圣经》的书便是如此，这本书犯了史上最严重的印刷错误——《十诫》中的“不可奸淫”误印成“应当奸淫”。与此同时，人们一下子接触到大量的新思想，这难免会产生诸多混淆。信息的增长速度远远超过了人们处理信息和分辨信息的速度。共享信息的不断增长反而加速了民族和宗教的孤立进程，其速度之快不禁让人瞠目结舌。面对“过量的信息”时，我们会本能地进行筛选，选出喜欢的，忽略其他的，与同道中人为友，与意见相左之人为敌。
印刷机的早期使用者中，最狂热的要数那些传播福音的人了。马丁•路德的《九十五条论纲》还不是那么激进，而对其中类似情绪的争论已然不绝于耳了。正如《现代欧洲早期印刷革命》一书的作者伊丽莎白•爱森斯坦所写的那样，马丁•路德这些论纲的革命之处就在于，它们“没有一直钉在教堂的门上” 。而是被古腾堡的印刷机
复印了30 多万次，即使按照今天的标准来看，这个印刷量也可算作巨大的成功了。
路德的新教改革所导致的教会分裂，很快使欧洲陷入了战争。1524~1648 年间，欧洲爆发了德国农民战争、施马尔卡尔登战争、八十年战争、三十年战争、法国宗教战争、爱尔兰南联邦战争、苏格兰内战和英国内战，其中许多战争几乎是同时爆发的。当然，1480 年出现的西班牙宗教法庭和1508~1516 年出现的康布雷同盟也值得一提，尽管两者与新教思想的传播关系不大。单单一个三十年战争，德国人口就减少了1/3，即使是与20 世纪早期的第一次世界大战相比，17 世纪也称得上是史上最血腥的时代。
但就是在这样一个充满战乱的时代，印刷机却悄然推动着科学与文学的进步，所以人们才得以分享伽利略的科学思想，品味莎士比亚的舞台剧。莎士比亚舞台剧的主题通常关乎人的命运，这一点与戏剧如出一辙。剧中人物的理想和命运之间的差距增添了这些舞台剧的悲剧色彩。莎士比亚时期，掌控自身命运看似已成为人们思想意识的一部分，但要做到这一点却很难，所以那些挑战命运的人总是遍体鳞伤，直至死去。
这一主题在莎士比亚的著名悲剧《朱利叶斯• 恺撒》中得到了最生动的诠释。在这部戏的前半部分，恺撒接收到各种各样明显的警示，他称之为预言（比如“留心3 月15 日”），这些预言预示了他的加冕礼可能会演变为一场屠杀。恺撒当然不会在意那些预言，他始终自信地认为，这些预言只是预示着别人的死亡，否则，他当时就会留意。结果，恺撒遇刺了。
莎士比亚借西塞罗的话警示我们，“( 可是) 人们照着自己的意思解释一切事物的原因，实际上却和这些事物本身的目的完全相反” 。这句话对于所有正在对自己新发现的大量信息进行选择的人，都不失为一条好的建议。人们很难从干扰他们的噪声中分辨出有用的信号。数据展示给我们的通常都是我们想要的结果，而且我们通常也能确保这些数据令我们皆大欢喜。
然而，如果说《朱利叶斯• 恺撒》这部戏剧中含有的宿命论、占卜术和迷信思想，是古代预言思想的开端，它同时也介绍了一种较为现代且较为激进的思想：我们可以对这些迹象进行解释，从中获益。在戏中，卡修斯说，“有时，人们可以掌控自己的命运”，他希望能劝服勃鲁托斯参与谋害恺撒的阴谋中。
于是，“人们可以掌控自己的命运”这一思想便广泛传播开来。“预言”和“预测”这两个词在今天大多数的情况下可以互换使用，然而在莎士比亚时代，它们却有着不同的含义。“预言”是指占卜者告诉你的话，而“预测”则更像是卡修斯的想法。
“预测”一词源于日耳曼语，而“预言”一词源自拉丁语。“预测”反映的是新教世俗思想，而不是神圣罗马帝国的理想世界。“预测”是指在不确定的条件下进行计划，这一行为需要谨慎、智慧和勤奋，更像我们今天所说的“预见”一词。
预言思想的神学含义是十分复杂的，但对于凡尘俗世中那些追逐利益的人来说，这些含义就不那么复杂了。预言思想的这些特质与那些新教徒的职业道德是密不可分的，马克斯• 韦伯认为，资本主义的诞生和工业革命的开始与预言思想不无关联。
“预测”与“进步”两个概念紧密相关。所有相关书籍中的所有信息都应有助于我们规划生活，都应成功地预见整个世界的发展历程。
几个世纪以来，引领“圣战”的新教徒们都在学习如何用自身积累的知识改变社会。工业革命主要始于新教国家，而且多半发生在那些言论自由的国家，因为在这些国家，宗教思想和科学思想可以自由传播，人们也不必对审查制度心存顾虑。
工业革命的重大意义难以尽数。纵观人类社会的历史进程，经济增长的速度曾经为年均0.1%，这个增速足以匹配当时人口数量平缓增长的状况，但人均生活水平却没有得到任何显著提高。然后，经济形势突然出现了前所未有的进展，经济增速急剧超越了人口数量增长的速度，尽管偶尔也会出现全球金融危机，但这种高速增长的态势时至今日仍未改变。
历史证明，印刷机引发的信息大爆炸为我们创造了一个好的世界，因为它仅用了330 年的时间就为我们带来了不可尽数的好处，而与此同时有几百万人在欧洲战场上丧命。

生产力悖论
一旦信息增长的速度过快，而我们处理信息的能力尚且不足，情况就很危险。过去40 年的人类历史表明，把信息转变为有用的知识可能还需要很长时间，一不小心，我们就有可能倒退回去。
“信息时代”并不是特别新的术语，自20 世纪70 年代后期开始，这个术语便得到越来越广泛的使用。而与之相关的术语“计算机时代”使用得还要早一些，1970 年就有人用了。也就是在那个时候，计算机虽然没有在家庭中普及，但在许多实验室和学术机构中却越来越普及了。这一次，没有经过300 年的时间，信息技术的增长就已经开始为人类社会创造实实在在的利益了，但是人们也等了15~20 年才享受到这些利益。
正如美国经济学家、诺贝尔经济学奖得主保罗• 克鲁格曼曾经对我讲的那样，20 世纪70 年代是典型的“大量理论堆积如山，验证数据少得可怜”的时期。当时，人们已经开始用计算机制作地球模型，但是一段时间以后，人们发现这些模型太过粗劣，而且与实际不符，计算机可达到的精确度根本无法替代预测的准确度。这一时期，人们作过很多大胆的预测，涉及范围从经济学到流行病等各个领域，但是这些预测通常都不准确。比如，1971 年，人们声称可以预测出未来10 年内的地震次数，而实际上，这在40 年后的今天仍实现不了。
20 世纪七八十年代的计算机热非但未能推动经济和科学的发展，反而造成了两个领域生产力水平的短暂下降。经济学家将这种现象称为“生产力悖论”。罗伯特• 索洛曾经在1987 年写道：“计算机无处不在，可生产统计中却不见其身影。”1969~1982 年，美国经历了4 次经济大衰退，直到20 世纪80 年代后期，美国经济才开始好转，而世界其他国家的经济状况则鲜有起色。
科学发展比经济发展更难判定，但科技进步有一大标志，即专利的数量，尤其是与研发投资相关的专利数量。如果一项发明的成本降低了，这就表明我们善于利用信息，并将其转变为知识。而如果发明的成本增加了，那就说明我们正在噪声中寻找信号，这无疑是在错误的方向上浪费时间。
20 世纪60 年代，美国在每个发明者的每项专利上的耗资都接近150 万美元（通货膨胀因素考虑在内）。这一数字在信息时代初期有增无减，1986 年更是成倍增长，最高达到300 万美元。
因为越来越注重新技术带给我们的实惠，20 世纪90 年代我们又一次提升了科学研究的生产力。各项研究不再硬钻“牛角尖”，计算机开始被用于改善人们的日常生活，促进经济发展。通常情况下，许多预言从长远角度看算作进步，而从短期角度看则成了倒退；而许多从长远来看似乎可以预知的事情，同时也会妨碍我们进行完美的计划。

“大数据”的承诺与陷阱
时下最流行的术语要数“大数据”了。根据国际商业机器公司（IBM）估计的数据来看，现在我们每天生成的数据高达250 兆亿个字节，超过过去两年里生成的数据总量的90%。
信息的指数型增长有时被人们视为万灵药，就好比20 世纪70 年代出现的计算机一样。《连线》杂志的前主编克里斯•安德森曾经在2008 年的一篇文章中说：“数量庞大的数据会使人们不再需要理论，甚至不再需要科学的方法。”
本书着重介绍了前沿科学和高端技术，我认为其内容是积极乐观的，却被严重曲解了。虽然那些数字不能为自己辩护，但我们却可以作为数字的发言人，赋予它们意义。这就好比对恺撒密码解码一样，我们可能会以对自己有利的方式对这些数据进行分析和解释，而这些方式很可能与这些数据（所代表）的客观现实不相吻合。数据驱动预测机制可能会成功，也可能会失败。一旦我们否认数据处理过程中存在着主观因素，失败的概率就会增加。要提高数据分析的质量，首先要对我们自身提出更高的要求。如果对我的情况不甚了解，你可能就会对前面的提法颇感意外。我在数据和统计学领域还算小有建树，曾经据此做出不少成功的预测。2003 年，由于厌倦了咨询工作，我设计了一个名为“PECOTA”的系统，主要用来预测美国职业棒球联盟球员的各项数据。这个系统有很多创新点——其预测是概率性的，比方说其中为每位球员都列出了一系列可能出现的结果——当我们将这些预测结果与比赛系统给出的结果进行比较时，发现这套系统的性能更加优越。2008 年，我建立了“FiveThirtyEight”（538 网站，因538 张选举人总票数得名）网站，试图对即将举行的美国总统大选进行预测。该网站对两位美国总统候选人在美国50 个州中的竞选结果进行了预测，结果命中49 次竞选，只有1 次失手。另外，我的网站还预测出美国参议院选举的35 个席位归属。
美国总统大选过后，很多出版商找到我，希望我能为《点球成金》和《魔鬼经济学》这类关于小人物征服大世界的书籍估个价。本书涵盖很多行业和领域，从金融领域，到国家安全，对这些行业和领域中的数据驱动预测机制进行了调查。
在4 年时间里，我曾与十几个领域中的100 多位专家交流过，读过数百篇期刊文章和论文，为了实地调查，我跑遍了从拉斯韦加斯到哥本哈根的许多地方，却发现“大数据”时代的预测活动发展得并不顺利。我的成功也只是因为我在某种程度上比较幸运，一是尽管出现了本书中提到的一些错误，但还是取得了成功；二是选对了调查案例。
本书提到了几个值得研究的例子，集人类判断与计算机功能为一体的天气预报就是其中之一。虽然气象学家的名声不好，可是他们也取得过显著的进步，比如他们预测飓风着陆位置的准确度比25 年前提高了3 倍。与此同时，我还拜访过一些在赌城拉斯韦加斯轰动一时的扑克牌玩家和（体育赛事）赌徒。
但是，这些预测成功的案例必然是建立在一系列失败案例的基础之上的。
如果让我们用一个特点来定义美国人——一个令其与众不同的特质——那就是美国人对卡修斯精神的信仰：我们的命运由我们自己主宰。一些宗教叛逆者迎着工业革命的曙光建立了美国，他们认为自由流动的思想不仅有助于传播其宗教信仰，也有助于传播科学和商业贸易，“作为一个民族，我们的智慧、我们的勤劳、我们的傲慢和急躁、我们所有的强项和弱项，都源自我们那不可动摇的信念，那就是我们要为自己做主”。
新千年给美国人带来的是噩梦般的开始。我们没有预测到“9•11”恐怖袭击事件，而这一惨剧的出现并非因为我们的信息匮乏。正如60 年前的“珍珠港事件”一样，其实所有的信号都在那里，只是我们没能将它们联系起来。因为对恐怖分子可能会有的举动不够了解，所以我们对那些数据视而不见，不知道大难将至。
近期，对全球金融危机的预测也总是失败。我们天真地相信各种（预测）模式，却没有认识到这些模式在我们进行假设选择时根本不堪一击，因此总会带来惨痛的后果。在日常生活中，我发现尽管人们也在努力尝试，却仍然无法提早预测出经济衰退。幸好在控制通胀方面，我们已经取得长足进步，否则那些经济决策者就只能“盲目飞行”了。
与20 世纪70 年代一样，近来人们十分热衷于对地震进行预测，其中大部分高度依赖数学方法和数据处理技术。但是，这些预测只是假想一些从未发生过的地震，对真正发生的那些地震却没有预测到。福岛核反应堆的设计可以抵抗8.6 级地震，因为一些地震学家称不可能发生更高级别的地震。但是，2011 年3 月日本却发生了9.1 级的特大地震。
错误地预测整个学科的发展常会危及整个社会。以生物医药学的研究为例。2005年，一位土生土长的雅典人，医学研究者约翰•P•埃尼迪斯，发表了一篇颇具争议性的论文，题为“为什么大多数发表的研究成果都是骗人的”。该文对那些行业期刊中刊载的积极的研究成果进行了研究（这些成果认为那些在实验室实验中得到验证的医学假设堪称成功预测），认为大多数成果在实际生活中很可能是毫无用处的。德国拜耳制药公司最近证实了埃尼迪斯的这个推断，他们通过实验亲自对那些医学期刊中提到的积极研究成果进行验证，但发现其中近2/3 的医学假设根本不能成立。
这些大数据终将推动社会进步，至于这种进步的速度有多快，或者进步的同时是否还会倒退，这些都取决于我们自己。

为何未来使我们震惊？
人类并没有多少天生的防御能力，人类的速度没有多么快，身体也没有多么强壮；人类没有利爪和尖牙，也没有护身的硬壳；人类不能喷出毒液，不能伪装自己，也不能飞翔。我们之所以能生存下来，是因为我们运用了智慧。我们的思维很敏捷，我们能够敏锐地感知事物的模式，对机遇与威胁迅速地做出反应。
“人类比其他动物更需要发现模式”，麻省理工学院的神经系统学家托马索• 波吉奥对我说，他的研究领域是人脑对信息的处理模式。“在复杂情境中识别物体的能力是一种概括能力。一个新生儿就能识别人脸的基本模式，这种能力是进化而来的，是人类生来就有的，并非后天习得的。”
但波吉奥认为，问题在于这些进化来的本能有时会让我们去寻找原本不存在的模式，“人们一直都在努力从随机噪声（即无规律的状况）中发现模式”。
人脑能力非凡，其信息存储量或高达3 千兆字节。然而，据IBM 公司称，人脑的存储量不过是全球每天所产生信息量的百万分之一而已。因此，我们对自己记忆的信息一定要精心挑选才行。
在1970 年出版的《未来的冲击》一书中，未来学大师阿尔文• 托夫勒对他所说的“信息超负荷”的一些后果进行了预测。他认为，尽管世界本身正走向分化，变得更加复杂，但人类仍会以坚持自身看法的方式使这个世界变得简单，这便是我们的防御机制。
我们的生物本能有时会对这个信息丰富的世界难以适从。所以，我们需要积极努力，坚持自己所持有的看法，这样才有可能将重返信息负荷状态的可能性降到最低，甚至消除这种可能性。
印刷机诞生后，信息超负荷催生了更深层的宗教主义。现在，那些不同的宗教思想可以通过更多的信息、信念和“证据”得到证明，而且更难以容忍反对意见。同样的情况似乎到今天都一直存在。在托夫勒刚刚开始写《未来的冲击》这本书时，美国的党派政见分歧开始加剧，这种分歧也许会随着互联网的出现愈演愈烈。不同的党派政见颠覆了“信息越多，就越靠近真相”这一信条。《自然》杂志上最近刊登的一项研究发现，几大政党对全球变暖的问题了解得越多，他们之间达成共识的可能性就越小。
同时，如果信息的数量以每天250 兆亿字节的速度增长，其中有用的信息肯定接近于零。大部分信息都只是噪声而已，而且噪声的增长速度要比信号快得多。有太多假设需要验证，有太多数据需要发掘，但客观事实的数量却是个相对恒量。印刷机改变了我们犯错误的方式，从前经常出现的抄写错误越来越少。然而一旦出现错误，这个错误就会被多次复制，《邪恶圣经》里出现的错误就是这种情况。
像万维网这类复杂的系统有这样一个特点，它们不像那些相对简单的系统那么容易出错，但一旦出错，必定是要命的大错。在信息宣传方面，资本主义和互联网都非常高效，这就使得好坏两种消息的广泛传播成为可能，而且坏消息也许会造成更大的影响。金融危机爆发之前，这一体系正处于高度负债经营的状态，那些信誉评级机构的预测模式一旦做出错误的假设，哪怕只是一个错误的假设，都极有可能摧毁全球的金融系统。
制定规章制度是解决这些问题的途径之一，但是我怀疑这种制度会成为我们逃避自身问题的借口。我们要停止对事物进行预测的做法，并且承认我们的预言有问题。我们喜欢对事物做出预测，而我们的预言却总是出错。

预测与贝叶斯定理
如果说预测是本书的中心问题，那么它同时也是这一问题的解决方案。
预测在我们的生活中必不可少。每次我们选择工作方法、决定是否要与对方展开恋情或是未雨绸缪地将钱存起来，都是在对未来将要发生的事情进行预测，也是在对我们计划的成功概率进行预测。
不是所有的日常问题都需要费心思量，我们作每个决定的时间是极为有限的。尽管如此，我们每天还是要进行许多预测，只是有时没有意识到而已。
正是出于这个原因，本书将预测视为人们共同的事业，而不仅仅是一些顶级专家或相关从业者的职责。取笑那些专家的预测失误总是乐趣无穷，而在幸灾乐祸的同时，我们自己也要多加小心。如果说我们的预测不会比那些专家更糟，只不过是欲贬先颂罢了。
然而不可否认，预测在科学领域中的确扮演着重要角色。你们中有些人也许对我此前提到的一个前提感觉不舒服，现在我来澄清一下这个前提：我们永远都不可能做出完全客观的预测，因为这些预测总会带有主观色彩。
但是，本书对“根本不存在客观真理”这一虚无缥缈的说法完全不赞同。相反的，本书认为要做出准确的预测，首要的前提就是坚信客观真理的存在，并且执着地追寻它。而预测者的另一个承诺，就是要认识到他无法穷尽对客观真理的认知。
预测之所以重要，是因为它连接着主观世界与客观现实。科学哲学大师卡尔• 波普尔早就意识到了这一点。对他来说，假设并不科学，可证伪的假设才是科学的。这就意味着在真实世界里，假设可以通过预测得到检验。
令我们裹足不前的是，经过验证的那些为数不多的想法的实际作用并不大，而且许多想法未经过检验，或者根本就无法检验。在经济领域中，验证失业率预测的准确性要比验证刺激消费政策的效果的论断容易得多。
我不会像波普尔那样，断言这样的理论不够科学或者没有价值。事实是，少数几个可以检验的理论得出的结果很糟糕，这就表明我们没有检验的那些想法中有很大一部分是大错特错的。毫无疑问，我们生活在幻想中却不自知。
但解决方法还是有的，这种方法不依靠不成熟的政策—尤其是当我意识到出现这个问题在很大程度上是因为美国的政体有问题时—它需要的是态度上的转变。
这一态度会通过贝叶斯定理得到体现，我在第八章中会讲到这一定理。贝叶斯定理名义上是一个数学公式，但其内涵却远远超出公式的范畴。这一定理表明，我们必须从不同角度去思考我们的想法，以不同的方式检验我们的想法。我们要坦然面对各种可能性和不确定性，更加周详地考虑我们对一个问题的假设和看法。
本书可以粗略地分为两部分。前7 章的内容分析预测的问题，后6 章的内容对贝叶斯定理进行了探讨和应用。
每一章都围绕着一个特定的主题展开，并且对其进行深入分析。不可否认，这是一本复杂详尽的书，一方面因为细节通常可以揭示关键问题；另一方面，在我看来，专注于某一问题的研究总会得到比概括研究更深刻、更独到的见解。
我选择的话题通常是公众共享的信息，预测的案例很少依据私人信息选择（公司利用客户记录预测新产品的需求量）。我更倾向于那些大家可以一起挖掘真相的话题，你不需要只听我的一面之词。

本书的阅读路径
本书涵盖了自然科学、社会科学以及体育运动等各个领域的诸多实例。书中将许多相对通俗易懂的案例改造成需要稍微加以巧妙处理的案例。这些案例对成功的预测与失败的预测进行了清楚的划分。
第一章至第三章讨论了近期出现的金融危机大背景下的失败的预测，预测中有的很准确，有的则很离谱。预测会让你想到关于预测的最基本的问题：在应用数据时，我们怎样才能做出客观的判断呢？关于市场竞争，什么时候可以做出更准确的预测呢？当我们意识到未来与过去不一样时，又如何在两者之间进行协调呢？
第四章至第七章重点讲述动态系统：地球大气层的动态会带来天气的变化，构造板块的运动会引发地震，复杂的人类活动会影响美国经济，还有传染病的传播、扩散。最优秀的科学家正在研究这一系列的因果关系，然而各类动态系统使得预测变得更加困难，这些领域的预测活动总是不尽如人意。
第八章至第十章主要探讨解决方案。首先介绍了一个体育赌徒，他在运用贝叶斯定理时比许多经济学家或科学家还专业，之后讲到扑克牌。体育和游戏都遵守规则，这一点是检验预测技巧的实验所必需的。这几章帮助我们更好地理解什么是不可测性和不确定性，让我们深刻理解如何把信息转变为知识。
然而，贝叶斯定理也可以被用来解决更多现存的问题。第十一章至第十三章讲到了3 个问题：金融市场泡沫、全球变暖和恐怖主义。这3 个问题对那些预言家和美国社会而言，都很棘手，但如果接受挑战，我们就能使我们的国家、我们的经济和我们的星球更加安全。
自从有了印刷机，我们的世界已经经历了太多。信息不再那么稀有，我们拥有的信息太多，甚至多到无从下手，但有用的信息却寥寥无几。我们主观地、有选择地看待信息，但对信息的曲解却关注不够。我们以为自己需要信息，但其实我们真正需要的是知识。
信号是真相，噪声却使我们离真相越来越远。本书为你呈现的就是信号和噪声的故事。


后记对美国职业棒球大联盟的游击手来说，有些比赛可以打好，有些比赛永远也无法打好，有些比赛则一定要奋力打好。球员们奋力拼搏的比赛是最精彩的，而且总能吸引人们的注意，但这样的比赛也会使人们低估游击手的能力。
德瑞克• 基特一直是“点球成金”时代备受争议的主角。赛事转播员和球探们注意到基特的比赛似乎都十分精彩，从而得出结论，认为他是该赛季的最佳游击手。而统计怪才在分析这些比赛时，却发现了这种结论的缺陷。尽管基特是一个极好的棒球运动员，但他跃起接球的速度较慢，不得不俯冲上垒以弥补失去的时间。实际上，有分析数据显示，尽管曾5 次赢得大联盟“金手套奖”，但基特其实只是一个表现极其一般的防守游击手。基特奋力拼搏的比赛得到的荣誉不会太多，因为这些比赛算不得惊心动魄，若是换了奥奇• 史密斯这样的防御游击高手，拿下这些比赛可能就是轻而易举的事。
不论能力范围如何，总会有任务等着我们竭尽全力去完成。如果我们用最难的任务来判断自己的能力，那么轻而易举且按照常规完成的事就会被视为理所当然的了。
历史上最引人注意的正确预测来自英国天文学家埃德蒙• 哈雷，他在1705 年曾经预测，一颗巨大的彗星会在1758 年回归。曾经有很多人怀疑过他的预测，但彗星恰恰就在1758 年回归了。在古代，彗星被视为上帝赐予的完全无法预测的事物，如今却成了有规律且可预测的事物。
天文学家预测，哈雷彗星下一次最接近地球的时间是在2061 年7 月28 日，到那个时候，现在困扰着我们的自然界的许多预测难题，都会在我们的知识范围内了。
自然法则并没有改变多少，只要人类知识不断积累（自从古腾堡的印刷机问世以来确实是这样），即使不能完全领悟大自然的奥秘，我们对大自然中信号的理解也会逐渐加深。
然而，如果说科学与技术是本书的主角，那么在大数据时代，人们对科技所能完成的事恐怕过于乐观了。
没有理由认为人类活动越来越可预测，同样也没有理由认为人类活动越来越不可预测。科学使得社会变得明朗，但科学同样也使得社会组织变得更加复杂。技术完全改变了人们彼此之间的联系。1990 年发明万维网的蒂姆• 伯纳斯• 李对我说：“正因为有了互联网，整个环境、所有方程式、所有信息的动态传播都发生了变化。”
大量的信息成倍增加，但有用的信息却非常有限，信号的比例正在缩小，我们需要找到更好的方法对信号和噪声进行区分。
本书讨论我们已知的部分较少，讨论更多的是已知与未知之间的差异，并向人们推荐了缩小鸿沟的策略——人们既需要迈出重大转变的步子，同时也得走好细微谨慎的步子。而重大的一步就是要求大家采用贝叶斯关于预测的概率式思考方法。

以概率的方法思考问题
贝叶斯定理的开始和结束，都是以对真实世界可能性的盖然论表达出来的。贝叶斯定理并不要求每个人都相信这个世界从本质上来讲就是不确定的，这一定理提出的时候正是牛顿运动定律成为科学典范的时候。然而，贝叶斯定理却要求人们接受这样的观点，那就是人对这个世界的主观看法确实是十分接近真相的。
贝叶斯定理主张的概率式思考方法，起初可能会让人感到有些不舒服。除非是玩牌或其他概率性游戏，否则人们不会以概率的方法思考问题。例如在数学课上，人们花在几何和微积分这样的抽象学科上的时间要大大多于花在概率论和统计学上的时间。而在现实世界的各行各业里，不确定性甚至会被误认为是不自信的表现。
当你第一次对概率进行预测时，可能不会特别准确。但有两条利好消息：第一，这些预测只是一个开始，当你得到新信息时，贝叶斯定理会指导你对你的预测进行修正。第二，有证据表明，我们可以通过学习识别各种信号改进预测。例如，军队有时就会使用这些技术训练士兵，效果相当不错。医生也会用贝叶斯定理进行医疗诊断。
与电视专家相比，效仿医生和士兵的方法可能会更好一些。
大脑在处理信息时使用的是近似法。与其说这是一种既成事实，不如说它是一种生物必要性：我们察觉到的信息远多于我们有意识进行思考的信息，我们处理信息的方式是按照规律和模式对它们进行分类。
在高度的压力下，生活的规律会慢慢被揭示出来。针对 “9•11”恐怖袭击事件的幸存者作过的一项研究发现，幸存者对他们所经历的事只能回忆起几分钟的细节，但对于“更大的环境”他们几乎完全不记得了。在这样的情况下，第一直觉和第一近似解可能非常不准确，无法意识到威胁的严重性。那些在强压下被迫做出决定的人，如在战场上的人，更容易成为带领其他人脱离险境的英雄。
在日常生活中，大脑也会尽可能地简化事物并求取其近似值。利用既有经验，这些简化和求取近似值的过程会成为有用的向导，构建起我们在日常生活中应用的可操作性知识。这两种方法并不完美，而我们也经常意识不到它们的粗糙性。
仔细思考以下7 条陈述，它们与有效市场假说和个人投资者能否击败股票市场有关。每条陈述都只是上述关系的近似值（即粗略说明），但每一条都建立在最后一条的基础上，而且越来越准确。
1. 没有哪个投资者能够击败股票市场。
2. 长期看来，没有哪个投资者能够击败股票市场。
3. 相对于其风险水平而言，长期看来，没有哪个投资者能够击败股票市场。
4. 相对于其风险水平而言，考虑到其交易成本，长期看来，没有哪个投资者能够击败股票市场。
5. 相对于其风险水平而言，考虑到其交易成本，长期看来，没有哪个投资者能够击败股票市场，除非他有内部信息。
6. 相对于其风险水平而言，考虑到其交易成本，长期看来，几乎没有哪个投资者能够击败股票市场，除非他有内部信息。
7. 长期看来，有多少投资者能够击败股票市场是一件很难说清的事，因为数据非常嘈杂，但我们知道，相对于其风险水平而言，大多数投资者都无法击败股票市场，因为股票交易存在交易成本，也就不会产生净超额回报。这样一来，除非他有内部信息，投资指数基金或许能有不错的赢利。
第一条陈述，即“没有哪个投资者能够击败股票市场”这条无限制条件的陈述，似乎极为确定。而到了最后一条则充满了不确定性，并不适合用作“车贴”式的标语，但这却是一个对客观世界更加完整的描述。
生活中处处都有近似事物，这很正常。如果你遇到一个对股票一无所知的陌生人，你告诉他，即使是在第一条陈述所描述的无限制条件的情况下，人们也很难击败股票市场，知道这一点也比一无所知好得多。
但是，一旦我们把近似误认作现实，问题就出现了，菲尔• 特罗克提出的刺猬型专家就是这样。越简单的陈述似乎越符合一般情况，越能证明更加伟大的真相或是理论。然而，特罗克发现，刺猬型专家很不擅长作预测，他们总会遗漏所有能够使生活更加真实、使预测更加准确的点点滴滴。
我们的大脑有智慧，但我们生活的宇宙更是大得令人费解。以概率的方法思考问题的优点是，我们可以借这种方法强迫自己停下来，查出数据，放慢速度，仔细思考自己想法的不足之处。随着时间的流逝，我们会发现概率法会使我们的决定更加合理。

知道自己的观点源于何处
贝叶斯定理要求我们在权衡各种迹象之前，就要指出——并且是明确地指出——这一事件发生的可能性有多大。这种预测被称作“初始观点”。
我们的初始观点从何而来呢？从理论上讲，我们希望将初始观点建立在过去的经验——最好是社会经验——的集合之上。这是市场可以扮演的有用的角色之一。
市场当然不是完美无瑕的，但绝大多数时间内群体判断都要优于个体判断。市场在权衡新迹象的时候形成了一个好的起点，在你还没有在某个问题上花费太多时间的情况下，尤其如此。
当然，市场并不适用于所有情况，将一些个案挑出来作为默认情况也是很有必要的。即使是常识，也可以作为贝叶斯定理的前提条件，与容易轻信的统计模型的输出结果进行比对。（这些统计模型虽然看似可以保证数学精确性，但其给出的都是近似结果，而且非常粗糙。）信息只有在恰当的环境下才会成为知识，没有环境，我们就无法从噪声中区分信号，我们对真相的追寻也会陷入错误判断的泥潭。
贝叶斯定理不能接受的，就是你假装自己没有任何初始观点的做法。人们应该努力减少偏见，但如果你说一点儿偏见都没有，反而暗示了你有很多偏见。预先陈述自己的观点——如“我的观点正源于此”——是诚信预测的方式，由此也可以认识到，我们对事实的感知是经过主观过滤的。

在不断的试错中进步
不断犯错，不断尝试，这或许是贝叶斯定理应用起来最容易的一个原则了：进行大量的预测。你可能不会将自己的公司或是生活赌在预测上，尤其是刚起步的时候，但这是唯一能够让自己取得进步的方式。
贝叶斯定理告诉我们，任何时候获得新信息，我们都应该更新自己的预测。简单地说就是，不断犯错，不断尝试。真正“拥有”大数据的公司，比如谷歌公司，并不会在建立模型的问题上花费太多时间。它每年会进行上千次实验，并在真正的客户身上检验它的想法。
贝叶斯定理鼓励我们权衡新信息时要遵守规律。如果我们的想法确实有价值，我们就应该建立可以证伪的假设来验证它们，并且将它们应用于预测当中。大多数时候，我们意识不到数据是多么嘈杂，所以对于最新的数据我们总是强加了太多个人偏见。政治记者经常会忘记，他们所报道的民调会存在误差幅度，而金融记者总是不能很好地向公众传达大多数经济统计数据是多么不精确。制造新闻的人往往是局外人。
但是，当我们在解决某个问题时，个人情感过多或是过于专业化，当事实发生改变而我们却无法改变时，就可能会产生相反的偏见。如果某个专家属于刺猬型，那么当数据与他的世界观不一致时，他可能会因为过于骄傲而不去改变自己所作的预测。各党派支持者总是期望他们的每个想法都能印在保险杠贴纸上，在他们承认自己对事实进行了过分简化之前，会经历各种错误。
验证想法的频率越高，就能越早地避开这些问题。眺望大海，等待着灵感迸发，想法就出现了，这是电影里才会有的情节。在真实世界中，即使已经准备就绪，想法也很少会出现，“大”想法就更不用说了。更加常见的情况是，我们只能凭借微小的、渐进式的，有时甚至是偶然出现的想法取得进步。

对可预测性的认知能力
预测之所以难做与其之所以重要的原因是一样的：预测是主观事实与客观事实交汇的产物。从噪声中区分信号既需要科学知识，也需要自知之明，比如，平静地承认我们无法预测的事物、勇敢地说出我们能够预测的事物，还有就是明智地区分二者的不同。
多年来，对于我们能否预测世界的观点经历了各种兴衰成败。一个简单的衡量标准就是，学术期刊中“可预测性”和“不可预测性”这两个词出现的频率。20 世纪之初，这两个词出现的频率相当。“大萧条”和第二次世界大战使得“不可预测”一词占据上风，而等到世界从危机中走出，“可预测性”一词便强势回归，在20 世纪70 年代达到顶峰。而最近几年，“不可预测性”一词又卷土重来，气势高涨。
对“可预测性”的认知能力受科学思潮和人类短暂的记忆力（比如记性不好的我们常会问，最近发生什么不好的事了吗？）的影响，要多于预测技能中的任何实质性改变对它的影响。我们对自己的预测有多满意和我们的预测准确与否，这两者之间或许是负相关的关系。20 世纪50 年代，世界仍因为战争而动荡不安，局势相当难以预测，而到了20 世纪70 年代，人们以为自己能够预测所有事物，但实则不能，这两个10 年相比，20 世纪50 年代的经济和科学生产力更胜一筹。
这些态度的转变所产生的影响，已经远远地超过了学术期刊的影响。如果根据英文小说中“可预测性”和“不可预测性”两个词的使用情况绘制一张图表，可能会与图2 所示几乎一致。一个不可预测的灾难，即使对我们不会产生直接影响，也会动摇我们掌握自己命运的信心。
但我们还是倾向于认为我们所作的预测比实际的要好。新千年的前12 年里，无法预料的灾难一个接着一个，实在是坎坷连连。我们想在灰烬中重生，不向命运低头，对我们的预测能力就应该多保持谦虚的态度，才能尽量避免重蹈覆辙。

文摘经济预测中不可避免地会存在偏见
如果你想进行经济预测，最好的选择就是查看平均预测或群体预测，而不是求助于某个经济学家。我对“调查”的研究显示，群体预测总是比个体预测更准确，在预测GDP增长、失业率和通货膨胀这三个方面，群体预测比个体预测的准确率分别高出20%、10%和30%。通过研究许多领域的预测结果，人们发现几乎所有的群体预测都优于个体预测。
然而，虽说群体预测优于个体预测这一观念已成为重要的经验性规律，可是当预测与事实有很大的出入时，这一观念有时就会成为蹩脚的借口。群体预测是由个体预测组成的，如果个体预测的质量提高了，群体预测的质量也会提高。另外，在现实生活中，经济群体预测的质量也很差劲儿，所以还有很大的提升空间。
大多数经济学家作预测时，会在一定程度上依赖自己的判断，而不是依据统计模型输出的信息进行预测。考虑到数据是那么杂乱，这种做法或许是有益的。波士顿联储前副总裁斯蒂芬•K• 麦克内斯曾经进行过一项研究，他发现根据统计学预测方法对人为的判断进行调整会使预测的准确率提高约15%。20 世纪七八十年代计算机开始广泛使用时，人们普遍认为统计模型能够“解决”经济预测问题。但是，改进的技术无法掩盖对经济领域理论认识的缺乏，只会让经济学家更加快速、更加煞费苦心地将噪声误认为是信号。看似前景不错的预测模型在某些方面一败涂地，最后惨遭淘汰。在其他领域，比如那一时期的地震预测，也会遭遇这样的状况。
援引某个人为判断也会带来潜在的偏见。人们在进行预测时，会倾向于使预测满足自己的经济动机或政治信仰。人们或许太过自负，即使事实和环境要求他做出改变，他也不愿对自己的预测进行修正。哈祖斯告诉我：“我认为人们绝对有这样的倾向，急切地希望事情能按照自己希望的方式发展下去。”
是否有经济学家更擅长把握这种权衡的度？预测出上一次经济衰退的经济学家是不是也可以预测出下一次经济衰退？这个问题有一个非常有趣的答案。
用于评判预测技能的统计测试，在应用于“调查”时给出了否定的结果。也就是说，从这份调查中，人们似乎找不到证据证明某些经济学家总是比其他同行出色。然而，对另一个小组——“蓝筹经济调查报告”——的研究却总能给出肯定的结果。经济预测中显然少不了运气的成分，暴躁或是顽固的经济学家偶尔也会做出正确预测。但是对“蓝筹经济调查报告”的多项研究发现，长期来看，某些经济学家似乎确实要比其他同行略胜一筹。
这两份调查有什么不同呢？“专业预测人员情况调查”是匿名操作的：每位经济学家随机分配一个身份标识号码，他们在不同的调查中会一直使用这个号码，但是不会暴露自己的身份和职业。而在 “蓝筹预测调查报告”中，每个人的预测都标有其姓名和曾经获得的荣誉。
当预测结果标有自己的名字时，你的动机就会发生改变。比如，如果你在一家名不见经传的小公司工作，你的那些大胆预测就会备受重视，不管这个预测是准确的还是离谱的，你都会受人关注，这是合情合理的。而像高盛这样的大公司，为了能达成一致意见，预测反而会比较保守。
事实上，在“蓝筹经济调查报告”中，已经发现了这个特点：名气越小，作预测时就越不怕冒险。一项研究把这一现象称为“合理偏见”。即使知道这个预测十分冒险，你还是会为“大比分”放手一搏，这样做是可以理解的。反过来，如果你已经声名鹊起，即便自己手头的数据要求你做出大胆的预测，你可能也不愿意做出过于大胆的预测。
这两种对声誉的关注都有可能使你远离做出最诚实、最准确的预测这一目标，甚至还会使群体预测更加糟糕。整体来看，在对GDP增长率和失业率的预测上，“专业预测人员情况调查”的匿名参与者略优于参与“蓝筹经济调查”的那些名誉至上的受访者。

2011 年日本大地震引发的思考
将噪声误认为信号的倾向，有时会给现实世界带来极可怕的后果。在日本，尽管地震活动极其频繁，但2011 年那次灾难性的地震还是让这个国家措手不及。福岛核反应堆是按照可抵御8.6 级地震的标准设计的，无法承受震级高达9.1 级的地震。考古资料表明，2011 年由地震引发的约40 米高的海浪在历史上曾经引发过多次海啸，但这次人们明显忘记了或者根本无视这些惨痛的案例。
9.1 级地震在全世界都很少见，没人能确切地预测到这样的地震会发生在哪个10 年里，更不用说具体的日期了。而在日本，一些科学家和中央计划员却排除了近期发生地震的可能性。这一点就反映了日本的地震预测模型是过度拟合模型。
在图5–6A中，我画出了2011 年日本福岛地震震中附近发生地震的历史频率。这些数据中的地震级别逐渐加大，却没有达到3 月11 日的9.1 级。通过看图你会发现，数据几乎遵循着古登堡– 里克特法则的那种直线预测模型，然而，在7.5 级处出现了一个拐点，而且，该地区自从1964 年发生了一场震级达8.0 级的地震后，再没有发生过震级更大的地震，于是，这条线似乎开始向下弯曲了。
究竟该如何连接这些数据点呢？如果严格依据古登堡– 里克特法则，就要忽略图像中的拐点，沿直线将数据点连接起来，如图5–6B所示。若是按地震学家口中的“特性拟合”法（见图5–6C），即描述这一地区地震发生的历史频率，那么，就会把那个拐点当成是真实情况，十分肯定这一地区发生7.6 级以上地震的可能性不大。
看似无害的决定，却会导致大相径庭的结果，从日本福岛的例子来看，不同的选择会关系到是否认为这一地区会发生9.1 级大地震。特性拟合模型暗示9.1 级地震需要约13 000 年才可能发生一次，这样看来，这一地区几乎就不可能发生这样大级别的地震。另外，古登堡– 里克特法则却预测，9.1 级地震平均每300 年才可以预见一次，确实不常见，但也不是绝无可能，风险还是存在的，而像日本这样富有的国家，是能够为此作好准备的。
最近，特性拟合模型和日本东北部地区的地震记录拟合得更加紧密了。但是正如我们所知，完全吻合未必就是一件好事，很有可能会变成过度拟合模型，而且，在匹配真实关系时，这种模型会表现得更糟。
在这种情况下，过度拟合的模型会严重低估这一地区发生灾难性大地震的可能性。特性拟合的问题就在于它依靠的是十分微弱的信号。之前提到，日本福岛地震发生前的45 年内，日本东北部地区从未发生过8 级及以上的地震。然而，这些都还只是以稀有事件为开端的事例：古登堡– 里克特法则预测日本东北部地区约30 年才会发生一次稀有事件，而30 年一遇的事件拖到45 年的时候发生也没什么稀奇，就算没有发生，也不奇怪。就好比一个击球率达0.300 的击球手，某天状态不好，输赢比达到了5 ∶ 0，这也不足为奇。另外，日本东北部地区发生过好几次中等级别达到7.0 级的地震，当世界其他地区出现类似情况时，常预示着会有更大级别的地震发生，那又有什么理由认为日本东北部地区会是个特例呢？
实际上，日本以及其他地区的地震学家为此做出了合理解释。比如，他们表明该区域的海底构造特殊、年代久远、温度相对较低且密度较大，能够阻止这样的大地震形成。另一些地震学家则观察到2004 年以前，这种类型的海底从来没有发生过9 级地震。
这类结论有点儿像认定了某个来自宾夕法尼亚的家伙不可能会中彩票的头等奖，因为过去的3 周无人获此大奖。9 级地震就像彩票头奖，中奖人数少，时间间隔长。实际上，2004 年之前，全世界有记载的9 级地震总共才发生3 次。9 级地震究竟在何种情形下才会发生，关于这个问题，没有足够的数据来支撑高度具体的结论。日本不是这一模型失败的首例，苏门答腊岛也遇到过相似的问题。有一段时间，苏门答腊岛发生了一系列震级达到7 级的地震，随后却并没有发生更大级别的地震。但在2004 年12 月，一场震级达9.2 级的特大地震袭击了苏门答腊岛。
古登堡– 里克特法则并不能预测地震的具体时间，无论是苏门答腊岛地震还日本福岛地震都是这样，但是这一法则考虑到了发生地震的概率。目前，许多更精细的地震预测活动都失败了，古登堡– 里克特法则的表现都还不错。


基本信息

• 出版社: 中信出版社; 第1版 (2013年9月10日)
• 外文书名: The Signal and the Noise
• 平装: 432页
• 语种： 简体中文
• 开本: 16
• 条形码: 9787508641140
• 商品尺寸: 23.6 x 17.6 x 2.8 cm
• 商品重量: 798 g
• 品牌: 中信出版股份有限公司
• ASIN: B00EF132EQ
  

谢谢推荐

虽然不是专业交易员，但是可以从内容了解有关操盘中的技巧点

过滤低概率信号

[s:132][s:132][s:132]

顶

回复看看

看看怎么样

继续，学习了

谢谢分享！！！！！