友情提示:如果本网页打开太慢或显示不完整,请尝试鼠标右键“刷新”本网页!
女士品茶-第6部分
快捷操作: 按键盘上方向键 ← 或 → 可快速上下翻页 按键盘上的 Enter 键可回到本书目录页 按键盘上方向键 ↑ 可回到本页顶部! 如果本书没有阅读完,想下次继续接着阅读,可使用上方 "收藏到我的浏览器" 功能 和 "加入书签" 功能!
研诖蠡嵘闲亮艘黄畚模馕豆槟赏评淼穆呒罚═he Logic of Inductive Inference)。大会主席是皇家统计学会当时的会长。皇家学会会员M?格林伍德(M。 Greenwood)教授。费歇尔的论文印出来共计16页,另外还呈上一份结构严谨、条理清晰的论文摘要,概括了他最新的研究工作。第一位发言的评论人是A?L?鲍利(A。 L。 Bowley)教授,他站起身来提议表达谢意,接着发表了他的感言:
我很高兴有这样一个机会向费歇尔教授表示感谢。不仅是因为他刚才为我们宣读的论文,更重要的是因为他对统计学的全面贡献。今天借此良机,我谨代表所有我熟悉的统计学家,对他带给统计学研究的无与伦比的热忱,对他提出的数学工具的威力,对他在这里、在美洲和在世界各地的广泛的影响力,以及对他深信做为数学的正确应用所发挥的激励作用表示钦佩之意。
K?皮尔逊当时不在讨论者之列。此前3年,他已从他任职的伦敦大学退休。在他的领导下,高尔顿生物统计实验室已经成长为大学里一个正式的生物统计学系。他退休后,该系一分为二,费歇尔受命担任其中之一的优生学系的系主任,另一个则是规模缩小了的生物统计学系,系主任由K?皮尔逊的儿子E?皮尔逊担任,同时他还负责高尔顿实验室的工作,并兼任《生物统计》杂志的编辑。
费歇尔与小皮尔逊的私交不大好,这完全是费歇尔的过错。他对E?皮尔逊的态度带着显而易见的敌意。小皮尔逊这位温文尔雅的先生,一则是代父受过,因为费歇尔不喜欢他的父亲老皮尔逊;二则是代合作伙伴耶日?奈曼受过,费歇尔特别讨厌奈曼(奈曼与E?皮尔逊的合作将在第10章介绍)。尽管如此,小皮尔逊倒是极其尊重并高度评价费歇尔的工作。多年后他曾写道,他早就习惯了费歇尔从不在著述中提到他的名字。但是,尽管两人之间关系紧张,尽管两系之间存在着争夺权限的纠纷,费歇尔和E?皮尔逊都清寒是派学生去听对方的课,竭力避免公开的冲突。
至于K?皮尔逊,此时的他已被学生们称之为“老家伙”了。他拥有一个研究生助手,并保留着一间办公室,但他的办公室无论离两个系的办公地点还是离生物统计实验室,都有一段距离。从美国来的邱吉尔?艾森哈特跟随费歇尔和E?皮尔逊进修一年,这期间他曾想去拜访K?皮尔逊,但他的同学和系里的同事都极力劝阻他。问他,为什么不去请教才华横溢的费歇尔,竟然想去看K?皮尔逊?去看那个老家伙能有什么新的收获?令艾森哈特万分遗憾的是,他在英国期间未曾去拜访K?皮尔逊,而就在那一年老皮尔逊去世了。
费歇尔学派与皮尔逊学派:两种统计观
哲学上的分歧使费歇尔与K?皮尔逊在研究统计分布的方法上分道扬镳。K?皮尔逊把统计分布视为对他所分析数据的集合的真实描述。而按照费歇尔的观点,真实分布只是一个抽象的数学公式,搜集的数据只能用来估计这个真实分布的参数。既然所有的估计都有误差,那么费歇尔提出来的一些分析的手段,可以把这种误差的程度降到最低,或者可以更经常地得出比其他任何手段都更接近真实分布的答案。
在20世纪30年代,看上去是费歇尔在这场辩论中获胜了,但到了70年代,皮尔逊学派的观点东山再起。直到写这本书时,统计学界在这个问题上已经分裂成两派,尽管K?皮尔逊本人几乎不接受他的天才继承者们的观点。费歇尔用他条理清晰的数学头脑廓清了残存在K?皮尔逊观点中大量的混淆,正是这些混淆使得K?皮尔逊没有意识到自己观点的深层本质,因此,后来东山再起的皮尔逊方法已经无法回避费歇尔的理论成果。当把统计模型应用于现实时,存在着一些很严重的问题。因此,本书打算在多处探讨这些哲学问题,这里就是其中的一处。
K?皮尔逊把测量值的分布视为一个真实的存在。在他的方法里,对于一个给定的情况,有一个庞大的然而却是有限的(finite)测量值的集合。在理想情况下,科学家会搜集所有的这些测量值,并确定其分布参数。如果无法搜集到全部测量值,那么就搜集一个很大的并且具有代表性的数据子集(subset)。由这些大量的、且具代表性的子集计算出来的参数会与完备集合的参数相同;此外,那些用来计算完备集合参数值的数学方法也适用于有代表性的子集的参数估计,而不会有严重的误差。
但依照费歇尔的观点,测量值是从所有可能出现的测量值中随机选取的,依据随机选取的数据计算得出的一个参数的任何估计值,其结果本身也具有随机性,因此,也会服从一种概率分布。为了能清楚地区分参数的估计值与参数本身这两个不同的概念,费歇尔把这个估计值称为“统计量”(statistic);不过现代术语往往称其为“估计量”(estimator)。假设我们有两种不同的方法可以得到一个统计量,以估计某个特定的参数。例如老师想了解一个学生对知识掌握到什么程度(参数),就在全班进行了几次测验(测量),并且计算出测验的平均分数(统计量)。那么,究竟是用中位数(median)作统计量“更好”呢,或是取这几次测验中的最高分与最低分的平均值“更好”呢,还是去年最高分与最低分然后把其余的测验成绩加以平均“更好”?
既然统计量是随机的,那么讨论这个统计量的某个值的准确性到底有多大是毫无意义的。我们需要的是一个判别的准则,这个准则以统计量的概率分布为依据,就像K?皮尔逊所指出的那样,对一组测量进行估计,必须根据它们的概率分布,而不是根据个别观测值。评判哪一个是好的统计量,费歇尔提出了如下三个准则:
一致性(consistency):得到的数据越多,计算出来的统计量接近参数真值的概率就越大;
无偏性(unbiasedness):如果用很多组不同数据集多次测量某一特定的统计量,那么该统计量的这些测量值的平均数应该近似于这个参数的真值;
有效性(efficiency):统计量的值不会完全等于该参数的真值,但是用来估计一个参数的大多数统计量应该与真值相去不远。这些阐述似乎有点含混不清,这是因为我在竭尽全力地把一些本来精确的数学公式,用一些一般性的文字表述出来。实际上,费歇尔的这些准则都可以用恰当的数学式来表达。
费歇尔之后的统计学家又提出了其他的准则,费歇尔自己也在后来的论文中提出了一些次要准则。剔除所有这些准则中的混乱不清的东西之后,剩下的最重要的元素就是,应该把统计量本身视为随机的,而好的统计量一定有好的概率特性。对于某一特定数据集,我们永远不知道一个统计量的值是否正确,只能说我们用一种方法得出来一个符合这些准则的统计量。
在费歇尔提出的三项基本准则中,“无偏性”准则最引人关注,这或许是由于“偏误”(bias)这个词带有某种贬义。一个有偏的(biased)统计量似乎是谁都不想要的某个东西。美国食品和药物管理局的正式指导准则就提出警告,要大家使用“避免有偏”的方法。有一种非常奇怪的分析方法(将在第27章里详细讨论),叫做“意向治疗”(intent to treat),已经成为占优势的医学试验法,因为,这种方法仍能保证结果是无偏的,尽管它忽略了有效性的准则。
事实上,一些有偏的统计量的应用常常极为有效。据费歇尔的研究,用来确定净化城市供水系统中氯浓度的标准方法,依据的就是一个有偏(但满足一致性与有效性)的统计量。所有这一切也是科学社会学(the sociology of science)中的一类研究课题——为准确定义一个概念而创造出来的一个词,怎样将情感好恶的包袱也带到了科学中来,并对人们的行为产生了影响。
费歇尔的极大似然法
当费歇尔研究了这些数学问题之后,他认识到,用K?皮尔逊的方法来计算分布参数所生成的统计量未必是一致的,而且经常是有偏的,他也认识到还存在着更加有效的统计量可以利用。为了得到一致且有效(但未必无偏)的统计量,费歇尔提出了被他称之为“极大似然估计量”(maximum likelihood estimator; MLE)的一个概念。
随后,费歇尔证明了MLE总是一致的,而且证明了如果人们认可几个被认为是“正则性条件”(regularity conditions)的假定,那么MLE是所有统计量中最有效的。此外,费歇尔还证明了,即便MLE是有偏的,也可以计算出其偏差的大小,然后将其从MLE的估计值中减掉,从而得到一个一致、有效且无偏的修正统计量 。
费歇尔的似然函数(likelihood function)席卷了整个数理统计学界,迅速成为估计参数的主要方法。极大似然估计只存在一个问题,就是在试图求解MLE时所涉及的数学问题,其难以对付的程度确实令人望而生畏。费歇尔的论文里写满了一行又一行的复杂代数式,用来说明不同分布的MLE数学公式的推导过程。他的方差分析和协方差分析的运算法则显示出他极高的数学造诣,去处过程中他设法在多维空间里利用巧妙的代入与变换,导出最终为使用者所需要的MLE的计算公式。
尽管费歇尔具有非凡的独创性,但在多数情况下,对于MLE的潜在使用者来说,仍然难以驾驭所必需的高深数学知识。20世纪后半叶的统计学文献中有许多非常睿智的文章,它们运用简化的数学方法,在某些实例中得到了相当理想的MLE的近似值。在我自己的博士学位论文里(大约写于1966年),我只能将就着不得不接受这样一个事实,即只有在能够得到非常多的数据时,我的问题的解才是好的。假定我有大量的数据,就能把似然函数简化到可以计算出挖MLE值的程度。
后来出现了电脑。电脑并非人脑的竞争对手,电脑只是一个巨大而有耐力的数字处理设备。它从不会厌烦,从不会困倦,也不会犯错误。它一而再、再而三地重复着做那些同样繁琐的计算,数百万次地一再重复。用所谓的“迭代算法”(iterative algorithms),它能算出MLE值。
迭代算法
最早的一种迭代数学方法好像出现在文艺复兴时期(虽然数学史学家大卫?史密斯(David Smith)在他1923年出版的《数学史》(History of Mathematics)中声称,早在古埃及和中国的文字记载中就已经发现了这种方法的实例)。当资本主义曙光初露之时,在意大利北部刚刚建立起来的商业银行或商号中就碰到一个基本问题:每个小小的城邦或国家都有自己的倾向,所以商号必须能算出如何在各倾向之间兑换;比如说,如果汇率是雅典钱币14德拉克马(Athenian drachma)换一个威尼斯币达克特(Venetian ducat),那么用威尼斯的127达克特买来的一堆木材,价值多少雅典的德拉克马呢?如今,我们有能力用代数符号来解答这个问题。还记得高中的代数吗?若X等于雅典德拉克马的值,则……
尽管当时的数学家已经开始发展代数学,这种简单的计算方法仍不能为大多数人所用。银行家用的是一种叫做“试位法”(rule of false position)的计算方法。由于每家商号都确信自己的换算规则是“最好的”,所以每家商号都有自己的店员。罗伯特?雷科德(Robert Recorde,15101558),这位16世纪的英国数学家,在普及代数符号上功绩卓著。为了把代数的威力与试位法则相对照,他在1542年写了一本书“The Grovnd of Artes”,书中说明了试位法:
Gesse at this woorke as happe doth leade。
By chaunce to truthe you man procede。
And firste woorde by the question;
Although no truthe therein be don。
Suche falsehode is so good a grounde。
That truthe by it will soone be founde。
From many bate to many more;
From to fewe take to fewe also。
With to much ioyne to fewe againe;
To to fewe adde to manye plaine。
In crosswaied multiplye contrary kinde;
All truthe by falsehode for to fynde。
雷科德的这篇16世纪的英文说的是:你先猜一个答案,并把它代入问题中,由此你会得到一个结果,而它和你想要的结果之间会有些差异。有了这个差异,接着你可以用它再产生一个更好的猜测,再用这个新的猜测得到一个新的差异,这个差异又会产生出另一个新的猜测值。如果在计算这个差异的过程中,你做得足够聪明,这一连串的猜测值会最终接近正确的答案。对试位法来说,只要迭代计算一次,第二次猜测通常总能得到正确答案;而费歇尔的极大似然估计法,可能要迭代数千次甚至数百万次才能得到一个理想的答案。
然而,对一台任劳任怨的电脑,区区几百万次的迭代又算得了什么呢?在当今世界,不过是一眨眼的工夫。但在不久前,电脑的功能还不够强大,速度也很慢。在60年代末,我有个可以编写程序的台式计算机,是一种可以做加、减、乘、除的原始的电子工具。不过它还有个容易很小的内存,可以放进去一个程序,让它完成一系列的自述去处。这些运行的功能之一还能改写程序,因此,可以在这台可编程的计算机上运行迭代计算,只是要花很长的时间罢了。一天下午,我编好了计算机程序,检查了前几个步骤,确信我写的程序准确无误,然后,关掉办公室的灯就回家了。与此同时,这个编好了程序的计算机就开始了加减乘除的去处,静静地从它的电子结构内部发出喃喃的低语语,而且每隔一会儿就会按程序打印出一个计算结果。连接在计算机上的打印机是一个噪音很大的压缩设备,打印的时候会发出很响的“卡嗒、卡嗒”的声音。
那天晚上,保洁员到办公楼里清扫,其中一个人带着扫帚与废纸篓走进我的办公室。黑暗中,他听到了一种“嗡嗡嗡”的声音,他能看见在一遍又一遍进行加减的计算机上有只眼睛发出忽明忽暗的蓝光。突然,机器醒了过来,“卡”地响了一声,接着又“卡、卡、卡……卡嗒、卡嗒、卡嗒、”地响起来。后来他告诉我,那可真是一次让他毛骨悚然的经历。因此他要求我,如果下次计算机正在运行时,让我一定在办公室门口留一个提示纸条通知他们。
今天的电脑运行快得多了,甚至可以分析更加复杂的似然函数。哈佛大学的纳恩?莱尔德(Nan Laird)和詹姆斯?韦尔(James Ware)教授发明了一种异常灵活、功能异常强大、叫做“EM演算法”的迭代过程演算法。在我订阅的统计学期刊里,每一期新杂志都会介绍某人如何采用他或她的EM演算法解决了一度被认为无法解决的难题。另有一些算法,名字颇富想象力,像“模拟退火法”(simulated annealing)、“克利金法”(kriging)等等,也不时地出现在文献中;还有“大都会”(Metropolis)算法或“侯爵”(Marquardt)算法,以及其他一些以发明者自己命名的算法。有一些很复杂的软件包,用成千上万行的程序编码,使这些迭代运算以“用户界面友好”的特点变得易于操作。
费歇尔的统计估计方法大获全胜,极大似然法统计了世界,而K?皮尔逊的方法则被尘封在被遗忘的历史角落里。然而,就在这个时候,20世纪30年代,当时费歇尔对数理统计理论的贡献终于得到了承认,他40多岁并且正值其事业鼎盛时期,就在那一刻,出现了一位名叫奈曼的年轻的波兰数学家,他对费歇尔一味遮掩却并没有真正解决的某些问题提出了质疑。
第8章 致死的剂量
每年的3月,生物统计学会都要在美国的南部城市召开一次春季会议,我们这些在北部生活和工作的人就借此机会南下,到路易斯维尔(Louisville)、孟斐斯(Memmphis)、亚特兰大(Atlanta)或新奥尔良(New Orleans),在会议结束后回家前的几周,去呼吸春天的清新空气,观赏原野中盛开的鲜花和果园里花繁叶茂的果树。同其他的科学会议一样,会议期间会有三到五位论文作者在会上口头宣读他们的论文,然后与会者与演讲人就论文的内容展开热烈的讨论,询问某些思想的出版,或提出其他可以替代的方法。通常,上午的会议分成两个分会场同时进行。最后的会议一般在下午5点前后结束,与会者回到宾馆各自的房间。一个小时或一个半小时之后他们又会分头聚在一起,相约着出去找一家喜欢的餐馆共进晚餐。
开会的当天,一般人总能在会场上遇到一些朋友,并绝好了会后一同去吃晚饭。但是有一天我却错过了约人就餐的时机。我和那天下午的一位论文演讲者进行了一场长时间的且饶有兴趣的讨论,他是当地人,散会后可以直接回家,因此我没有邀他一起吃饭。我们的谈话结束的时候,大厅里已经空荡荡的,人都走光了。我联系不上任何人,就回到房间给太太打电话,与孩子们在电话上聊了几句,随后就下楼到宾馆的前大厅,心想说不定会碰上一伙我认识的人,可以和他们一道活动。
但是,大厅里几乎空无一人,只有一个身材高大的白头发男人,他独自坐在一张罩着椅套的椅子上。我认出他是切斯特?布利斯(Chester Bliss),我知道他发明了一些基本的统计模型。那天上午在我参加的那个分会场,他还宣读了一篇论文。我朝他走过去,做了自我介绍,并称赞他上午的发言。他邀请我坐下,我们就坐在那里聊了一阵子统计与数学。不错,我们的确是在聊着这样的话题,我们甚至可以用这个话题来开玩笑。显而易见,我们俩谁也没有晚餐的约会,于是我们决定一起去吃晚饭。他可真是个令人愉悦的就餐伙伴。那天的晚餐,我听他讲述了自己丰富的阅历。以后的几年,我们常在开会的时候碰面,有时还会相约一同用餐。他在耶鲁大学的统计系任教,所以,每当我参加由耶鲁大学统计系主办的研讨会时,就经常能见到他。
布利斯出身于美国中西部一个殷实而融洽的中产阶级家庭,父亲是医生,母亲掌管家务,有几个兄弟姐妹。他起初对生物学感兴趣,念大学时学的是昆虫学。20世纪20年代末,他大学毕业后,以一个昆虫学家的身份供职于美国农业部,并且不久就参与 了研制杀虫剂的工作。很快,他认识到,在田间试验杀虫剂会受到许多无法控制变量的干扰,使结果难以解释,于是,他把昆虫带到实验室里,做了一系列的实验。这时,有人把费歇尔所写的《研究工作者的统计方法》一书介绍给他,以此为起点,他一边努力去领悟费歇尔在这本书中介绍的许多统计方法的深层次内涵,一边又阅读了费歇尔更多数学论文。
概率单位分析
在费歇尔统计方法的引导下,不久,布利斯说开始了他在实验室内的实验。他把昆虫分成几组,养在广口玻璃瓶里,然后用不同成分和不同剂量的杀虫剂来实验。在他做这些实验的过程中,发现了一个值得关注的现象:无论他配制的杀虫剂尝试有多高,在用药之后总会有一两只昆虫还活着;此外,无论他怎么稀释杀虫剂,即便只是用了装过杀虫剂的容器,试验结果也总会有几只昆虫死掉。
有了这些显著的变异,如果能依据皮尔逊的统计分布建立一个数学模型来分析杀虫剂的作用,这将是非常有用的。但是如何建立这个模型呢?你很可能会回想起高中代数课上,当书本翻到解文字题时那令人头疼的时刻:A先生和B先生共同在静止的水中划船;或者在平稳流动的水中逆流而上;或者他们会把油与水混在一起;或者让他们来来回回地运球。无论哪一种问题,这种文字应用题总是给出一些数字,然后问一个问题,可怜的学生就必须把这些文字转换为数学公式,并解出未知数x。你或许能回想起当初是如何哗哗地翻查着教科书,拼命地寻找一个类似的并且已经解出答案的例题,然后把文字应用题的新数字塞进这道例题所用的公式中去。对高中的代数课而言,总有人已经把相关问题的数学公式列了出来,要么老师知道这些数学公式,要么能在与教科书配套的教师手册里找到这些公式。然而,试想有这样一个文字应用题,没有人知道如何将它转化为数学公式,没有人知道问题当中哪些数据是多余的,哪些应该是没用的,而一些至关重要的信息又常常缺失,况且教科书中也没有事先已经解出来的类似例题。这就是当你设法把统计模型应用到现实生活中去的时候所面临的情景,这也正是当布利斯打算采用概率分布这种新的数学思想来分析他的杀虫剂实验时所遭遇的困境。
为此,布利斯发明了一种他称之为“概率单位分析”(probit analysis)的方法,这项发明需要一种非凡跨越的原创性思想。这种方法中的任何思想,甚至哪怕是应该如何去做的启示,都未曾出现在费歇尔的“学生”的、亦或其他什么人的著作中。他之所以使用“概率单位”�
快捷操作: 按键盘上方向键 ← 或 → 可快速上下翻页 按键盘上的 Enter 键可回到本书目录页 按键盘上方向键 ↑ 可回到本页顶部!
温馨提示: 温看小说的同时发表评论,说出自己的看法和其它小伙伴们分享也不错哦!发表书评还可以获得积分和经验奖励,认真写原创书评 被采纳为精评可以获得大量金币、积分和经验奖励哦!