吴喜之老师统计课笔记整理与随感

引子

什么是完全属于自己的东西?

其实很多东西都难以把握,而完全属于自己的东西,就是真正重要的能力——快速自学的能力和独立思考的能力。外部环境和他人无法夺走你的能力,知识与爱心。爱人如己就是对别人的尊重(谢谢吴老师的这句话)。

什么是学习统计真正需要的东西?

统计思维到底是什么

统计学并不同与数学。同时对于心理学、医学专业来说,传统的统计学知识,也并不适用于硕博士所面向的科研工作——当然,对于工作场景下的差距也许就更大了。从数学的角度来说,数学是假定下的思考与推导,而这并不同于统计学思维。从传统的统计学知识角度来看,我们则是要摒弃陈旧的被灌输的概念,而掌握真正的统计学。那么什么是真正的统计学呢?实质上就是如今的数据科学:一门研究收集、分析、展示和解释数据的科学。

数据科学需要的是什么

数据科学所需要的,是:

  • 数学性的严格思维逻辑与归纳能力
  • 泛型编程能力(即熟悉编程的基本思想,而不仅仅是一两种语言)
  • 专业领域知识

由于在数据科学的相关工作中,我们常常要整合现有的数据资源,并根据需求采用不同的分析方法,解决面临的实际问题。这就意味着,我们很难在工作场景中,去面对我们课本上的理想状态——数据不是整齐的,也许都不是结构化的;数据本身并不满足选用的分析方法的典型条件,或者是常规的数据分析方法并不能解决问题;甚至连工作环境可能都并没有配置好的 Python、R ,这就意味着,数据分析人员不仅要熟练掌握编程方法以高效地清洁数据、整合分析方法、开发新的分析方案,同时更要高屋建瓴地从基本思想与概念的角度,去理解使用编程方法处理数据的流程,从而达到对于常用的编程工具都有分析思路,并能在借助文档的基础上完成分析过程,如此才能适应各种工作场景。而由于数据分析的工作本身,就是处理数据流的过程,很容易就可以从中抽象出典型的分析过程,所以这一点并不难以达到。

解决实际问题时,专业领域知识则最为重要。对于问题应该如何定义,应当如何选择指标并且进一步量化,分析中应当提出什么样的假设,结果应该如何去解决,分析的信效度又当如何去衡量,这一系列疑问大多需要通过专业知识,或在专业知识与数据处理相关知识的配合下予以解决。而其中的每一点,都值得展开去探讨。

统计学中的一些典型问题

吴老师在课程中举了一些统计学的应用中的常见误区,以提醒我们从更正确的角度理解统计学的基本概念。

假设检验的滥用

有时候我们会得到不能拒绝零假设的结果,那时候能不能接受零假设呢?不能。

不能拒绝零假设时,只是没有充足的证据拒绝零假设,从而得不到拒绝零假设时犯错误的概率这样的信息,但不可能有接受零假设的结论。统计学永远不可能证明任何假定,只能在一定概率上拒绝不正确的假定并给出犯错的概率(p值)。而凡是无法拒绝的假设,我们只能说证据不足,但并不能说可以接受零假设(也因此,在心理学研究中,我们得到统计结果并不显著时,也不能说效应不存在,这样的结果并不能成为结果)。

p小于多少时才算显著?

p应当小于多少时才算显著,这个问题完全依赖于问题本身。对于不同的需求,容错率是不同的,因此需要根据实际问题问题出发——也就是专业知识所需要解决的问题。

置信区间的含义

置信区间所指的是从总体中抽取无数个样本后,有多大的概率使样本的统计量处在置信区间当中。但是并不能说单个样本的统计量有多大的可能在这个范围当中,因为当样本抽取以后,统计量已经成为定值,并不能用概率描述。类似的例子如天气预报,我们可以预报明天的降水概率是50%,但当明天已到(或已过),降水已成事实,就不能用概率描述。

统计方法的假定

每种统计方法,都存在着假定,而这些假定有有形的,更有无形的。例如最小二乘法线性回归,我们已经知道的基本假定包括需要确定模型是线性的,样本点是独立且同分布的,样本本身符合正态分布或为大样本的。

而更需要注意的,是无形的假定。例如解释模型时,自变量的系数是指其他自变量不变的情况下,该自变量增加一个单位时因变量的变化程度,但该说法的要基于因变量间相互独立的前提,而在实际情境中很难遇到(马克思主义告诉我们说,事物是普遍联系的嘛)。因此系数在实际工作中指导意义不大(所以我们确实也很少用)。

同时一些模型的检验方法,通常也很难达到检验效果,因为分析结果常常不符合实际情境,且检验方法通常都是自己检验自己(如R^{2} 作为检验标准,当R^{2} = 1 理论上最好,但是容易出现过拟合,数据稍微变换,就有可能出现差异)。因此最佳的数据检验方法是交叉验证(Cross Validation,CV),因为使用该方法无需任何前提假设。常见的留一、分半、十折等都可以按需选用。尤其对于脑成像研究来说,不妥当的实验设计,可能会使每个被试的成像结果都有很大的差异,而交叉验证则可以快速验证数据质量。

统计量本身并不能做回归等数据分析

我们常在一些广泛的调查中遇到这类问题,对各省市区等收集到的数据,首先进行了一些描述统计后,再对统计量本身进行了假设检验等分析。但是实际上收集到的数据并不是样本,而是汇总的量,这些量不符合正态性亦不独立,任何超出描述性的方法都值得怀疑。

Avatar
Xiaokai Xia
Ph.D. candidate

A doctor of TCM with Data Science and Psychological Counseling is learning psychology.