显著性检验（significance test）就是事先对总体（随机变量）的参数或总体分布形式做出一个假设，然后利用样本信息来判断这个假设（备择假设）是否合理，即判断总体的真实情况与原假设是否有显著性差异。或者说，显著性检验要判断样本与我们对总体所做的假设之间的差异是纯属机会变异，还是由我们所做的假设与总体真实情况之间不一致所引起的。 显著性检验是针对我们对总体所做的假设做检验，其原理就是“小概率事件实际不可能性原理”来接受或否定假设。
抽样实验会产生抽样误差，对实验资料进行比较分析时，不能仅凭两个结果（平均数或率）的不同就作出结论，而是要进行统计学分析，鉴别出两者差异是抽样误差引起的，还是由特定的实验处理引起的。
基本简介
显著性检验即用于实验处理组与对照组或两种不同处理的效应之间是否有差异，以及这种差异是否显著的方法。
常把一个要检验的假设记作H0,称为原假设（或零假设） (null hypothesis) ，与H0对立的假设记作H1，称为备择假设(alternative hypothesis) 。
⑴ 在原假设为真时，决定放弃原假设，称为第一类错误，其出现的概率通常记作α；
⑵ 在原假设不真时，决定不放弃原假设，称为第二类错误，其出现的概率通常记作β
(3)α+β 不一定等于1。
通常只限定犯第一类错误的最大概率α， 不考虑犯第二类错误的概率β。这样的假设 检验又称为显著性检验，概率α称为显著性水平。
最常用的α值为0.01、0.05、0.10等。一般情况下，根据研究的问题，如果放弃真假设损失大，为减少这类错误，α取值小些 ，反之，α取值大些。
目的
为什么要进行显著性检验进行显著性检验是为了消除第一类错误和第二类错误。通常情况下，α水平就是第一类错误。第一类错误是零假设为真却被错误拒绝的概率。第二类错误()是零假设为误却被错误接受的概率或是研究假设为真却被拒绝的概率。如果P值小于某个事先确定的水平，理论上则拒绝零假设，反之，如果P值大于某个事先确定的水平，理论上则不拒绝零假设。常用的显著性水平是0.05，0.01和0.001。不同的水平各有优缺点。水平越小，判定显著性的证据就越充分，但是不拒绝错误零假设的风险，犯第二类错误的可能性就越大，统计效力(就越低。选择水平不可避免地要在第一类错误和第二类错误之间做出权衡。如果犯第一类错误造成的后果不严重，比如在试探性研究中，我们可以将α水平定得高一些，如0.05或0.1。如果研究样本很小，为了提高统计效力，我们在某些研究中也不妨提高口水平。但是，如果犯第一类错误造成的后果很严重，比如我们要基于某项研究发现决定是否在全国推行某项教学改革，我们则需要将α水平定得低一些，如0.01或0.001。
原理
无效假设
显著性检验的基本原理是提出“无效假设”和检验“无效假设”成立的几率（P）水平的选择。所谓“无效假设”，就是当比较实验处理组与对照组的结果时，假设两组结果间差异不显著，即实验处理对结果没有影响或无效。经统计学分析后，如发现两组间差异是抽样引起的，则“无效假设”成立，可认为这种差异为不显著（即实验处理无效）。若两组间差异不是由抽样引起的，则“无效假设”不成立，可认为这种差异是显著的（即实验处理有效）。
“无效假设”成立的机率水平
检验“无效假设”成立的机率水平一般定为5%，其含义是将同一实验重复100次，两者结果间的差异有5次以上是由抽样误差造成的，则“无效假设”成立，可认为两组间的差异为不显著，常记为p>0.05。若两者结果间的差异5次以下是由抽样误差造成的，则“无效假设”不成立，可认为两组间的差异为显著，常记为p≤0.05。如果p≤0.01，则认为两组间的差异为非常显著。
基本思想
显著性检验的基本思想可以用小概率原理来解释。
1、小概率原理：小概率事件在一次试验中是几乎不可能发生的，假若在一次试验中小概率事件事实上发生了。那只能认为该事件不是来自我们假设的总体，也就是认为我们对总体所做的假设不正确。
2、观察到的显著水平：由样本资料计算出来的检验统计量观察值所截取的尾部面积。这个概率越小，反对原假设，认为观察到的差异表明真实的差异存在的证据便越强，观察到的差异便越加理由充分地表明真实差异存在。
