向后选择法
向后选择法(backward elimination)也称向后剔除法、向后消元法,是一种回归模型的自变量选择方法,其过程与向前选择法相反:首先将全部自变量都选入模型,然后对各个自变量进行偏F检验,将最小的F值记为FL,与预先规定的显著性水平F0进行比较,若FL<F0,就剔除该变量,将余下的变量重新拟合回归模型,重复上述步骤,直到模型中所有自变量都不能剔除为止。
基本信息
- 中文名
向后选择法
- 外文名
backward elimination
- 别称
向后剔除法、向后消元法
- 相关概念
向前选择法、逐步回归法等
- 简介
一种回归模型的自变量选择方法
- 所属问题
数理统计
- 所属学科
数学
基本介绍
从所有变量一次加入回归方程开始,然后按顺序剔除对回归方程影响不显著的变量,这种筛选自变量的方法称为向后选择法,也称向后剔除法、向后消元法。向后消元法是一种其特点与向前选择法恰好相反的回归分析方法,它从模型中包含所有的备选自变量开始。一个备选自变量如果与因变量的偏相关系数是最小的,且其F值小于“剔出标准”,则被剔出模型。下一个被剔出模型的自变量是在剩余的自变量中偏相关系数最小,且其F值小于“剔出标准”的备选自变量。这种叠代过程一直进行下去,直到再也没有备选自变量符合“剔出标准”为止。一旦一个变量被从模型中剔出,它就不能在下一步再重新进入模型。
向后消元法的SPSS操作要在Method:下拉选框中选中Backward(向后消元法)选项,其余的操作与逐步回归法和向前选择法基本相同。
剔除变量的判别标准为:①F移出法标准FOUT:当F统计量值<FOUT(临界值,SPSS中内定此值为2.71)时,变量移出回归方程;②F最大概率移出标准FOUT:当F统计量的相伴概率>FOUT(临界值,SPSS中内定此值为0.1)时,变量从回归方程中移出。向后剔除法是从全部变量均在回归方程中开始,然后每次剔除一个F统计量的相伴概率最大且符合上述标准①或②的变量,直至留在方程中的变量再也没有达到剔除标准时为止。最后一个回归方程,即为最优的回归方程。
基本过程
与向前选择法相反,其基本过程如下:
1.先对因变量拟合包括所有k个自变量的线性回归模型。然后考察p(p<k)个去掉一个自变量的模型(这些模型中的每一个都有k-1个自变量),使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除。
2.考察p-1个再去掉一个自变量的模型(这些模型中的每一个都有k-2个自变量),使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除。如此反复进行,一直将自变量从模型中剔除,直至剔除一个自变量不会使SSE显著减小为止。这时,模型中所剩的自变量都是显著的。上述过程可以通过F检验的P值来判断。