第十章一元线性回归

10.1 一元线性回归模型

回归分析

在回归分析问题中，我们考虑两个或多个取值连续的变量，并考察它们的依赖关系。
$x$ $Y$ ：因变量
$x$ $Y$ $x$ 有关。
$Y$ $x$ 的取值的依赖关系。
$x$ 的其它称呼：regressor, covariate, predictor variable 等。
$Y$ 的其它称呼：regressand, response variable 等。

线性回归 (Linear Regression)

$x$ $Y$ 之间的关系被建模为
$Y = β_{0} + β_{1} x + ε$
$\beta_0$ $\beta_1$ ：回归系数 (regression coefficients)
$\varepsilon$ $0$ $\sigma^2$ $x$ 无关）。
- $\varepsilon$ 服从正态分布。
$E[Y\mid x]=\mu(x)=\beta_0+\beta_1x$
$(x_1,Y_1),(x_2,Y_2),\ldots,(x_n,Y_n)$ 。
- $i$ $Y_i=\beta_0+\beta_1x_i+\varepsilon_i$ 。
- $\varepsilon_1,\ldots,\varepsilon_n$ $0$ $\sigma^2$ 。
  - $Y_1,\ldots,Y_n$ $Y_i$ $\mu(x_i)=\beta_0+\beta_1x_i$ $\sigma^2$ 。
- $x_1,\ldots,x_n$ 不全相同。

alt text

10.2. 未知参数的点估计

最⼩⼆乘估计 (Least Squares Estimation)

最小二乘法：求解如下最优化问题：

min_{β_{0}, β_{1}} \frac{1}{2} \sum_{i = 1}^{n} {(Y_{i} - β_{0} - β_{1} x_{i})}^{2}

最小化图中纵向偏差的平方和。
$\widehat{\beta}_0$ $\widehat{\beta}_1$ $\beta_0$ $\beta_1$ 的最小二乘估计量。

回归系数最小二乘估计的具体推导

设目标函数为

Q (β_{0}, β_{1}) = \frac{1}{2} \sum_{i = 1}^{n} {(Y_{i} - β_{0} - β_{1} x_{i})}^{2} .

$\beta_0,\beta_1$ $0$ ，得

\frac{\partial Q}{\partial β_{0}} = - \sum_{i = 1}^{n} (Y_{i} - β_{0} - β_{1} x_{i}) = 0,

\frac{\partial Q}{\partial β_{1}} = - \sum_{i = 1}^{n} x_{i} (Y_{i} - β_{0} - β_{1} x_{i}) = 0.

整理可得正规方程：

n β_{0} + (\sum_{i = 1}^{n} x_{i}) β_{1} = \sum_{i = 1}^{n} Y_{i},

(\sum_{i = 1}^{n} x_{i}) β_{0} + (\sum_{i = 1}^{n} x_{i}^{2}) β_{1} = \sum_{i = 1}^{n} x_{i} Y_{i} .

由第一式得

β_{0} = \bar{Y} - β_{1} \bar{x} .

代入第二式，得

\sum_{i = 1}^{n} x_{i} (\bar{Y} - β_{1} \bar{x}) + (\sum_{i = 1}^{n} x_{i}^{2}) β_{1} = \sum_{i = 1}^{n} x_{i} Y_{i} .

化简后可得

{\hat{β}}_{1} = \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) Y_{i}}{\sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}} = \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) Y_{i}}{S_{x x}} .

再由

{\hat{β}}_{0} = \bar{Y} - {\hat{β}}_{1} \bar{x},

得到

{\hat{β}}_{0} = \bar{Y} - {\hat{β}}_{1} \bar{x} .

Normal equations 的几何解释

$Y=(Y_1,\ldots,Y_n)$ $x=(x_1,\ldots,x_n)$ $1=(1,\ldots,1)$ 。
则

\frac{1}{2} \sum_{i = 1}^{n} (Y_{i} - β_{0} - β_{1} x_{i})^{2} = \frac{1}{2} ‖ Y - (β_{0} 1 + β_{1} x) ‖^{2}

进一步记

V = {β_{0} 1 + β_{1} x ∣ β_{0}, β_{1} \in R}

则原始的最优化问题可等价写为

min_{z \in V} \frac{1}{2} ‖ Y - z ‖^{2}

alt text

最小二乘估计量的其他表示

最小二乘估计量：

{\hat{β}}_{0} = \bar{Y} - {\hat{β}}_{1} \bar{x}, {\hat{β}}_{1} = \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) Y_{i}}{\sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}

一种常用的表示方式：

{\hat{β}}_{1} = \frac{S_{x Y}}{S_{x x}}

其中

S_{x x} = \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

S_{x Y} = \sum_{i = 1}^{n} (x_{i} - \bar{x}) Y_{i} = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (Y_{i} - \bar{Y})

$\widehat{\beta}_0$ $\widehat{\beta}_1$ $Y_1,\ldots,Y_n$ 的线性函数。

回归函数的点估计

$\widehat{\beta}_0$ $\widehat{\beta}_1$ 后，回归函数就可以用如下式子进行点估计：

\hat{μ} (x) = {\hat{β}}_{0} + {\hat{β}}_{1} x

特别地，我们记

{\hat{Y}}_{i} = \hat{μ} (x_{i}) = {\hat{β}}_{0} + {\hat{β}}_{1} x_{i}

例题

alt text

最⼩⼆乘估计的统计性质（期望，均方误差与分布）

设一元线性回归模型为

Y_{i} = β_{0} + β_{1} x_{i} + ε_{i}, i = 1, \dots, n,

$x_i$ 视为已知常数，并假设

E (ε_{i}) = 0, Var (ε_{i}) = σ^{2}, ε_{i} 相互独立 .

记

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}, S_{x x} = \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} .

$\widehat\beta_1$ 的均方误差

最小二乘估计为

{\hat{β}}_{1} = \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) Y_{i}}{S_{x x}} .

代入回归模型：

{\hat{β}}_{1} = \frac{\sum (x_{i} - \bar{x}) (β_{0} + β_{1} x_{i} + ε_{i})}{S_{x x}} .

利用

\sum (x_{i} - \bar{x}) = 0

和

\sum (x_{i} - \bar{x}) x_{i} = S_{x x},

得到

{\hat{β}}_{1} = β_{1} + \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) ε_{i}}{S_{x x}} .

1. 无偏性

E ({\hat{β}}_{1}) = β_{1} + \frac{\sum (x_{i} - \bar{x}) E (ε_{i})}{S_{x x}} = β_{1} .

$\widehat\beta_1$ $\beta_1$ 的无偏估计。

2.方差

由于误差相互独立，

\begin{aligned} Var ({\hat{β}}_{1}) & = \frac{1}{S_{x x}^{2}} Var (\sum (x_{i} - \bar{x}) ε_{i}) \\ = \frac{1}{S_{x x}^{2}} \sum (x_{i} - \bar{x})^{2} Var (ε_{i}) \\ = \frac{σ^{2}}{S_{x x}^{2}} \sum (x_{i} - \bar{x})^{2} \\ = \frac{σ^{2}}{S_{x x}} . \end{aligned}

均方误差的定义为

MSE (\hat{θ}) = E [(\hat{θ} - θ)^{2}] = Var (\hat{θ}) + Bias (\hat{θ})^{2} .

$\widehat\beta_1$ 无偏，所以

MSE ({\hat{β}}_{1}) = Var ({\hat{β}}_{1}) = \frac{σ^{2}}{S_{x x}} .

$\operatorname{Var}$ ，是因为估计量无偏，此时均方误差等于方差。

$\widehat\beta_0$ 的均方误差

截距估计为

{\hat{β}}_{0} = \bar{Y} - {\hat{β}}_{1} \bar{x} .

由

\bar{Y} = β_{0} + β_{1} \bar{x} + \bar{ε}, \bar{ε} = \frac{1}{n} \sum_{i = 1}^{n} ε_{i},

可得

{\hat{β}}_{0} - β_{0} = \bar{ε} - \bar{x} ({\hat{β}}_{1} - β_{1}) .

代入斜率估计误差：

{\hat{β}}_{0} - β_{0} = \bar{ε} - \frac{\bar{x}}{S_{x x}} \sum_{i = 1}^{n} (x_{i} - \bar{x}) ε_{i} .

1. 无偏性（期望）

$E(\bar\varepsilon)=0$ ，所以

E ({\hat{β}}_{0} - β_{0}) = 0,

即

E ({\hat{β}}_{0}) = β_{0} .

2. 方差

\begin{aligned} Var ({\hat{β}}_{0}) = & Var (\bar{ε}) + {\bar{x}}^{2} Var ({\hat{β}}_{1}) \\ - 2 \bar{x} Cov (\bar{ε}, {\hat{β}}_{1} - β_{1}) . \end{aligned}

第一项为

Var (\bar{ε}) = \frac{1}{n^{2}} \sum_{i = 1}^{n} σ^{2} = \frac{σ^{2}}{n} .

协方差为

\begin{aligned} Cov (\bar{ε}, {\hat{β}}_{1} - β_{1}) & = \frac{1}{n S_{x x}} \sum_{i = 1}^{n} (x_{i} - \bar{x}) σ^{2} \\ = 0, \end{aligned}

其中使用了

\sum_{i = 1}^{n} (x_{i} - \bar{x}) = 0.

因此

Var ({\hat{β}}_{0}) = σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}) .

$\widehat\beta_0$ 无偏，所以

MSE ({\hat{β}}_{0}) = σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}) .

假设噪声服从正态分布

经典正态线性回归的一个模型假设

ε_{i} \sim N (0, σ^{2})

假设

ε_{1}, \dots, ε_{n} \overset{i . i . d .}{\sim} N (0, σ^{2}),

则正态随机变量的任意线性组合仍然服从正态分布。

前面已经得到

{\hat{β}}_{1} = β_{1} + \sum_{i = 1}^{n} \frac{x_{i} - \bar{x}}{S_{x x}} ε_{i} .

$\widehat\beta_1$ 是正态误差的线性组合，必然服从正态分布。结合其均值和方差可得

{\hat{β}}_{1} \sim N (β_{1}, \frac{σ^{2}}{S_{x x}}) .

同理，

{\hat{β}}_{0} = β_{0} + \bar{ε} - \frac{\bar{x}}{S_{x x}} \sum_{i = 1}^{n} (x_{i} - \bar{x}) ε_{i}

也是正态误差的线性组合。因此

{\hat{β}}_{0} \sim N [β_{0}, σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}})] .

核心逻辑是

误差联合正态 ⟹ {\hat{β}}_{0}, {\hat{β}}_{1} 是正态误差的线性组合 ⟹ {\hat{β}}_{0}, {\hat{β}}_{1} 服从正态分布 .

残差（Residual）

$i$ 个残差（residual）被定义为

e_{i} = Y_{i} - {\hat{Y}}_{i} = Y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} x_{i} .

$\beta_0$ $\beta_1$ $e_i\approx\varepsilon_i$ 。
$\varepsilon_1,\ldots,\varepsilon_n$ 。
$i$ 个残差的期望与方差为

E [e_{i}] = 0, Var (e_{i}) = σ^{2} (1 - \frac{1}{n} - \frac{(x_{i} - \overset{―}{x})^{2}}{S_{x x}}) .

$\varepsilon_1,\ldots,\varepsilon_n$ $e_1,\ldots,e_n$ 也服从正态分布。
残差之间并不相互独立：

\sum_{i = 1}^{n} e_{i} = 0, \sum_{i = 1}^{n} x_{i} e_{i} = 0.

证明留作练习（讲义习题 10.1）。

习题 10.1

证明最小二乘估计中残差的如下性质：

\sum_{i = 1}^{n} e_{i} = 0.

\sum_{i = 1}^{n} x_{i} e_{i} = 0.

\sum_{i = 1}^{n} {\hat{Y}}_{i} e_{i} = 0.

解答：

最小二乘法通过最小化残差平方和

Q (β_{0}, β_{1}) = \sum_{i = 1}^{n} (Y_{i} - β_{0} - β_{1} x_{i})^{2}

$\widehat\beta_0,\widehat\beta_1$ 。令

e_{i} = Y_{i} - {\hat{Y}}_{i} = Y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} x_{i} .

$Q$ $\beta_0$ $\beta_1$ $\widehat\beta_0,\widehat\beta_1$ $0$ ，得

{\frac{\partial Q}{\partial β_{0}} |}_{{\hat{β}}_{0}, {\hat{β}}_{1}} = - 2 \sum_{i = 1}^{n} (Y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} x_{i}) = - 2 \sum_{i = 1}^{n} e_{i} = 0,

所以

\sum_{i = 1}^{n} e_{i} = 0.

同理，

{\frac{\partial Q}{\partial β_{1}} |}_{{\hat{β}}_{0}, {\hat{β}}_{1}} = - 2 \sum_{i = 1}^{n} x_{i} (Y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} x_{i}) = - 2 \sum_{i = 1}^{n} x_{i} e_{i} = 0,

所以

\sum_{i = 1}^{n} x_{i} e_{i} = 0.

又因为

{\hat{Y}}_{i} = {\hat{β}}_{0} + {\hat{β}}_{1} x_{i},

于是

\sum_{i = 1}^{n} {\hat{Y}}_{i} e_{i} = \sum_{i = 1}^{n} ({\hat{β}}_{0} + {\hat{β}}_{1} x_{i}) e_{i} = {\hat{β}}_{0} \sum_{i = 1}^{n} e_{i} + {\hat{β}}_{1} \sum_{i = 1}^{n} x_{i} e_{i} = 0.

因此三条性质均成立。

$\sigma^2$ 的估计

$\sigma^2$ 可通过残差平方和 (residual sum of squares) 进行点估计：

S S_{Res} = \sum_{i = 1}^{n} e_{i}^{2} = \sum_{i = 1}^{n} {(Y_{i} - {\hat{Y}}_{i})}^{2}

$SS_{\mathrm{Res}}$ 的期望：

\begin{aligned} E [S S_{Res}] & = \sum_{i = 1}^{n} E [e_{i}^{2}] \\ = σ^{2} \sum_{i = 1}^{n} (1 - \frac{1}{n} - \frac{(x_{i} - \overset{―}{x})^{2}}{S_{x x}}) \\ = (n - 2) σ^{2} . \end{aligned}

$\sigma^2$ 的一个无偏估计量：

{\hat{σ}}^{2} = \frac{S S_{Res}}{n - 2} = \frac{1}{n - 2} \sum_{i = 1}^{n} e_{i}^{2}

$\varepsilon_1,\ldots,\varepsilon_n\sim N(0,\sigma^2)$ ，则有

\frac{(n - 2) {\hat{σ}}^{2}}{σ^{2}} = \frac{S S_{Res}}{σ^{2}} \sim χ^{2} (n - 2) .

$SS_Res$ 相关的⼀些量与恒等式

校正平方和/离差平方和 (corrected sum of squares)：

S S_{T} = \sum_{i = 1}^{n} {(Y_{i} - \overset{―}{Y})}^{2}

回归平方和 (regression sum of squares)：

S S_{R} = \sum_{i = 1}^{n} {({\hat{Y}}_{i} - \overset{―}{Y})}^{2}

方差分析恒等式 (analysis-of-variance identity)：

S S_{Res} = S S_{T} - {\hat{β}}_{1} S_{x Y} = S S_{T} - S S_{R}

证明留作练习 (讲义习题 10.2)。

习题 10.2

证明如下方差分析恒等式 (analysis-of-variance identity)：

S S_{T} = S S_{Res} + {\hat{β}}_{1} S_{x Y} = S S_{Res} + S S_{R},

其中

S S_{T} = \sum_{i = 1}^{n} {(Y_{i} - \overset{―}{Y})}^{2}, S S_{Res} = \sum_{i = 1}^{n} {(Y_{i} - {\hat{Y}}_{i})}^{2}, S S_{R} = \sum_{i = 1}^{n} {({\hat{Y}}_{i} - \overset{―}{Y})}^{2} .

它们分别为校正平方和 (corrected sum of squares)、残差平方和 (residual sum of squares) 与回归平方和 (regression sum of squares)。

解答：

由最小二乘估计公式

{\hat{β}}_{0} = \overset{―}{Y} - {\hat{β}}_{1} \overset{―}{x}

可得拟合值

{\hat{Y}}_{i} = {\hat{β}}_{0} + {\hat{β}}_{1} x_{i} = \overset{―}{Y} + {\hat{β}}_{1} (x_{i} - \overset{―}{x}) .

因此

{\hat{Y}}_{i} - \overset{―}{Y} = {\hat{β}}_{1} (x_{i} - \overset{―}{x}) .

于是回归平方和为

\begin{aligned} S S_{R} & = \sum_{i = 1}^{n} {({\hat{Y}}_{i} - \overset{―}{Y})}^{2} \\ = \sum_{i = 1}^{n} {\hat{β}}_{1}^{2} (x_{i} - \overset{―}{x})^{2} \\ = {\hat{β}}_{1}^{2} S_{x x} . \end{aligned}

又因为

{\hat{β}}_{1} = \frac{S_{x Y}}{S_{x x}},

所以

S S_{R} = {\hat{β}}_{1}^{2} S_{x x} = {\hat{β}}_{1} S_{x Y} .

另一方面，

Y_{i} - \overset{―}{Y} = (Y_{i} - {\hat{Y}}_{i}) + ({\hat{Y}}_{i} - \overset{―}{Y}) = e_{i} + ({\hat{Y}}_{i} - \overset{―}{Y}) .

两边平方并求和，得到

\begin{aligned} S S_{T} & = \sum_{i = 1}^{n} {(Y_{i} - \overset{―}{Y})}^{2} \\ = \sum_{i = 1}^{n} e_{i}^{2} + \sum_{i = 1}^{n} {({\hat{Y}}_{i} - \overset{―}{Y})}^{2} + 2 \sum_{i = 1}^{n} e_{i} ({\hat{Y}}_{i} - \overset{―}{Y}) . \end{aligned}

由习题 10.1 已知

\sum_{i = 1}^{n} e_{i} = 0, \sum_{i = 1}^{n} {\hat{Y}}_{i} e_{i} = 0.

因此交叉项为

\sum_{i = 1}^{n} e_{i} ({\hat{Y}}_{i} - \overset{―}{Y}) = \sum_{i = 1}^{n} {\hat{Y}}_{i} e_{i} - \overset{―}{Y} \sum_{i = 1}^{n} e_{i} = 0.

于是

S S_{T} = S S_{Res} + S S_{R} .

$SS_R=\widehat\beta_1S_{xY}$ ，即得

S S_{T} = S S_{Res} + {\hat{β}}_{1} S_{x Y} = S S_{Res} + S S_{R} .

第十章 一元线性回归

10.1 一元线性回归模型

回归分析

线性回归 (Linear Regression)

10.2. 未知参数的点估计

最⼩⼆乘估计 (Least Squares Estimation)

回归系数最小二乘估计的具体推导

Normal equations 的几何解释

最小二乘估计量的其他表示

回归函数的点估计

例题

最⼩⼆乘估计的统计性质（期望，均方误差与分布）

一、β^1\widehat\beta_1 的均方误差

1. 无偏性

2.方差

二、β^0\widehat\beta_0 的均方误差

1. 无偏性（期望）

2. 方差

假设噪声服从正态分布

残差（Residual）

习题 10.1

噪声⽅差 σ2\sigma^2的估计

与 SSResSS_Res 相关的⼀些量与恒等式

习题 10.2

10.3. 回归系数的区间估计与假设检验

第十章一元线性回归

$\widehat\beta_1$ 的均方误差

$\widehat\beta_0$ 的均方误差

$\sigma^2$ 的估计

$SS_Res$ 相关的⼀些量与恒等式