概率论
基础
对于一个在闭区间 \(I=[a,b]\) (\(a,b\) 可为无穷) 上一致有界 \([A,B]\) 的非降函数 \(F\), 其不连续点是跳跃点, 数量是至多可数的, 并且可以用 Riemann 积分定义以它为测度的积分 (这门课里只用考虑这个):
\[\int_If(x)\mathrm dF(x)
\]
在跳跃点将会产生一个恒定的变差, 所以 Riemann 积分的定义难以使用, 意会即可. 积分不一定收敛或存在, 但是其 Fourier-Stieltjes 变换一定存在且连续:
\[\varphi_F\colon
\mathbb R\to\mathbb C,
t\mapsto\int_I\exp(\mathrm itx)\mathrm dF(x)
\]
有接下来最重要的不等式, 叫做三角积分不等式:
\[|\int_If(x)\mathrm dF(x)|
\le\int_I|f(x)|\mathrm dF(x)
\]
收敛
考虑一个一致有界非降函数列 \(\{F_k\colon I\to[A,B]\}_{k=0}^{+\infty}\), 因为可数个至多可数集的并是至多可数的, 所以在每个函数上均连续的点是稠密的, 一般只需关心其连续点.
称其弱收敛于有界非降函数 \(F\colon I\to[A,B]\), 当且仅当对任意连续点 \(x\in I\) 有 \(\lim_{n\to+\infty}F_n(x)=F(x)\), 并记作 \(F_n\xrightarrow{\mathrm W}F\).
取连续点中一个可数的稠密集并排成列 \(\{r_k\in I\}_{k=0}^{+\infty}\), 考虑通过逐点筛选出子列使它在每个连续点上均收敛. 令 \(\{F_{0,n}=F_n\}_{n=0}^{+\infty}\), 再 \(\forall k\in\mathbb N\), 因为 \(\{F_{k,n}(r_k)\}_{n=0}^{+\infty}\) 所有点都在紧集 \([A,B]\) 中, 所以可以选出一个收敛到 \([A,B]\) 中元素 \(F_k\) 的收敛子列, 并记其对应的函数列为 \(\{F_{k+1,n}\}_{n=0}^{+\infty}\).
最后取对角线 \(\{F_{n,n}\}_{n=0}^{+\infty}\), 则 \(\forall k\in\mathbb N\), 这个函数列去掉前 \(k+1\) 项后剩下的元素均在 \(\{F_{k+1,n}\}_{n=0}^{+\infty}\) 中, 故该函数列在 \(r_k\) 处收敛. 最后定义函数:
\[F\colon
I\to[A,B],
x\mapsto\sup_{r_k\le x}F_k
\]
则可以验证这个函数单调不降, 左连续, 且 \(F_n\xrightarrow{\mathrm W}F\). 这是 Helly 第一定理.
若 \(f\colon I\to\mathbb C\) 有界连续而 \(F_n\xrightarrow{\mathrm W}F\), 考虑:
\[\lim_{n\to+\infty}\int_If(x)\mathrm dF_n(x)
=\int_If(x)\mathrm dF(x)
\]
是否成立. 答案是不一定, 但主要是端点不连续时不被弱收敛限制的问题, 事实上总有:
\[\liminf_{n\to+\infty}F_n(a)
\le\limsup_{x\to a+}\liminf_{n\to+\infty}F_n(x)
=\limsup_{x\to a+}F(x)
=F(a+)
\]
\[\limsup_{n\to+\infty}F_n(b)
\ge\liminf_{x\to b-}\limsup_{n\to+\infty}F_n(x)
=\liminf_{x\to b-}F(x)
=F(b-)
\]
只需要再加上 \(\lim_{n\to+\infty}F_n(a)=F(a),\lim_{n\to+\infty}F_n(b)=F(b)\) 即可. \(I\) 有界的情况下 \(f\) 一致连续, 所以分成若干个以连续点为端点的段, 再不断细分即可逼近. 这叫做 Helly 第二定理.
一般要考虑 \(I\) 无界即 \(a=-\infty\) 或 \(b=+\infty\) 的情况, 不妨直接考虑 \(I=(-\infty,+\infty)\), 此时根据定义直接有 \(F(a-)=F(a),F(b+)=F(b)\).
首先因为单调有界, 所以 \(F_n(a)=F_n(-\infty),F(a)=F(-\infty)\) 以及 \(F_n(b)=F_n(+\infty),F(b)=F(+\infty)\) 总是良定义的. 事实上:
再把整个积分分成 \((-\infty,l),[l,r],(r,+\infty)\) 三段, 通过 \(f\) 有界和调整 \(l,r\) 来控制左右两段的上界, 再用 Helly 第二定理的方法控制中间这段的值即可. 这叫做 拓广 Helly 第二定理.
Fourier-Stieltjes 变换是非常有用的. \(\forall x_1,x_2\in I,x_1<x_2\) 时:
\[\lim_{T\to+\infty}\frac1{2\pi}\int_{-T}^T\frac{\exp(-\mathrm itx_1)-\exp(-\mathrm itx_2)}{\mathrm it}\varphi_F(t)\mathrm dt
\]
\[=\lim_{T\to+\infty}\frac1{2\pi}\int_{-T}^T\frac{\exp(-\mathrm itx_1)-\exp(-\mathrm itx_2)}{\mathrm it}(\int_I\exp(\mathrm itx)\mathrm dF(x))\mathrm dt
\]
根据 Fubini 定理:
\[=\int_I(\lim_{T\to+\infty}\frac1{2\pi}\int_{-T}^T\frac{\exp(-\mathrm it(x_1-x))-\exp(-\mathrm it(x_2-x))}{\mathrm it}\mathrm dt)\mathrm dF(x)
\]
再根据 Euler 公式, \(\sin\) 的奇性和 \(\cos\) 的偶性:
\[=\lim_{T\to+\infty}\int_I(\frac1\pi(\int_0^T\frac{\sin(t(x-x_1))}t\mathrm dt-\int_0^T\frac{\sin(t(x-x_2))}t\mathrm dt))\mathrm dF(x)
\]
中间根据数分三是 Dirichlet 核, 它在 \(T\to+\infty\) 时条件收敛到:
\[H_{x_1,x_2}\colon
\mathbb R\to\mathbb R,
x\mapsto\frac{\operatorname{sgn}(x-x_1)-\operatorname{sgn}(x-x_2)}2=\begin{cases}1&x_1<x<x_2\\\frac12&x=x_1\vee x=x_2\\0&x<x_1\vee x>x_2\\
\end{cases}
\]
所以可以换序, 且:
\[=\int_IH_{x_1,x_2}(x)\mathrm dF(x)
=\int_{x_1}^{x_2}\mathrm dF(x)+\frac12(F(x_2+)-F(x_2-))+\frac12(F(x_1+)-F(x_1-))
\]
\[=F(x_2-)-F(x_1+)+\frac12(F(x_2+)-F(x_2-))+\frac12(F(x_1+)-F(x_1-))
\]
\[=\frac{F(x_2-)+F(x_2+)}2-\frac{F(x_1-)+F(x_1+)}2
\]
这叫做 Lévy 反演公式. 只要 \(F\) 在 \(x_1,x_2\) 处连续那么就是 \(F(x_2)-F(x_1)\), 由连续点稠密性即可还原出 \(F\). 所以一致有界非降函数与其 Fourier-Stieltjes 变换一一对应.
下面均只考虑 \(I=\mathbb R\).
回到函数列, 在拓广 Helly 第二定理的条件下直接有:
\[\forall x\in\mathbb R,
\lim_{n\to+\infty}\varphi_{F_n}(x)=\varphi_F(x)
\]
考虑倒过来是否成立. 这里只考虑 \(I=\mathbb R\), 选足够小的 \(\tau>0\) 估计:
\[\frac1{2\tau}|\int_{-\tau}^\tau\varphi_{F_n}(t)\mathrm dt|
=\frac1{2\tau}|\int_{-\tau}^\tau\mathrm dt\int_I\exp(\mathrm itx)\mathrm dF_n(x)|
\]
根据 Fubini 定理:
\[=\frac1{2\tau}|\int_I\mathrm dF_n(x)\int_{-\tau}^\tau\exp(\mathrm itx)\mathrm dt|
=\frac1{2\tau}|\int_I\frac{\exp(\mathrm i\tau x)-\exp(-\mathrm i\tau x)}{\mathrm ix}\mathrm dF_n(x)|
=\frac1\tau|\int_I\frac{\sin\tau x}x\mathrm dF_n(x)|
\]
根据三角积分不等式, 再利用 \(\sin\), 选足够大的连续点 \(X>0\) 估计:
\[\le\frac1\tau\int_I|\frac{\sin\tau x}x|\mathrm dF_n(x)
=\frac1\tau\int_{I,|x|\le X}|\frac{\sin\tau x}x|\mathrm dF_n(x)+\frac1\tau\int_{I,|x|>X}|\frac{\sin\tau x}x|\mathrm dF_n(x)
\]
\[\le\int_{I,|x|\le X}\mathrm dF_n(x)+\frac1\tau\int_{I,|x|>X}\frac1X\mathrm dF_n(x)
\le F_n(X)-F_n(-X)+\frac{B-A}{X\tau}
\]
左右取 \(n\to+\infty\), 这里还不知道 \(F_n\) 是否弱收敛, 需要用 Helly 第一定理求一个子列 \(\{F_{k_n}\}_{n=0}^{+\infty}\) 使得 \(F_{k_n}\xrightarrow{\mathrm W}F\):
\[\frac1{2\tau}|\int_{-\tau}^\tau\varphi_F(t)\mathrm dt|
\le\liminf_{n\to+\infty}(F_{k_n}(X)-F_{k_n}(-X))+\frac{B-A}{X\tau}
=F(X)-F(-X)+\frac{B-A}{X\tau}
\]
另一方面, 条件保证着 \(\varphi_F(0)=\lim_{n\to+\infty}\varphi_{F_{k_n}}(0)=\lim_{n\to+\infty}(F_{k_n}(b)-F_{k_n}(a))\), 所以根据 \(\varphi_F\) 的连续性, \(\forall\varepsilon>0,\exists\tau>0,\mathrm{s.t.}\):
\[\frac1{2\tau}|\int_{-\tau}^\tau\varphi_F(t)\mathrm dt|
>\lim_{n\to+\infty}(F_{k_n}(b)-F_{k_n}(a))-\varepsilon
\]
综合就有:
\[\lim_{n\to+\infty}(F_{k_n}(b)-F_{k_n}(a))-\varepsilon
<F(X)-F(-X)+\frac{B-A}{X\tau}
<F(b)-F(a)+\frac{B-A}{X\tau}
\]
\[\le\liminf_{n\to+\infty}F_{k_n}(b)-\limsup_{n\to+\infty}F_{k_n}(a)+\frac{B-A}{X\tau}
=\lim_{n\to+\infty}(F_{k_n}(b)-F_{k_n}(a))+\frac{B-A}{X\tau}
\]
左右令 \(X\to+\infty\), 再令 \(\varepsilon\to0\) 即可得到 \(\lim_{n\to+\infty}(F_{k_n}(b)-F_{k_n}(a))=F(b)-F(a)\), 于是只能 \(\lim_{n\to+\infty}F_{k_n}(a)=F(a),\lim_{n\to+\infty}F_{k_n}(b)=F(b)\).
这样就满足了 Helly 第二定理的条件, 可以知道 \(\varphi=\varphi_F\). 但这只是子列 \(F_{n_k}\xrightarrow{\mathrm W}F\), 不过根据前面证过的唯一性和反证法可知 \(F_n\xrightarrow{\mathrm W}F\).
于是 \(F_n\xrightarrow{\mathrm W}F,\lim_{n\to+\infty}F_n(a)=F(a),\lim_{n\to+\infty}F_n(b)=F(b)\) 当且仅当 \(\varphi_{F_n}\rightarrow\varphi_F\), 这叫做 Lévy 连续性定理.
不等
若有凸函数 \(l\colon\mathbb R\to\mathbb R\), 则 \(\exists a,b\in\mathbb R,\mathrm{s.t.}aE[X]+b=l(E[X]),\forall u\in\mathbb R,au+b\le l(u)\):
\[E[l(X)]
\ge E[aX+b]
=aE[X]+b
=l(E[X])
\]
这叫 Jensen 不等式, 三角积分不等式是它的特例.
考虑对任意随机变量 \(X\) 和正数 \(a>0\):
\[P\{|X|\ge a\}
=\int_{|X|\ge a}\mathrm dF
\le\int_{|X|\ge a}\frac{|X|}a\mathrm dF
\le\int\frac{|X|}a\mathrm dF
=\frac{E[|X|]}a
\]
这叫 Markov 不等式. 若 \(X\) 存在方差:
\[P\{|X-E[X]|\ge a\}
=P\{|X-E[X]|^2\ge a^2\}
\le\frac{E[(X-E[X])^2]}{a^2}
=\frac{D[X]}{a^2}
\]
这叫 Chebyshev 不等式.:
若 \(\{A_n\}_{n=0}^{+\infty}\) 为事件列, 则定义 \(\liminf_{n\to+\infty}A_n=\bigcup_{n=0}^{+\infty}\bigcap_{k=n}^{+\infty}A_n,\limsup_{n\to+\infty}A_n=\bigcap_{n=0}^{+\infty}\bigcup_{k=n}^{+\infty}A_n\), 作差后根据概率论公理体系可得出不等式:
\[P(\liminf_{n\to+\infty}A_n)
\le\liminf_{n\to+\infty}P(A_n)
\le\limsup_{n\to+\infty}P(A_n)
\le P(\limsup_{n\to+\infty}A_n)
\]
而单调时概率论公理保证均能取等. 这叫 Fatou 引理.
\(\forall t\in\mathbb R,n\in\mathbb N\):
\[|\exp(\mathrm it)-\sum_{k=0}^{n-1}\frac{(\mathrm it)^k}{k!}|
\le\frac{|t|^n}{n!}
\]
这是 Cauchy 估计的一个特例, 证明就是把 Cauchy 积分公式的证明搬过来.
当 \(\{a_k\in\mathbb C\}_{k=0}^{n-1},\{b_k\in\mathbb C\}_{k=0}^{n-1}\) 满足 \(|a_k|\le1,|b_k|\le1\) 时:
\[|\prod_{k=0}^{n-1}a_k-\prod_{k=0}^{n-1}b_k|
\le\sum_{k=0}^{n-1}|a_k-b_k|
\]
归纳即可.
对于收敛到 \(a\) 的实数列 \(\{a_k\}_{k=0}^{+\infty}\) 和发散正项级数 \(\sum_{k=0}^{+\infty}b_k=+\infty\), 有:
\[\lim_{n\to+\infty}\frac{\sum_{k=0}^{n-1}a_kb_k}{\sum_{k=0}^{n-1}b_k}
=a
\]
这叫 Kronecker 引理, 证明是经典数分习题, 一个 Abel 变换即可. 当 \(b_k=1\) 时是一个更经典的数分习题, 在某些书里叫 Cauchy 极限定理.
令 \(S_n=\sum_{k=0}^{n-1}b_k\), 则条件变为正数列 \(\{S_n\}_{n=0}^{+\infty}\) 不降且发散到 \(+\infty\). 再设 \(x_k=a_kb_k\), 则有另一个形式:
\[\lim_{n\to+\infty}\frac{\sum_{k=0}^{n-1}x_k}{\sum_{k=0}^{n-1}b_k}
=\lim_{n\to+\infty}\frac{x_n}{b_n}
\]
这是我们再熟悉不过的 Stolz 定理.
逼近
当有可数个随机变量 \(\{\xi_n\}_{n=0}^{+\infty}\) 的时候, 我们更关心它们的极限. \(\forall n\in\mathbb N\), 设 \(\xi_n\) 的分布函数为 \(F_n\colon\mathbb R\to[0,1]\), \(\xi\) 的分布函数为 \(F\colon\mathbb R\to[0,1]\), 称 \(\xi_n\) 依分布收敛到 \(\xi\), 当且仅当:
\[F_n\xrightarrow{\mathrm W}F
\]
并记作 \(\xi_n\xrightarrow{\mathrm L}\xi\).
称 \(\xi_n\) 依概率收敛到 \(\xi\), 当且仅当:
\[\forall\varepsilon>0,
\lim_{n\to+\infty}P\{|\xi_n-\xi|\ge\varepsilon\}=0
\]
并记作 \(\xi_n\xrightarrow{\mathrm P}\xi\).
\(\forall r>0\), 称 \(\xi_n\) \(r\) 阶收敛到 \(\xi\), 当且仅当:
\[\lim_{n\to+\infty}E[|\xi_n-\xi|^r]
=0
\]
并记作 \(\xi_n\xrightarrow r\xi\).
称 \(\xi_n\) 几乎处处收敛到 \(\xi\), 当且仅当:
\[P(\{\omega\in\Omega\mid\lim_{n\to+\infty}\xi_n(\omega)=\xi(\omega)\})
=1
\]
并记作 \(\xi_n\xrightarrow{\mathrm{a.s.}}\xi\).
这几种收敛的强度是有严格顺序的, 大致为:
\[\xi_n\xrightarrow{\mathrm{a.s.}}\xi
\Rightarrow\xi_n\xrightarrow{\mathrm P}\xi
\Rightarrow\xi_n\xrightarrow{\mathrm L}\xi
\]
而 \(r\) 阶收敛较为特殊, \(r\) 越大越强, 且:
\[\xi_n\xrightarrow r\xi
\Rightarrow\xi_n\xrightarrow{\mathrm P}\xi
\]
当 \(\xi\) 为常数时, 可以反过来 \(\xi_n\xrightarrow{\mathrm L}\xi\Rightarrow\xi_n\xrightarrow{\mathrm P}\xi\); 当 \(\xi_n\) 单调时, 可以反过来 \(\xi_n\xrightarrow{\mathrm P}\xi\Rightarrow\xi_n\xrightarrow{\mathrm{a.s.}}\xi\).
对于 \(\xi_n\xrightarrow{\mathrm P}\xi\Rightarrow\xi_n\xrightarrow{\mathrm L}\xi\), 考虑连续点 \(x\in\mathbb R\) 和区间 \((a,b)\subset\mathbb R\) 使得 \(x\in(a,b)\):
\[F(a)
=\lim_{n\to+\infty}(P\{\xi<a,\xi_n<x\}+P\{\xi<a,\xi_n\ge x\})
\]
\[\le\liminf_{n\to+\infty}(P\{\xi_n<x\}+P\{|\xi_n-\xi|\ge x-a\})
=\liminf_{n\to+\infty}F_n(x)
\]
\[\limsup_{n\to+\infty}F_n(x)
=\limsup_{n\to+\infty}(P\{\xi<b,\xi_n<x\}+P\{\xi\ge b,\xi_n<x\})
\]
\[\le P\{\xi<b\}+\lim_{n\to+\infty}(P\{|\xi_n-\xi|\ge b-x\})
=F(b)
\]
于是 \(F(a)\le\liminf_{n\to+\infty}F_n(x)\le\limsup_{n\to+\infty}F_n(x)\le F(b)\), 令 \(a\to x-,b\to x+\) 即有 \(\lim_{n\to+\infty}F_n(x)=F(x)\).
对于 \(\xi_n\xrightarrow r\xi\Rightarrow\xi_n\xrightarrow{\mathrm P}\xi\), 使用 Markov 不等式:
\[P\{|\xi_n-\xi|\ge\varepsilon\}
=P\{|\xi_n-\xi|^r\ge\varepsilon^r\}
\le\frac{E[|\xi_n-\xi|^r]}{\varepsilon^r}
\]
再令 \(n\to+\infty\) 即可.
对于 \(\xi_n\xrightarrow r\xi\Rightarrow\xi_n\xrightarrow s\xi(r>s>0)\), 直接有:
\[E[|\xi_n-\xi|^s]
=E[(|\xi_n-\xi|^r)^{\frac sr}]
\le(E[|\xi_n-\xi|^r])^{\frac sr}
\]
再令 \(n\to+\infty\) 即可.
\(\xi\) 为常数 \(C\) 时, 对于 \(\xi_n\xrightarrow{\mathrm L}C\Rightarrow\xi_n\xrightarrow{\mathrm P}C\), 直接有:
\[P\{|\xi_n-C|\ge\varepsilon\}
=P\{\xi_n\le C-\varepsilon\}+P\{\xi_n\ge C+\varepsilon\}
=F_n((C-\varepsilon)+)+1-F_n(C+\varepsilon)
\]
再令 \(n\to+\infty\) 即可.
几乎处处收敛涉及到更底层的概率论体系, 首先需要说明概率是良定义的, 即需要按照 \(\varepsilon-\delta\) 语言展开:
\[P(\{\omega\in\Omega\mid\lim_{n\to+\infty}\xi_n(\omega)=\xi(\omega)\})
=P(\{\omega\in\Omega\mid\bigwedge_{m=1}^{+\infty}\bigvee_{k=0}^{+\infty}\bigwedge_{n=k}^{+\infty}|\xi_n(\omega)-\xi(\omega)|<\frac1m\})
\]
\[=P(\bigcap_{m=1}^{+\infty}\bigcup_{k=0}^{+\infty}\bigcap_{n=k}^{+\infty}\{\omega\Bigm||\xi_n(\omega)-\xi(\omega)|<\frac1m\})
\]
而 \(|\xi_n-\xi|\) 是随机变量, 所以 \(\{\omega\Bigm||\xi_n(\omega)-\xi(\omega)|<\frac1m\}\in\mathcal F\), 再根据可数可交和可数可并即有良定义. 另外可以展开定义:
\[P(\{\omega\in\Omega\mid\lim_{n\to+\infty}\xi_n(\omega)=\xi(\omega)\})=1
\Leftrightarrow P(\bigcap_{m=1}^{+\infty}\bigcup_{k=0}^{+\infty}\bigcap_{n=k}^{+\infty}\{\omega\Bigm||\xi_n(\omega)-\xi(\omega)|<\frac1m\})=1
\]
注意到这是随 \(m\) 和 \(k\) 单调的:
\[\Leftrightarrow\forall\varepsilon>0,P(\bigcup_{k=0}^{+\infty}\bigcap_{n=k}^{+\infty}\{\omega\Bigm||\xi_n(\omega)-\xi(\omega)|<\varepsilon\})=1
\Leftrightarrow\forall\varepsilon>0,P(\liminf_{n\to+\infty}\{\omega\Bigm||\xi_n(\omega)-\xi(\omega)|<\varepsilon\})=1
\]
\[\Leftrightarrow\forall\varepsilon>0,\lim_{k\to+\infty}P(\bigcap_{n=k}^{+\infty}\{\omega\Bigm||\xi_n(\omega)-\xi(\omega)|<\varepsilon\})=1
\]
根据 Fatou 引理:
\[P(\liminf_{n\to+\infty}\{|\xi_n-\xi|<\varepsilon\})
\le\liminf_{n\to+\infty}P\{|\xi_n-\xi|<\varepsilon\}
\le\limsup_{n\to+\infty}P\{|\xi_n-\xi|<\varepsilon\}
\le P(\limsup_{n\to+\infty}\{|\xi_n-\xi|<\varepsilon\})
\]
所以可以看出 \(\xi_n\xrightarrow{\mathrm{a.s.}}\xi\Rightarrow\xi_n\xrightarrow{\mathrm P}\xi\). 单调时上面这个不等式链均取等, 此时可以反过来有 \(\xi_n\xrightarrow{\mathrm P}\xi\Rightarrow\xi_n\xrightarrow{\mathrm{a.s.}}\xi\).
再来一个 Borel-Cantelli 引理:
当 \(\sum_{n=0}^{+\infty}P(A_n)<+\infty\) 时, 有:
\[P(\limsup_{n\to+\infty}A_n)
=\lim_{k\to+\infty}P(\bigcup_{n=k}^{+\infty}A_n)
\le\lim_{k\to+\infty}\sum_{n=k}^{+\infty}P(A_n)
=\sum_{n=0}^{+\infty}P(A_n)-\lim_{k\to+\infty}\sum_{n=0}^{k-1}P(A_n)
=0
\]
当 \(\sum_{n=0}^{+\infty}P(A_n)=+\infty\) 且 \(\{A_n\}_{n=0}^{+\infty}\) 相互独立时, 有:
\[P(\limsup_{n\to+\infty}A_n)
=\lim_{k\to+\infty}P(\bigcup_{n=k}^{+\infty}A_n)
=\lim_{k\to+\infty}(1-\prod_{n=k}^{+\infty}(1-P(A_n)))
\ge1-\lim_{k\to+\infty}\exp(-\sum_{n=k}^{+\infty}P(A_n))
\]
\[=1-\lim_{k\to+\infty}\exp(\sum_{n=0}^{k-1}P(A_n)-\sum_{n=0}^{+\infty}P(A_n))
=1
\]
所以 \(P(\limsup_{n\to+\infty}A_n)=1\). 由上一条可知, 反过来也是成立的.
应用一下第一条:
\[\xi_n\xrightarrow{\mathrm{a.s.}}\xi
\Leftrightarrow\forall\varepsilon>0,P(\liminf_{n\to+\infty}\{|\xi_n-\xi|<\varepsilon\})=1
\Leftrightarrow\forall\varepsilon>0,P(\limsup_{n\to+\infty}\{|\xi_n-\xi|\ge\varepsilon\})=0
\]
\[\Leftarrow\forall\varepsilon>0,\sum_{n=0}^{+\infty}P\{|\xi_n-\xi|\ge\varepsilon\}<+\infty
\]
这就得到了一个几乎处处收敛的简单判定方法.
大数
对于随机变量列 \(\{\xi_n\}_{n=0}^{+\infty}\), 若存在常数列 \(\{a_n\}_{n=0}^{+\infty}\) 满足:
\[\frac1n\sum_{k=0}^{n-1}\xi_k
\xrightarrow{\mathrm P}a_n
\]
则称 \(\{\xi_n\}_{n=0}^{+\infty}\) 服从大数律. 若:
\[\frac1n\sum_{k=0}^{n-1}\xi_k
\xrightarrow{\mathrm{a.s.}}a_n
\]
则称 \(\{\xi_n\}_{n=0}^{+\infty}\) 服从强大数律.
若各随机变量均存在期望且独立, 则根据特征函数应当有 \(a_n=\frac1n\sum_{k=0}^{n-1}E[\xi_k]\), 故自然令 \(S_n=\sum_{k=0}^{n-1}(\xi_k-E[\xi_k])\).
若存在方差, 则有:
\[D[\frac1n\sum_{k=0}^{n-1}\xi_k]
=\frac1{n^2}(E[\sum_{k=0}^{n-1}\xi_k]^2-E[(\sum_{k=0}^{n-1}\xi_k)^2])
\]
\[=\frac1{n^2}(\sum_{k=0}^{n-1}(E[\xi_k]^2-E[\xi_k^2])+\sum_{k=0}^{n-1}\sum_{l=k+1}^{n-1}(E[\xi_k]E[\xi_l]-E[\xi_k\xi_l]))
=\frac1{n^2}\sum_{k=0}^{n-1}D[\xi_k]
\]
于是根据 Chebyshev 不等式直接有:
\[P\{|S_n|\ge\varepsilon\}
=P\{|S_n|^2\ge\varepsilon^2\}
\le\frac{E[|S_n|^2]}{\varepsilon^2}
=\frac{D[\frac1n\sum_{k=0}^{n-1}\xi_k]}{\varepsilon^2}
=\frac{D[\sum_{k=0}^{n-1}\xi_k]}{n^2\varepsilon^2}
\]
所以 \(\frac1{n^2}D[\sum_{k=0}^{n-1}\xi_k]\to0\) 时有 \(P\{S_n\ge\varepsilon\}\to0\), 即满足大数律, 这叫做 Markov 大数律, 这个条件称做 Markov 条件.
若方差有一致上界 \(C\), 则 Markov 条件自动满足, 叫做 Chebyshev 大数律. 为概率相同的两点分布, 则 Markov 条件自动满足, 叫做 Bernoulli 大数律. 另外均为两点分布但概率不同也可以, 叫做 Poisson 大数律.
再看强大数律. 下面全部需要独立. 这里二阶原点矩不够用了, 需要四阶原点矩存在:
\[P\{|\frac{S_n}n|\ge\varepsilon\}
=P\{S_n^4\ge n^4\varepsilon^4\}
\le\frac{E[S_n^4]}{n^4\varepsilon^4}
\]
这个需要展开后, 讨论各个项, 最后剩下非零项:
\[=\frac{n\sum_{k=0}^{n-1}E[(\xi_k-E(\xi_k))^4]+3\sum_{k\neq l}E[(\xi_k-E(\xi_k))^2]E[(\xi_l-E(\xi_l))^2]}{n^4\varepsilon^4}
\]
记 \(E[(\xi_k-E(\xi_k))^4]=Q[\xi_k]\):
\[\le\frac1{\varepsilon^2}(\frac{\sum_{k=0}^{n-1}Q[\xi_k]}{n^4}+3\frac{\sum_{k\neq l}^{n-1}D[\xi_k]D[\xi_l]}{n^4})
\]
于是在 \(Q[\xi_k]\) 和 \(D[\xi_k]\) 有一致界时, 级数 \(\sum_{n=0}^{+\infty}P\{|\frac{S_n}n|\ge\varepsilon\}\) 收敛, 满足强大数律. 在 \(\xi_k\) 为两点分布时, 这个条件自动满足, 叫 Borel 强大数定律.
为了更广泛的情况, 首先要证明一堆引理. 取非增常数序列 \(\{C_k\}_{k=0}^{+\infty}\), 则 \(\forall m,n\in\mathbb N,\varepsilon>0\), 若 \(m<n\), 令 \(Y=\sum_{k=m}^{n-1}S_k^2(C_k^2-C_{k+1}^2)+C_n^2S_n^2,E_k\) 为事件 \(|C_kS_k|\ge\varepsilon\wedge\forall l\in[m,k)\cap\mathbb N,|C_lS_l|<\varepsilon\). 枚举最后一个超过 \(\varepsilon\) 的值:
\[P\{\sup_{k=m}^{n-1}|C_kS_k|\ge\varepsilon\}
=\sum_{k=m}^{n-1}P(E_k)
=\sum_{k=m}^{n-1}\frac{P(E_k)}{C_k^2}(\sum_{l=k}^{n-1}(C_l^2-C_{l+1}^2)+C_n^2)
\]
在 \(E_k\) 的条件下, 因为独立性, 所以 \(E[S_l^2]=D[S_l]=\sum_{p=0}^{l-1}D[\xi_p]\), 继而 \(\frac1{C_k^2}\le\frac1{\varepsilon^2}E[S_k^2]\le\frac1{\varepsilon^2}E[S_l^2]\):
\[\le\sum_{k=m}^{n-1}P(E_k)(\sum_{l=k}^{n-1}\frac1{\varepsilon^2}E[S_l^2\mid E_k](C_l^2-C_{l+1}^2)+\frac1{\varepsilon^2}E[S_n^2\mid E_k]C_n^2)
\]
因为 \(\{C_k\}_{k=m}^n\) 不增, 所以级数项都是非负的:
\[\le\frac1{\varepsilon^2}\sum_{k=m}^{n-1}P(E_k)(\sum_{l=m}^{n-1}E[S_l^2\mid E_k](C_l^2-C_{l+1}^2)+E[S_n^2\mid E_k]C_n^2)
=\frac1{\varepsilon^2}\sum_{k=m}^{n-1}P(E_k)E[Y\mid E_k]
\]
注意这只有 \(\sup_{k=m}^{n-1}|C_kS_k|\ge\varepsilon\) 的概率, 记事件 \(E_r\) 为 \(\sup_{k=m}^{n-1}|C_kS_k|<\varepsilon\), 因为 \(Y\) 非负:
\[\le\frac1{\varepsilon^2}(\sum_{k=m}^{n-1}P(E_k)E[Y\mid E_k]+P(E_r)E[Y\mid E_r])
=\frac1{\varepsilon^2}E[Y]
\]
最后是一堆求和变换:
\[=\frac1{\varepsilon^2}E[\sum_{k=m}^{n-1}S_k^2(C_k^2-C_{k+1}^2)+C_n^2S_n^2]
=\frac1{\varepsilon^2}(\sum_{k=m}^{n-1}\sum_{l=0}^{k-1}(C_k^2-C_{k+1}^2)D[\xi_l]+C_n^2\sum_{k=0}^{n-1}D[\xi_k])
\]
\[=\frac1{\varepsilon^2}(\sum_{l=0}^{m-1}\sum_{k=m}^{n-1}(C_k^2-C_{k+1}^2)D[\xi_l]+\sum_{l=m}^{n-1}\sum_{k=l+1}^{n-1}(C_k^2-C_{k+1}^2)D[\xi_l]+C_n^2\sum_{k=0}^{n-1}D[\xi_k])
\]
\[=\frac1{\varepsilon^2}(\sum_{l=0}^{m-1}(C_m^2-C_n^2)D[\xi_l]+\sum_{l=m}^{n-1}(C_{l+1}^2-C_n^2)D[\xi_l]+C_n^2\sum_{k=0}^{n-1}D[\xi_k])
\]
\[=\frac1{\varepsilon^2}(C_m^2\sum_{k=0}^{m-1}D[\xi_k]+\sum_{k=m}^{n-1}C_{k+1}^2D[\xi_k])
\]
这叫 Hajek-Renyi 不等式. 特例为:
\[P\{\sup_{k=0}^{n-1}|S_k|\ge\varepsilon\}
=\frac1{\varepsilon^2}\sum_{k=0}^{n-1}D[\xi_k]
\]
这叫 Kolmogorov 不等式, 再取 \(n=1\) 就是 Chebyshev 不等式.
于是考虑 \(\forall\varepsilon>0\):
\[\lim_{k\to+\infty}P(\bigcup_{n=k}^{+\infty}\{\omega\Bigm|\frac1n|S_n|\ge\varepsilon\})
\le\lim_{k\to+\infty}P\{\sup_{n=k}^{+\infty}\frac1n|S_n|\ge \varepsilon\}
\]
令 \(C_n=\frac1{\max(1,n)}\), 利用刚刚的不等式放缩:
\[\le\lim_{k\to+\infty}\lim_{n\to+\infty}\frac1{\varepsilon^2}(\frac{\sum_{l=0}^{k-1}D[\xi_l]}{k^2}+\sum_{l=k}^{n-1}\frac{D[\xi_l]}{l^2})
=\frac1{\varepsilon^2}\lim_{k\to+\infty}(\frac{\sum_{l=0}^{k-1}D[\xi_l]}{k^2}+\sum_{l=k}^{+\infty}\frac{D[\xi_l]}{l^2})
\]
\(\sum_{n=1}^{+\infty}\frac{D[\xi_n]}{n^2}\) 收敛时, 右侧第二项等于 \(0\). 同时 \(\lim_{n\to+\infty}\frac{D[\xi_n]}{n^2}=0\) 利用 Kronecker 引理, 有:
\[=\frac1{\varepsilon^2}\lim_{k\to+\infty}\frac{\sum_{l=0}^{k-1}l^2\frac{D[\xi_l]}{l^2}}{k^2}
=\frac1{\varepsilon^2}\lim_{k\to+\infty}\frac{D[\xi_k]}{k^2}
=0
\]
所以 \(\sum_{n=1}^{+\infty}\frac{D[\xi_n]}{n^2}\) 收敛时服从强大数律. 这叫做 Kolmogorov 强大数定律, 这个条件叫做 Kolmogorov 条件.
对比 Markov 条件 \(\frac1{n^2}D[\sum_{k=0}^{n-1}\xi_k]\to0\), 会发现由 Kronecker 引理, 独立时 Kolmogorov 条件严格强于 Markov 条件.
若为独立同分布, 则设分布函数为 \(F\). 若存在期望 \(E\), 那么可以计算出 \(\frac1n\sum_{k=0}^{n-1}\xi_k\) 的特征函数, 且会发现它恰好趋于 \(t\mapsto\exp(\mathrm itE)\), 于是根据 Lévy 连续性定理 \(\frac1n\sum_{k=0}^{n-1}\xi_k\xrightarrow{\mathrm L}E\), 再因为 \(E\) 为常数, 所以可以知道它服从大数律, 这叫做 Khinchin 大数律.
事实上也服从强大数律. 取随机变量 \(\eta_n=\begin{cases}\xi_n&|\xi_n|<n\\0&|\xi_n|\ge n\\
\end{cases}\), 于是:
\[|S_n|
=|\frac1n\sum_{k=0}^{n-1}(\xi_k-E)|
\le|\frac1n\sum_{k=0}^{n-1}(\xi_k-\eta_k)|+|\frac1n\sum_{k=0}^{n-1}(\eta_k-E[\eta_k])|+|\frac1n\sum_{k=0}^{n-1}(E[\eta_k]-E)|
\]
第一项需要看定义, 考虑:
\[\sum_{n=0}^{+\infty}P\{|\xi_n|\ge n\}
=\sum_{n=0}^{+\infty}\sum_{k=n}^{+\infty}P\{k\le|\xi_n|<k+1\}
\]
\[=\sum_{k=0}^{+\infty}\sum_{n=0}^kP\{k\le|\xi_n|<k+1\}
=\sum_{k=0}^{+\infty}P\{k\le|\xi_k|<k+1\}(k+1)
\le E
\]
所以根据 Borel-Cantelli 引理, \(P(\limsup_{n\to+\infty}\{\omega\Bigm||\xi_n|\ge n\})=0\):
\[P(\{\omega\mid\lim_{n\to+\infty}\frac1n\sum_{k=0}^{n-1}(\xi_k(\omega)-\eta_k(\omega))=0\})
\le P(\limsup_{n\to+\infty}\{\omega\mid\omega(\xi_n)\neq\omega(\eta_n)\})
\le P(\limsup_{n\to+\infty}\{\omega\Bigm||\xi_n|\ge n\})
=0
\]
从而第一项几乎处处收敛到 \(0\).
第二项可验证 Kolmogorov 条件:
\[\sum_{n=1}^{+\infty}\frac{D[\eta_n]}{n^2}
\le\sum_{n=1}^{+\infty}\frac{E[\eta_n^2]}{n^2}
=\sum_{n=1}^{+\infty}\frac1{n^2}\int_{-n}^nx^2\mathrm dF(x)
\le\sum_{n=1}^{+\infty}\frac1{n^2}\sum_{k=0}^{n-1}(k+1)^2P\{k\le|\xi_n|<k+1\}
\]
\[=\sum_{k=0}^{+\infty}(k+1)^2P\{k\le|\xi_n|<k+1\}\sum_{n=k+1}^{+\infty}\frac1{n^2}
\le\sum_{k=0}^{+\infty}(k+1)^2P\{k\le|\xi_n|<k+1\}\sum_{n=k+1}^{+\infty}\frac1{(n-1)n}
\]
\[=\sum_{k=0}^{+\infty}\frac{(k+1)^2}kP\{k\le|\xi_n|<k+1\}
\le3+\sum_{k=0}^{+\infty}kP\{k\le|\xi_n|<k+1\}
\le3+E
\]
从而第二项几乎处处收敛到 \(0\).
第三项就是一个常量:
\[\lim_{n\to+\infty}\frac1n\sum_{k=0}^{n-1}(E[\eta_k]-E)
=\lim_{n\to+\infty}\frac1n\sum_{k=0}^{n-1}(\int_{-k}^kx\mathrm dF(x)-\int_{-\infty}^{+\infty}x\mathrm dF(x))
\]
根据 Cauchy 极限定理可知:
\[=\lim_{n\to+\infty}(\int_{-n}^nx\mathrm dF(x)-\int_{-\infty}^{+\infty}x\mathrm dF(x))
=0
\]
综合就有 \(\{\xi_n\}_{n=0}^{+\infty}\) 满足强大数律.
中心
对于独立的随机变量列 \(\{\xi_n\}_{n=0}^{+\infty}\), 令:
\[S_n
=\sum_{k=0}^{n-1}\xi_k,
Z_n
=\frac{S_n-E[S_n]}{\sqrt{D[S_n]}}
=\sum_{k=0}^{n-1}\frac{\xi_k-E[\xi_k]}{\sqrt{\sum_{k=0}^{n-1}D[\xi_k]}}
\]
则并记 \(\eta_{n,k}=\frac{\xi_k-E[\xi_k]}{\sqrt{\sum_{k=0}^{n-1}D[\xi_k]}}\), 则有:
\[Z_n
=\sum_{k=0}^{n-1}\eta_{n,k},
E[Z_n]
=\frac{E[S_n]-E[S_n]}{\sqrt{D[S_n]}}
=0,
D[Z_n]
=\frac{D[S_n]}{(\sqrt{D[S_n]})^2}
=1
\]
在 \(\xi_n\) 同分布时可以通过特征函数算出 \(Z_n\xrightarrow{\mathrm L}N(0,1)\). 这叫做 Lindeberg-Lévy 中心极限定理. 而 \(\xi_n\) 为同概率的两点分布时叫做 De Moivre-Laplace 中心极限定理.
不同分布就有点复杂了. 称:
\[\forall\tau>0,
\lim_{n\to+\infty}\sum_{k=0}^{n-1}E[\eta_{n,k}^2\Bigm||\eta_{n,k}|>\tau]P\{|\eta_{n,k}|>\tau\}
=0
\]
为 Lindeberg 条件.
另一个条件叫做 Feller 条件:
\[\lim_{n\to+\infty}\max_{k=0}^{n-1}D[\eta_{n,k}]
=0
\Leftrightarrow\lim_{n\to+\infty}\max_{k=0}^{n-1}\sqrt{\frac{D[\xi_k]}{D[S_n]}}
=0
\Leftrightarrow\lim_{n\to+\infty}\frac{\max_{k=0}^{n-1}D[\xi_k]}{\sum_{k=0}^{n-1}D[\xi_k]}
=0
\]
\[\Leftrightarrow\sum_{k=0}^{+\infty}D[\xi_k]=+\infty,\lim_{n\to+\infty}\frac{D[\xi_n]}{\sum_{k=0}^{n-1}D[\xi_k]}=0
\]
最后一个等价条件的分子写成 \(D[\xi_{n-1}]\) 也对, 需要证明它和前面的等价.
左到右, 首先 \(\sum_{k=0}^{+\infty}D[\xi_k]\) 收敛很容易推出矛盾, 其次:
\[\frac{D[\xi_n]}{\sum_{k=0}^{n-1}D[\xi_k]}
=\frac{\frac{D[\xi_n]}{\sum_{k=0}^nD[\xi_k]}}{1-\frac{D[\xi_n]}{\sum_{k=0}^nD[\xi_k]}}
\]
而 \(0\le\frac{D[\xi_n]}{\sum_{k=0}^nD[\xi_k]}\le\frac{\max_{k=0}^nD[\xi_k]}{\sum_{k=0}^nD[\xi_k]}\).
右到左, 展开极限的定义 \(\forall\varepsilon>0,\exists N\in\mathbb N,\mathrm{s.t.}\forall n\in[N,+\infty)\cap\mathbb N\), \(\frac{D[\xi_n]}{\sum_{k=0}^{n-1}D[\xi_k]}<\varepsilon\):
\[\frac{\max_{k=0}^{n-1}D[\xi_k]}{\sum_{k=0}^{n-1}D[\xi_k]}
=\max(\frac{\max_{k=0}^{N-1}D[\xi_k]}{\sum_{k=0}^{n-1}D[\xi_k]},\frac{\max_{k=N}^{n-1}D[\xi_k]}{\sum_{k=0}^{n-1}D[\xi_k]})
\le\max(\frac{\max_{k=0}^{N-1}D[\xi_k]}{\sum_{k=0}^{n-1}D[\xi_k]},\max_{k=N}^{n-1}\frac{D[\xi_k]}{\sum_{l=0}^{k-1}D[\xi_l]})
\]
\(\frac{\max_{k=0}^{N-1}D[\xi_k]}{\sum_{k=0}^{n-1}D[\xi_k]}\) 分子为常数, 分母发散; \(\max_{k=N}^{n-1}\frac{D[\xi_k]}{\sum_{l=0}^{k-1}D[\xi_l]}\) 中的每一项均不超过 \(\varepsilon\). 于是令 \(n\to+\infty\) 可得 \(\lim_{n\to+\infty}\frac{\max_{k=0}^{n-1}D[\xi_k]}{\sum_{k=0}^{n-1}D[\xi_k]}\le\varepsilon\), 再令 \(\varepsilon\to0\) 即可.
Lindeberg 条件可以推出 Feller 条件, 这是因为 \(\forall\tau>0\):
\[\max_{k=0}^{n-1}D[\eta_{n,k}]
=\max_{k=0}^{n-1}E[\eta_{n,k}^2]
=\max_{k=0}^{n-1}(E[\eta_{n,k}^2\Bigm||\eta_{n,k}|>\tau]P\{|\eta_{n,k}|>\tau\}+E[\eta_{n,k}^2\Bigm||\eta_{n,k}|\le\tau]P\{|\eta_{n,k}|\le\tau\})
\]
\[\le\tau^2+\max_{k=0}^{n-1}E[\eta_{n,k}^2\Bigm||\eta_{n,k}|\le\tau]P\{|\eta_{n,k}|\le\tau\}
\le\tau^2+\sum_{k=0}^{n-1}E[\eta_{n,k}^2\Bigm||\eta_{n,k}|>\tau]P\{|\eta_{n,k}|>\tau\}
\]
令 \(n\to+\infty\) 即可知 \(\lim_{n\to+\infty}\max_{k=0}^{n-1}D[\eta_{n,k}]\le\tau^2\), 再令 \(\tau\to0\) 即可.
要从两个条件推出中心极限定理. 因为中心极限定理只要求按分布收敛, 所以放心大胆用特征函数法:
\[|\varphi_{\eta_{n,k}}(t)-1|
=|E[\exp(\mathrm it\eta_{n,k})]-1-\mathrm itE[\eta_{n,k}]|
=|E[\exp(\mathrm it\eta_{n,k})-1-\mathrm it\eta_{n,k}]|
\]
通过 \(|\exp(z)-1-z|\le\frac12|z|^2\) 放缩:
\[\le E[|\exp(\mathrm it\eta_{n,k})-1-\mathrm it\eta_{n,k}|]
\le E[\frac12t^2\eta_{n,k}^2]
=\frac{t^2}2D[\eta_{n,k}]
=\frac{t^2D[\xi_k]}{2\sum_{l=0}^{n-1}D[\xi_l]}
\le\frac{t^2\max_{l=0}^{n-1}D[\xi_l]}{2\sum_{l=0}^{n-1}D[\xi_l]}
\]
所以 Feller 条件成立时, 在 \(n\to+\infty\) 时, 右侧趋于 \(0\). 估算 \(\varphi_{Z_n}(t)\):
\[|\exp(\sum_{k=0}^{n-1}(\varphi_{\eta_{n,k}}(t)-1))-\varphi_{Z_n}(t)|
=|\prod_{k=0}^{n-1}\exp(\varphi_{\eta_{n,k}}(t)-1)-\prod_{k=0}^{n-1}\varphi_{\eta_{n,k}}(t)|
\]
\[\le\sum_{k=0}^{n-1}|\exp(\varphi_{\eta_{n,k}}(t)-1)-\varphi_{\eta_{n,k}}(t)|
=\sum_{k=0}^{n-1}|\exp(\varphi_{\eta_{n,k}}(t)-1)-1-(\varphi_{\eta_{n,k}}(t)-1)|
\]
\(\forall\delta>0\), 因为 \(|z|\le2\delta\) 时 \(|\exp(z)-1-z|\le\frac12|z|^2\le\delta|z|\), 而 \(n\) 足够大时确实有 \(|\varphi_{\eta_{n,k}}(t)-1|\le2\delta\):
\[\le\sum_{k=0}^{n-1}\delta|\varphi_{\eta_{n,k}}(t)-1|
\le\sum_{k=0}^{n-1}\frac{\delta t^2D[\xi_k]}{2\sum_{l=0}^{n-1}D[\xi_l]}
=\frac12\delta t^2
\]
令 \(\delta\to0\) 即可知, Feller 条件下 \(\lim_{n\to+\infty}|\exp(\sum_{k=0}^{n-1}(\varphi_{\eta_{n,k}}(t)-1))-\varphi_{Z_n}(t)|=0\).
中心极限定理等价于 \(\lim_{n\to+\infty}\varphi_{Z_n}(t)=\exp(-\frac12t^2)\), 由此可知 Feller 条件下这等价于 \(\lim_{n\to+\infty}\sum_{k=0}^{n-1}(\varphi_{\eta_{n,k}}(t)-1)=-\frac12t^2\). 接下来只需要估算:
\[|\sum_{k=0}^{n-1}(\varphi_{\eta_{n,k}}(t)-1)+\frac12t^2|
=|\sum_{k=0}^{n-1}(E[\exp(\mathrm it\eta_{n,k})]-1-\mathrm itE[\eta_{n,k}])+\frac12t^2E[Z_n^2]|
\]
\[=|\sum_{k=0}^{n-1}E[\exp(\mathrm it\eta_{n,k})-1-\mathrm it\eta_{n,k}+\frac12t^2\eta_{n,k}^2]|
\le\sum_{k=0}^{n-1}E[|\exp(\mathrm it\eta_{n,k})-1-\mathrm it\eta_{n,k}+\frac12t^2\eta_{n,k}^2|]
\]
尝试利用 Lindeberg 条件, \(\forall\tau>0\), 分成两部分分别放缩. 对于 \(|\eta_{n,k}|\le\tau\) 的部分:
\[\sum_{k=0}^{n-1}E[|\exp(\mathrm it\eta_{n,k})-1-\mathrm it\eta_{n,k}+\frac12t^2\eta_{n,k}^2|\Bigm||\eta_{n,k}|\le\tau]P\{|\eta_{n,k}|\le\tau\}
\]
\[\le\sum_{k=0}^{n-1}E[\frac16t^3|\eta_{n,k}|^3\Bigm||\eta_{n,k}|\le\tau]P\{|\eta_{n,k}|\le\tau\}
\le\frac16t^3\tau\sum_{k=0}^{n-1}E[\eta_{n,k}^2\Bigm||\eta_{n,k}|\le\tau]P\{|\eta_{n,k}|\le\tau\}
\]
\[\le\frac16t^3\tau\sum_{k=0}^{n-1}E[\eta_{n,k}^2]
=\frac16t^3\tau\sum_{k=0}^{n-1}D[\eta_{n,k}]
=\frac16t^3\tau D[Z_n]
=\frac16t^3\tau
\]
对于 \(|\eta_{n,k}|>\tau\) 的部分:
\[\sum_{k=0}^{n-1}E[|\exp(\mathrm it\eta_{n,k})-1-\mathrm it\eta_{n,k}+\frac12t^2\eta_{n,k}^2|\Bigm||\eta_{n,k}|>\tau]P\{|\eta_{n,k}|>\tau\}
\]
\[\le\sum_{k=0}^{n-1}E[\frac12t^2\eta_{n,k}^2+\frac12t^2\eta_{n,k}^2\Bigm||\eta_{n,k}|>\tau]P\{|\eta_{n,k}|>\tau\}
=t^2\sum_{k=0}^{n-1}E[\eta_{n,k}^2\Bigm||\eta_{n,k}|>\tau]P\{|\eta_{n,k}|>\tau\}
\]
两个式子加起来, 就有:
\[|\sum_{k=0}^{n-1}(\varphi_{\eta_{n,k}}(t)-1)+\frac12t^2|
\le\frac16t^3\tau+t^2\sum_{k=0}^{n-1}E[\eta_{n,k}^2\Bigm||\eta_{n,k}|>\tau]P\{|\eta_{n,k}|>\tau\}
\]
Lindeberg 条件下, 令 \(\tau\to0\) 再令 \(n\to+\infty\) 可知左侧趋于 \(0\), 于是中心极限定理成立.
其实也能反过来. \(\forall\tau>0\):
\[|\sum_{k=0}^{n-1}E[\exp(\mathrm it\eta_{n,k})-1-\mathrm it\eta_{n,k}+\frac12t^2\eta_{n,k}^2]|
\]
\[\ge\sum_{k=0}^{n-1}|\operatorname{Re}(E[\exp(\mathrm it\eta_{n,k})-1-\mathrm it\eta_{n,k}+\frac12t^2\eta_{n,k}^2])|
\ge\sum_{k=0}^{n-1}E[|\cos(t\eta_{n,k})-1+\frac12t^2\eta_{n,k}^2|]
\]
\[\ge\sum_{k=0}^{n-1}E[\frac12t^2\eta_{n,k}^2-2]
\ge\sum_{k=0}^{n-1}E[\frac12t^2\eta_{n,k}^2-2\Bigm||\eta_{n,k}|>\tau]P\{|\eta_{n,k}|>\tau\}
\]
\[\ge\sum_{k=0}^{n-1}E[\frac12t^2\eta_{n,k}^2-2\frac{\eta_{n,k}^2}{\tau^2}\Bigm||\eta_{n,k}|>\tau]P\{|\eta_{n,k}|>\tau\}
=(\frac{t^2}2-\frac2{\tau^2})\sum_{k=0}^{n-1}E[\eta_{n,k}^2\Bigm||\eta_{n,k}|>\tau]P\{|\eta_{n,k}|>\tau\}
\]
只要选 \(\tau\) 使得 \(\frac{t^2}2-\frac2{\tau^2}>0\), 则中心极限定理成立时左右均趋于 \(0\), 即 Lindeberg 条件成立.
总结一下, Feller 条件成立的前提下, Lindeberg 条件等价于中心极限定理, 且 Lindeberg 条件成立时 Feller 条件成立. 这叫做 Lindeberg-Feller 中心极限定理.
最后还有一个 Lyapunov 条件:
\[\exists\delta>0,\mathrm{s.t.}\lim_{n\to+\infty}\sum_{k=0}^{n-1}E[|\eta_{n,k}|^{2+\delta}]
=0
\]
考虑 \(\forall\tau>0\):
\[\lim_{n\to+\infty}\sum_{k=0}^{n-1}E[\eta_{n,k}^2\Bigm||\eta_{n,k}|>\tau]P\{|\eta_{n,k}|>\tau\}
\]
\[\le\lim_{n\to+\infty}\sum_{k=0}^{n-1}E[\frac{|\eta_{n,k}|^{2+\delta}}{\tau^\delta}\Bigm||\eta_{n,k}|>\tau]P\{|\eta_{n,k}|>\tau\}
=\frac1{\tau^\delta}\lim_{n\to+\infty}\sum_{k=0}^{n-1}E[|\eta_{n,k}|^{2+\delta}]
\]
所以 Lyapunov 条件强于 Lindeberg 条件, 而 Lyapunov 条件用起来更方便.
