极限定理
极限定理主要包括五个部分，分别是不等式和大数定律、斯特林公式、生成函数与卷积、中心极限定理、傅里叶分析与中心极限定理。
不等式和大数定律
在这一部分，我们首先学习马尔可夫不等式。以非数学的形式表述马尔可夫不等式（数学表述在详细介绍中提现），对于一个均值有限的非负随机变量，任意正数\(a\)都可以得到该随机变量的均值除以这个正数得到的商不小于随机变量大于或等于这个正数的概率。也就是说，非负随机变量大于或等于某一个正数的概率是不会大于随机变量的均值除以这个数的。
马尔可夫不等式给出了一个初步的概率范围，但是对于实际应用来讲，这个范围太大了，因此可以增加更多的限制，为所求的概率缩小范围。这就引入了切比雪夫不等式。
从常识上来讲，如果引入随机变量的方差，就可以更进一步限定概率的范围，因此切比雪夫不等式就是通过均值和方差来进一步限定的。同样用非数学的形式表述，随机变量与均值的距离至少为\(k\)个标准差的概率不超过\(1/k^2\)。
在进入大数定律环节之前，先了解不同的收敛类型的描述。弱大数定律和强大数定律都是考察独立随机变量之和的性质，很多情况下都与极限有关，因此先了解依分布收敛和依概率收敛的含义比较重要。
- 1.依分布收敛（或弱收敛）：一系列随机变量（\(X_1,X_2,\cdots,X_n\)）的累积分布函数\((F_1,F_2,\cdots,F_n)\)在n趋向正无穷的时候趋向于\(F(x)\)，那么随机变量\(X_1,X_2,\cdots,X_n\)依分布收敛于随机变量\(X\)。
- 2.依概率收敛：一系列随机变量（\(X_1,X_2,\cdots,X_n\)）与\(X\)的差值绝对值趋近于0，则称为依概率收敛于\(X\)。
有了依分布收敛和依概率收敛的概念以后，介绍弱大数定律和强大数定律。
- 1.弱大数定律：n个随机变量都是独立同分布的随机变量，且均值为\(\mu\)，这n个随机变量的算术平均数表示为\(\bar{X}_n\)，那么有\(\bar{X}_n\)依概率收敛于\(\mu\)。
- 2.强大数定律：n个随机变量都是独立同分布的随机变量，且均值为\(\mu\)，这n个随机变量的算术平均数表示为\(\bar{X}_n\)，那么有\(\bar{X}_n\overset{a.s.}{\rightarrow} \mu\)，a.s.基本确定（almost sure）。强大数定律只要了解内容即可。
斯特林公式
斯特林公式包含了负数的阶乘和伽马函数相关内容。斯特林公式在浅海区不需要严格证明，只要知道怎么使用和为什么成立即可。首先斯特林公式是计算\(n\)趋向于无穷的时候\(n\)的阶乘的。
从抛硬币问题引入，抛硬币的结果要么正面要么反面，各占一半。如果抛掷\(2n\)次硬币，预计会得到\(n\)个正面，只要n不是无穷，这个直观感觉都是城里的，但是当n趋近于无穷的时候，抛掷\(2n\)次硬币恰好出现\(n\)次正面的概率趋近于0。这似乎与直观感觉相悖，其实是标准差在作祟。在\(2n\)次抛硬币中，出现正面的期望值为\(n\)，但是标准差为\(\sqrt{n/2}\)。具体量化的时候就会用到斯特林公式了。此外，斯特林公式还有确定使某个级数收敛的\(x\)值等用处，此处不做赘述。
生成函数与卷积
在概率论中，生成函数最重要的作用是理解随机变量的矩，进一步可以通过矩来了解分布的形状。生成函数的一个非常强大的应用就是证明中心极限定理。
生成函数有几种形式，根据研究内容的不同，不同的形式会有不同的效果，有些形式会更好用。从定义来讲，一个序列\(a_n,n=0,1,\cdots,\infty\)的生成函数被定义为\(\(G_a(s)=\sum_{n=0}^{\infty}a_ns^n\)\) 其中，\(s\)是使这个和收敛的任意数，\(s\)是一个虚拟变量。生成函数需要关注其唯一性定理和收敛性，因为不一定对所有的s都存在，此处不详细介绍。
卷积的定义在概率论基础一节中有过介绍，此处介绍其结论。对于相互独立的离散型随机变量，它们的和的概率密度函数就是各随机变量概率的卷积。对于相互独立的连续性随机变量，它们和的概率密度函数就等于各变量概率密度函数的卷积。
此处介绍另一个生成函数的形式，就是著名的矩母函数，矩母函数可以给出概率密度函数的矩，矩的定义不在此处介绍。矩母函数记作\(M_X(t)\)，定义为$$M_X(t)=\mathbb{E}[e^{tX}] $$ 当然，和生成函数一样，还不清楚矩母函数是否对所有的\(t\)都存在，一般的情况是它对某些\(t\)存在。如果矩母函数收敛时，离散型随机变量由它们的矩母函数唯一确定。然而对于连续性随机变量，存在具有相同的矩的不同的概率分布，换句话说，知道所有的矩并不总是可以唯一确定概率分布。
既然矩母函数无法确定概率分布，那么它的应用在哪里呢。首先就是确定概率分布的矩，知道了矩以后求均值和方差就更容易了。
中心极限定理
中心极限定理告诉我们，在很多情况下，n个独立的随机变量之和的分布形式会随着n的不断增加趋向于一个高斯分布。特殊情况有泊松分布。
傅里叶分析与中心极限定理