概率论与数理统计入门教程

概述

概率论与数理统计是研究随机现象统计规律性的数学学科，是大学数学的重要组成部分。概率论从数学角度研究随机现象的规律性，数理统计则以概率论为基础，研究如何有效地收集、整理和分析带有随机性的数据，从而对所研究的问题做出推断和预测。

本教程将系统讲解概率论与数理统计的核心知识，包括随机事件与概率、随机变量及其分布、数字特征、大数定律与中心极限定理、参数估计、假设检验等，配合典型例题和练习，帮助初学者建立扎实的理论基础。

---

知识点一：随机事件与概率

1.1 随机事件的基本概念

随机现象：在一定条件下，可能出现多种结果，且事先无法确定出现哪一种结果的现象。

随机试验：对随机现象的观察或实验。特点：可重复性、可预知性（知道所有可能结果）、随机性（事先不确定具体结果）。

基本概念：

• 样本空间（Ω）：随机试验所有可能结果的集合
• 样本点（ω）：样本空间中的元素
• 随机事件：样本空间的子集
• 必然事件：样本空间本身
• 不可能事件：空集∅

1.2 事件的关系与运算

运算	含义	符号
包含	A发生必然导致B发生	A ⊂ B
相等	A ⊂ B 且 B ⊂ A	A = B
并（和）	A与B至少有一个发生	A ∪ B
交（积）	A与B同时发生	A ∩ B
差	A发生但B不发生	A - B
互斥	A与B不能同时发生	A ∩ B = ∅
对立	A与B互斥且必有一个发生	A ∩ B = ∅ 且 A ∪ B = Ω

1.3 概率的定义与性质

古典概型（等可能概型）：

• 有限个等可能的基本事件
• P(A) = A包含的基本事件数 / 基本事件总数 = m/n

概率的基本性质：

1. 非负性：P(A) ≥ 0
2. 规范性：P(Ω) = 1
3. 可加性：若A与B互斥，则 P(A∪B) = P(A) + P(B)

重要公式：

• 加法公式：P(A∪B) = P(A) + P(B) - P(A∩B)
• 条件概率：P(B|A) = P(A∩B) / P(A)
• 乘法公式：P(A∩B) = P(A) × P(B|A)
• 全概率公式：P(B) = ΣP(Aᵢ) × P(B|Aᵢ)
• 贝叶斯公式：P(Aⱼ|B) = P(Aⱼ)P(B|Aⱼ) / ΣP(Aᵢ)P(B|Aᵢ)

1.4 事件的独立性

定义：若 P(A∩B) = P(A)P(B)，则称A与B相互独立。

性质：

• 若A与B独立，则A与B̄、Ā与B、Ā与B̄也独立
• P(B|A) = P(B)（独立事件的发生概率不受另一事件影响）

---

知识点二：随机变量及其分布

2.1 随机变量的定义

随机变量：定义在样本空间上的实值函数 X: Ω → R。

分类：

• 离散型随机变量：取值为有限个或可列无穷多个
• 连续型随机变量：取值为某个区间上的任意值

2.2 离散型随机变量的分布

分布律（概率分布）：P(X = xₖ) = pₖ，k = 1, 2, ...

满足：pₖ ≥ 0，Σpₖ = 1

常见离散分布：

（1）0-1分布（伯努利分布）

P(X=1) = p，P(X=0) = 1-p

（2）二项分布 X ~ B(n, p)

\(P(X=k) = \binom{n}{k} p^k (1-p)^{n-k}, \quad k=0,1,...,n\)

含义：n次独立重复试验中，事件A发生的次数。

（3）泊松分布 X ~ P(λ)

\(P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k=0,1,2,...\)

应用场景：单位时间内某事件发生的次数（如电话呼叫次数、放射性粒子衰变数等）。

2.3 连续型随机变量的分布

概率密度函数 f(x)：

• f(x) ≥ 0
• ∫₋∞^∞ f(x)dx = 1
• P(a < X < b) = ∫ₐᵇ f(x)dx

分布函数：F(x) = P(X ≤ x) = ∫₋∞^x f(t)dt

常见连续分布：

（1）均匀分布 X ~ U(a, b)

\(f(x) = \begin{cases} \frac{1}{b-a}, & a < x < b \\ 0, & \text{其他} \end{cases}\)

（2）指数分布 X ~ E(λ)

\(f(x) = \begin{cases} \lambda e^{-\lambda x}, & x > 0 \\ 0, & x \leq 0 \end{cases}\)

（3）正态分布 X ~ N(μ, σ²)

\(f(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}\)

• 当 μ=0, σ=1 时，为标准正态分布 N(0,1)
• 正态分布具有对称性，关于 x = μ 对称
• 3σ原则：P(μ-3σ < X < μ+3σ) ≈ 99.74%

---

知识点三：数字特征

3.1 数学期望

离散型：E(X) = Σxₖpₖ

连续型：E(X) = ∫₋∞^∞ xf(x)dx

性质：

• E(c) = c（常数的期望等于常数本身）
• E(aX+b) = aE(X) + b
• E(X+Y) = E(X) + E(Y)

3.2 方差

定义：D(X) = E[X - E(X)]² = E(X²) - [E(X)]²

性质：

• D(c) = 0
• D(aX+b) = a²D(X)
• 若X与Y独立，则 D(X+Y) = D(X) + D(Y)

常见分布的期望和方差：

分布	期望	方差
B(n,p)	np	np(1-p)
P(λ)	λ	λ
U(a,b)	(a+b)/2	(b-a)²/12
E(λ)	1/λ	1/λ²
N(μ,σ²)	μ	σ²

3.3 协方差与相关系数

协方差：Cov(X,Y) = E(XY) - E(X)E(Y)

相关系数：ρ = Cov(X,Y) / √(D(X)D(Y))

• |ρ| ≤ 1
• ρ = 0：X与Y不相关
• |ρ| = 1：X与Y完全线性相关

---

知识点四：大数定律与中心极限定理

4.1 大数定律

大数定律的核心思想：当样本量足够大时，样本均值趋近于总体均值。

切比雪夫大数定律：设X₁, X₂, ...是相互独立的随机变量，期望和方差都存在，则对任意ε > 0：

\(\lim_{n \to \infty} P\left(\left|\frac{1}{n}\sum_{i=1}^{n}X_i - \frac{1}{n}\sum_{i=1}^{n}E(X_i)\right| < \varepsilon\right) = 1\)

伯努利大数定律：设n_A是n次独立重复试验中事件A发生的次数，p是事件A的概率，则对任意ε > 0：

\(\lim_{n \to \infty} P\left(\left|\frac{n_A}{n} - p\right| < \varepsilon\right) = 1\)

4.2 中心极限定理

中心极限定理的核心思想：大量独立随机变量的和（或均值）近似服从正态分布，无论各随机变量本身服从什么分布。

独立同分布的中心极限定理（林德伯格-列维定理）：设X₁, X₂, ...是独立同分布的随机变量，E(Xᵢ) = μ，D(Xᵢ) = σ²，则当n足够大时：

\(\frac{\bar{X} - \mu}{\sigma/\sqrt{n}} \xrightarrow{d} N(0,1)\)

应用：这是统计推断的理论基础，解释了为什么正态分布在统计学中如此重要。

---

知识点五：参数估计

5.1 点估计

点估计：用样本统计量的值来估计总体参数的值。

矩估计法：用样本矩估计总体矩。

• 样本均值 X̄ 估计总体均值 μ
• 样本方差 S² 估计总体方差 σ²

最大似然估计法（MLE）：

1. 写出似然函数 L(θ) = ∏f(xᵢ; θ)
2. 取对数 ln L(θ)
3. 对θ求导，令导数为零，解出θ的估计值

例题：设X₁, X₂, ..., Xₙ是来自正态总体N(μ, σ²)的样本，求μ和σ²的最大似然估计。

解：

似然函数：L(μ,σ²) = (2πσ²)^(-n/2) × exp[-Σ(xᵢ-μ)²/(2σ²)]

取对数：ln L = -(n/2)ln(2π) - (n/2)ln(σ²) - Σ(xᵢ-μ)²/(2σ²)

对μ求导令为零：∂lnL/∂μ = Σ(xᵢ-μ)/σ² = 0 → μ̂ = (1/n)Σxᵢ = X̄

对σ²求导令为零：∂lnL/∂(σ²) = -n/(2σ²) + Σ(xᵢ-μ)²/(2σ⁴) = 0 → σ̂² = (1/n)Σ(xᵢ-X̄)²

5.2 估计量的评价标准

• 无偏性：E(θ̂) = θ（估计量的期望等于被估计参数）
• 有效性：在所有无偏估计量中，方差最小的估计量最有效
• 一致性：当样本量n→∞时，θ̂依概率收敛于θ

5.3 区间估计

置信区间：以一定的置信水平（置信度）估计总体参数所在的区间。

正态总体均值的区间估计：

• σ²已知：置信区间为 X̄ ± z_{α/2} × σ/√n
• σ²未知：置信区间为 X̄ ± t_{α/2}(n-1) × S/√n

其中 z_{α/2} 和 t_{α/2} 是临界值，可通过查表获得。

---

知识点六：假设检验

6.1 假设检验的基本思想

基本步骤：

1. 提出假设：原假设H₀和备择假设H₁
2. 选择检验统计量：根据问题选择合适的统计量
3. 确定拒绝域：根据显著性水平α确定拒绝域
4. 做出判断：根据样本观测值是否落入拒绝域，决定是否拒绝H₀

两类错误：

• 第一类错误（α错误）：H₀为真时拒绝H₀（弃真错误）
• 第二类（β错误）：H₀为假时接受H₀（取伪错误）

6.2 正态总体参数的检验

均值的检验：

• Z检验（σ²已知）：Z = (X̄ - μ₀) / (σ/√n)
• t检验（σ²未知）：t = (X̄ - μ₀) / (S/√n)

方差的检验：

• χ²检验：χ² = (n-1)S² / σ₀²

例题：某工厂声称其产品的平均长度为10cm。现从产品中随机抽取25件，测得平均长度为10.2cm，标准差为0.5cm。在显著性水平α=0.05下，检验该厂的说法是否成立。

解：

H₀: μ = 10, H₁: μ ≠ 10

由于σ²未知，使用t检验：

t = (10.2 - 10) / (0.5/√25) = 0.2/0.1 = 2

查t分布表，t_{0.025}(24) ≈ 2.064

由于|t| = 2 < 2.064，不拒绝H₀，即没有足够证据否定该厂的说法。

---

练习题

练习一：古典概型

袋中有5个红球和3个白球，从中任取2个，求取到的2个球都是红球的概率。

答案：

样本空间：从8个球中取2个，C(8,2) = 28

事件A：取到2个红球，C(5,2) = 10

P(A) = 10/28 = 5/14

---

练习二：全概率公式与贝叶斯公式

某工厂有甲、乙、丙三个车间，产量分别占总产量的25%、35%、40%，次品率分别为5%、4%、2%。现从产品中随机取一件发现是次品，求该次品来自甲车间的概率。

答案：

设A₁、A₂、A₃分别表示产品来自甲、乙、丙车间，B表示取到次品。

P(A₁) = 0.25, P(A₂) = 0.35, P(A₃) = 0.40

P(B|A₁) = 0.05, P(B|A₂) = 0.04, P(B|A₃) = 0.02

全概率公式：P(B) = 0.25×0.05 + 0.35×0.04 + 0.40×0.02 = 0.0125 + 0.014 + 0.008 = 0.0345

贝叶斯公式：P(A₁|B) = P(A₁)P(B|A₁) / P(B) = 0.0125 / 0.0345 ≈ 0.3623

---

练习三：二项分布

某射手每次射击命中目标的概率为0.8，独立射击10次，求恰好命中8次的概率和至少命中8次的概率。

答案：

设X为命中次数，X ~ B(10, 0.8)

恰好命中8次：P(X=8) = C(10,8) × 0.8⁸ × 0.2² = 45 × 0.1678 × 0.04 ≈ 0.3020

至少命中8次：P(X≥8) = P(X=8) + P(X=9) + P(X=10)

P(X=9) = C(10,9) × 0.8⁹ × 0.2¹ = 10 × 0.1342 × 0.2 ≈ 0.2684

P(X=10) = 0.8¹⁰ ≈ 0.1074

P(X≥8) ≈ 0.3020 + 0.2684 + 0.1074 ≈ 0.6778

---

练习四：期望与方差

设随机变量X的概率密度为 f(x) = 2x, 0 < x < 1；f(x) = 0, 其他。求E(X)和D(X)。

答案：

E(X) = ∫₀¹ x × 2x dx = ∫₀¹ 2x² dx = [2x³/3]₀¹ = 2/3

E(X²) = ∫₀¹ x² × 2x dx = ∫₀¹ 2x³ dx = [2x⁴/4]₀¹ = 1/2

D(X) = E(X²) - [E(X)]² = 1/2 - (2/3)² = 1/2 - 4/9 = 1/18

---

练习五：最大似然估计

设X₁, X₂, ..., Xₙ是来自指数分布E(λ)的样本，求参数λ的最大似然估计。

答案：

指数分布的密度函数：f(x;λ) = λe^{-λx}, x > 0

似然函数：L(λ) = ∏λe^{-λxᵢ} = λ^{n × e}{-λΣxᵢ}

取对数：ln L = n ln λ - λ Σxᵢ

对λ求导：d(ln L)/dλ = n/λ - Σxᵢ = 0

解得：λ̂ = n / Σxᵢ = 1/X̄

---

总结

概率论与数理统计是研究随机现象的重要工具，在金融、保险、工程、医学、社会科学等领域有广泛应用。本教程涵盖了以下核心知识：

1. 随机事件与概率：掌握概率的计算方法，特别是条件概率、全概率公式和贝叶斯公式
2. 随机变量及其分布：理解离散型和连续型随机变量的分布特征，掌握常见分布的性质
3. 数字特征：期望、方差、协方差是描述随机变量特征的重要工具
4. 大数定律与中心极限定理：揭示了随机现象的统计规律性，是统计推断的理论基础
5. 参数估计：学会用样本数据估计总体参数，理解点估计和区间估计
6. 假设检验：学会用统计方法检验假设是否成立

学习概率论与数理统计，需要注重理解随机思维和统计思想，同时要通过大量练习提高计算能力。建议同学们在学习中多联系实际应用场景，培养用数据说话的能力。