预备知识与基本概念

1.1 概率公理化

1.1.1 可测空间

定义 集合 $\mathrm{\Omega }$$\Omega$ 的全体子集构成的集合称为 $\mathrm{\Omega }$$\Omega$ 的 幂集 (power set), 记为 $\mathcal{P}(\mathrm{\Omega })$$\cal P(\Omega)$. 幂集的子集称为 $\mathrm{\Omega }$$\Omega$ 的 子集族 (或 集类) (family of sets), 用手写体表示.

定义 设 $\mathcal{F}$$\cal F$ 为 $\mathrm{\Omega }$$\Omega$ 的非空集类, $n\in \mathbb{N}$$n \in \N$. 若

1. $A\in \mathcal{F}\Rightarrow A^C\in \mathcal{F}$$A \in \cal F \RA A^C \in \cal F$.

2. $A_1,A_2\in \mathcal{F}\Rightarrow A_1\cup A_2\in \mathcal{F}$$A_1, A_2 \in \cal F \RA A_1 \cup A_2 \in \cal F$.

则称 $\mathcal{F}$$\cal F$ 为 域 (field / domain).

备注 与抽代里的域 (field) 不同, 这里的 $\mathcal{F}$$\cal F$ 对交集与补集只构成交换幺半群, 因此不是代数结构里的域; 有时也称为代数, 不过也有别于代数结构里的代数.

定义 设 $\mathcal{F}$$\cal F$ 为 $\mathrm{\Omega }$$\Omega$ 的非空集类, $n\in \mathbb{N}$$n \in \N$. 若

1. $\mathrm{\Omega }\in \mathcal{F}$$\Omega \in \cal F$.

2. $A\in \mathcal{F}\Rightarrow A^C\in \mathcal{F}$$A \in \cal F \RA A^C \in \cal F$.

3. $A_n\in \mathcal{F}\Rightarrow \bigcup _{n=1}^{\mathrm{\infty }}{A}_n\in \mathcal{F}$$A_n \in \cal F \RA \bigcup_{n=1}^\infty A_n \in \cal F$.

则称 $\mathcal{F}$$\cal F$ 为 $\sigma$$\sigma$ 域 ($\sigma$$\sigma$ 代数, 事件域), 且 $(\mathrm{\Omega },\mathcal{F})$$(\Omega, \cal F)$ 为 可测空间 (measure space).

推论 $\sigma$$\sigma$ 域对可列次交并差补封闭, 即 $A,B\in \mathcal{F}\Rightarrow A\cup B,A\cap B,A\mathrm{\setminus }B\in \mathcal{F}$$A, B \in \cal F \RA A \cup B, A \cap B, A \backslash B \in \cal F$, 并且有 $\varnothing \in \mathcal{F}$$\varnothing \in \cal F$. 这里的 "可列次" 指的是运算次数的势不超过 ${\mathrm{\aleph }}_0$$\aleph_0$, 下文同理.

备注 当 $\mathrm{\Omega }=\left\{a\right\}$$\Omega = \Bqty{a}$ 时, $\mathcal{F}$$\cal F$ 即为布尔代数 (逻辑代数). 因此 $\sigma$$\sigma$ 代数的运算性质, 对于布尔代数也成立. 特殊的, 布尔代数的逻辑运算还构成交换环.

定义 包含集类 $\mathcal{A}$$\cal A$ (不一定是 $\sigma$$\sigma$ 域) 的所有 $\sigma$$\sigma$ 域之交称为由 $\mathcal{A}$$\cal A$ 生成的 σ 域 (或包含 $\mathcal{A}$$\cal A$ 的 最小 σ 域), 记为 $\sigma (\mathcal{A})$$\sigma(\cal A)$.

定义 ${\mathcal{B}}_n=\sigma \{{\displaystyle \prod _{i=1}^n[a_i,b_i)}|a_i,b_i\in \mathbb{R}\}$$\cal B_n = \sigma\Bqty{\left. \inprod \bpqty{a_i, b_i} \ \right|\ a_i, b_i \in \R}$ 称为 n 维 Borel σ 域, 其中连乘表示直积.

备注 一维 Borel σ 域记为 $\mathcal{B}$$\cal B$, 可以由形如 $(a,b)$$(a, b)$ 或 $[a,b]$$[a, b]$ 或 $(-\mathrm{\infty },a)$$(-\infty, a)$ 等的子集族生成. 开或闭都是无所谓的, 因为对于差集封闭.

性质 ${\mathbb{R}}^n$$\R^n$ 上的任意点与任意区间都属于 ${\mathcal{B}}_n$$\cal B_n$.

1.1.2 概率空间

定义 设 $\mathrm{\Omega }\ne \varnothing$$\Omega \ne \varnothing$, $\mathcal{F}$$\cal F$ 为 $\mathrm{\Omega }$$\Omega$ 上的一个 $\sigma$$\sigma$ 域, 则称 $\mathrm{\Omega }$$\Omega$ 为 样本空间, $\omega \in \mathrm{\Omega }$$\omega \in \Omega$ 为 样本点, $\mathcal{F}$$\cal F$ 为 事件域, $A\in \mathcal{F}$$A \in \cal F$ 为 (随机) 事件. 特别的, $\mathrm{\Omega }$$\Omega$ 和 $\varnothing$$\varnothing$ 分别称为 必然事件 和 不可能事件.

事件运算的记号

• 交集 $A+B:=A\cup B$$A + B := A \cup B$.

• 并集 $AB:=A\cap B$$AB := A \cap B$.

• 补集 $\bar{A}:=A^C=\mathrm{\Omega }-A$$\overline A := A^C = \Omega - A$.

• 差集 $A-B:=A\bar{B}=A\mathrm{\setminus }B$$A - B := A \overline{B} = A \backslash B$.

• 连加 ${\displaystyle \sum _{i=1}^n{A}_i:=\bigcup _{i=1}^{\mathrm{\infty }}{A}_i}$$\insum A_i := \bigcup_{i = 1}^\infty A_i$.

• 连乘 ${\displaystyle \prod _{i=1}^n{A}_i:=\bigcap _{i=1}^{\mathrm{\infty }}{A}_i}$$\inprod A_i := \bigcap_{i = 1}^\infty A_i$.

约定

• 约定 $\mathrm{\infty }$$\infty$ 表示 $+\mathrm{\infty }$$+\infty$.

• 约定 ${\displaystyle \bigcup _{i=1}^{k-1}=\varnothing ,\bigcap _{i=k}^{k-1}=\mathrm{\Omega }}$$\d \bigcup_{i = 1}^{k-1} = \varnothing, \bigcap_{i = k}^{k-1} = \Omega$.

• 约定 $\left\{A_n\right\}$$\Bqty{A_n}$ 的下标只取非负整数.

• 约定 $\subset$$\subset$ 表示 $\subseteq$$\subseteq$, 且 $\supset$$\supset$ 表示 $\supseteq$$\supseteq$.

• 约定 ${\displaystyle \sum _{i=1}^n\{f_i(x)=0\}}=\{f_1(x)=0,\cdots ,f_n(x)=0\}$${\dsum_{i=1}^n \Bqty{f_i(x) = 0}} = \Bqty{f_1(x) = 0, \cdots, f_n(x)= 0}$, 不等式同理.

• 若 $a,b$$a, b$ 是数字, 则 $a\wedge b:=min(a,b),a\vee b:=max(a,b)$$a \and b := \min(a, b), a \or b := \max(a, b)$.

• 若 $p,q$$p, q$ 是命题, 则 $p\wedge q$$p \and q$ 表示 $p$$p$ 真且 $q$$q$ 真, $p\vee q$$p \or q$ 表示 $p$$p$ 真或 $q$$q$ 真.

  为与上一点区分, 此时最好使用括号明确运算优先级.

定义 若 $AB=\varnothing$$AB = \varnothing$, 则称 $A$$A$ 与 $B$$B$ 互斥 (或 不相容). 若 $\mathrm{\forall }(i\ne j):A_i{A}_j=\varnothing$$\forall (i \ne j): A_i A_j = \varnothing$, 即两两互斥, 则称 $A_1,A_2,\cdots$$A_1, A_2, \cdots$ 为 互斥事件组.

定义 设 $(\mathrm{\Omega },\mathcal{F})$$(\Omega, \cal F)$ 为可测空间, 集合函数 $P:\mathcal{F}\to \mathbb{R}$$P: \cal F \to \R$ 满足

1. (规范性) $P(\mathrm{\Omega })=1$$P(\Omega) = 1$.

2. (非负性) $\mathrm{\forall }A\in \mathcal{F}:P(A)\ge 0$$\forall A \in \cal F: P(A) \ge 0$.

3. (可列可加性) 若 $A_i\in \mathcal{F}$$A_i \in \cal F$ 两两互斥, 则

则称 $P$$P$ 为可测空间 $(\mathrm{\Omega },\mathcal{F})$$(\Omega, \cal F)$ 上的一个 概率 (测度) (probability measure), 称 $P(A)$$P(A)$ 为事件 $A$$A$ 的 概率, 称 $(\mathrm{\Omega },\mathcal{F},P)$$(\Omega, \cal F, P)$ 为 概率空间.

性质

• $P(\varnothing )=0$$P(\varnothing) = 0$.

• $A\subset B\Rightarrow P(A)\le P(B)$$A \subset B \RA P(A) \le P(B)$.

• $P(\bar{A})=1-P(A)$$P(\overline A) = 1 - P(A)$.

• 有限可加性 (即可列可加性的特例).

• $P(A-B)=P(A)-P(AB)$$P(A - B) = P(A) - P(AB)$.

• $P(A+B)=P(A)+P(B)-P(AB)$$P(A + B) = P(A) + P(B) - P(AB)$.

• Boolean 不等式: $P(A+B)\le P(A)+P(B)$$P(A + B) \le P(A) + P(B)$.

• Bonferroni 不等式: $P(AB)\ge P(A)+P(B)-1$$P(AB) \ge P(A) + P(B) - 1$.

• Jordan 公式: ${\displaystyle P\left(\bigcup _{i=1}^n{A}_i\right)={\displaystyle \sum _{k=1}^n{\displaystyle \sum _{i_1<\cdots <i_k}(-1{)}^{k-1}P(A_{i_1}\cdots A_{i_k})}}}$$\d P\pqty{\incup A_i} = \knsum \dsum_{i_1 < \cdots < i_k} (-1)^{k-1} P(A_{i_1} \cdots A_{i_k})$.

• 其它性质见概率论笔记.

例子

• Borel 概率空间

  • $(\mathrm{\Omega },\mathcal{F})=([0,1],\mathcal{B}[0,1])$$(\Omega, \cal F) = ([0, 1], \cal B[0, 1])$ 称为 $[0,1]$$[0, 1]$ 上的 Borel 可测空间.

  • 若 $\mathrm{\forall }A=[a,b]\in \mathcal{B}[0,1]:P(A)=b-a$$\forall A = [a, b] \in \cal B[0, 1]: P(A) = b - a$, 则称 $P$$P$ 为 $[0,1]$$[0, 1]$ 上的 Borel 概率测度.

  • 称 $(\mathrm{\Omega },\mathcal{F},P)$$(\Omega, \cal F, P)$ 为 $[0,1]$$[0, 1]$ 上的 Borel 概率空间.

• 设 $B=\{a\mid (a\in \mathbb{Q})\wedge (a\in [0,1])\},\bar{B}=[0,1]\mathrm{\setminus }B$$B = \Bqty{a \mid (a \in \Q) \and (a \in [0, 1])}, \overline B = [0, 1] \backslash B$, 并沿用 Borel 概率空间中的记号, 则

  • $B,\bar{B}\in \mathcal{F}$$B, \overline B \in \cal F$.

  • $P(B)=0,P(\bar{B})=1$$P(B) = 0, P(\overline B) = 1$.

  • 由此可见, 不可列不一定具有可加性.

1.1.3 概率的连续性

定义 (极限)

1. 若 $A_n\subset A_{n+1},n\in {\mathbb{N}}^{+}$$A_n \subset A_{n+1}, n \in \N^+$, 则事件列 $\left\{A_n\right\}$$\Bqty{A_n}$ 称为单调 增序列, 并且 $\underset{n\to \mathrm{\infty }}{lim}{A}_n:=\bigcup _{i=1}^{\mathrm{\infty }}{A}_i$$\nlim A_n := \bigcup_{i = 1}^\infty A_i$.

2. 若 $A_n\supset A_{n+1},n\in {\mathbb{N}}^{+}$$A_n \supset A_{n+1}, n \in \N^+$, 则事件列 $\left\{A_n\right\}$$\Bqty{A_n}$ 称为单调 增序列, 并且 $\underset{n\to \mathrm{\infty }}{lim}{A}_n:=\bigcap _{i=1}^{\mathrm{\infty }}{A}_i$$\nlim A_n := \bigcap_{i = 1}^\infty A_i$.

备注 对于单调递增序列 $\left\{A_n\right\}$$\Bqty{A_n}$, 可以构造互斥事件组 $\{B_n=A_n-A_{n-1}\}$$\Bqty{B_n = A_n - A_{n-1}}$, 并且有 $\bigcup _{i=1}^{\mathrm{\infty }}{A}_i=\bigcup _{i=1}^{\mathrm{\infty }}{B}_i$$\bigcup_{i = 1}^\infty A_i = \bigcup_{i = 1}^\infty B_i$.

定理 (连续性定理) 若 $\left\{A_n\right\}$$\Bqty{A_n}$ 是单调增序列 (或减序列), 则

备注 若对于任意单调增序列, 上式成立, 则称为下连续; 若对于任意单调减序列, 上式成立, 则称为上连续. 因此概率是上下连续的, 并且该性质等价于可列可加性.

定理 (Borel-Cantelli 引理) 若 ${\displaystyle \sum _{i=1}^{n}P(A_i)<+\mathrm{\infty }}$$\insum P(A_i) < +\infty$, 则

其中 ${\displaystyle \underset{i\to \mathrm{\infty }}{lim}sup{A}_i:=\bigcap _{n=1}^{\mathrm{\infty }}\bigcup _{i=n}^{\mathrm{\infty }}{A}_i}$$\d \clim i \sup A_i := \nocap \bigcup_{i = n}^\infty A_i$.

定理 (引理的另一情况) 对于独立事件序列 $\left\{A_n\right\}$$\Bqty{A_n}$, 若 ${\displaystyle \sum _{i=1}^{n}P(A_n)=+\mathrm{\infty }}$$\insum P(A_n) = +\infty$, 则

定理 (概率的次可加性) 即 Boolean 不等式可推广为

1.2 随机变量与 R-S 积分

1.2.1 随机变量与分布函数

定义 设 $(\mathrm{\Omega },\mathcal{F},P)$$(\Omega, \cal F, P)$ 是一个概率空间, $X(\omega )$$X(\omega)$ 是定义在 $\mathrm{\Omega }$$\Omega$ 上的单值实函数, 如果

则称 $X(\omega )$$X(\omega)$ 在 $\mathrm{\Omega }$$\Omega$ 上可测, 称为 随机变量 (random variable), 简记为 r.v.. 随机变量的逆为

备注 于是可定义其概率. 并且对于实数上任意的单点集或任意的区间 $S$$S$, 有 $\{X\in S\}:=\{\omega \mid X(\omega )\in S\}\in \mathcal{F}$$\Bqty{X \in S} := \Bqty{\omega \mid X(\omega) \in S} \in \cal F$.

定义 任意事件 $A$$A$ 的 示性函数 (characteristic function) 为 $\begin{array}{c}{I}_A(\omega )=\{\begin{array}{ll}0,& A\text{没}\text{发}\text{生},\\ 1,& A\text{发}\text{生}\text{了}.\end{array}\end{array}$$I_A(\omega) = \begin{cases} 0, & A\ 没发生, \\ 1, & A\ 发生了. \end{cases}$

备注 若 $A\in \mathcal{F}$$A \in \cal F$, 则 $I_A(\omega )$$I_A(\omega)$ 是随机变量; 若 $A\notin \mathcal{F}$$A \notin \cal F$, 则 $I_A(\omega )$$I_A(\omega)$ 不是随机变量.

定义 给定 $(\mathrm{\Omega },\mathcal{F})$$(\Omega, \cal F)$ 和事件序列 $B_n\in \mathcal{F}$$B_n \in \cal F$, 若 $\mathrm{\forall }(k\ne l):B_k{B}_l=\varnothing$$\forall (k \ne l): B_k B_l = \varnothing$ 且 $\bigcup _{k=1}^{\mathrm{\infty }}{B}_k=\mathrm{\Omega }$$\bigcup_{k = 1}^\infty B_k = \Omega$, 则称 $\left\{B_k\right\}$$\Bqty{B_k}$ 为 $\mathrm{\Omega }$$\Omega$ 的一个 划分 (set partitioning).

备注 若 $\left\{B_k\right\}$$\Bqty{B_k}$ 是 $\mathrm{\Omega }$$\Omega$ 的一个划分, 则 $X(\omega )={\displaystyle \sum _{n=1}^{\mathrm{\infty }}{x}_n{I}_{B_n}(\omega )}$$X(\omega) = \dsum_{n = 1}^\infty x_n I_{B_n} (\omega)$ 是随机变量, 其中 $x_n\in \mathbb{R}$$x_n \in \R$.

本节以下内容没有新东西.

定义 设 $X$$X$ 是 $(\mathrm{\Omega },\mathcal{F},P)$$(\Omega, \cal F, P)$ 上的随机变量, 定义 $X$$X$ 的 分布函数 (distribution function) 为

备注 分布函数又称为累积分布函数 (cumulative distribution function), 建成 c.d.f..

定义 若随机变量 $X$$X$ 和 $Y$$Y$ 独立, 且有相同的分布 $F$$F$ (或分布函数 $F(x)$$F(x)$), 则称 $X$$X$ 和 $Y$$Y$ 独立同分布 $F$$F$ (或 $F(x)$$F(x)$), 记作 $X,Y$$X, Y$ i.i.d. $F(x)$$F(x)$.

定义 若随机变量 $X$$X$ 的可能取值的全体是有限集或可数集, 则称 $X$$X$ 是 离散型随机变量, 记为 d.r.v..

定义 对 r.v. $X$$X$ 的分布函数 $F(x)$$F(x)$, 若存在非负函数 $f(x)$$f(x)$ 使得

则称 $f(x)$$f(x)$ 为 r.v. $X$$X$ 的 概率密度函数 (probability density function), 简记为 p.d.f.. 此时 r.v. $X$$X$ 称为 连续型随机变量, 简记为 c.r.v..

备注 若 $f(x)$$f(x)$ 在 $x$$x$ 连续, 则

定义 二维随机变量 $(X,Y)$$(X, Y)$ 的 联合分布 与 $X$$X$ 和 $Y$$Y$ 的 边缘分布 分别定义为

定义 若存在一非负函数 $f(x,y)$$f(x, y)$ 使得

则称 $f(x,y)$$f(x, y)$ 为 $(X,Y)$$(X, Y)$ 的 联合概率密度函数, 简记为 j.p.d.f..

定义 称随机变量 $X$$X$ 和 $Y$$Y$ 相互独立, 如果

备注 以上三个定义对高维随机变量同理.

1.2.2 Riemann-Stieltjes 积分

定义 设 $F(x)$$F(x)$ 是 $\mathbb{R}$$\R$ 上的单调不减右连续函数, $g(x)$$g(x)$ 为 $\mathbb{R}$$\R$ 上的单值实函数, 对于 $a<b$$a < b$, 任取分点

对于 $\mathrm{\forall }{u}_i\in [x_{i-1},x_i]$$\forall u_i \in [x_{i-1}, x_i]$, 作积分和式

令 $\lambda =\underset{1\le i\le n}{max}\mathrm{\Delta }{x}_i=\underset{1\le i\le n}{max}(x_i-x_{i-1})$$\lambda = \max\limits_{1 \le i \le n} \Delta x_i = \max\limits_{1 \le i \le n} (x_i - x_{i-1})$, 若极限

存在, 则记 $g(x)$$g(x)$ 关于 $F(x)$$F(x)$ 在 $[a,b]$$[a, b]$ 上的 R-S 积分 为

备注 当 $F(x)=x$$F(x) = x$ 时, R-S 积分化为 Riemann 积分. 可类似定义反常积分. 这种推广有助于统一表达离散型与连续型的公式, 如拉氏变换.

性质 (沿用上述记号)

1. 积分 -> 积分的求和

2. 积分与求和交换顺序

3. 若 $g(x)\ge 0$$g(x) \ge 0$ 且 $a<b$$a < b$, 则

4. 若 $F_1(x)$$F_1(x)$ 和 $F_2(x)$$F_2(x)$ 为分布函数, $C_1,C_2>0$$C_1, C_2 > 0$ 为常数, 则

特例 对于 $X$$X$ 的分布函数 $F(x)$$F(x)$,

1. 若 $g(x)=1$$g(x) = 1$, 则

2. 若 $X$$X$ 为离散型随机变量, 即 $P(X=c_i)=p_i,i\in {\mathbb{N}}^{+}$$P(X = c_i) = p_i, i \in \N^+$, 则

1.2.3 数字特征

见概率论笔记, 没有什么新的东西.

1.2.4 常见分布

见概统笔记附录, 没有什么新的东西, 记号也是相同的.

1.2.5 线性组合

随机变量的和 若随机变量 $X_1$$X_1$ 和 $X_2$$X_2$ 的联合密度函数为 $f(x_1,x_2)$$f(x_1, x_2)$, 则 $Y=X_1+X_2$$Y = X_1 + X_2$ 的密度函数为

若 $X_1$$X_1$ 和 $X_2$$X_2$ 独立, 则

示性函数的线性组合 设 $X(\omega )$$X(\omega)$ 为非负随机变量, $P(X<\mathrm{\infty })=1$$P(X < \infty) = 1$, 令

则 $X_n(\omega )$$X_n(\omega)$ 是随机变量, 且当 $X(\omega )\in [0,n]$$X(\omega) \in [0, n]$ 时, $|X_n(\omega )-X(\omega )|<{\displaystyle \frac{1}{2^n}}$$\vqty{X_n(\omega) - X(\omega)} < \dfrac{1}{2^n}$. 于是有 $\underset{n\to \mathrm{\infty }}{lim}{X}_n(\omega )=X(\omega )$$\nlim X_n(\omega) = X(\omega)$.

1.3 矩母函数与 L-S 变换

矩母函数、母函数、特征函数见概率论笔记, 没有什么新东西.

定义 设非负 r.v. $X$$X$ 的分布函数为 $F_X(x)$$F_X(x)$, 并令 $s=a+b\mathrm{i},a>0,b\in \mathbb{R}$$s = a + b\i, a > 0, b \in \R$, 则

称为 $F_X(x)$$F_X(x)$ 的 Laplace-Stieltjes 变换, 简记为 r.v. $X$$X$ 的 L-S 变换.

备注 如果 $X$$X$ 是连续型随机变量, 则 $F_X(x)$$F_X(x)$ 的 L-S 变换退化为对 p.d.f. $f_X(x)$$f_X(x)$ 的 Laplace 变换.

性质 L-S 变换的象函数与原分布函数一一对应, 并且对相互独立的非负随机变量 $X_1,X_2$$X_1, X_2$ 有

其它有关拉氏变换的性质可见电路原理笔记第九章.

1.4 条件数学期望

见概率论笔记.

1.5 随机过程的概念

1.5.1 定义与例子

定义 设 $\mathrm{\forall }t\in T\subseteq \mathbb{R},X(t,\omega ):T\times \mathrm{\Omega }\to S\subseteq {\mathbb{C}}^n$$\forall t \in T \subseteq \R, X(t, \omega) \colon T \times \Omega \to S \subseteq \C^n$ 是一随机变量, 则随机变量族 $X_T=\{X(t,\omega )\mid t\in T\}$$X_T = \Bqty{X(t, \omega) \mid t \in T}$ 为一 随机过程 (stochastic process) 或称随机函数.

备注

• 考虑固定的 $\omega \in \mathrm{\Omega }$$\omega \in \Omega$, 此时称 $X(t,\omega )$$X(t, \omega)$ 为 样本函数, 或随机过程的一个实现, 或一条轨道.

• 记号 $X(t,\omega )$$X(t, \omega)$ 有时也写为 $X_t(\omega )$$X_t(\omega)$ 或简记为 $X(t)$$X(t)$ 或 $X_t$$X_t$.

• 参数 $t\in T$$t \in T$ 一般表示时间或空间, 若 $T$$T$ 为可列集时, $X_T$$X_T$ 称为 随机序列.

• $X_T$$X_T$ 的取值也可以是 $\mathbb{C},{\mathbb{R}}^n$$\C, \R^n$ 等, 值域称为 状态空间 $S$$S$, 其中的元素称为 状态.

例子

• 质点在直线上随机游动的坐标 $X_n$$X_n$.

• 放射性物质在 $[0,t]$$[0, t]$ 内的衰变的粒子数量 $N(t)$$N(t)$.

• 在外接是随机载荷的条件下, 某零件的应力 $X(t)$$X(t)$.

• 在干扰信号电压 $\xi (t)$$\xi(t)$ 下电路的电量 $Q(t)$$Q(t)$. 电量满足微分方程

  $$R{\displaystyle \frac{\mathrm{d}Q(t)}{\mathrm{d}t}+{\displaystyle \frac{Q(t)}{C}}=\xi (t).}$$

1.5.2 概率特征

1 数字特征

对于随机过程 $\{X(t),t\in T\}$$\Bqty{X(t), t \in T}$,

1. 均值函数 $m(t):=E(X(t))$$m(t) := E(X(t))$.

2. 方差函数 $D(t):=E[(X(t)-m(t){)}^2]$$D(t) := E[(X(t) - m(t))^2]$.

3. 协方差函数 $R(s,t):=\mathrm{Cov}(X(s),X(t))$$R(s, t) := \Cov(X(s), X(t))$.

4. 相关函数 $\rho (s,t):={\displaystyle \frac{\mathrm{Cov}(X(s),X(t))}{\sqrt{D(t)\cdot D(s)}}}$$\rho(s, t) := \dfrac{\Cov(X(s), X(t))}{\sqrt{D(t) \cdot D(s)}}$.

2 有限维分布族

定义 对于随机过程 $\{X(t),t\in T\}$$\Bqty{X(t), t \in T}$, 记

其全体

称为随机过程的 有限维分布族.

性质

1. 对称性 (可以任意交换下标顺序).

2. 相容性 (若 $x_i=\mathrm{\infty }$$x_i = \infty$, 则该参数可以省去).

3 有限维特征函数

上述函数的全体称为随机过程 $\{X(t)\mid t\in T\}$$\Bqty{X(t) \mid t \in T}$ 的 有限维特征函数族.

1.6 随机过程的分类

1.6.1 独立增量过程

定义 对 $t_1<t_2<\cdots <t_n(t_i\in T)$$t_1 < t_2 < \cdots < t_n\ (t_i \in T)$, 若增量

相互独立, 则称 $\{X(t),t\in T\}$$\Bqty{X(t), t \in T}$ 为 独立增量过程 (Process with independent increments).

备注 若 $X(t)-X(s)$$X(t) - X(s)$ 的分布只依赖于 $t-s$$t - s$, 则称 $X_T$$X_T$ 有平稳增量. 有平稳增量的独立增量过程称为 独立平稳增量过程.

例子 泊松 (Poisson) 过程, 维纳 (Wiener) 过程 (布朗运动 (Brownion motion)).

1.6.2 马尔可夫过程

定义 若对于任意 $t_1<\cdots <t_n<t,x_i,A\subset \mathbb{R}$$t_1 < \cdots < t_n < t, x_i, A \subset \R$, 总有

则称 $\{X(t),t\in T\}$$\Bqty{X(t), t \in T}$ 为 马尔可夫过程 (Markov process). 这种性质称为马尔可夫性或 无后效性.

定义 下述函数称为 转移概率函数 (transition probability function)

备注

• 当状态空间 $S$$S$ 为有限集或可列集时, 马氏过程 $X_T=\{X_t,t\in T\}$$X_T = \Bqty{X_t, t \in T}$ 称为 马尔科夫链.

• 当 $T=[0,+\mathrm{\infty })$$T = \bpqty{0, +\infty}$ 时, 马氏过程称为 扩散过程 (diffusion process).

例子

• Poisson 过程是连续时间马氏链.

• Brownion Motion 是扩散过程.

1.6.3 平稳过程与二阶矩过程

定义 一随机过程 $X_T$$X_T$, 若对 $\mathrm{\forall }\tau ,t\in T$$\forall \tau, t \in T$, 满足 $D(X(t))$$D(X(t))$ 存在且 $E(X(t))=m$$E(X(t)) = m$, 并且 $\mathrm{Cov}(X_t,X_{t+\tau })=R(\tau )$$\Cov(X_t, X_{t + \tau}) = R(\tau)$ 仅依赖 $\tau$$\tau$, 则称 $X_T$$X_T$ 为 宽平稳过程 (wide sense stationary process), 即它的协方差不随时间推移而改变.

定义 一随机过程 $X_T$$X_T$, 若对 $\mathrm{\forall }t\in T$$\forall t \in T$, 有 $D(X_t)$$D(X_t)$ 存在, 则称为 二阶矩过程 (finite second moments process).

定义 一随机过程 $X_T$$X_T$, 若对 $\mathrm{\forall }{t}_1,\cdots ,t_n\in T$$\forall t_1, \cdots, t_n \in T$, 与 $h>0$$h > 0$ , 满足 $(X_{t_1},\cdots ,X_{t_n})$$(X_{t_1}, \cdots, X_{t_n})$ 与 $(X_{t_1+h},\cdots ,X_{t_n+h})$$(X_{t_1 + h}, \cdots, X_{t_n + h})$ 有相同的联合分布, 则称该过程为 严平稳过程 (strictly stationary process).

• 严平稳过程的一切有限维分布对时间的推移保持不变.

• 对于严平稳过程, $X(t)$$X(t)$ 与 $X(s)$$X(s)$ 的二维分布只依赖于 $t-s$$t - s$.

1.6.4 鞅

定义 若对 $\mathrm{\forall }t\in T$$\forall t \in T$ 有 $E[X(t)]<+\mathrm{\infty }$$E[X(t)] < +\infty$, 且对 $\mathrm{\forall }{t}_1<\cdots <t_{n+1}$$\forall t_1 < \cdots < t_{n+1}$ 有

则称 $\{X(t),t\in T\}$$\Bqty{X(t), t \in T}$ 为 鞅 (Martingales).

1.6.5 更新过程

定义 设 $\left\{X_n\right\}$$\Bqty{X_n}$ 为独立同分布的正的随机变量序列, 对 $\mathrm{\forall }t>0$$\forall t > 0$, 令 $S_0=0,S_n={\displaystyle \sum _{i=1}^n{X}_i}$$S_0 = 0, S_n = \insum X_i$, 并定义

则称 $\{N(t),t\ge 0\}$$\Bqty{N(t), t \ge 0}$ 为 更新过程 (Renewal Process).

1.6.6 计数过程

定义 若 $N(A)$$N(A)$ 表示在集合 $A$$A$ 中事件发生的总数, 其中 $A\subset T$$A \subset T$, 即

1. $N(\varnothing )=0$$N(\varnothing) = 0$.

2. $\mathrm{\forall }A\subset T:N(A)\in \mathbb{N}$$\forall A \subset T: N(A) \in \N$.

3. $\mathrm{\forall }(A_1,A_2\subset T)\wedge (A_1{A}_2=\varnothing ):N(A_1\cup A_2)=N(A_1)+N(A_2)$$\forall (A_1, A_2 \subset T) \and (A_1 A_2 = \varnothing): N(A_1 \cup A_2) = N(A_1) + N(A_2)$.

则随机过程 $\{N(A),A\subset T\}$$\Bqty{N(A), A \subset T}$ 称为 计数过程 (点过程, point process).

• Poisson 过程是点过程.