04-2Markov链-连续时间

Lingfeng2024-11-04

04-2Markov链-连续时间

1. 定义与基本性质

Definition (连续时间Markov链)

随机过程，为离散状态空间，若，，，有

则称为连续时间Markov链。若与无关，此时称是时齐的。

Definition (正则性)

若以概率1在任意有限长的时间内的次数是有限的，此时有连续性条件

Theorem (等待时间分布)

若为连续时间Markov链，假定0时刻刚到达状态，记是在停留的时间，则满足指数分布。

证明

故无记忆性，故服从指数分布。

Theorem (连续时间MC性质)

在转移到另一状态之前处于状态的时间服从参数为的指数分布。
当过程离开状态时，以概率进入状态，则

2. Kolmogorov微分方程

Definition (Q矩阵)

Theorem (性质)

对有限时齐连续时间Markov链，有

证明
注意到

因此

Theorem (Kolmoforov方程)

向后方程

向前方程

证明
注意到

因此

故证毕。

3. 生灭过程 (Birth-and-Death Process)

Definition (生灭过程定义)

生灭过程是一种特殊的连续时间Markov链，其状态空间为非负整数集合，且只允许在相邻状态间转移。

状态i表示系统中某一物种的数目
生：状态从i增加到i+1
灭：状态从i减少到i-1

Theorem (生灭过程的基本性质)

当系统处于状态i时：

下一个个体到达（生）的时间间隔
现有个体离开（灭）的时间间隔
停留时间
转移概率：

当i = 0时：
当i ≥ 1时：，

证明

停留时间分布：
- 由于生和灭是独立的指数分布事件
- 当i ≠ 0时，下一次转移时间是两个独立指数分布的最小值
- 根据之前的定理，，故
- 当i = 0时，只可能发生生的事件，故
转移概率：
- 当i = 0时，只能转移到状态1，故
- 当i ≥ 1时，应用之前的定理：
- ，其中X,Y独立
- 因此

Example (传染病扩散模型)

一个人群中共有个个体，考虑以下两种传染病扩散模型：
模型条件：

群体中任意两成员之间按速率为的泊松过程接触
每次接触等可能地涉及总体中的对成员中的任意一对
如果接触涉及一个感染者和一个未感染者，则未感染者将变成感染者
一旦感染，该成员始终保持感染状态
记表示群体在时刻受感染成员的个数。
问题：
写出Markov链的转移速率矩阵
若假设感染者在感染后立即服药，每个成员的治愈时间相互独立且服从参数为的指数分布，治愈时间与感染相互独立，求新的转移速率矩阵

解答：

第一问：
- 状态空间：
- 当系统处于状态时：
- 感染者人数：
- 未感染者人数：
- 可能的感染对数：
- 转移速率：
  
  其他所有。
第二问：
- 此时系统既有感染过程，也有治愈过程
- 感染速率不变：
- 治愈速率：（因为有个感染者可能被治愈）
- 转移速率：
  
  其他所有。

Definition (局部平衡)

对于生灭过程，当系统达到平稳状态时，任意两个相邻状态i和i+1之间的流量相等，即：

其中：

是从状态i到i+1的转移率（生率）
是从状态i+1到i的转移率（灭率）
是状态i的平稳概率

Theorem (局部平衡方程的必要性)

对于生灭过程，平稳分布必须满足局部平衡方程。

证明：

考虑平稳分布的定义：πQ = 0
对于生灭过程，Q矩阵是三对角矩阵：
写出第i个平衡方程：
这个方程说明：
- 进入状态i的总流量 = 离开状态i的总流量
- 对生灭过程，这等价于相邻状态间流量相等

Example (应用)

在排队系统中：

设λ是到达率，μ是服务率
则平稳分布满足：
可以递推得到：

其中ρ = λ/μ称为业务强度

04-2Markov链-连续时间

04-2Markov链-连续时间

1. 定义与基本性质

2. Kolmogorov微分方程

3. 生灭过程 (Birth-and-Death Process)

ON THIS PAGE