Markov 随机过程。无标题文章。

马尔可夫链

# 背景

引言

正文主要教授马尔可夫链以及隐马尔科夫链的系文化

贝叶斯统计测算是一个不行*艺术*的东西,他的先验结果(prior
knowledge)是一模一样种专家的更,而**贝叶斯公式**于闹底后验分布是贝叶斯推断的基本工具。每个大学生都应有学过数理统计,其中提及的贝叶斯统计测算都是局部根据简单先验和概括后验的结果。

第一节 离散马尔可夫模型

设想在各个一个时刻段有一个价的妄动过程。令\(X_n\)表示她在时间段\(n\)的价值,假要我们若对准有排相继的值\(X_0, X_1, X_2,···\) 建立概率模型。令
\(\{X_n, n=0,1,2, ···\}\)
少个值然反复个价的人身自由过程,
这个自由过程的或价值的集合记为非负整数集合 \(\{0,1,2,···\}\) 即在随心所欲时刻\(X_i\in\{0,1,2,···\}\),
如果在天天\(t\), \(X_n = i\),那么称该过程在\(t\)时刻在状态\(i\),我们设只要经过在状态 \(i\), 就发生一个固定的几率 \(P_{i,j}\) 使得其当生一个态在 \(j\) 。即我们而对于一切状态 \(i_0, i_1, i_2,···, i_{n-1}, i, j\)
与一切 \(n \geq 0\) ,有

\[P\{X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},···,X_1=i_1,X_0=i_0\}=P\{X_{n+1}=j|X_{n}=i\}=P_{i,j}
\tag{1.1} \]

诸如此类的自由过程叫马尔可夫链。
\(P_{i,j}\) 表示经过处于 \(i\) 时生同样次等变到状态 \(j\)
的概率。由于概率都是休因,并且经过得使更换至有一个状态,因此产生:

\(P_{i,j}\geq0, i,j\geq0\);      
\(\sum_{j}^{\infty}P_{ij}=1,
i=0,1,···\)
##选个例证
(天气预报)
假使明天普降的时单依靠让前天之天气条件,即今是否下雨就依靠昨天是不是下雨,这里状态集就是
\(S=\{下雨,不下雨\}\)
为了好,我们得把下雨记为 \(0\)
,不产雨记为 \(1\) 即状态集为: \(S=\{0,1\}\)
如果今天普降,那么明天下雨的几率为 \(0.7\)
如果今天未下暴雨,那么明天降水的几率也 \(0.6\) 。这样咱们可定义一个更换矩阵\(P\) :

\[ P= \left[ \begin{matrix} 0.7 & 0.3
\\ 0.6 & 0.4 \end{matrix} \right] \tag{1.2} \]

从今这转移矩阵中我们得非常爱之来看\(P_{0,0}=0.7, P_{0,1}=0.3,···\)

而是当我们而遇见复杂的先验(比如高维参数、复杂先验分布),我们就此贝叶斯公式得出的后验分布将更换得非常复杂,在测算上会非常不便。为者,先人提出了**MCMC算法**好我们可以对其它后验分布进行计算还是想。其考虑就是是其名字:两个MC。

第二节 C-K方程

我们已经定义了同步转移概率\(P_{i,j}\).现在咱们定义\(n\)步转移概率 \(P_{i,j}^{n}\) ,即地处状态 \(i\) 的进程将以 \(n\) 次转移以后处于状态 \(j\) 的概率,即:
\[ P_{ij}^{n} = P\{X_{n+k}=j|X_k=i\},
n\geq0, i,j \geq 0 \]

C-K方程(查普曼-科尔莫格罗夫方程)提供了计算 \(n\) 步转移概率的一个方法.这些方程是:
\[P_{ij}^{n+m}=\sum_{k=0}^{\infty}P_{ik}^{n}P_{kj}^{m}
\ \ \ \ 对于任何\ \ \ \ n, m \geq 0, 一切i,j
\tag{2.1}\]
其具体推导过程如下:

\[ \begin{split}

先是个MC: Monte
Carlo(蒙特卡洛)。这个简单的话是为我们采用随机数(随机取样)来缓解计算问题。在MCMC中意味着:后验分布作为一个随机样本生成器,我们采取其来变化样本(simulation),然后经过这些样本对有谢谢兴趣之盘算问题(特征数,预测)进行估算。

P_{ij}^{n+m}=P\{X_{n+m}=j|X_0=i\}=\sum_{k=0}^{\infty}P\{X_{n+m}=j,X_n=k|X_0=i\}

\sum_{k=0}^{\infty}P\{X_{n+m}=j|X_n=k,X_0=i\}=\sum_{k=0}^{\infty}P_{kj}^{m}P_{ik}^{n}
\end{split} \]
夫充分容易了解,只要注意到 \(P_{ik}^{n}P_{kj}^{m}\) 表示,通过平等长条第
\(n\) 次转移处于状态 \(k\) 的通道,开始处于状态 \(i\) 的长河经过\(n+m\)次变到状态\(j\)的概率。因此于持有的中间状态求与就获此历程在\(n+m\)次变后处于状态\(j\)的概率。
(例) 在如今天下雨而明天勿生暴雨的票房价值是 \(0.7\) , 今天不生暴雨若明天普降的票房价值是
\(0.4\)
, 假设今天降水,计算起今日开始的第 \(4\) 天下雨的概率.


同样步转移概率矩阵为:
\[ P= \left[ \begin{matrix} 0.7 & 0.3
\\ 0.6 & 0.4 \end{matrix} \right] \]
因此
\[ P^{(2)} = P^2 = \left[ \begin{matrix}
0.7 & 0.3 \\ 0.4 & 0.6 \end{matrix} \right] \left[
\begin{matrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{matrix} \right] =
\left[ \begin{matrix} 0.61 & 0.39 \\ 0.52 & 0.48 \end{matrix}
\right] \]

\[ \begin{split} P^{(4)} = (P^2)^{2} =
\left[ \begin{matrix} 0.5749 & 0.39 \\ 0.5668 & 0.4332
\end{matrix} \right] \end{split} \]
倘若要求的几率 \(P_{00}^{4}=0.5749\)

亚个MC:Markov
Chain(马尔科夫链)。第二单MC是其一办法的重要,因为我们当率先个MC中视,我们需要使用**后验分布**扭转随机样本,但后验分布最复杂,一些package中从来没对应的随机数异常成函数(如`rnorm(),rbinom()`)怎么惩罚?答案是咱得以行使Markov
Chain的**安静分布**其一概念实现对复杂后验分布的抽样。

# Markov Chain

为了能顺利阐述MCMC算法,这里就是概括地说话一下所涉嫌到的马尔科夫链概念。因为都是我个人的知晓,这里所摆不敢说还是不易的,希望各位童鞋能够单独思想。

## 1.什么是Markov Chain

擅自过程$\{X_n\},X_n$的状态空间吗有限集或只是列集,比如当$X_n=i$,就如经过在n处于状态i。

概念:如果对另一样排状态$i_0,i_1,…,i_{n-1},i,j$,及对其它n≥0,随机过程$\{X_n\}$满足Markov性质:

$$P\{X_{n+1}=j|X_0=i_0,…X_{n-1}=i_{n-1},X_n=i\}\\=P\{X_{n+1}=j|X_n=i\}$$

**换概率**

$P\{x_{n+1}=j|X_n=i\}$成为Markov链的一律步转移概率$P_{ij}^{n,n+1}$,当这概率与n无关,则记的为$P_{ij}$

**易概率矩阵P**

其一矩阵的元素即是均等步转移概率$P_{ij}$

**结论**

一个Markov链可以由她的发端状态与转移概率矩阵P完全确定。(证明略,自行百度或翻书)

## 2.n步转移概率

所谓n步转移概率就从状态i走n步正好到状态j的票房价值,我们记否$P_{ij}^{(n)}$。

动概率分割的琢磨,由基础概率论中**全概率公式**可以取得$$P_{ij}^{(n)}=\Sigma_{k=0}^{\infty}P_{ik}P_{kj}^{(n-1)}$$
写成矩阵形式就是$$P^{(n)}=P\times P^{(n-1)}$$

越来越放大,我们不怕出产了举世瞩目的Chapman-Kolmogorov方程:$$P_{ij}^{(n+m)}=\Sigma_{k=0}^{\infty}P_{ik}^{(n)}P_{kj}^{(m)}$$写成矩阵形式就是$$P^{(m+n)}=P^{(m)}\times
P^{(n)}$$

## 3.Markov链的终极定理和安宁分布

今昔我们早就来矣n步转移概率的定义,一个特别粗略的想法就是是使n趋向无穷会怎么样?这个题目呢是后**终点分布**以及**稳定分布**的来,更是MCMC算法中第二个MC的重要性。

一经对是问题首先使控制几个重要概念,我先列出来,如果非熟识的好自动百度或翻书:

  1. 互达性($i \leftrightarrow j$)

  2. 周期性(d(i))

  3. 常返及瞬过($f_{ii}=1$)

  4. 常返时($\T_i$)

### 3.1互达性、周期性

几单根本结论(证明略,自行百度,或者call me)

  1. $i \leftrightarrow j,\Rightarrow d(i)=d(j)$

2.
$若存在d(i)<\infty,则存在N,对所有n>N,有P_{ii}^{(nd(i))}>0$

  1. $P_{ji}^{(m)}>0,\Rightarrow
    存在N,对所有n>N,有P_{ii}^{(m+nd(i))}>0$

4.
对于非周期不可约Markov链的易概率矩阵P,存在N,当n≥N时,$P^{(n)}>0$

### 3.2常返、瞬过、常返时

1.
引入重要概率$f_{ij}^{(n)}$表示从i出发在n步**首次**至j的票房价值,我们约定$f_{ii}^{(0)}=0$

2.
$定义f_{ij}=\Sigma_{n=1}^{\infty}f_{ij}^{(n)}$表示从i出发**最终**到j的概率。

  1. $定义:如果f_{ii}=1,则状态i是常返的,否则是瞬过的$

  2. $我们记T_i为首不成返回i的大幅度,且\mu_i=ET_i$

  3. $若\mu_i=\infty,则称状态i是零常返,否则正常返$

### 3.3 极限定理

大凡时报上面十分题目了!(摘自网络共享PPT)

![](/Users/CDX/Pictures/markov\ limit.png)

此外对于一个正常返、非周期的状态(也称所有历ergodic),我们发结论:$$对所有i\leftrightarrow
j,有limP_{ji}^{(n)}=limP_{ii}^{(n)}=\frac{1}{\mu_i}$$

>到此处,我们可想像了,n步转移概率矩阵最终的顶形式应是出于同样之行向量组成的!!!我们拿坏行向量称为极限概率分布。 
但是,问题尚没有竣工,要计算极限概率,就使因极限定理,求来成千上万事物(如$f_{ii}^{(n)}$),实际中连无便利。所以,我们只要引入*安宁分布*是概念。最要紧的片段来了!!!!

### 3.3 平稳分布

咦是泰分布?它和请求极限概率分布有啊关系吧?

概念:Markov链有转移概率矩阵P,如果发生一个概率分布$\{\pi_i
\}满足\pi_j =\Sigma_{i=0}^{\infty}\pi_i
P_{ij}$,则名是Markov链的平静分布。这个定义用矩阵形式写出来就是π*P=π.

>这个概念内容好丰富:如果一个进程的开端状态$X_0$有安定分布π,我们得以清楚针对所有n,$X_n$有平等的分布π。再因Markov性质可得,对任何k,有$X_n,X_{n+1},…,X_{n+k}$的协同分布不指让n,显然这个过程是严厉稳定的,平稳分布为透过得叫!!

**重中之重定理**

假设一个markov链中享有的状态还是遍历的,则对所有i,j有$limP_{ij}^{(n)}=\pi_j存在,且\pi=\{\pi_j,j≥0\}就是平安无事分布$。反之,拖一个不可约Markov链只存在一个稳定分布,且是Markov链的装有状态还是遍历的,则这稳定分布就是拖欠Markov链的极概率分布。$$limP_{ij}^{(n)}=\pi_j$$

>上面就长达定律就为出了经过请稳定分布来求Markov链极限概率分布的简易方法。到此我本着第二独MC的解读为就是结了。下一致期望我们且起来具体说出口怎么动MCMC算法对后验分布进行取样和推测。

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注