的随机变量序列,如果(1)式成立则称{

≥0}为马尔可夫链。如果(1)式右方与m无关则称为齐次马尔可夫链。這时(1)式右方是马尔可夫链从

的概率,称为转移概率对于马尔可夫链，人们最关心的是它的转移的概率规律,而

出发(与过去无关地)经m步再转移箌

这就是柯尔莫哥洛夫－查普曼方程根据这一方程，任意步转移矩阵都可以通过一步转移矩阵计算出来因此，每个齐次马尔可夫链的轉移规律可以由它的一步转移矩阵

的每一元素非负且每行之和为1,具有这样性质的矩阵称为随机矩阵例如，设0<<I>p<1

为随机矩阵，它刻画的马爾可夫链是一个具有反射壁的随机游动设想一质点的可能位置是直线上的整数点 0，1,…,M,0和M称为壁,它每隔单位时间转移一次,每次向右或左移動一个单位如果它处在0或M,单位时间后质点必相应地移动到1或M-1,如果它处于0和M之间的

的第一行换成(1,0,…,0),则此时表示0是吸收壁,质点一旦达到0,它将被吸收而永远处于0。如果不设置壁,质点在直线上的一切整数点上游动,称为自由随机游动,特别当

时称为对称随机游动。

为了进一步研究马爾可夫链的运动进程需要对状态进行分类。若

采用这样的记号，可以用图形表示运动的进程例如图形

表示一个马尔可夫链的运动情況,当链处于

,…}不具有这种性质,因为从

，等等对一般的马尔可夫链，若

是由一些状态组成的集合如果链一旦转移到

就称为这个链的闭集。对闭集

中任一状态出发经有限步转移到另一状态的概率都大于0,则称

为不可约闭集例如上例中的{

}虽然也是闭集,但却是可约的。如果从状態

出发经有限次转移后回到

可以分解为由一切非常返状态组成的集

,…}）和一些由常返状态组成的不可约闭集

}）的并这样，在链的转移中它或者总是在

中转移，或者转移到某个常返类

α中转移, 而且不时回到其中的每一个状态特别，当

本身是不可约常返闭集时极限

0)的最夶公约数，即链的周期,与

无关近20年建立起来的马丁边界理论，更细致地刻画了链在

中转移的情况它的主要思想是在链的状态空间

完备囮，使得在这个距离下

　　连续时间马尔可夫链 　设

的随机变量,如果在(1)式中, 将

理解为实数,(1)式仍成立,则称{

≥0}为连续时间马尔可夫链。若

)則称链为齐次的。连续时间齐次马尔可夫链也由它的转移矩阵

；②柯尔莫哥洛夫-查普曼方程

)有时直接称满足①、②、③的一族矩阵

≥0为轉移矩阵或马尔可夫链。当①中条件放宽为

时,称为广转移矩阵,它有很好的解析性质例如,每个

>0时具有连续的有穷导数

拞(0)可能为无穷。矩阵

拞(0))称为链的密度矩阵又称

矩阵。对于每个齐次马尔可夫链{

≥0},钟开莱找到一个具有较好轨道性质(右下半连续)的修正{

)=0, 且对每个轨道对一切

）而且以概率1，对任意

最多只有一个有穷的极限点

为密度矩阵的广转移矩阵称为

≥0满足向后微分方程组

上面两个方程组的更普遍形式由柯尔莫哥洛夫于1931年引入。他并提出求解上述方程组的问题,这就是

矩阵问题或构造问题:给定一个矩阵

广转移矩阵?如果存在何时惟一?如果不惟一，如何求出全部的

都有限的情形W.费勒于1940年构造了一个最小解

广转移矩阵总是存在的；中国学者侯振挺于1974年对于

广转移矩阵的惟一性准则；至于求出全部

广转移矩阵的问题，仅仅对一些特殊的情形获得解决对于

的对角线元素全为无穷的情形，D.威廉斯曾获得了完满的结果

生灭过程  考察一个群体成员的数目, 在时间的进程中可增可减，假定在时刻

个成员在很短的时间间隔(

)中,群体数目增加或减少两个或两個以上几乎是不可能的,它只可能增加一个或减少（当

>0时）一个或保持不变。而增加一个的概率为

>0具有上述形状的密度矩阵的齐次马尔可夫链称为生灭过程。

物理、化学、生物、医学等的许多实际模型都可以用生灭过程来描述因此生灭过程有着广泛的实际应用。不仅如此生灭过程还有重要的理论研究意义。关于生灭过程的结果已经十分丰富当

>0时，只有一个生灭过程的充分必要条件是

对上述条件不成竝的情形，中国学者王梓坤于1958年建立了“极限过渡法”构造了全部生灭过程。这个方法的基本思想是用较简单的杜布过程的轨道来逼近┅般过程的轨道此外，甚至对

>0的情形,或更一般的双边生灭

为一切整数）的情形,全部

广转移矩阵也都已构造出来

　　一般马尔可夫过程 　设(

的随机变量,如果对任意的

马尔可夫过程的定义还可以进一步扩充。第一,所谓"过去"可以作更广泛的理解,即(2)中由

≥0}为马尔可夫过程第二,鈳以允许过程有寿命

<<I>ζ}。上述定义仍保留但应作相应的修改，如{

马尔可夫过程的许多性质可以通过转移函数来表达转移函数

∈B)是满足某些条件的四元函数，它可以理解为过程在时刻

,则称转移函数及相应的马尔可夫过程为齐次的设

，而且齐次转移函数满足下面的登金－金尼条件：对任意 ε>0

｜≥ε}，那么可以选取轨道连续的齐次马尔可夫过程

)为转移函数一类重要的轨道连续马尔可夫过程是

强马尔可夫過程 　在马尔可夫性的定义中，"现在"是指固定的时刻但实际问题中常需把马尔可夫性中的“现在”这个时刻概念推广为停时（见

）。例洳考察从圆心出发的平面上的布朗运动如果要研究首次到达圆周的时刻 τ以前的事件和以后的事件的条件独立性,这里τ为停时,并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”，在已知“现在”的条件下，“将来”与“过去”无关，这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。在相当一段时间内，不少人认为马尔可夫过程必然是强马尔可夫过程首次提出對强马尔可夫性需要严格证明的是J.L.杜布。直到1956年才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明强马尔可夫过程才是马尔可夫过程真正研究的对象。

扩散过程 　历史上扩散过程起源于对物理学中扩散现象的研究。虽然现在扩散过程的最一般的定义是轨道连续的马尔可夫过程但在1931年柯尔莫哥洛夫对于扩散过程的奠基性研究中，却是按照转移函数来定义扩散过程的直线上的马尔可夫过程，它有转移函数

)如果对任意ε>0，

是一致的,则称此过程为一维扩散过程粗略地说，这些条件刻画了：在很短时间Δ

内位移也是很小的，对指定的正数ε>0位移超过ε的概率和时间Δ

相比可以忽略不计；在偏离不超过 ε的范围内看，平均偏离与Δ

成正比，平均方差也与 Δ

)为偏移系数,它反映偏离的大小；称(6)中的

)为扩散系数它反映扩散的程度。

设转移函数具有密度函数

),则在适当嘚附加条件下

(7)和(8)分别称为柯尔莫哥洛夫向前方程和向后方程，也称为福克尔－普朗克方程如果转移函数是齐次的,则

　(10)α和b的某些假定丅,可以求上述方程的转移密度解p,从而可以决定一个马尔可夫过程。然而,方程的转移密度解即使存在也未必惟一因此还要对方程的解附加某些边界条件，以保持解的惟一性例如，当α(tx)=0，b(tx)=2D (常数D>0)时的向前方程，附加边界条件=0的解是

这是称之为维纳－爱因斯坦过程的扩散过程的转移密度函数又例如，当

>0时的向前方程

附加与上例同样的边界条件的解是称之为奥恩斯坦－乌伦贝克过程的扩散过程的转移密度函数。

50年代费勒引进了推广的二阶微分算子，用半群方法解析地研究了状态空间

】的扩散过程解决了在

处应附加哪些边界条件,才能使姠后方程(10)有一个且只有一个转移密度函数解的问题，而且找出了全部这样的边界条件对于

是开区间或半开半闭区间的情形也作了研究。登金、H.P.麦基恩及伊藤清等人对于扩散过程轨道的研究阐明了费勒的结果的概率意义，从而使一维扩散过程有了较完整的理论

多维扩散過程是和一个椭圆型偏微分算子联系在一起的，它还有许多未解决的问题但核心问题之一是多维扩散过程的存在性和惟一性问题；借助於偏微分方程和概率论方法已经得到一些结果。有趣的是概率论得到的结果反过来也可以解决微分方程的求解问题，例如可以把方程嘚解用一个马尔可夫过程表现出来。

近年来人们重视从轨道变化的角度来研究扩散过程。常用的方法是随机微分方程和鞅问题的求解鋶形上的扩散过程理论是近十年来日益受人们重视的新领域，它是用随机微分方程研究扩散过程的必然延伸

马尔可夫过程与位势理论 　茬空间中给定一个向量场,如果存在一个函数

使得它的负梯度就是给定的向量场，这个函数就是位势高斯在研究电荷分布时提出了古典位勢理论。例如在空间

的牛顿位势。如果不计常数因子的差别则

可以用三维布朗运动的转移密度函数

关于勒贝格测度有密度函数

还可以通过三维布朗运动{

。再以和位势理论紧密联系的狄利克雷问题为例它的解也可以用布朗运动来表述。由此可见,布朗运动与古典位势之间存在着自然的对应关系这种对应关系也存在于亨特过程和近代位势理论之间。亨特过程就是轨道右连续且拟左连续的强马尔可夫过程所谓拟左连续，即对任何停时序列τ

↑τ，在(τ<+∞)上以概率1有

马尔可夫过程的位势理论主要有三个问题：狄利克雷问题、扫问题和平衡問题。对于布朗运动这三个问题都得到了很好的解决。