Definition (马尔可夫链)
随机序列称为马尔可夫链，若它取有限或可列个值，其取值称为过程的状态，所有的状态集合称为过程的状态空间，记为，对任意的即状态，有
证明
注意到，有因此有
Definition (n步转移概率)
设为马尔可夫链的n步转移概率，同样可定义n步转移矩阵。约定
证明
Definition (互通)
称状态可达状态，若存在使得，记为。若同时有，则称与互通，记为。互通的状态称为同一类。
Definition (周期)
若集合非空，则称它的最大公约数为状态的周期。若，则称是周期的；若，则称是非周期的。当集合为空集时，称的周期为无穷大。
证明
令，注意到，有故，因此有是的倍数。同时令，则对于任意，有此时也有是的倍数，故是的倍数。由的任意性知是的公约数，而是的最大公约数，因此有是的倍数。同理可证是的倍数，从而。
Definition (常返态)
对于任意状态，，设记从出发经步后首次到达的概率，则有令，若，则称状态为常返状态；反之为非常犯状态或瞬过状态。
Definition (正常返和零常返)
对于常犯状态，若，则称为正常返状态；若，则称为零常返状态；若，且，则称为遍历状态；若，则称为吸收状态。
证明
由全概率公式知显然。
证明
得到
证明
Lemma (互通常返性)
若且为常返状态，则，自然有。若是零常犯态，也有为零常返态。
证明
考虑反证法，假设，注意到与矛盾。故证毕。
证明
由于，，使得，，此时因此同理其中。故与相互控制，由常返判别准则知定理成立。
Theorem (的极限性质)
若为非常犯状态或者零常犯状态，则，有若状态为正常返态，且，若，则有若为非常返态，状态为正常返态，，且，则有
Corollary (有限状态Markov链性质)
有限状态Markov链性质不会全为非常返态，也不会有零常返态，不可约有限Markov链一切状态都是正常返的。
证明
设。若个状态非常返，则但矛盾。
Theorem (对于不可约非周期的Markov链)
若它是遍历的，则是平稳分布且是唯一的平稳分布。
若状态是瞬过全为零常返，则平稳分布不存在。
证明
注意到因此
由Fubini定理利用C-K方程因此即从而为平稳分布。
同时若也有为平稳分布。注意到利用归纳法可得此时