对于 Introduction to stochastic processes with R一书的笔记

Let us finish the article and the whole book with a good example of dependent trials, which approximately can be considered as a simple chain. –Andrei Andreyevich Markov

Chap2: Markov Chains: First steps

本章讲马尔可夫链

Introduction

  1. 引入的案例： 这一节，用一个类似大富翁的游戏来引入马尔可夫夫性。

  2. 马尔可夫链的形式化定义为 > Markov Chain > Let be a discrete set. A Markov chain is a sequence of random variables taking values in with the property that > > for all The set is the state space of the Markov chain. 、

  3. 称为在时刻n到达状态i。

  4. 时间齐性马尔可夫链：

  5. transition matrix:

    1. n步转移矩阵计算（矩阵乘法）
    2. 若干例子：
      1. 收敛于一个各行相等的矩阵；
      2. 不收敛，进入跳跃的状态；
      3. 收敛于一个各行不相等的矩阵

第五部分从直观上为下一章铺路。