随机过程

随某个参数的改变而随机变化的过程

一般地,把随某个参数(一般是时间)的改变而随机变化的过程称为随机过程 (英文 :Stochastic Process)。在数学上研究随机过程的方法多种多样,主要可分为两大类:一类是概率方法,另一类是分析方法。另外,组合方法、 代数 方法在某些特殊随机过程的研究中有一定的作用。

20世纪初,受到 概率论 发展的影响以及对研究实际问题的需要,静止的概率论已经不能满足要求。随机过程的早期研究是在 布朗运动 的基础上进行的,1923年数学家 诺伯特·维纳 (Wiener)用三角级数首次给出了布朗运动的严格数学定义,并证明了布朗运动轨道的连续性。1931年, 俄罗斯 数学家安德雷· 柯尔莫哥洛夫 ( 俄语 :Андре́й Никола́евич Колмого́ров)发表的《概率论的解析方法》和1934年数学家 亚历山大·辛钦 (Aleksandr Yakovlevich Khinchin)发表的《平稳过程的相关理论》是研究随机过程一般理论的重要著作,奠定了马尔可夫过程和 平稳过程 的理论基础。1953年, 美国 数学家 杜布 (英文:Doob)出版了著作《 随机过程论 》,系统地介绍了随机过程的基本理论,并提出了鞅论的概念。杜布使随机过程的研究进一步抽象,丰富了 概率论 的内容,为 傅里叶分析 、复变函数和位势理论等其他数学分支提供了有力工具。

随机过程通常使用有限维分布族来表示,它的特征性质是随机过程理论的重要定理。 随机过程的种类很多,由过程的时间参数和状态参数的不同可得到不同的分类方法,如离散时间离散状态随机过程和连续时间连续状态随机过程等。对一维实过程进行推广,随机过程可推广至多维随机过程以及复随机过程。 常见的随机过程包括独立增量过程、 正交 增量过程、 平稳过程 、马尔可夫过程、 高斯过程 、 泊松过程 、维纳过程等。

随机过程在金融学 、 声学 、生物学 等其他领域有着广泛的应用,如把 声波 在 混合物 介质中的传播过程抽象为粒子在三维马尔科夫链中以 音速 进行“随机游走”,再构建随机过程 理论模型 ,可以较好地解释 声波 在混合物介质中传播时“峰波延后”及“尾波”等现象。

历史

早期研究

在20世纪初,受到 概率论 发展的影响和实际问题的研究所需,静止的概率论已经无法满足要求,人们开始研究随机过程。随机过程最早源自于物理学的研究,如 约西亚·吉布斯 、 路德维希·玻尔兹曼 和 亨利·庞加莱 等物理学家对 统计力学 的研究,以及后来的物理学家 阿尔伯特·爱因斯坦 (Einstein)、数学家 诺伯特·维纳 和 莱维 等对 布朗运动 的开创性工作。

1900年,巴施里耶第一次将布朗运动应用于金融领域,对股票价格的进行描述。后来,物理学家爱因斯坦用不同的概率模型求得了布朗运动 质点 的转移密度。1907年前后,数学家安德雷·安德耶维齐·马尔可夫(俄文:Андрей Андреевич Марков)着手分析一列有特定相依性的 随机变量 ,即离散马尔可夫过程。直到1923年,数学家维纳用三角级数首次给出了布朗运动的严格数学定义,并证明了布朗运动轨道的连续性,进而到1931年 俄罗斯 数学家 安德雷·柯尔莫哥洛夫 发表的《概率论的解析方法》和1934年数学家 亚历山大·辛钦 发表的《平稳过程的相关理论》有关于随机是研究随机过程一般理论的重要著作,奠定了马尔可夫过程和平稳过程的理论基础。

后续发展

进入20世纪,随机过程进一步发展,体现在对马尔可夫过程、鞅论、 平稳过程 、点过程等常见过程的研究上。

马尔可夫过程

20世纪50年代以前,研究马尔可夫过程的主要数学工具是 微分方程 和 半群 理论(即分析方法)。1936年前后开始探讨马尔可夫过程的轨道性质,直到把微分方程和半群理论的分析方法和分析轨道性质的概率方法结合运用,才使得研究工作进一步发展,并形成了对轨道分析必不可少的强马尔可夫性概念。

鞅和随机微分方程

1942年, 日本 数学家 伊藤清 用 泊松过程 来研究一类特殊的马尔可夫过程一扩散过程,开辟了研究马尔可夫过程的又一重要途径,并于1951年建立了关于 布朗运动 的随机微积分 方程 的理论。 随机积分 与随机微分方程的建立为随机过程研究拓展了新的途径。1953年, 美国 数学家 杜布 出版了著作《随机过程论》,系统地介绍了随机过程的基本理论,并提出了鞅论的概念。杜布使随机过程的研究进一步抽象,丰富了 概率论 的内容,为 傅里叶分析 、复变函数和位势理论等其他数学分支提供了有力工具。1962年,迈耶(Meyer)解决了杜布提出的连续时间的鞅分解为鞅及增过程之差的问题,使鞅和随机过程一般理论的内容更加丰富。

平稳过程

关于宽平稳过程的研究,在20世纪40年代 亚历山大·辛钦 、 安德雷·柯尔莫哥洛夫 和 维纳 等人运用 傅里叶分析 和 泛函分析 的工具,找出了过程的 相关函数 及过程本身的谱分解式,并且较完满地解决了有应用意义的预测问题。

点过程

点过程是从所谓 计数 过程中发展出来的,它们可用落在不相重叠的集合上的随机点数目的联合 概率分布 来刻画整个过程的概率规律。最基本的计数过程是 泊松过程 ,1943年,帕尔姆将它作为最简单的输入流应用于研究电话业务问题;1955年,辛钦又以严密的数学观点对泊松过程加以整理和发展。在60年代以前,点过程的研究主要限于泊松过程及其推广的过程。

定义

在 概率论 中研究的对象是随机变量,其特点是:在每次试验的结果中,以一定的概率取某些事先未知,但为确定的“数值”。在实际问题中,试验过程的随机变量也可能随其他某个参数变化,这时就要研究随某个参数的改变而随机变化的过程。一般地,把随某个参数(一般是时间)的改变而随机变化的过程称为随机过程。

随机变量族的随机过程

设 是一 随机试验 , 样本空间 为 参数集 如果对于任意的 有一定义在 上的 随机变量 与之对应,则称随机变量族 是参数集为 的随机过程,简记为 或

函数族的随机过程

设 是一随机试验,样本空间为 参数集 如果对于每个 总有一个普通的时间函数 与之对应,那么对于所有的 可得到一族时间 的函数,则称函数族 是参数集为 的随机过程,族中的每一个函数称为该随机过程的样本函数。

若把 看成 二元函数 ,则 有以下两个含义:

若 取定,则 是一确定数值,把 所有可能取值的全体称为随机过程的 状态空间 或 相空间 ,当 若 则称随机过程 在 时刻处于状态

有限维分布族

定义

对于任意的 有 称为随机过程 的 维分布函数 。

随机过程 的一维分布函数,二维分布函数, , 维分布函数等的全体 称为随机过程 的有限维分布族或有穷维分布族。

性质

1.对 的任一排列 及任意 实数

有

2. 相容性: 若 则

这两个性质通常称为相容性条件或一致性条件。

安德雷·柯尔莫哥洛夫 相容性定理: 定义在概率空间上的随机过程的有限维分布族必然满足相容性条件。反之,如果一分布函数族 满足相容性条件,则必存在一概率空间及其上的随机过程 使得它的有限维分布族正是

性质

随机过程理论具有如下的一些基本概念及性质:

等价

设 和 是定义在概率空间 上的两个随机过程,若对任意 均有 则称这两个过程随机等价或简称等价。

无区别

设 和 是定义在概率空间 上的两个随机过程,如果存在一零概率集 使得 有 对所有 成立,则称这两个随机过程随机无区别,简称无区别。无区别的两个随机过程一定等价,但等价的两个随机过程不一定是无区别的两个过程。

可分性

设 是定义在概率空间 上的随机过程,当 是非 可数集 时,对任一 闭集 集合 未必是可测集。如果存在 的可数稠子集 使得对任意开区间

恒有 及

则称随机过程 为可分的。

可测性

设 是定义在概率空间 上的随机过程,参数集 是 的 波莱尔 集。以 表示 中全体波莱尔 子集 所构成的 域,把 视为 上的函数,如果它是 可测空间 上的 可测函数 ,就称随机过程 为波莱尔可测。

连续性

如果当 时, 依概率收敛 于 则称随机过程 在 处是随机连续的。如果随机过程在每个 处,都是随机连续的,则称该过程是随机连续的。

分类

随机过程的种类很多,由不同的标准便可得到不同的分类方法。按照随机过程 的时间参数集 和状态集 是连续还是离散,随机过程可分成以下四类。

离散时间离散状态随机过程

随机过程的时间和状态都是离散的。

示例: 考虑抛掷一颗 子的实验,设 是第 次抛掷的点数,对于不同的 是不同的 随机变量 ,因而 构成一随机过程,它的 状态空间 是

连续时间离散状态随机过程

是连续集,且对于任意的 是 离散型 随机变量。

示例: 设 表示 内到达某商店的顾客数,则 是一连续时间离散状态随机过程。

离散时间连续状态随机过程

是离散集,且对于任意的 是连续型随机变量。它对应于时间离散,状态连续的情况,它可以通过对连续型随机过程进行顺序等时间间隔采样得到。

示例: 考虑从林场的一批长为 的圆木中任取一根,用 表示从左端算起它在 处的截面积,那么 是一离散时间连续状态随机过程,状态参数集为

连续时间连续状态随机过程

是连续集,且对于任意的 是连续型 随机变量 ,时间和状态都是连续的。

示例: 在测量运动目标的距离时存在随机误差,若以 表示在时刻 的 测量误差 ,则它是一个随机变量。当目标随时间按一定规律运动时,测量误差 随时间 而变化,则 是依赖于时间 的一族随机变量,即 是一连续时间连续状态随机过程。

相关推广

复随机过程

一般地,把随机过程都表示为时间的实值函数,称为实随机过程。在某些情况下,把过程表示为 复数 形式,就有了复随机过程的概念。

定义: 设 和 为二实随机过程,称 为复随机过程,如果对任意的 有 ,则称 为复二阶矩过程,其中 为复数的模。

二维随机过程

定义: 设 是定义在同一 样本空间 上且有同一参数集 的随机过程,对于任意的 是一个二维 随机变量 ,称 为 上的二维随机过程。

常见随机过程

独立增量过程

定义: 设 为随机过程,如果对任意的正整数 ,任意的 ,它的 个增量 相互独立,则称 为独立增量过程。

若对任意的 ,增量 的分布只与时间差 有关,而与起点时刻 无关,则称 为平稳独立增量过程。

定理 : 设 是独立增量过程,且 ,则

正交增量过程

定义: 设 为实的或复的二阶矩过程,如果对任意的 有 ,则称 为正交增量过程。

定理 : 设 为正交增量过程,则存在单调不减的实函数 ,

使得 ,且在相差一个 常数 的意义下 是唯一的。

平稳过程

严平稳过程的定义: 设 是一随机过程,若对任意的正整数 ,任意的 和任意的 ,当 时, 维 随机变量 和 有相同的分布函数,即

则称 是严 平稳过程 。

严平稳过程是指它的有限维分布不随时间的推移而改变。在实际问题中,即便所研究的过程是严平稳过程,但难以从理论上加以严格证明。因此在应用中,放宽严平稳的条件去研究一类更广泛的平稳过程是可行的选择,即所谓的宽平稳过程。

宽平稳过程的定义: 如果二阶矩过程 满足以下关系,

(1) 为 常数

(2)对任意的 , 与 无关而只与 有关。( 表示“定义为”)

则称 为宽平稳过程。

马尔可夫过程

定义: 设 的 状态空间 为 ,如果对任意 ,任意的 个数值 ,在条件 下 的条件分布函数恰等于在条件 下 的条件分布函数,即

则称 为马尔可夫过程。

马尔可夫过程的特性: 当过程在 时刻所处的状态已知时,过程在 时刻的状态只与过程在 时刻的状态有关,而与过程在 时刻之前所处的状态无关。这种特性称为无后效性或马尔可夫性。

高斯过程

高斯过程的定义: 设随机过程 对任意的正整数 及 , 随机变量 的 联合分布 函数为 维 正态分布 ,即有如下的密度函数:

,则称 为 高斯过程 ,亦称正态随机过程。

其中,

为对称 正定矩阵 , 表 的 逆矩阵 , 表 的 行列式 , 表 向量 或矩阵的转置。

高斯过程 的一些 定理 :

泊松过程

泊松过程是 工程技术 中较多见的马尔可夫过程,常有5种等价定义,下面介绍两种常见定义。

泊松过程的第一个定义: 设随机过程 的无限 状态空间 是 若满足条件:

其中 ,则称 是具有参数 的 泊松过程 。

作为给出泊松过程的第二个定义的准备,先定义 无穷小的概念: 若 ,则称函数 是无穷小,记为

泊松过程的第二个定义: 设随机过程 的无限 状态空间 是 ,若满足条件:

其中 则称 是具有参数 的 泊松过程 。

维纳过程

定义: 设随机过程 的 状态空间 是 若满足:

则称它为维纳过程。

维纳过程最早是在研究 布朗运动 时发现的,亦称布朗运动。

维纳过程有如下一些性质:

相关应用

金融学

现代金融衍生证券诞生于70年代,随着金融衍生 证券市场 的蓬勃发展,衍生证券给现代金融学提出更为复杂的数学问题。金融证券市场运行的内在复杂性,使得金融衍生证券定价问题成为 经济系统 建模中具有挑战性的课题之一。

基于维纳过程( 布朗运动 )条件下的一般的金融衍生证券的定价理论已经发展得较为成熟,但是当把研究重点放在到具有随机 波动性 、差异利率、具有交易费用等条件下的衍生证券的定价问题上时,该 理论模型 仍会存在一定的不适性,这时应该使用波动率的随机过程来建立衍生证券的定价模型,可以更科学地为衍生证券定价。

声学

声波 在诸如混凝土等 混合物 介质中传播时,即使 单射 波为瞬时脉冲波,接收波也会呈现出持续时间相对较长的 连续波 。把声波抽象为一种粒子,基于 概率论 随机过程原理及声波在混合物介质中传播时散射的随机特性,将混合物介质抽象为三维 各向同性 马尔科夫链,把声波在混合物介质中的传播过程抽象为粒子在三维马尔科夫链中以 音速 进行“随机游走”,构建随机过程 理论模型 ,可以较好地解释声波在混合物介质中传播时“峰波延后”及“尾波”等现象。

生物学

林木的生长不可避免地受到许多随机因素的环境影响,在整个生长过程中,不同因素对它的影响不同,很难全部精确地测定出来,并且各个因素之间的关系也是随机变化的。因此在描述树木生长过程时,把林木在某一特定时间的累计生长量当作 随机变量 ,把林木生长过程视为一个随机过程来进行描述,以斯洛波达(Sloboda)生长模型为基础,来研究林木生长过程,构建林木的生长模型,揭示林木的生长规律。随机过程理论方法的应用为林木生长过程的研究提供新的理论基础,构建 孟宗竹 笋期生长的随机过程模型,对解释毛竹超强固碳功能,编制毛竹生长过程表,指导毛竹生产实践及预估毛竹林的生长提供理论依据。

参考资料