大家好，欢迎来到IT知识分享网。

伯努利实验

伯努利实验概念及性质

定义：事件域为：\(\mathcal F = \{ \varnothing ,A,\bar A,\Omega \}\)，只两种可能结果的试验称为伯努利实验。
现考虑重复n次独立试验的伯努利实验（这里每个\(A\)概率不变），这种实验称之为n重伯努利实验，记为\(E^n\)。
其样本点形如：

其中每个都有两种可能取值。易得样本点一共有\(2^n\)。概率空间易得不再赘述。

伯努利分布

伯努利分布（Bernoulli Distribution）是一种离散型概率分布，它用于描述只有两种结果（例如成功和失败）的随机试验。伯努利分布可以用一个参数\(p\)来描述成功的概率。概率分布可简单表示为：

其中k仅有0，1两个取值。这样写概率的好处在于：可以用于最大似然估计中的求导。
伯努利分布的期望和方差分别为：

伯努利分布通常用于二元分类问题中，例如预测一个事件是否发生、一次抛硬币的结果等。

二项分布

如果有多次独立的伯努利试验，可以使用二项分布（Binomial Distribution）来描述（简记为B）。
若记\(B_k\)为n重伯努利实验中事件\(A\)正好出现\(k\)次。则：

二项分布的重要性质

• 概率函数的形状：二项分布的概率函数呈现出类似钟形曲线的形状，当\(p=0.5\)时，概率函数的峰值达到最高。
  
• 期望和方差：二项分布的期望和方差分别为\(E(X)=np\)和\(Var(X)=np(1-p)\)
  由于每次试验独立，期望与方差可以简易地由伯努利分布的期望与方差推出。
  若要依据其概率分布来推，则二项分布期望推导如下：

而

上式右边部分是\(n-1\)次实验抽到\(k-1\)个的概率对k求和，从而为1。
二项分布的方差推导如下：

与上面求期望的同理，把\(k(k-1)\)乘进\(C\)的表达式即可。这个构造我认为非常有用，这样的话即便是\(E(X^3)\)，也可以拆成\(k(k-1)(k-2)+ak(k-1)+bk\)的形式进一步求解。回到原话题，由上易得

从而最终得到\(Var(X)= np(1-p)\)

• 大数定律：二项分布具有大数定律，即当试验次数\(n\)趋近于无穷大时，二项分布的概率函数逐渐趋近于正态分布

• 中心极限定理：二项分布满足中心极限定理，即当试验次数\(n\)足够大时，二项分布可以近似看作正态分布

几何分布

现在讨论在伯努利实验中手册成功出现在第k次实验的概率。记第k次实验出现\(A\)的事件为\(W_k\)，有：

几何分布性质

• 无记忆性：几何分布具有无记忆性，即在已知前\(k\)次试验失败的情况下，下一次试验仍然是独立的伯努利试验，成功的概率仍然是\(p\)
• 概率函数的形状：几何分布的概率函数呈现出右偏斜的单峰形状，随着等待次数\(k\)的增加，概率逐渐减小
  
• 期望和方差：几何分布的期望为\(E(X)=\frac{1}{p}\)，方差为\(Var(X)=\frac{1-p}{p^2}\)
  期望可由高中数列错位相减法处理，是比较易得的。方差稍微有些变化：

接下来的部分就不写了，总之容易得到\(Var(X)\)。

帕斯卡分布

让我们以\(C_k\)表示第r次成功发生在第k次实验这一事件。

这个概率分布被称之为帕斯卡分布。
典中典的就是分赌注问题。

帕斯卡分布与分赌注问题（Gambler’s Ruin Problem）有着密切的联系。分赌注问题的确是一个比较正统的概率论问题，它也被看做是概率论诞生的事件。问题描述很简单，说甲乙两人下赌注，然后反复进行双人赌局，约定谁先赢\(𝑡\)局者获胜。显然，有限赌局后一定可以分出胜负，有趣的问题是：赌局在甲胜\(r\)局、乙胜\(s\)局后被迫中止，那赌注该如何分配？一种最简单粗暴的方法就是按照\(r:s\)的比例关系分配，这种方法只是符合了含糊的直觉，完全经不起推敲。
但用帕斯卡分布的模型来看，就经得起推敲了。可从3个角度确定甲赢的概率：
（1）根据乙赢的次数或总次数；（2）根据乙赢时甲赢的次数；（3）接下来的\(m+n−1\)局里甲胜的局数。它们其实是相等的。依照概率分赌注，就会显得相当合理了。

随机游走

随机游走（Random Walk）是指在规定的状态空间中，按照一定的概率分布，随机地向某个方向前进的过程。随机游走可以在一维、二维或更高维的状态空间中进行。

在随机游走中，每一步的移动通常是独立的，且每一步的概率分布只依赖于当前的状态，与之前的状态或历史无关。在一维随机游走中，例如，每一步可以向左或向右移动一个单位距离，且向左或向右的概率相等，即\(p=0.5\)。在二维随机游走中，每一步可以向上、向下、向左或向右移动一个单位距离，且四个方向的概率相等，即\(p=0.25\)。

若质点可以在整个数轴的整数点上游动，则称这种随机游走为无限制随机游走。若在某点有个吸收壁，质点到这就不再动了，则称之为有吸收壁的随机游走。

无限制随机游走

《随机过程》教科书给出了一维简单随机游走随机变量的数学模型

易得\(E(S)=0,Var(S)=n\)
表明一维简单随机游走\(S_n\)的方差与步数\(n\)成正比，因此，一维简单随机游走是一个类似于物理学布朗运动的扩散过程。
方差是用来刻画随机变量偏离均值分散程度的数字特征，度量的是所有样本轨道（小球或醉汉）偏离均值的发散程度，因此，方差表明：随着步数n的增加，大量一维简单随机游走的小球会远离原点。

n次移动移动到k(k可以为负整数)的概率为：

其中p为向上移动的概率，\(p+q=1\)（注意n、k必须同奇偶）。
来一些问题：

• 无限制随机游走的期望距离：

待补充：似乎是没有比较简洁的答案

• 无限制随机游走回到原点的期望步数：
  待补充：似乎是没有比较简洁的答案
• 一开始在数轴0位置，有P概率往右走，Q概率往左走，问第一次到达位置n的期望步数

二维推广：

• 首先是无限制随机游走的期望距离

待补充：似乎是没有比较简洁的答案

有吸收壁的随机游走

经典面试概率题
假定质点在0时刻位于\(a\)，在\(x=0\)，\(x=a+b\)处各有一个吸收壁，我们来求在两个吸收壁被吸收的概率，用的是差分方程法。
若以\(q_n\)记质点初始位置为n而最终在\(a+b\)点被吸收的概率，我们易得：

若某时刻质点位于\(x=n\)，想要让他被\(x=a+b\)处吸收，有两种实现方法：要么接下去一次向\(a+b\)处移动，然后再移动被吸收；要么接下来一次向0移动，然后再移动被吸收。据此我们可列出：

令\(q_{n+1}-q_n=c_n\)，可写作：

当\(q=p\)时，q成等差数列，易得\(q_n = \frac{n}{a+b}\)。
当\(q!=p\)时，可解得\(q_n = \frac{1-r^n}{1-r^{a+b}}\)，其中\(r=\frac{q}{p}\)

同样的思路——状态n的概率与状态n-1/n+1的概率有关——还可以用到许多问题的求解上