1.2 条件概率与贝叶斯公式

古典概率公式：如果一个可重复的实验可能出现N种不同的结果，实验的一组事件为{A1，A2，…，Ai}，那么所有结果出现的可能性是相同的。假设任意事件Ai发生的结果有N个，则事件Ai发生的频率为Q（Ai）=N/M。如果N趋向于无穷大，则相对频率Q（Ai）无限接近于概率P（Ai），则，

条件概率：在已知事件B发生的情况下，事件A发生的概率我们称为条件概率P（A｜B）。

变换上述公式，可得：

上述公式的一般形式称作概率的乘法规则，下式为其一般形式以及性质。

性质：1）P（A|B）≥0；

2）P（Ω|B）=1；

3）如果事件Ai为独立不相容的：

如果Ai，Aj条件独立，则：

P（Ai，Aj|B）=P（Ai|B）P（Aj|B）

全概率公式：假设样本空间为Ω，实验的一组事件为{B1，B2，…，Bi}，事件两两相斥，

则B1，B2，…，Bn为样本空间Ω的一个划分。事件A的全概率公式可以表示为：

贝叶斯公式：

贝叶斯决策理论（Bayesian decision theory）：是把贝叶斯公式应用于分类问题的基本理论之一。如果一个分类问题有n个类别，用fi，i=1，2，…，n表示任意一个类别。特征x是一个m维的向量，则可以表示为［x1，x2，…xm］T。那么每个类别的先验概率为P（fi），各个类别的条件概率P（x｜fi）是已知条件，利用贝叶斯公式可得后验概率P（fi｜x）：

贝叶斯公式的目的是将已知的先验概率转化为后验概率。但在分类决策过程中，可以尽量得到错误率最小的分类规则，这样的规则被称为最小错误率的贝叶斯决策。

最小错误率的贝叶斯决策规则表现为：

1）假设，则有x∈fi

2）假设，则有x∈fi

3）假设l（x）=P（x|f1）/P（x|f2）>f2/f1，则有x∈f1

通过利用贝叶斯公式，可以判断一句话“鼠标、键盘、显示器都是计算机外设”属于IT类、金融类、还是体育类，如表1-1所示。

应用贝叶斯定理和条件概率可以做简单的文本分类。

∵P（x｜IT）=P（鼠标、键盘、显示器都是计算机外设｜IT）

=P（鼠标｜IT）P（键盘｜IT）P（显示器｜IT）P（都｜IT）P（是｜IT）P（计算机｜IT）P（外设｜IT）

结果如表1-2所示。

根据表1-2可以计算得到：

通过贝叶斯决策得到：鼠标、键盘、显示器都是计算机外设，属于IT类。