樸素貝葉斯原理推導(dǎo)

樸素貝葉斯原理推導(dǎo)

貝葉斯原理

貝葉斯原理其實(shí)是?來(lái)求“逆向概率”的。所謂“逆向概率”是相對(duì)“正向概率”??。就是從結(jié)果推出條件。貝葉斯原理建?在主觀判斷

的基礎(chǔ)上：在我們不了解所有客觀事實(shí)的情況下，同樣可以先估計(jì)?個(gè)值，然后根據(jù)實(shí)際結(jié)果不斷進(jìn)?修正。

貝葉斯公式

實(shí)際上，貝葉斯公式就是求階后驗(yàn)概率的。

樸素貝葉斯

它是?種簡(jiǎn)單但極為強(qiáng)?的預(yù)測(cè)建模算法。之所以稱(chēng)為樸素貝葉斯，是因?yàn)樗僭O(shè)每個(gè)輸?變量是獨(dú)?的。這是?個(gè)強(qiáng)硬的假設(shè)，實(shí)

際情況并不?定，但是這項(xiàng)技術(shù)對(duì)于絕?部分的復(fù)雜問(wèn)題仍然?常有效。

輸?變量就是特征，樸素貝葉斯假設(shè)這些特征之間是沒(méi)有關(guān)系的，是獨(dú)?事件。因此算特征概率的時(shí)候可以分開(kāi)算然后相乘。

樸素貝葉斯模型由兩種類(lèi)型的概率組成：

每個(gè)類(lèi)別的概率P(Cj)；

每個(gè)屬性的條件概率P(Ai|Cj)。

類(lèi)別概率和條件概率的區(qū)別：

類(lèi)別概率是輸出變量之間的概率，與特征沒(méi)有關(guān)系。但條件概率是基于特征的變量的概率。

為了訓(xùn)練樸素貝葉斯模型，我們需要先給出訓(xùn)練數(shù)據(jù)，以及這些數(shù)據(jù)對(duì)應(yīng)的分類(lèi)。那么上?這兩個(gè)概率，也就是類(lèi)別概率和條件概率。他們

都可以從給出的訓(xùn)練數(shù)據(jù)中計(jì)算出來(lái)。?旦計(jì)算出來(lái)，概率模型就可以使?貝葉斯原理對(duì)新數(shù)據(jù)進(jìn)?預(yù)測(cè)。

貝葉斯原理、貝葉斯分類(lèi)器、樸素貝葉斯的區(qū)別

貝葉斯原理是最?的概念，它解決了概率論中“逆向概率”的問(wèn)題，在這個(gè)理論基礎(chǔ)上，?們?cè)O(shè)計(jì)出了貝葉斯分類(lèi)器，樸素貝葉斯分類(lèi)是貝

葉斯分類(lèi)器中的?種，也是最簡(jiǎn)單，最常?的分類(lèi)器。樸素貝葉斯之所以樸素是因?yàn)樗僭O(shè)屬性是相互獨(dú)?的，因此對(duì)實(shí)際情況有所約束，

如果屬性之間存在關(guān)聯(lián)，分類(lèi)準(zhǔn)確率會(huì)降低。不過(guò)好在對(duì)于?部分情況下，樸素貝葉斯的分類(lèi)效果都不錯(cuò)。

實(shí)際上，貝葉斯原理是數(shù)學(xué)基礎(chǔ)，貝葉斯分類(lèi)是?種模型，?樸素貝葉斯則是具體?法。

樸素貝葉斯分類(lèi)的?作流程

1. 輸?和輸出，輸?訓(xùn)練的數(shù)據(jù)集，第i個(gè)樣本的第j個(gè)特征，第j個(gè)特征可能取得第l個(gè)值：輸出x的分類(lèi)

2. 計(jì)算出先驗(yàn)概率和條件概率，對(duì)于給定的實(shí)例，基于獨(dú)?假設(shè)條件下計(jì)算聯(lián)合概率P(X=x,Y=ck)，根據(jù)最?化后驗(yàn)概率法則，確定x的

類(lèi)別。

先驗(yàn)概率：通過(guò)經(jīng)驗(yàn)來(lái)判斷事情發(fā)?的概率，?如說(shuō)“貝葉死”的發(fā)病率是萬(wàn)分之?，就是先驗(yàn)概率。再?如南?的梅?季是 6-7

?，就是通過(guò)往年的?候總結(jié)出來(lái)的經(jīng)驗(yàn)，這個(gè)時(shí)候下?的概率就?其他時(shí)間?出很多。

后驗(yàn)概率：后驗(yàn)概率就是發(fā)?結(jié)果之后，推測(cè)原因的概率。?如說(shuō)某?查出來(lái)了患有“貝葉死”，那么患病的原因可能是 A、B 或

C。患有“貝葉死”是因?yàn)樵?A 的概率就是后驗(yàn)概率。它是屬于條件概率的?種。

條件概率：事件 A 在另外?個(gè)事件 B 已經(jīng)發(fā)?條件下的發(fā)?概率，表?為 P(A|B)，讀作“在 B 發(fā)?的條件下 A

發(fā)?的概率”。?如原因 A 的條件下，患有“貝葉死”的概率，就是條件概率。

那么我們通過(guò)輸?的特征和?標(biāo)變量就可以求出先驗(yàn)概率和條件概率。通過(guò)條件獨(dú)?性假設(shè)和最?似然估計(jì)（后驗(yàn)概率最?化）來(lái)得出最后

的分類(lèi)。

后驗(yàn)概率最?化的含義

我們這?假設(shè)為0-1損失函數(shù)，為了使損失函數(shù)最?相當(dāng)于后驗(yàn)概率最?化。