一、貝葉斯統計的本質

頻率學派與貝葉斯學派：頻率學派強調通過大量數據揭示客觀規律，而貝葉斯學派則注重結合先驗知識與新數據來更新信念。

頻率學派與貝葉斯學派

一、頻率學派

• 基本觀點：
• 世界是客觀的，概率是事件在長時間內發生的頻率。
• 必須通過大量獨立采樣來獲得統計均值。
• 不主張先給出一個主觀的先驗概率或假設。
• 應用場景：
• 適用于可以通過大量重復實驗來獲得統計規律的場景，如拋硬幣、擲骰子等。
• 優勢與局限：
• 優勢：在簡單、可重復的實驗場景下非常有效。
• 局限：對于無法進行大量重復實驗或實驗成本高昂的現實場景，頻率學派的方法可能不適用。

二、貝葉斯學派

• 基本觀點：
• 概率是一種信念度，可以有主觀的先驗概率。
• 通過觀察新的數據來不斷更新先驗概率，使之逼近客觀事實。
• 應用場景：
• 適用于需要估算概率但無法進行大量重復實驗的現實場景。
• 如趕飛機時間的估算、《狼來了》故事中村民對小孩誠實度的判斷等。
• 優勢與局限：
• 優勢：能夠結合先驗知識和新數據進行概率推斷，更加靈活和實用。
• 局限：先驗概率的選擇可能帶有主觀性，需要謹慎選擇。

貝葉斯決策：貝葉斯決策是一種基于貝葉斯定理的決策方法，它結合了先驗概率、條件概率和決策目標來進行最優決策。

貝葉斯決策

一、貝葉斯決策框架

1. 數據（D）：這是觀察到的證據或信息，用于更新我們的信念或假設。在分類問題中，數據可能包括個體的各種特征（如身高、體重等）。
2. 假設（W）：這是我們要驗證或評估的潛在事實或情況。在分類問題中，假設通常是關于數據點所屬類別的判斷（如男性或女性）。
3. 目標（O）：這是我們希望通過決策優化的量。在分類問題中，目標通常是最小化分類錯誤率或最大化分類準確率。
4. 決策（S）：這是根據目標和后驗概率做出的最終選擇或行為。在分類問題中，決策是將數據點分配給某個類別。

二、貝葉斯決策步驟

1. 確定因果鏈條：明確哪些信息作為假設，哪些作為證據。
2. 列出假設空間：列舉所有可能的假設，這些假設應該是互斥且窮盡的。
3. 給出先驗概率：在沒有任何證據的情況下，對每個假設的初始信念或概率。
4. 計算后驗概率：使用貝葉斯定理，結合證據和先驗概率來更新假設的概率。

二、貝葉斯統計的原理

貝葉斯定理：貝葉斯定理是一種計算條件概率的方法，它根據新的證據和先前的概率來更新某個假設的可信度。

貝葉斯定理

一、貝葉斯定理定義

• 貝葉斯定理是一種用于計算條件概率的數學定理。它提供了一種方法，在給定一些相關證據（或稱為觀測數據、信息）的情況下，來更新某個假設（或稱為命題、事件）的概率。這種更新是基于新的證據和先前的知識或信念（先驗概率）來進行的。

二、貝葉斯定理公式

• P(A|B) = [P(B|A) * P(A)] / P(B)
• P(A|B) 是在給定事件B發生的條件下，事件A發生的后驗概率。
• P(B|A) 是在假設事件A發生的條件下，事件B發生的概率，也稱為似然度。它衡量了如果事件A確實發生了，那么我們觀察到事件B發生的可能性有多大。
• P(A) 是事件A發生的先驗概率，即在觀察到任何與事件B相關的信息之前，我們對事件A發生可能性的初始信念或估計。
• P(B) 是事件B發生的總概率，也稱為邊緣概率或歸一化常數。為了計算這個概率，我們需要考慮所有可能導致事件B發生的互斥事件，并將它們各自的概率求和（對于離散事件）或積分（對于連續事件）。

貝葉斯定理公式

貝葉斯網絡：一種概率圖模型，用于表示變量之間的概率依賴關系。

貝葉斯網絡

一、貝葉斯網絡定義

• 節點（Nodes）：貝葉斯網絡中的每個節點代表一個隨機變量。這些變量可以是離散的或連續的，并表示系統中的不同屬性、事件或狀態。
• 邊（Edges）：邊連接了節點，表示變量之間的直接依賴關系。如果節點A有一條指向節點B的邊，那么我們說節點A是節點B的父節點，節點B是節點A的子節點。這種依賴關系通常意味著父節點的狀態會影響子節點的概率分布。
• 條件概率表（Conditional Probability Tables, CPTs）：每個節點都關聯有一個條件概率表，該表指定了給定其父節點狀態下該節點的概率分布。對于沒有父節點的節點（也稱為根節點），其條件概率表就是該節點的邊際概率分布。

二、貝葉斯網絡 vs 馬爾可夫隨機場

貝葉斯網絡：

• 使用有向無環圖（DAG）表示變量間的因果關系。
• 節點代表隨機變量，邊代表條件概率依賴。
• 適用于有明確因果關系的場景。

馬爾可夫隨機場：

• 使用無向圖表示變量間的依賴關系，不指明方向。
• 邊表示相鄰變量間的依賴，常用于空間或時間上的關系。
• 通過勢函數量化依賴，與能量函數相關。

貝葉斯網絡 vs 馬爾可夫隨機場

三、貝葉斯統計的應用

機器學習：貝葉斯算法在機器學習中提供了一系列強大的工具集，能夠處理從分類到回歸再到參數估計的各種問題。

一、貝葉斯分類器

1. 原理：基于貝葉斯定理，通過計算給定特征條件下的后驗概率來進行分類。它假設每個特征之間相互獨立（在樸素貝葉斯中）或考慮特征之間的依賴關系（在某些擴展模型中）。
2. 應用：常用于文本分類（如垃圾郵件過濾、情感分析）、疾病預測、客戶分類等。
3. 優勢：簡單、高效，對小規模數據集表現良好；對缺失數據不太敏感。
4. 限制：獨立性假設在現實中往往不成立，可能導致分類偏差。

二、貝葉斯線性回歸

1. 原理：不同于傳統的最小二乘法，貝葉斯線性回歸通過引入先驗分布來估計回歸系數，從而得到回歸參數的后驗分布。這不僅提供了點估計，還提供了對預測結果的不確定性估計。
2. 應用：用于預測連續值輸出的問題，如房價預測、銷量預測等。
3. 優勢：能夠處理過擬合問題，提供預測的不確定性度量，有助于決策制定。
4. 限制：先驗分布的選擇需要一定的領域知識或經驗，不合適的先驗可能導致不準確的預測。

三、參數估計與貝葉斯推斷

1. 原理：在機器學習的許多場景中，參數的真實值是未知的。貝葉斯推斷提供了一種方法，通過結合先驗知識和觀測數據來計算參數的后驗分布，從而進行參數估計和決策。
2. 應用：用于處理不確定性問題，如機器人定位、傳感器校準、用戶行為建模等。
3. 優勢：能夠自然地處理不確定性，提供參數的完整分布信息而不僅僅是點估計。
4. 限制：計算復雜度可能較高，特別是在高維參數空間中；先驗的選擇和更新也需要仔細考慮。

文本分類：通過計算先驗概率和條件概率，建立高效的分類模型，實現準確的文本分類。

文本分類

一、建立貝葉斯模型

在文本分類中，常用的貝葉斯模型包括樸素貝葉斯（Naive Bayes）和多項式貝葉斯（Multinomial Bayes）等。這些模型基于貝葉斯定理，利用訓練數據集中的先驗概率和條件概率來建立分類模型。

1. 樸素貝葉斯：假設特征之間相互獨立，即文本中某個單詞的出現與其他單詞無關。這種假設簡化了計算，使得樸素貝葉斯成為一種高效且易于實現的分類算法。
2. 多項式貝葉斯：考慮了單詞出現的次數，而不僅僅是單詞是否出現。這對于處理長文本和文本中單詞頻率變化較大的情況更為有效。

二、訓練模型

在訓練階段，使用已標注的訓練數據集來估計先驗概率和條件概率。先驗概率通常指的是每個類別在訓練數據集中出現的頻率，而條件概率則指的是在某個類別下某個特征（單詞）出現的頻率。

三、文本分類

在分類階段，對于給定的新文本，提取其特征并利用已訓練的貝葉斯模型計算該文本屬于每個類別的后驗概率。通常選擇后驗概率最大的類別作為文本的預測類別。

本文章轉載微信公眾號@架構師帶你玩轉AI

#你可能也喜歡這些API文章!

使用這些基本 REST API 最佳實踐構建出色的 API

如何使用API：初學者的分步教程

使用NestJS和Prisma構建REST API：身份驗證