欧美成人午夜精品一区二区,亚洲精品一区91,亚洲午夜精品一级在线

在分類任務中，P 通常是真實標簽的one-hot編碼，而 Q 是模型輸出的概率分布。

1.2 交叉熵與KL散度的關系

交叉熵與KL散度（Kullback-Leibler Divergence）有密切的關系。KL散度用于衡量兩個概率分布之間的差異，其定義為：

可以看出，交叉熵可以表示為KL散度與真實分布的熵之和：

由于在分類任務中，真實分布的熵 H(P) 是固定的，因此最小化交叉熵等價于最小化KL散度，即讓模型預測的概率分布盡可能接近真實分布。

2. 交叉熵的Numpy實現

2.1 實現步驟

在實現交叉熵損失函數時，我們需要考慮以下幾個步驟：

計算模型輸出的概率分布：通常使用Softmax函數將模型的原始輸出轉換為概率分布。
計算交叉熵損失：根據交叉熵的定義，計算模型輸出的概率分布與真實標簽之間的交叉熵。

2.2 Softmax函數的實現

Softmax函數將模型的原始輸出轉換為概率分布，其定義為：

我們可以使用Numpy實現Softmax函數：

import numpy as np



def softmax(x):

    exp_x = np.exp(x - np.max(x))  # 防止數值溢出

    return exp_x / np.sum(exp_x, axis=0)

2.3 交叉熵損失的實現

在實現交叉熵損失時，我們需要注意以下幾點：

數值穩定性：由于對數函數的性質，當輸入接近0時，計算結果可能會非常大。為了避免數值不穩定，我們通常會對模型輸出的概率分布進行裁剪，確保其值不會過小。
批量處理：在實際應用中，我們通常需要同時處理多個樣本，因此需要支持批量計算。

以下是交叉熵損失的Numpy實現：

def cross_entropy_loss(y_true, y_pred):

    # 裁剪預測值，防止log(0)的情況

    y_pred = np.clip(y_pred, 1e-15, 1 - 1e-15)

    # 計算交叉熵損失

    loss = -np.sum(y_true * np.log(y_pred)) / y_true.shape[0]

    return loss

2.4 完整代碼示例

下面是一個完整的代碼示例，展示了如何使用Numpy實現交叉熵損失函數：

import numpy as np



def softmax(x):

    exp_x = np.exp(x - np.max(x, axis=1, keepdims=True))  # 防止數值溢出

    return exp_x / np.sum(exp_x, axis=1, keepdims=True)



def cross_entropy_loss(y_true, y_pred):

    # 裁剪預測值，防止log(0)的情況

    y_pred = np.clip(y_pred, 1e-15, 1 - 1e-15)

    # 計算交叉熵損失

    loss = -np.sum(y_true * np.log(y_pred)) / y_true.shape[0]

    return loss



# 示例數據

y_true = np.array([[1, 0, 0], [0, 1, 0], [0, 0, 1]])  # 真實標簽（one-hot編碼）

logits = np.array([[2.0, 1.0, 0.1], [0.5, 2.0, 0.3], [0.1, 0.2, 3.0]])  # 模型原始輸出



# 計算Softmax概率分布

y_pred = softmax(logits)



# 計算交叉熵損失

loss = cross_entropy_loss(y_true, y_pred)

print("Cross-Entropy Loss:", loss)