
如何高效爬取全球新聞網站 – 整合Scrapy、Selenium與Mediastack API實現自動化新聞采集
DTW計算的結果是兩個序列的對齊路徑以及最小的總對齊代價。
K-means是一種基于劃分的聚類算法,目標是將數據分成?K個簇,使每個簇內的數據點與簇中心的距離平方和最小。
K-means目標函數:
結合DTW后,簇內距離采用DTW度量,簇中心定義為簇內所有樣本到該中心的DTW距離最小的序列。
生成三個具有不同特征的時間序列簇,每個簇包含50個序列。加入噪聲和隨機擾動模擬真實場景。
import numpy as np
import matplotlib.pyplot as plt
# 設置隨機種子
np.random.seed(42)
# 生成時間序列簇
def generate_series(base_series, noise_level=0.2, count=50):
series = []
for _ in range(count):
noise = np.random.normal(0, noise_level, len(base_series))
series.append(base_series + noise)
return np.array(series)
# 基礎序列
t = np.linspace(0, 6 * np.pi, 100)
cluster1 = np.sin(t)
cluster2 = np.cos(t)
cluster3 = np.sin(t / 2)
# 生成三個簇
data_cluster1 = generate_series(cluster1)
data_cluster2 = generate_series(cluster2)
data_cluster3 = generate_series(cluster3)
# 合并數據
data = np.vstack([data_cluster1, data_cluster2, data_cluster3])
# 繪制原始數據
plt.figure(figsize=(10, 6))
for series in data_cluster1:
plt.plot(series, alpha=0.5, color='red')
for series in data_cluster2:
plt.plot(series, alpha=0.5, color='blue')
for series in data_cluster3:
plt.plot(series, alpha=0.5, color='green')
plt.title('Original Time Series Data')
plt.xlabel('Time')
plt.ylabel('Value')
plt.show()
原始時間序列分布。紅色、藍色、綠色分別代表三個簇,各自具有不同的波動特征。
使用fastdtw
庫實現DTW距離計算:
from fastdtw import fastdtw
from scipy.spatial.distance import euclidean
# 計算 DTW 距離矩陣
def compute_dtw_distance_matrix(data):
n = len(data)
distance_matrix = np.zeros((n, n))
for i in range(n):
for j in range(i + 1, n):
# 確保每個時間序列是一維
series_i = np.squeeze(data[i]) # 使用 np.squeeze() 移除多余的維度
series_j = np.squeeze(data[j])
# 確保數據是1維
assert series_i.ndim == 1, f"Series {i} is not 1D!"
assert series_j.ndim == 1, f"Series {j} is not 1D!"
distance, _ = fastdtw(series_i, series_j, dist=euclidean)
distance_matrix[i, j] = distance
distance_matrix[j, i] = distance
return distance_matrix
改進的K-means將DTW作為距離度量。使用tslearn
庫中的TimeSeriesKMeans
實現:
from tslearn.clustering import TimeSeriesKMeans
from tslearn.metrics import dtw
# 使用DTW的K-means聚類
n_clusters = 3
model = TimeSeriesKMeans(n_clusters=n_clusters, metric="dtw", verbose=True)
labels = model.fit_predict(data)
# 繪制聚類結果
plt.figure(figsize=(10, 6))
colors = ['red', 'blue', 'green']
for i in range(n_clusters):
cluster_data = data[labels == i]
for series in cluster_data:
plt.plot(series, alpha=0.5, color=colors[i])
plt.title('Clustered Time Series')
plt.xlabel('Time')
plt.ylabel('Value')
plt.show()
聚類后的時間序列分布。不同顏色表示不同的簇,K-means根據DTW距離成功分離出特征相似的序列。
提取每個簇的中心序列,并展示與其他序列的DTW對齊路徑。
# 提取簇中心
centers = model.cluster_centers_
# 可視化簇中心
plt.figure(figsize=(10, 6))
for i, center in enumerate(centers):
plt.plot(center.ravel(), label=f'Cluster {i+1} Center', linewidth=2)
plt.title('Cluster Centers')
plt.xlabel('Time')
plt.ylabel('Value')
plt.legend()
plt.show()
# 對齊路徑可視化
from tslearn.metrics import dtw_path
plt.figure(figsize=(10, 6))
series_idx = 0 # 第一簇中的第一條序列
path, _ = dtw_path(data[series_idx], centers[labels[series_idx]])
x_path, y_path = zip(*path)
plt.plot(data[series_idx], label='Sample Series', color='blue')
plt.plot(centers[labels[series_idx]], label='Cluster Center', color='red')
plt.scatter(x_path, y_path, color='black', alpha=0.5, s=10, label='Alignment Path')
plt.title('DTW Alignment Path')
plt.legend()
plt.show()
簇中心的動態變化趨勢,各中心代表簇內數據的主特征。
單個序列與簇中心的DTW對齊路徑,展示了DTW對時間序列形狀的彈性匹配能力。
FastDTW
或預先降維(如PCA)。K-means++
提升收斂速度。通過結合K-means與DTW算法實現時間序列聚類,成功分離了不同特征的序列簇,并直觀展示了聚類效果及對齊路徑。后面咱們可以嘗試引入深度學習(如LSTM自編碼器)進一步提升聚類效果,到時候再給大家分享。