日产日韩亚洲欧美综合搜索,国产高清在线精品二区app,中文字幕第99页

3FS的關(guān)鍵特性與優(yōu)勢

Fire-Flyer文件系統(tǒng)(3FS)專為解決AI訓(xùn)練和推理工作負(fù)載的挑戰(zhàn)而設(shè)計(jì)，具有以下關(guān)鍵特性：

性能與可用性

? 分離式架構(gòu)(Disaggregated Architecture)：結(jié)合了數(shù)千個(gè)SSD和數(shù)百個(gè)存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)帶寬，使應(yīng)用程序可以不受位置限制地訪問存儲(chǔ)資源
? 強(qiáng)一致性(Strong Consistency)：實(shí)現(xiàn)了鏈?zhǔn)綇?fù)制與分配查詢(CRAQ)協(xié)議，確保數(shù)據(jù)的強(qiáng)一致性，簡化應(yīng)用程序開發(fā)
? 文件接口(File Interfaces)：提供基于事務(wù)性鍵值存儲(chǔ)(如FoundationDB)支持的無狀態(tài)元數(shù)據(jù)服務(wù)，使用通用的文件接口，無需學(xué)習(xí)新的存儲(chǔ)API

多樣化工作負(fù)載支持

? 數(shù)據(jù)準(zhǔn)備：高效組織數(shù)據(jù)分析管道的輸出和管理大量中間結(jié)果
? 數(shù)據(jù)加載：支持計(jì)算節(jié)點(diǎn)間的訓(xùn)練樣本隨機(jī)訪問，消除預(yù)取或打亂數(shù)據(jù)集的需求
? 檢查點(diǎn)保存：支持大規(guī)模訓(xùn)練的高吞吐并行檢查點(diǎn)保存
? 推理KVCache：提供比基于內(nèi)存緩存更具成本效益的替代方案，同時(shí)提供高吞吐量和更大容量

3FS的性能表現(xiàn)

1. 峰值吞吐量

在一個(gè)由180個(gè)存儲(chǔ)節(jié)點(diǎn)組成的大型3FS集群上，每個(gè)節(jié)點(diǎn)配備2×200Gbps InfiniBand網(wǎng)卡和16個(gè)14TiB NVMe SSD，使用約500+客戶端節(jié)點(diǎn)進(jìn)行讀取壓力測試(每個(gè)客戶端有1x200Gbps InfiniBand網(wǎng)卡)，最終聚合讀取吞吐量達(dá)到約6.6 TiB/s，并且這一性能在有訓(xùn)練作業(yè)的背景流量下仍然保持穩(wěn)定。

2. GraySort基準(zhǔn)測試

DeepSeek使用基于3FS的Smallpond進(jìn)行GraySort基準(zhǔn)測試，這是衡量大規(guī)模數(shù)據(jù)排序性能的標(biāo)準(zhǔn)測試。其實(shí)現(xiàn)采用兩階段方法：

1. 通過鍵的前綴位進(jìn)行shuffle實(shí)現(xiàn)數(shù)據(jù)分區(qū)
2. 在分區(qū)內(nèi)部進(jìn)行排序

測試集群由25個(gè)存儲(chǔ)節(jié)點(diǎn)(每節(jié)點(diǎn)2個(gè)NUMA域/節(jié)點(diǎn)，每NUMA 1個(gè)存儲(chǔ)服務(wù)，2×400Gbps網(wǎng)卡)和50個(gè)計(jì)算節(jié)點(diǎn)(每節(jié)點(diǎn)2個(gè)NUMA域，192個(gè)物理核心，2.2 TiB RAM，1×200Gbps網(wǎng)卡)組成。對(duì)110.5 TiB數(shù)據(jù)進(jìn)行8,192個(gè)分區(qū)的排序在30分14秒內(nèi)完成，平均吞吐量達(dá)到3.66 TiB/分鐘。

3. KVCache性能

KVCache是優(yōu)化LLM推理過程的技術(shù)，通過緩存解碼器層中之前token的鍵值向量避免重復(fù)計(jì)算。3FS的KVCache實(shí)現(xiàn)提供了顯著的性能優(yōu)勢：

? 所有KVCache客戶端的讀取吞吐量峰值可達(dá)40 GiB/s
? 高效的垃圾回收機(jī)制，支持大規(guī)模并發(fā)操作

使用3FS

獲取源代碼

# 從GitHub克隆3FS倉庫

git clone https://github.com/deepseek-ai/3fs



# 初始化子模塊

cd 3fs

git submodule update --init --recursive

./patches/apply.sh

安裝依賴

# Ubuntu 20.04

apt install cmake libuv1-dev liblz4-dev liblzma-dev libdouble-conversion-dev libprocps-dev libdwarf-dev libunwind-dev \

  libaio-dev libgflags-dev libgoogle-glog-dev libgtest-dev libgmock-dev clang-format-14 clang-14 clang-tidy-14 lld-14 \

  libgoogle-perftools-dev google-perftools libssl-dev ccache libclang-rt-14-dev gcc-10 g++-10 libboost1.71-all-dev



# Ubuntu 22.04

apt install cmake libuv1-dev liblz4-dev liblzma-dev libdouble-conversion-dev libprocps-dev libdwarf-dev libunwind-dev \

  libaio-dev libgflags-dev libgoogle-glog-dev libgtest-dev libgmock-dev clang-format-14 clang-14 clang-tidy-14 lld-14 \

  libgoogle-perftools-dev google-perftools libssl-dev ccache gcc-12 g++-12 libboost-all-dev

還需要安裝其他構(gòu)建前提條件：

? libfuse 3.16.1或更新版本
? FoundationDB 7.1或更新版本
? Rust工具鏈

構(gòu)建3FS

cmake -S . -B build -DCMAKE_CXX_COMPILER=clang++-14 -DCMAKE_C_COMPILER=clang-14 -DCMAKE_BUILD_TYPE=RelWithDebInfo -DCMAKE_EXPORT_COMPILE_COMMANDS=ON

cmake --build build -j 32

可以按照設(shè)置指南的說明運(yùn)行測試集群。

Smallpond數(shù)據(jù)處理框架

Smallpond是一個(gè)構(gòu)建在DuckDB和3FS之上的輕量級(jí)數(shù)據(jù)處理框架，具有以下特點(diǎn)：

由DuckDB提供支持的高性能數(shù)據(jù)處理
可擴(kuò)展到處理PB級(jí)數(shù)據(jù)集
簡單操作，無需長期運(yùn)行的服務(wù)

安裝Smallpond

Smallpond支持Python 3.8到3.12：

pip install smallpond

快速入門示例

首先下載示例數(shù)據(jù)：

# 下載示例數(shù)據(jù)

wget https://duckdb.org/data/prices.parquet

然后可以使用以下Python代碼處理數(shù)據(jù)：

import smallpond



# 初始化會(huì)話

sp = smallpond.init()



# 加載數(shù)據(jù)

df = sp.read_parquet("prices.parquet")



# 處理數(shù)據(jù)

df = df.repartition(3, hash_by="ticker")

df = sp.partial_sql("SELECT ticker, min(price), max(price) FROM {0} GROUP BY ticker", df)



# 保存結(jié)果

df.write_parquet("output/")

# 顯示結(jié)果

print(df.to_pandas())

Smallpond已在GraySort基準(zhǔn)測試中進(jìn)行了評(píng)估，在由50個(gè)計(jì)算節(jié)點(diǎn)和25個(gè)存儲(chǔ)節(jié)點(diǎn)組成的3FS集群上，成功在30分14秒內(nèi)對(duì)110.5TiB數(shù)據(jù)進(jìn)行排序，平均吞吐量達(dá)3.66TiB/分鐘。

本文轉(zhuǎn)載自：一文詳解：DeepSeek 第五天開源的 3FS 文件系統(tǒng)