DeepSeek開源周最后一彈：超快的數(shù)據(jù)存儲和訪問方式3FS
加入技術交流群
2月28日消息，今日，DeepSeek開源周第五天，也是最后一天，亮出的是3FS，一種高性能并行文件系統(tǒng)。
本文引用地址：http://m.ptau.cn/article/202502/467432.htm
3FS（Fire-Flyer File System）專為充分利用現(xiàn)代固態(tài)硬盤（SSD）和遠程直接內(nèi)存訪問（RDMA）網(wǎng)絡的帶寬而設計，能夠加速對數(shù)據(jù)存儲和訪問。
據(jù)介紹，在180節(jié)點的集群中，3FS能夠提供高達6.6 TiB/s的聚合讀取吞吐量。此外，在25節(jié)點的集群上，3FS通過GraySort基準測試，達到了3.66 TiB/min的吞吐量。
3FS不僅在數(shù)據(jù)吞吐量上表現(xiàn)突出，還在單客戶端節(jié)點的KVCache查詢中，達到了每秒40+ GiB的峰值吞吐量。其去中心化架構和強一致性語義，確保了在各種分布式應用場景中，數(shù)據(jù)的高效訪問和一致性維護。
特別是在V3/R1版本中，3FS支持訓練數(shù)據(jù)預處理、數(shù)據(jù)集加載、檢查點保存與重載、嵌入向量搜索和KVCache查詢等關鍵功能。
評論