3月19日消息，英偉達(dá)在2025GTC大會(huì)上推出了開源推理軟件 NVIDIA Dynamo，旨在以高效率、低成本加速并擴(kuò)展 AI 工廠中的 AI 推理模型。

據(jù)介紹，NVIDIA Dynamo 是一款全新的 AI 推理服務(wù)軟件，旨在為部署推理 AI 模型的 AI 工廠最大化其 token 收益。它協(xié)調(diào)并加速數(shù)千個(gè) GPU 之間的推理通信，并使用分離服務(wù)將大語(yǔ)言模型 (LLM) 的處理階段和生成階段在不同 GPU 上分離開來(lái)。這使得每個(gè)階段的特定需求可以進(jìn)行單獨(dú)優(yōu)化，并確保更大程度地利用 GPU 資源。

“全世界各行業(yè)都在訓(xùn)練 AI 模型以不同的方式進(jìn)行思考和學(xué)習(xí)，從而使模型復(fù)雜度持續(xù)升級(jí)?！盢VIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示，“為了實(shí)現(xiàn)自定義推理 AI 的未來(lái)，NVIDIA Dynamo 可以在這些模型上進(jìn)行規(guī)?；渴穑瑥亩鵀?AI 工廠實(shí)現(xiàn)降本增效”。

在 GPU 數(shù)量相同的情況下，Dynamo 可將 NVIDIA Hopper? 平臺(tái)上運(yùn)行 Llama 模型的 AI 工廠性能和收益翻倍。在由 GB200 NVL72機(jī)架組成的大型集群上運(yùn)行 DeepSeek-R1模型時(shí)，NVIDIA Dynamo 的智能推理優(yōu)化也可將每個(gè) GPU 生成的 token 數(shù)量提高30倍以上。

NVIDIA Dynamo 完全開源并支持 PyTorch、SGLang、NVIDIA TensorRT?-LLM 和 vLLM，使企業(yè)、初創(chuàng)公司和研究人員能夠開發(fā)和優(yōu)化在分離推理時(shí)部署 AI 模型的方法。

這將使用戶加速采用 AI 推理，包括亞馬遜云科技、Cohere、CoreWeave、戴爾科技、Fireworks、谷歌云、Lambda、Meta、微軟 Azure、Nebius、NetApp、OCI、Perplexity、Together AI 和 VAST。