Nemotron模型家族可以分為三大類，可以部署在不同規(guī)格的計(jì)算平臺(tái)上：Nano版適合部署在PC和邊緣設(shè)備上，Super版適合部署在單張GPU上，最強(qiáng)的Ultra版本則需要部署在數(shù)據(jù)中心里，需要很強(qiáng)的算力和很高的計(jì)算精度。

全新的NVIDIA Nemotron Nano 2，推理成本驟降60%

新發(fā)布的NVIDIA Nemotron Nano 2不僅實(shí)現(xiàn)了同尺寸模型下的最高準(zhǔn)確率，并且還加入了可配置的“思考預(yù)算”功能，支持用戶控制輸出的Token的數(shù)量，讓AI智能體在更深入的思考和更快的執(zhí)行效率之間尋找平衡點(diǎn)。

據(jù)了解，Nemotron Nano 2在相同時(shí)間內(nèi)生成的Token數(shù)量提升了最高6倍，同時(shí)，相比同類其他開(kāi)源模型，推理成本降低了60%。智能體每次工作需要耗費(fèi)的Token很多，成本降低的現(xiàn)實(shí)意義很大。

新發(fā)布的NVIDIA Llama Nemotron Super 1.5，吞吐量提升6倍

新發(fā)布的NVIDIA Llama Nemotron Super 1.5其吞吐量有較大提升。它支持NVFP4格式，NVFP4是英偉達(dá)給Blackwell量身打造的格式，在保持模型準(zhǔn)確度的前提下提升推理性能和效率，跟Hopper上采用的FP8相比，實(shí)現(xiàn)了6倍的吞吐量提升。

Llama Nemotron Super 1.5在同類產(chǎn)品中實(shí)現(xiàn)了更高的推理準(zhǔn)確性，而且，成本還比較低。與某70B參數(shù)的模型相比，它的推理準(zhǔn)確性高出很多，而與某32B模型在同一準(zhǔn)確度的情況下，成本低了很多。

英偉達(dá)Omniverse與仿真技術(shù)副總裁Rev Lebaredian介紹稱，目前已經(jīng)有許多軟件巨頭都在使用英偉達(dá)的Nemotron模型，他認(rèn)為，每個(gè)行業(yè)里，每個(gè)軟件平臺(tái)都會(huì)有自己的AI智能體。

比如：安全大廠Crowdstrike利用Nemotron模型，將其安全警報(bào)分類的準(zhǔn)確率提升了11%；存儲(chǔ)大廠NetApp正在其AI數(shù)據(jù)平臺(tái)上集成Nemotron，以支持AI智能體進(jìn)行復(fù)雜的商業(yè)數(shù)據(jù)搜索與分析；視頻會(huì)議巨頭Zoom也計(jì)劃采用Nemotron來(lái)幫助用戶處理多步驟的復(fù)雜任務(wù)。

作為開(kāi)源的模型，NVIDIA Nemotron Nano 2 和 Llama Nemotron Super 1.5 (NVFP4) 將在不久后開(kāi)放下載。這次，英偉達(dá)不僅開(kāi)放模型，還推出了訓(xùn)練數(shù)據(jù)集——Llama Nemotron VLM 數(shù)據(jù)集 v1，開(kāi)發(fā)者可以在Hugging Face上自行下載。

zhupb