英偉達發(fā)布新一代 AI 芯片 H200

Callejon

當?shù)貢r間周一,，英偉達宣布推出 NVIDIA HGX™ H200，為全球領先的 AI 計算平臺帶來強大動力,。

該平臺基于 NVIDIA Hopper™ 架構(gòu)，是 H100 GPU 的繼任者,，也是該公司首款使用 HBM3e 內(nèi)存的芯片,，可加速生成式 AI 和大型語言模型，同時推進 HPC 工作負載的科學計算,。

借助 HBM3e,，英偉達 H200 以每秒 4.8 TB 的速度提供 141GB 內(nèi)存，與 A100 相比,，容量幾乎翻倍,，帶寬增加 2.4 倍,。

H200 的推出將帶來進一步的性能飛躍，在 Llama 2 上的推理速度比 H100 快一倍,。英偉達表示,，未來的軟件更新預計會帶來 H200 的額外性能領先優(yōu)勢和改進。

英偉達 H200 芯片將于 2024 年第二季度開始向全球系統(tǒng)制造商和云服務提供商供貨,。