NVIDIA 與主要合作夥伴今日宣布推出採用 NVIDIA H100 Tensor 核心 GPU 的新產品和服務，NVIDIA H100 Tensor 核心 GPU 是全球最強大的人工智慧 GPU，可滿足市場對生成式人工智慧訓練和推論快速出現的需求。

Oracle Cloud Infrastructure (OCI)宣布推出新的OCI運算裸機GPU執行個體將搭載H100 GPU，提供的數量有限。此外，AWS 宣布即將推出Amazon EC2 P5 執行個體的 EC2 UltraClusters，其規模可以擴大到兩萬個互連的 H100 GPU。這是繼微軟 Azure 上週宣布推出其搭載H100虛擬機器及ND H100 v5專屬預覽活動 (提供客戶搶先體驗)之後的又一項重要公告事項。Meta 現已在公司內部部署了搭載 H100 的 Grand Teton AI 超級電腦，供人工智慧生產和研究團隊使用。

NVIDIA 創辦人暨執行長黃仁勳今日在GTC 大會主題演講中宣布，NVIDIA DGX H100 AI 超級電腦已全面投產，很快將供全球企業使用。黃仁勳表示：「生成式人工智慧無比的發展潛力，激勵幾乎各行各業重新設想其商業策略及實現這些策略所需的技術。NVIDIA 與我們的合作夥伴快速採取各項行動，將世界上最強大的人工智慧運算平台提供給那些開發各種應用程式的人員，而這些應用程式將從根本上改變我們生活、工作和娛樂的方式。」

Hopper 架構加速推動人工智慧發展

建立在 NVIDIA Hopper™ GPU 運算架構上的 H100，內建 Transformer Engine，針對開發、訓練和部署生成式人工智慧、大型語言模型（LLM）及推薦系統進行了最佳化調整。與上一代 A100 相比，這項技術利用了 H100 的 FP8 精度，在 LLM 上訓練人工智慧的速度快了九倍、人工智慧推論速度快上30倍。H100 自秋季起將隨著全球製造商的個別和精選主機板單元出貨。

NVIDIA DGX™ H100 搭載八個 H100 GPU，使用 NVIDIA NVLink® 高速互連技術及整合式 NVIDIA Quantum InfiniBand 和 Spectrum™ Ethernet 網路技術連接。該平台以 FP8 精度提供 32 petaflops 的運算效能，網路速度是前一代 DGX A100 的兩倍，有助於在處理大型人工智慧工作負載時，將能源使用效率提高到極致。

DGX H100 也具備完整的 NVIDIA AI 軟體堆疊，企業能夠用以大規模地流暢執行和管理人工智慧工作負載。該產品包括今日另行發布的最新版 NVIDIA AI Enterprise，以及 DGX 資料中心的作業系統 NVIDIA Base Command™，該系統可以協調整個 NVIDIA DGX 平台上的人工智慧訓練和操作事宜，讓開發人工智慧的工作變得更簡單。

採用 H100 的人工智慧先驅

多個生成式人工智慧領域的先驅採用 H100 來加速執行各項工作：

• OpenAI先前使用H100的前身 - NVIDIA A100 GPU，來訓練和運執行其ChatGPT，這是一個針對對話進行優化的AI系統，在創紀錄的時間被全球數億人使用。OpenAI將在其Azure超級電腦上使用H100來持續支持其AI研究。

• NVIDIA 的重要技術合作夥伴 Meta 開發搭載 Hopper 的人工智慧超級電腦 Grand Teton 系統，多項表現優於上一代的 Zion 系統，包括 4 倍的主機對 GPU (host-to-GPU ) 頻寬、2 倍的運算和數據網路頻寬以及 2 倍的封包功率。有了這種更強大的運算能力，Grand Teton 可以支持高級深度學習推薦模型和內容理解的訓練和生產推理。

• 文字轉影像生成式人工智慧領域的先驅業者 Stability.ai，是 AWS 平台上搶先試用 H100 的客戶。Stability.ai 計畫使用 H100 來加速執行其即將推出的影片、3D 和多模態模型。

• Twelve Labs 是一個讓企業和開發人員能夠取得多模式視訊理解的平台，它計劃在 OCI 超級電腦上使用 H100 執行個體，使視訊更即時、智慧且更易於被搜索。

• 創作出人工智慧輔助故事寫作和文字轉影像合成 NovelAI 應用程式的 Anlatan，使用 CoreWeave 雲端平台上的 H100 執行個體來建立模型及進行推論作業。

全球各地使用 DGX H100 的客戶

全球各地的創新者收到第一波 DGX H100 系統，包括：

• 日本的數位廣告及網路服務公司 CyberAgent，充分利用生成式人工智慧與 LLM 技術，建立人工智慧製作出的數位廣告和名人數位孿生化身。

• 約翰霍普金斯大學應用物理實驗室是美國最大的大學附屬研究中心，將使用 DGX H100 來訓練 LLM。

• 位於斯德哥爾摩的瑞典 KTH 皇家理工學院是歐洲頂尖的理工大學，將使用 DGX H100 為高等教育學子提供最先進的電腦科學課程。

• 日本大型商社之一的三井物產，經營能源、健康、IT 及通信等多項業務，正在使用 DGX H100 來打造日本首個用於藥物發現的生成式人工智慧超級電腦。

• 厄瓜多爾大型電信商 Telconet 正在建立智慧影像分析技術，以打造更安全的城市，同時為使用各種西班牙語方言的客戶提供語言服務。

生態系統的支持

Atlanan- Atlanan 執行長 Eren Doğan

「我們把所有心力都放在人工智慧創新與人工智慧優先的產品上。NVIDIA H100 GPU 是最先進的機器學習加速器，讓我們在機器學習業界內佔盡競爭優勢，它適用於從模型訓練到模型推論的各種應用項目。」

AWS - AWS Amazon EC2 副總裁David Brown

「AWS 和 NVIDIA 已經合作超過 12 年，提供大規模、經濟高效基於 GPU 的解決方案， AWS 在提供以基於GPU的執行個體方面擁有無與倫比的經驗，並推動了每一代產品的可擴展性。 如今，許多客戶將機器學習訓練工作負載擴展到超過 10,000 個 GPU。 借助第二代 EFA，客戶可以將他們的 P5 執行個體擴展到超過 20,000 個 H100 GPU，從而為任何組織帶來符合不同需求的超級電腦功能。」

Meta – Alexis Bjorlin，基礎架構、AI 系統和加速平台副總裁

「隨著我們建構新的人工智慧體驗，像是基於生成式人工智慧的那些體驗，底層的人工智慧模型變得越來越複雜。Meta 最新的採用H100 驅動的 Grand Teton 人工智慧超級電腦提供了更強大的運算能力、記憶體容量和頻寬，進一步加速了 Meta 的 AI 模型（例如開源的 DLRM）的訓練和推理。隨著我們開發出新一個運算平台， H100 也為研究 Meta 未來的內容推薦、生成式人工智慧 和 發展元宇宙需求提供更強大的運算能力。」

微軟 – 微軟雲端運算 + 人工智慧事業群執行副總裁 Scott Guthrie

「各行各業採用人工智慧的速度不斷加快，企業經營與取得成功的方式發生翻天覆地的改變。我們在微軟 Azure 平台上使用 NVIDIA 的 Hopper 架構，就能對想要擁有更多人工智慧能力的企業，提供無與倫比的運算表現和功能。人們採用人工智慧的速度一直在加快，人工智慧改變了每個企業經營業務與取得成功的方式。NVIDIA 的 Hopper 架構為愈來愈多使用微軟 Azure 進行創新的企業，帶來前所未有的運算效能、規模和功能。」

OpenAI的總裁暨聯合創辦人Greg Brockman

「NVIDIA H100 Tensor Core GPU的運算能力對於推動AI訓練和推理的前瞻發展非常重要。 NVIDIA的先進技術將支持我們進行像GPT-4這樣的系統研究和工作協作。」

Oracle Cloud Infrastructure - CTO暨高級副總裁Greg Pavlik

 「OCI正在為數千家各種規模的組織提供大規模的AI超級運算能力。我們與NVIDIA的緊密合作為客戶提供了巨大的價值，我們也對於H100的強大效能感到非常興奮。」

Stability.ai - Stability.ai 創辦人暨執行長 Emad Mostaque

Stability AI 創辦人暨執行長 Emad Mostaque 表示：「Stability AI 是領先全球的開放原始碼人工智慧模型公司，致力於為消費者和企業提供世界上最佳的多模態創作工具。我們利用強大的 NVIDIA H100 提供前所未有的運算能力，為愈來愈多想要從生成式人工智慧的變革力量中受惠的人們，支持他們發揮創意與研究能力。它將讓我們製作出更多影片、3D 和其他模型，而這些模型將獨享更高的互連速度及先進架構所帶來的益處，可用於處理海量資料。」

Twelve Labs – 執行長 Jae Lee

「我們很高興能夠利用搭載NVIDIA H100 GPU的Oracle Cloud Infrastructure Compute裸機執行個體，繼續努力將視訊基礎模型導入市場。」

上市時間

NVIDIA DGX H100 超級電腦已全面投產，可向 NVIDIA 全球合作夥伴訂購。客戶現在便能透過 NVIDIA DGX Cloud 體驗 DGX H100。請向全球 NVIDIA DGX 合作夥伴詢問價格。在雲端服務業者方面，微軟Azure目前提供 NVIDIA H100 專屬預覽服務，提供客戶搶先體驗， Oracle Cloud Infrastructure 提供有限的使用。Cirrascale 與 CoreWeave也已提供具 H100的雲端平台。AWS宣布將在數週之後推出專屬預覽服務。Google與Lambda、Paperspace 及 Vultr等雲端服務合作夥伴皆計畫推出搭載H100的雲端平台。

各大伺服器製造商現已開始提供搭載 NVIDIA H100 GPU 的伺服器和系統，這些業者有源訊（Atos） 、思科系統（Cisco） 、戴爾科技集團（Dell Technologies）、技嘉科技、慧與科技公司（Hewlett Packard Enterprise）、聯想集團 （Lenovo）及 美超微電腦 （Supermicro）。請直接向 NVIDIA 合作夥伴詢問價格與其他詳細資訊。

歡迎觀看NVIDIA執行長黃仁勳的 GTC 大會主題演講，其中討論 NVIDIA Hopper 架構的精彩內容。