Nvidia 加強生成式 AI 運行,全力推廣 TensorRT

Nvidia 加強生成式 AI 運行,全力推廣 TensorRT

Nvidia 最近宣布了一個大舉動,他們將 TensorRT-LLM SDK 擴展到 Windows 和更多的大型語言模型(LLMs),像是 Stable Diffusion。這個舉動的背後目的很簡單,就是要讓這些大型語言模型和相關的 AI 工具運行得更快、更順暢。

那 TensorRT 到底是什麼呢?簡單來說,它是一個幫助加速「推理」的工具。推理是一個過程,通過已經訓練好的資料和計算概率來得出結果。有了 TensorRT,Nvidia 希望在這個生成式 AI 的領域扮演更重要的角色。

TensorRT-LLM 的厲害之處在於,它可以讓像 Meta 的 Llama 2 和 Stability AI 的 Stable Diffusion 這樣的大型語言模型,在 Nvidia 的 H100 GPU 上運行得更快。Nvidia 自己也說,用 TensorRT-LLM 來運行這些模型,使用者的體驗會有顯著的提升,特別是在更複雜的應用,像是寫作和編碼助手。

這樣一來,Nvidia 不只是提供強大的 GPU 來訓練和運行這些大型語言模型,還提供了這個讓模型運行更快的軟件,這意味著用戶不需要尋找其他替代方案來降低生成式 AI 的成本。Nvidia 也表示,TensorRT-LLM 會對外開放,任何人都可以使用或整合它。

但 Nvidia 也看到了未來的挑戰,雖然他們在生成式 AI 的硬件方面是領頭羊,但隨著生成式 AI 的快速發展,不需要大量昂貴 GPU 的新方法也在出現。像是 Microsoft 和 AMD,已經宣布他們會製造自己的晶片,減少對 Nvidia 的依賴。因此 Nvidia 正在積極尋找新的機會,確保他們在這個領域繼續領先。

Leave a Reply

Your email address will not be published. Required fields are marked *