AI 熱潮催生新型態的AI算力租賃模式

隨著生成式人工智慧的興起,企業對 AI 算力的需求急劇增加。傳統的資料中心託管商和雲端服務商雖然提供一定程度的支援,但在應對高階 AI 伺服器的需求上顯得力不從心。這促使了一種新型態的 GPU 運算/雲提供商的崛起,這些廠商專注於提供 AI 算力和高階 GPU 算力的租賃。

Share
AI 熱潮催生新型態的AI算力租賃模式

隨著生成式人工智慧的興起,企業對 AI 算力的需求急劇增加。傳統的資料中心託管商和雲端服務商雖然提供一定程度的支援,但在應對高階 AI 伺服器的需求上顯得力不從心。這促使了一種新型態的 GPU 運算/雲提供商的崛起,這些廠商專注於提供 AI 算力和高階 GPU 算力的租賃。

這些新型態的 GPU 運算提供商,如 CoreWeave,受到了 NVIDIA 和微軟等大公司的關注和投資,他們專注於滿足中小型企業對即時使用高階 AI 算力的需求,並且具有更高的彈性和安全性。這些公司通常由裸機服務提供商、AI 演算法提供商、虛擬貨幣挖礦業者和超級電腦提供商/科研機構轉型而來。

在這個背景下,2023 年全球第二大獨角獸企業 Inflection AI 宣布將與 CoreWeave 和 NVIDIA 共同建造全球最大的 AI 叢集/超級電腦,這標誌著 AI 算力成為大型雲服務提供商和 AI 新創公司提升市場份額的關鍵因素。

在這個新的租賃模式下,企業有多種選擇來獲得所需的 AI 算力,包括自行購買和設置 AI 伺服器、使用雲端服務商的應用實例,或租借 GPU 運算提供商的 AI 算力。每種選擇都有其優勢和挑戰,企業需要根據自身的需求和資源來做出選擇。

(原文出自:https://money.udn.com/money/story/11162/7505542_)

Read more

Muse Ember 官方發布頁的淺藍色放射線與圓弧示意圖

Muse Ember 發表:Meta 低價模型如何分擔代理工作,長上下文費用怎麼算?

Muse Ember 想降低的,是 AI 代理每天反覆讀檔、叫工具和修小錯的支出。代理一次任務往往需要很多小步,所以單次回答便宜,累積起來才可能改變整個工作流程的成本。測試結果同樣不是全面領先。官方整理的程式評測裡,有些項目高於同級模型,另一些仍落後 Claude Haiku 5.5,代表團隊需要用自己的任務決定分工。