GPU 不夠先別急著加買!NVIDIA 參投 Simplismart 想把 AI 算力用得更省
印度新創 Simplismart 完成1,400萬美元 B 輪募資 由 Dallas Venture Capital 領投 NVIDIA 等業者參投 它把重點放在模型部署與算力調度 希望企業用現有 GPU 跑出更合用的服務
主題示意圖AI 服務變慢 第一個反應可能是再多租幾張 GPU 印度新創 Simplismart 想先處理另一件事:現有硬體有沒有被用好?公司在10月27日宣布完成1,400萬美元 B 輪募資 由 Dallas Venture Capital 領投 NVIDIA、Accel、Shastra VC 與 Micromax 參投
Simplismart 做的是模型和 GPU 之間的軟體 協助企業部署模型、調整執行方式 並隨使用量安排資源 這裡的「推論」就是讓訓練好的模型開始回答問題或產生結果 公司沒有打算自己蓋一支 GPU 機隊 而是讓應用業者與雲端供應商更容易使用既有設備
為什麼同一個模型還需要不同安排?公司在融資信裡用工作情境解釋 語音助理如果停頓太久 對話就會卡住;半夜處理一批文件 則可能願意多等一些時間 交換較低成本 把更多請求湊在一起處理 雖然能提高總處理量 也可能讓個別使用者等得更久
這套服務的收費也隨部署方式改變 Inc42 的訪談提到 共用端點按 token 使用量收費 專用端點則按 GPU 使用時間計價 企業也能把工作放在自己的運算環境裡 對不想把資料移到另一個雲端的團隊 這種選擇會影響能否採用 不只是比較每次回答多少錢
新資金將投入推論引擎、部署調度平台與雲端合作 並優先拓展北美市場 Simplismart 表示 Yotta 的 Shakti Studio 已採用它的無伺服器推論層 至於跨地區、跨時區媒合閒置 GPU 與工作需求的動態調度 則是公司還在打造的方向 不能當成這次已全面推出的功能
有 NVIDIA 參投 不等於每個使用者都能保證省下固定比例的成本 公司公開的速度與費用案例 仍是特定客戶和設定下的結果 如果團隊正在評估這類服務 比較有用的是拿自己的尖峰流量、等待時間與資料存放要求去測試 再看整張帳單有沒有真的下降
值得留意
把 AI 放進正式產品後 回答速度與帳單會一起影響能不能持續營運 這家公司瞄準的是模型與硬體之間的部署工作 成效仍要按實際任務測試
資料來源與閱讀限制
作者:山姆蛋|來源連結與閱讀限制詳列如下
原標題 NVIDIA-backed Simplismart raises $14 million after 10-fold revenue surge