硬體與本地大模型
私有化 AI 預算 15 萬、30 萬、60 萬怎麼分?別把服務預算全塞進主機
一、買不買:先問停機一天會怎樣
「公司想買一台 AI 主機,預算大概三十萬。」如果需求只有這句,先不要下單。真正要先決定的是:誰用、做哪件事、資料能去哪裡,以及故障時誰接電話。能回答這四件事,才有辦法比較報價。
例如只是驗證內部文件摘要是否好用,可以接受預約使用、人工檢查與暫時停機;若已變成每天的客服輔助,就還要考慮帳號、文件權限、更新失敗與回復。兩者即使模型一樣,採購範圍也不同。這是本文的採購判斷,不是某個價位必然買得到的效能。
我的結論很直接:任務還沒驗證,先買小範圍試點;已有固定使用者,再買服務化;流程不能中斷,才討論復原與備援。不知道什麼算成功時,加預算只是把不確定性買得更大。
二、花多少:先把三包錢拆開
以下是原創的預算分配教學,金額單位為新台幣萬元,查核與編寫日期為 2026-10-23。15、30、60 萬是情境總額,不是市價、奧微方案或整機報價;供應商實際含稅總價、機型、保固與交付範圍,均以經銷報價為準。沒有取得同條件實測,不填 tokens/s 或可同時服務人數。
| 情境總額 | 建議驗證的交付範圍 | 硬體預算上限範例 | 部署與整合預留 | 驗收、交接與風險預留 | 規格與效能的決定方式 |
|---|---|---|---|---|---|
| 15 萬 | 單一任務試點,允許人工排程 | 9 萬 | 3 萬 | 3 萬 | 固定一個模型版本與測試集,先證明任務品質;速度待測 |
| 30 萬 | 單一部門的受控服務 | 18 萬 | 6 萬 | 6 萬 | 明列帳號、文件權限、同時請求與等待門檻;速度待測 |
| 60 萬 | 納入復原、監控與維運交接 | 30 萬 | 15 萬 | 15 萬 | 驗證備份還原、版本回退與責任分工;備援成本另依實際方案核算 |
每列加總分別為 15、30、60 萬。這不是建議固定花完,更不是宣稱 60 萬一定能做高可用。若現有主機能完成試點,省下的錢應留給資料整理與驗收;如果報價不足以涵蓋表中的範圍,就縮小交付,不要默認工程師之後免費補齊。
硬體欄必須再拆清楚主機、記憶體、儲存、網路與保固,避免同一筆費用被算兩次。預留金也不是已成交價格:要問清楚包含幾次測試、誰處理升級,以及是否另有年度維護、電力、授權或訂閱費。
三、15 萬:買一個能決定要不要繼續的試點
試點最容易浪費在展示。「可以聊天」不等於你們的文件整理值得採用。先選一個狹窄工作,例如把固定格式的內部文件整理成摘要,並約定哪些錯誤必須由人工攔下。不要一開始就包下全公司知識庫與所有部門。
準備一份有代表性的測試集,包含正常、缺資料與不該回答的內容。逐筆記錄是否漏掉關鍵條件、是否引用錯文件,以及人工修正花多少時間。這些是建議的驗收方式,不是我們已完成的客戶成果。
這個階段可以先用既有設備測試,再決定要不要購置。Hugging Face 的記憶體估算工具明確提醒:能估出模型載入的容量,不等於已包含推論所需空間。因此不能拿權重大小直接當整機最低規格。官方記憶體估算說明
四、30 萬:買受控服務,不只是更大的機器
試點過關後,下一筆錢優先解決「別人能不能穩定用」。要把誰能登入、哪些文件可看、工作失敗怎麼回報,以及更新後不合格怎麼退回上一版,寫進交付清單。沒有明確權限邊界的文件搜尋,不該靠使用者自律補洞。
效能則用同一個模型、量化版本、輸入長度、輸出上限與請求組合測。vLLM 官方提供服務壓測工具與首段輸出等待時間等指標;比較時應保留測試條件,不把不同工作負載的漂亮數字混在一起。這裡沒有引用任何硬體的 benchmark 成績。官方壓測說明
採購前請供應商交一份原始測試結果,而非只有截圖。你們自己先定可接受的等待時間與錯誤處理,再看報價能否達標。達不到就限制同時使用、縮小任務,或重新估價;不要把「登入帳號數」誤當「同時請求數」。
五、60 萬:先買回得來,再談不停機
預算加倍後,最不該省的是故障演練。備份檔存在,和能在另一個可用環境還原,是兩件事。要求交付模型與軟體版本、設定清單、文件索引重建方式,以及誰有權執行回復。回復要花多久,應由演練記錄回答,不靠口頭承諾。
同時釐清可接受中斷多久、可接受遺失多久的更新。這些目標會影響是否需要另一台機器、備用儲存與人員支援;表中的 60 萬範例沒有證明足以買到任何特定備援架構。若需求超出預算,優先保住關鍵任務,其他工作可以排程或停用。
私有化也不等於所有資料都不出網。例如 Ollama 官方區分本地與雲端功能,提供關閉雲端功能的設定;但這不能代替應用程式、外掛、搜尋與紀錄的整體流向檢查。採購文件應寫明哪些連線允許、哪些必須阻擋,並在實際環境驗證。官方本地/雲端說明
六、怎麼選:讓每張報價回答同一份問題
把任務範圍、模型版本、文件權限、測試集、負載條件、含稅價格與年度維護拆成一張清單,讓每家供應商逐項填寫。沒有同條件數據就寫待測,沒有報價就寫以經銷報價為準,不用模型參數量替空白背書。
15 萬先買是否值得繼續的答案,30 萬先買可管理的服務,60 萬先把復原和交接說清楚。這是預算使用順序,不是效能分級保證。你應該為「能驗收的交付」付款,而不是為一張看起來很滿的零件表付款。
若需要先整理需求、資料範圍與交付邊界,可與奧微軟體討論 AI 應用導入。實際評估與服務範圍依需求確認,不以本文預算範例作報價或效能承諾。
查核日期:2026-10-23。本文是採購方法與明示假設,未執行硬體 benchmark、未提供成交價或可用性保證。
