硬體與本地大模型
本地 AI 主機放辦公室:電費不是只看顯卡,噪音也不是買完再忍
買本地 AI 主機,最容易比較的是顯示記憶體,最容易忘記的是:它買回來以後,要在哪裡開機?如果主機就放在同事腳邊,風扇一轉就影響開會,再漂亮的規格表也救不了使用體驗。我的結論很直接:沒有量過整機用電、沒有在預定位置聽過負載聲音,先別把「適合辦公室」寫進採購結論。
這不是勸你放棄本地模型,而是把採購問題從「買得起」改成「放得下、用得久」。本文比較兩種部署方案:工作時才開機,以及整天常駐待命。沒有推薦特定型號,也沒有把假設瓦數當作實測 benchmark。
先看牆上用電,不要只看顯卡軟體
NVIDIA 的 NVML 文件將支援產品的板卡功耗列為監控項目;這不是整台電腦的電費。處理器、記憶體、儲存裝置、風扇與電源轉換都在系統邊界內。NVIDIA 的功耗說明也區分板卡功耗與插座端整機量測。因此,拿顯卡顯示的瓦數直接乘電價,很可能算錯範圍。NVML、功耗量測說明
請廠商用你的模型與工作流程,交付插座端累積用電量,並說清楚是否包含螢幕、外接儲存與其他設備。至少分開看載入、實際推論與閒置,不能只挑最漂亮的一瞬間。電源供應器標示的額定瓦數,也不等於每小時固定消耗那麼多。
一個月花多少:先把假設攤開
以下全部是教學假設,並非任何主機的規格、報價或實測。假設一個月三十天,每天有八小時工作,每度暫用新台幣五元作為算術輸入,不是台電現行牌價。實際工作天較少時,應替換天數,不能照抄帳單結論。
| 部署方案與假設規格 | 每月用電 | 假設每度5元的電能費 | 效能/價格判讀 |
|---|---|---|---|
| 工作時開機:整機150W,每天8小時,其餘完全不耗電 | 36度 | 180元 | 未實測;整機採購以經銷報價為準 |
| 工作時開機:整機400W,每天8小時,其餘完全不耗電 | 96度 | 480元 | 未實測;整機採購以經銷報價為準 |
| 全天待命:工作400W共8小時,閒置100W共16小時 | 144度 | 720元 | 未實測;整機採購以經銷報價為準 |
| 全天持續工作:整機400W,每天24小時 | 288度 | 1,440元 | 未實測;不能當成相同工作量的公平排名 |
計算方式是瓦數乘小時、除以一千,得到度數,再乘單價;這是 Virginia Tech 推廣教育文件介紹的能耗算法,不是 AI 專用預測模型。第三列為「400×8+100×16」再乘30、除1000。第二、三列的假設工作時數相同,差別只在其他時段;表內因此多出48度、240元。現實關機仍可能耗電,這裡假設為零,必須用量測修正。能耗公式
台電試算頁提醒,試算需依用電種類與計費情況判讀,實際以電費單為準。本文不把搜尋到的舊費率表當成今日單價;也沒有把冷氣、基本電費或其他契約費用塞進上述數字。要估新增負擔,應用同一計費期間,比較原用量與加入主機後的用量;時間電價還要保留各時段,而非拿整間公司的平均每度價格硬套。台電試算與適用限制
安靜不能用待機照片證明
Dell 的聲學文件指出,配置、負載與環境溫度都會影響風扇及聲音;加速卡可能提高散熱需求。這是原廠對其系統的說明,不代表所有主機具有相同音量,更不能推導「塔式一定安靜、機架一定不能買」。本文不提供未量測的分貝排名。原廠聲學條件
請在預定座位與放置位置,聽載入模型、長時間推論、閒置及重新啟動的差異。記錄配置、室溫、距離與背景聲,否則不同廠商的分貝數字未必能直接比較。手機錄音可記錄困擾發生在哪個階段,但不要冒稱校正過的聲學測試;原廠沒有公開相同條件的數據,就寫未公布,要求現場試用。
怎麼選:先驗收工作,再談省電
只在上班時做摘要或搜尋,且允許啟動等待,就先評估排程開關機方案;需要夜間批次或持續提供服務,才把常駐成本放進預算。這是需求判斷,不是效能保證。也不要把系統硬搬到密閉櫃內來解決聲音,放置與散熱須依設備原廠條件確認。
要求廠商用同一批輸入、同一模型與設定,比較完成時間、輸出品質、插座端耗電,以及你坐的位置能否接受聲音。比較完成一批工作用了多少度,比只比瞬間瓦數更有用:較低瓦數若跑得更久,不一定比較省。本文沒有推論測速結果,不會把低功耗等同高效率。
採購驗收可以寫成四份資料:工作完成與品質紀錄、整機累積用電、放置位置的聲音觀察、含稅及維護範圍清楚的報價。設備與必要環境費用以經銷報價為準。我的買不買判準是:能完成工作、能接受等待、能接受聲音,且常駐理由說得清楚,才值得付款。
奧微軟體可協助盤點 AI 應用導入前的流程與驗收需求,先釐清資料、預算及使用情境,再談系統如何整合;不以未測的省電幅度或特定模型速度作承諾。
