硬體與本地大模型

二手 RTX 3090 四卡湊 96GB:便宜的是顯卡,還是把整機成本漏算了?

作者:奧微軟體 AugurSoft|分類:硬體與本地大模型|發布與查核日期:2026-10-21

買不買:先問你買的是容量,還是能交付的服務

我的結論是:沒有多卡維運能力,也沒有賣方同機驗收,就不要因為「96GB 很便宜」一次買四張二手 RTX 3090。這不是說舊卡不能跑本地模型,而是四張卡的總容量、實際可載入模型與多人使用速度,是三件不同的事。

如果模型在一張卡就放得下,先用單卡建立基準,比直接組四卡更容易判斷錢花在哪裡。若需要跨卡才放得下,先請賣方用你指定的模型與輸入長度跑完整流程;不要把「系統看得到四張卡」當作驗收通過。適合買四卡的人,是願意處理相容性、散熱及故障替換,並能接受二手條件的人,不是只想插電就用的人。

96GB 是加總,不是自動合成一塊顯存

NVIDIA 規格表列 RTX 3090 為 24GB GDDR6X;兩張與四張分別加總為 48GB、96GB。這是板卡標示容量的算術,並非模型可用空間保證。權重之外,執行環境、暫存與對話快取仍需空間;不能拿模型檔案大小剛好等於總容量,就宣稱一定放得下。

多卡要由推論引擎支援模型切分。vLLM 平行推論文件區分張量平行與管線平行,並提醒互連條件會影響選擇。因此,「有 NVLink」不是結案答案:NVIDIA 此代橋接產品描述的是連接兩張卡,不能據此推成四卡全互連,更不能推成所有軟體都會自動共用 96GB。

怎麼選:先比一、二、四卡的整機條件

下表是同型號配置比較,不是跑分榜。容量與功耗用 NVIDIA 參考規格計算;不同廠牌板卡須另核尺寸與功耗。台灣二手品況、保固、平台與整機內容無法由原廠價統一代表,本次未取得可比較的正式報價,全部以經銷報價為準,不把未查到價格寫成「原廠未公布」。

配置 標示顯存加總/板卡功耗加總 台灣採購價格與範圍 效能判讀與採購條件
RTX 3090 一卡 24GB/350W 以經銷報價為準;列品況與保固 作單卡基準;先確認指定模型可載入
RTX 3090 二卡 48GB/700W 以經銷報價為準;含適配平台與選用橋接 未取得同條件實測,不承諾兩倍速度
RTX 3090 四卡 96GB/1,400W 以經銷報價為準;含完整四卡整機 未取得同條件實測,不承諾四倍速度或等同單卡 96GB

350W、700W、1,400W 是板卡規格加總,不是待機耗電、插座功率或電源供應器建議值。NVIDIA 單卡頁面的 750W 系統電源要求也有指定測試配置,不能照抄成四卡供電規格。整機電源、配線及供電環境應由供應商依實際配置確認。

花多少:四張卡以外,報價至少拆成四包

第一包是卡本身:逐張寫品牌型號、序號、外觀、維修或改裝揭露、保固提供者與退換條件。第二包是平台:主機板實際插槽配置、處理器、記憶體、儲存與機殼;長得像 x16 的插槽,不代表同時插滿時仍有相同連線配置,必須核對該板手冊。

第三包是供電與散熱:列清楚電源、線材、卡間空隙及整機安裝方式,不以轉接線或開放機架照片代替可交付配置。第四包是安裝、測試與維護:驅動及引擎版本、失敗怎麼處理、哪一方負責換卡,全部寫入報價。卡價低但這四包沒列完,我會把它當作尚未完成的報價,而不是便宜的整機。

這裡不提供憑空的總價區間。請拿同一份清單向供應商報價,再比較四卡整機和較少卡方案;已有平台的讀者,也要把升級與維護成本補回來,不能把自己花的整合時間當免費。

二手驗機也要能對回實際交貨的卡。建議把每張卡序號與測試結果逐一對應,保存約定工作負載的錯誤紀錄;不能只看其中一張正常,就替另外三張背書。若賣方只願意展示短暫亮機,卻不願確認測試與退換條件,我會把未能驗證的部分當成採購風險,不替它補上一個健康分數。這是本文的採購建議,不是宣稱所有二手卡都有故障。

別拿不同條件的跑分,替四卡保證速度

本次沒有取得可追溯、同模型同版本的一、二、四張 RTX 3090 benchmark,因此不列速度排名。採購時應固定模型版本、量化格式、引擎與驅動、輸入及輸出長度、同時請求數,分別記錄首字等待、輸出吞吐與失敗次數;vLLM Benchmark CLI可作建立測試報告的方法參考,不是本文已執行過的結果。

反例是拿別人的短問答單人速度,推算自己長文件多人服務也一樣快。另一個反例是只驗能載入、不驗輸出內容與持續運行。如果測試期間有錯誤、顯存不足或不穩定,就應保留紀錄並處理,不用平均速度把問題藏掉。驗收門檻由你的工作負載決定,本文不替所有專案訂同一個秒數。

下單前,把「96GB」換成可以驗收的一句話

請讓供應商回答:這套完整整機,能否在約定版本下,以約定輸入長度與同時使用人數完成指定工作,並交付測試紀錄、保固及故障處置?能回答且試得出來,再談四卡是否划算。若只交出四張卡和容量加總,我的建議是先不買;先確定較少卡能不能滿足需求,再決定是否擴充。

本文為奧微軟體的採購方法觀點,非二手商品檢測、成交價或效能保證。若你要把本地模型接進既有系統,可與奧微軟體先討論需求、預算與時程,再評估方案;硬體採購仍以供應商書面條件及同機驗收為準。

回文章列表