AI 知識

顯存數字之外，還要看完整工程條件

AI 知識｜AI 硬體｜2026-07-20

把 RTX 5090 的顯存從 32GB 擴到 128GB，對想在本機執行大型模型的人來說，幾乎是最直覺的夢想規格。

模型太大、context 太長、batch 稍微增加，顯存就先爆掉。當一張消費級旗艦顯卡突然出現四倍容量，很多人自然會把它理解成更便宜、更快、更自由的桌面 AI 算力。

問題是，顯存容量只是 AI 系統的一個維度。把 32GB 改成 128GB，不等於整台機器的效能、穩定性、相容性與可維護性也同步升級四倍。

先釐清：128GB RTX 5090 不是官方標準型號

NVIDIA 官方列出的 GeForce RTX 5090 規格，是 32GB GDDR7、512-bit memory interface。Founders Edition 參考規格的 Total Graphics Power 為 575W，建議系統電源則是 1000W。

公開報導中的 128GB 版本採用客製 PCB 與原型記憶體，被描述為數量極少的 prototype，報價約 13,200 美元。這不是 NVIDIA 正式產品線，也不是已被大量驗證的 4,000 美元量產卡。

這個差異很重要。官方規格代表硬體設計、韌體、驅動、散熱、供電與品質流程經過同一套產品定義；改裝原型則可能需要重新處理 PCB、記憶體配置、核心與記憶體的拆裝，以及非標準配置被軟體辨識的問題。

能成功開機、能顯示 128GB，當然是一項技術成果。但它距離「可長期投入正式工作」仍有很長一段路。

第一層：容量回答的是「放不放得下」

大型語言模型的權重、KV cache、context、batch、量化方式與推論框架，都會占用記憶體。顯存不足時，系統可能必須把部分資料移到系統記憶體、降低 batch、縮短 context，或採用更激進的量化。

因此，更大的顯存確實有直接價值。128GB 能容納的模型與工作範圍，理論上會比 32GB 更寬。

但容量只回答「資料能不能裝進去」。它沒有回答資料搬得快不快、運算能不能持續、錯誤會不會累積、框架能不能穩定支援，也沒有回答每一張改裝卡是否具有相同表現。

把容量當成整體效能，就像只看倉庫面積，卻沒有看出入口、輸送帶、電力、消防與管理系統。

第二層：同樣 128GB，不代表同一種記憶體系統

NVIDIA DGX Spark 的官方規格也是 128GB，但它採用的是 LPDDR5x unified system memory，CPU 與 GPU 位於整合式 Grace Blackwell 架構中。官方文件列出的記憶體頻寬為 273GB/s。

改裝 RTX 5090 則是離散式 GPU 與 GDDR7 VRAM。兩者的記憶體類型、資料路徑、功耗目標與軟體環境都不同。

因此，不能看到 RTX 5090 的記憶體頻寬更高，就直接宣布它全面勝過整合式 AI 系統；也不能只看到 DGX Spark 有 128GB unified memory，就認為它在所有工作負載都更快。

真正的比較需要回到工作負載：模型是否能完整放入、CPU 與 GPU 之間需要搬多少資料、推論框架怎麼調度、batch 與 context 如何設定，以及持續運行時的功耗限制。

第三層：AI 工作負載不是跑一次 benchmark

RTX 5090 官方參考功耗為 575W。這代表供電、接頭、PCB、散熱器、機殼風道與電源供應器都在高負載下承受相當大的壓力。

遊戲或短時間 benchmark 能跑完，不代表長時間推論、訓練或資料處理也能維持同樣狀態。AI 工作負載可能連續數小時甚至數天讓 GPU、記憶體與供電模組保持高使用率。

對非標準改裝卡而言，至少要回答幾個問題：

  • 記憶體在長時間滿載下是否穩定？
  • 溫度、時脈與錯誤率會不會隨時間改變？
  • 不同卡片與不同批次能不能重現相同結果？
  • 驅動更新後，非標準記憶體配置是否仍能正常工作？
  • 發生錯誤時，系統能不能辨識、記錄並恢復？

如果這些問題沒有答案，「能跑」就仍然只是一次展示，不是工程交付。

第四層：真正昂貴的是不確定性

正式環境最怕的，不一定是單次效能較慢，而是問題沒有穩定重現方式。

一張卡偶爾掉線、產生不可預期錯誤，工程師可能要花數天排查模型、框架、驅動、電源、散熱與硬體本身。當配置不在官方支援範圍內，很多問題也沒有標準維修與保固路徑。

對個人實驗者來說，這可能是一項有趣且值得挑戰的硬體計畫；對需要交付、排程與服務水準的團隊來說，它則是一筆必須誠實計算的風險成本。

這也是為什麼專業 AI 硬體的價格不能只用晶片與記憶體容量解釋。產品還包含驗證、驅動、韌體、散熱、管理工具、維修、文件與長期支援。

看 AI 硬體，至少同時問五個問題

面對任何看起來非常驚人的 AI 硬體規格，可以先用這五題拆解：

  1. 容量：模型、context 與 batch 能不能完整放入？
  2. 資料路徑：CPU、GPU 與記憶體之間如何交換資料？
  3. 持續效能：長時間負載下，功耗、溫度與時脈是否穩定？
  4. 軟體棧：驅動、韌體、框架與監控工具是否正式支援？
  5. 可維護性：不同機器能否重現，故障後由誰處理？

只有這些條件一起成立，漂亮的規格才會變成真正可用的算力。

真正的分界不是消費卡或專業卡

消費級 GPU 並不等於不能做 AI。官方 RTX 5090 本身就有很高的 AI 運算能力，對個人研究、內容生成與本地模型開發都有實際價值。

真正的分界，是你要的是實驗平台，還是必須每天穩定交付的系統。

實驗平台可以接受調整、停機與手動排錯；正式系統則必須考慮可重現、可監控、可維修與可預測成本。

128GB RTX 5090 最值得我們學到的，不是「顯存越大越好」或「改裝一定不可靠」，而是 AI 硬體的價值從來不只存在規格表上。

能跑起來一次，是技術展示。每天都能跑，而且每次結果都能被信任，才是工程。

查證摘要

回文章列表