AI 知識
DGX Station 有 748GB 記憶體，為什麼不能全當高速記憶體用？
看到 NVIDIA DGX Station 的「最高 748GB 相干記憶體」，很容易以為這是一整塊速度相同的超大記憶體。其實，748GB 說的是可相干存取的總容量，不是每個位置都有同樣的頻寬。
先把 748GB 拆開
依 NVIDIA DGX Station Development Guide，這個上限由兩部分組成：GPU 端最多 252GB HBM3e，頻寬最高 7.1TB/s；CPU 端最多 496GB LPDDR5X，頻寬最高 396GB/s。兩者合計是 748GB，但兩組規格不能混成一個「748GB、7.1TB/s」的數字。
CPU 與 GPU 透過 NVLink-C2C 建立相干存取。白話說，這有助於兩邊共同處理資料，卻沒有把 CPU 端的記憶體變成 GPU 端的 HBM3e。若一項工作頻繁讀取的資料放在不同位置，表現可能不同；只看總容量，無法推算實際速度。
怎麼讀這種規格？
- 先問「容量」：工作需要放入多少模型資料和運作時資料？748GB 是系統標示的最高相干記憶體總量，不是保證每個工作都能完整拿來使用。
- 再問「位置」：頻繁由 GPU 讀取的資料是否能留在 252GB HBM3e 範圍內？如果要用到 CPU 端的 496GB LPDDR5X，就不要把 HBM3e 的頻寬套到整個工作上。
- 最後看「實測」：模型架構、精度、資料大小與軟體配置都可能影響結果。官方頻寬是元件規格，不是任何單一模型的執行速度保證。
想像一個教學情境：資料量大到超過 GPU 端的 HBM3e，但仍在系統相干記憶體總量內。能放得下，與能以 HBM3e 頻寬持續讀完，是兩個不同問題。反過來說，若工作需要的資料很小，也不能光憑 748GB 就斷言它一定比其他設備快。
這是 DGX Station 值得看的真正重點：它把高頻寬 GPU 記憶體與更大的 CPU 記憶體接在同一套相干架構中。讀規格時，記住一句話就夠了：相干，並不等於同速。
本文是奧微軟體 AugurSoft 撰寫的獨立技術解讀，不代表 NVIDIA 官方意見，也不是採購建議或性能實測。若要評估特定工作負載，應以實際配置與實測為準。
來源與核對日期
- NVIDIA DGX Station Development Guide，官方頁面標示 2026-07-22 更新；2026-09-29 核對。
- NVIDIA System Overview，官方頁面標示 2026-07-22 更新；2026-09-29 核對。