硬體與本地大模型
公司買本地 AI：拔掉網路就安全？先驗收整條資料路徑
主機搬進公司，合約卻被另一個外掛送出去，這筆「私有化」預算到底買到了什麼？我的結論很直接：如果採購單只列顯卡、記憶體和模型名稱，還沒有寫出資料可以去哪裡，就先別急著下單。你要買的不是一台能回答問題的電腦，而是一套符合公司資料使用方式的工作流程。
本文回答買不買、怎麼選、花多少。比較的是部署方案，不是特定顯卡性能；沒有做滲透測試、封包擷取或模型跑分。表格與驗收方法是原創採購建議，不是已完成的客戶案例，也不是安全或法遵保證。
1. 先問哪些資料不能離開，再問買哪台
「公司資料不該上雲」太籠統。公開產品型錄、還沒發布的成本表、員工資料，不應直接套用同一種處理方式。先請資料負責人分清楚哪些可以使用外部服務、哪些需要去識別化、哪些只能留在指定環境；不要讓採購人員看了模型介紹就替全公司決定。
如果工作主要是整理公開資料，且現有受核准工具已能交付，未必需要立刻買本地主機。若核心需求是處理不准外傳的文件，本地方案才值得進入評估；但仍要核對前端、文件解析、搜尋、備份和維運路徑。把推論留在內部，只處理了其中一段。
也別把所有雲端服務一概當成相同條款。資料處理範圍、保留與管理措施要逐項確認；本文不替任何產品作法律判定。先釐清組織允許的邊界，才能比較可接受的方案，而不是比誰口號寫得更像私有化。
2. 能離線聊天，不等於每個功能都離線
截至 2026 年 10 月 26 日，LM Studio 官方說明：已取得模型後，聊天、文件處理與本地服務可以離線；搜尋與下載模型、取得執行環境或檢查更新則涉及連線。這是它列出的功能範圍，不代表你另外接上的應用也遵守相同邊界。LM Studio 離線說明
Ollama 官方也區分本地推論與雲端功能，提供停用雲端功能的設定；其預設監聽位址為 127.0.0.1、連接埠 11434。這些設定不能直接推導成「整台機器沒有外連」或「公司網路上的人都不能碰到資料」。Ollama FAQ
採購時不要只看現場拔線後還能回答一次。請廠商拿出這次交付實際使用的元件清單，逐項寫明連線目的與處理資料。只要接了文件辨識、遠端搜尋或同步資料夾，就再問一次：送出去的是查詢、文件內容，還是只有更新請求？不知道就記待確認，不用猜。
3. 三種方案，要比交付範圍，不只比主機價
下面是本文整理的方案比較，不是三個現成服務包。價格查核日為 2026-10-26；沒有取得相同範圍的公開整套報價，整機與建置均以經銷報價為準。處理速度、同時使用人數與品質都待同條件測試，不用不同廠商的跑分拼出勝負。
| 方案 | 必要規格／範圍 | 資料邊界 | 價格狀態 | 效能狀態 | 優先驗收 |
|---|---|---|---|---|---|
| 單機離線試點 | 指定電腦、已取得模型與文件處理元件 | 限指定工作；輸出仍要管理 | 以經銷報價為準 | 待測；不能只看能否載入 | 斷線時完成整段工作 |
| 內網共用服務 | 推論主機、帳號權限、文件入口、日誌 | 多人使用；需定義誰能看哪些資料 | 以經銷報價為準 | 待測等待時間及負載 | 不同帳號不能越權讀文件 |
| 受控混合流程 | 本地敏感步驟、核准外部服務、明確分流 | 允許特定資料外送，不宣稱全離線 | 硬體以經銷報價為準；外部服務另核 | 待測端到端品質與耗時 | 外送項目與核准清單一致 |
我的選法是：需求還不清楚，就從有限資料的單機試點開始；確定要讓同事共用，再買帳號、權限與維運的交付。混合流程不是比較差，而是要承認它有外部路徑。真正不該買的，是說好全離線，交付後卻要臨時上網才能做完核心工作。
4. 花多少：把一次建置與持續管理分開報
請報價至少拆成運算設備、儲存與備份、軟體整合、權限與紀錄、更新及故障處理。這不是固定比例，也不是建議你每一項都加價；是避免便宜的主機單，把必要工作留到驗收後才逐筆追加。
比較兩份報價時，先固定同一組文件、輸出要求與使用情境。如果一份只讓單人聊天，另一份包括文件分權與復原，不能直接說前者便宜一半。請各自列出不包含什麼，以及新增使用者、換模型、更新文件時由誰處理。
持續費用也要寫清楚：更新前誰驗證、出問題誰回復、備份保留多久。本文不編一個漂亮總價，因為未確認資料範圍與交付內容，總價沒有比較基礎。先拿相同驗收條件詢價，才知道差價買到了什麼。
5. 交機前，做一輪你看得懂的驗收
以下是假設性驗收設計，不是本文已測試結果。先用不含機密、由你控制的測試文件，走過匯入、解析、檢索、回答、匯出、備份與刪除。每一步記下處理位置、預期連線、保存內容與責任人，再由有權限的技術人員在授權範圍內核對。
要求離線的方案，在準備好必要元件後，依核准方式限制外連，再完整重跑。失敗要記是哪一步依賴外部資源；成功也只證明這次條件下的流程可用，不代表永久沒有外洩風險。內網方案則另外用不同權限帳號驗文件可見範圍，不只驗能登入。
最後試一次更新與復原：保留舊版本，確認如何回到可用狀態。別把「工程師現場會修」當作交接完成；你需要的是換人後仍找得到設定、版本與處理方式，而不是靠記憶維持服務。
6. 買不買的最後一問：少了誰，這套還能運作？
我會把能否交接放在是否擴大採購之前。請指定資料與系統負責人，留下允許外送的項目、必要連線、帳號權限、版本與復原方式；範圍變了就重新確認，不把第一次驗收當成永久通行證。
若還說不清文件從哪裡進、答案存在哪裡、出問題找誰，先補流程再加硬體。若這些已清楚，且同條件試點證實品質和等待時間符合需求，才討論擴充。買本地 AI 的價值，不是機殼放在你旁邊，而是你真的知道資料怎麼走。
奧微軟體的 AI 應用導入與系統整合，可先從需求、既有流程與驗收範圍討論；涉及資安檢測則另定授權與範圍，不以買一台主機承諾安全。服務內容見奧微官網與智盾資安服務。