Embedding知識庫
向量嵌入
把文字轉成一組數字(向量),讓語意相近的內容在數學空間中也彼此接近。
對企業的意義決定檢索準確度的關鍵。中文語料要特別挑選對中文表現好的嵌入模型,英文導向的模型在中文常常失準。
實務重點換嵌入模型等於整個知識庫要重新建索引。選型時就要想清楚,這不是可以隨時換的元件。
Vector Database知識庫
向量資料庫
專門儲存與比對向量的資料庫,支援「找出語意最接近的前 N 段」這類查詢。
對企業的意義權限控管應該在這一層就切開——不在授權範圍內的內容根本不建索引,而不是靠提示詞叫模型不要說。
實務重點資料量不大時不一定需要專用資料庫。幾千筆條目用一般資料庫的向量擴充就夠,先不要過度建設。
Chunking知識庫
文件切塊
把長文件切成適當大小的片段再建立索引。
對企業的意義切得太碎會失去脈絡(只看到半條規則),切得太大會檢索不準(一次撈進太多無關內容)。
實務重點不同文件型態要用不同切法。合約依條款切、FAQ 依問答切、簡報依頁切——用同一套規則切所有文件是常見錯誤。
Reranking知識庫
重排序
初步檢索後,再用更精準的模型把候選段落重新排序,挑出真正相關的幾段。
對企業的意義知識庫文件量大、回答準確度不足時,最有效的改善手段之一,通常比換模型更划算。
實務重點會增加延遲與成本。適合對準確度要求高的場景,即時客服要先評估回應時間能不能接受。
Hybrid Search知識庫
混合檢索
同時使用關鍵字檢索與語意檢索,再合併結果。
對企業的意義產品型號、料號、法條編號這類「字面必須完全一致」的查詢,純語意檢索常常失手,混合檢索能補上。
實務重點如果使用者常常查代號、編號、專有名詞,這幾乎是必要的,不是選配。
Grounding知識庫
事實依據
要求模型的回覆必須基於指定的資料來源,並標明依據。
對企業的意義對外客服的基本要求:答得出來,也要引用得出來。
實務重點檢驗方式很直接——隨機抽二十則回覆,看有多少附得出可查證的出處。這個比例就是你的引用率。
Metadata Filter知識庫
中繼資料篩選
在檢索前先用部門、日期、分級等欄位縮小範圍,再做語意比對。
對企業的意義這是分級權限實際生效的方式:客服 Agent 的查詢自動加上「僅限 L1」的條件。
實務重點中繼資料要在建庫時就標好。事後補標的工作量通常比重建還大。
Tool UseAgent
工具呼叫
模型主動呼叫外部系統或 API 來完成任務的能力。
對企業的意義沒有工具的 Agent 只能建議。要能真的交付,它得能讀信箱、寫行事曆、查訂單、呼叫廣告平台。
實務重點工具描述寫得清不清楚,直接決定它會不會叫錯。把每個工具的用途、參數與使用時機寫得像 API 文件。
Function CallingAgent
函式呼叫
讓模型以結構化格式指定要執行哪個函式、帶什麼參數的機制。
對企業的意義這是 Tool Use 的實作方式,也是把 AI 的輸出接進既有系統最穩定的方法。
實務重點一律要在執行前驗證參數。模型可能給出格式正確但數值離譜的參數,系統端不能照單全收。
MCPAgent
模型脈絡協定
讓 AI 應用以標準方式連接外部資料與工具的開放協定。
對企業的意義減少「每換一個系統就要重寫一次串接」的成本,也讓工具能在不同 AI 產品之間重複使用。
實務重點採用前確認你們主要的 AI 平台支援程度。標準的價值在生態系,孤立採用意義不大。
OrchestrationAgent
任務編排
把複雜任務拆成節點,並安排執行順序、條件分支與失敗處理。
對企業的意義流程節點要能被稽核。出錯時要看得出是哪一步判斷錯誤,而不是重跑一次碰運氣。
實務重點規則明確的步驟用傳統自動化更穩,不需要每一步都交給模型判斷。把模型用在真正需要判斷的節點。
Human-in-the-loopAgent
人工確認關卡
在關鍵節點保留人工審核才能繼續的設計。
對企業的意義動到錢、碰到個資、對外發言的節點,一律建議保留這道關卡。
實務重點準備工作佔一件事九成的時間,最後那次確認只要三十秒。保留關卡通常不會拖慢流程。
Multi-agentAgent
多代理協作
多個各司其職的 Agent 分工並互相交接任務。
對企業的意義對應到組織設計:先想清楚部門怎麼劃分,再決定編制幾個 Agent。
實務重點Agent 不是越多越好。交接點越多,出錯的可能位置也越多。從兩三個開始,跑穩了再擴。
Guardrails治理
護欄機制
限制模型輸出範圍與行為的技術與規則,例如禁止談論特定主題、禁止給出價格承諾。
對企業的意義應建立在檢索層與系統層,而不是只靠提示詞要求模型自律。
實務重點護欄要有測試。寫了規則卻沒有人試著繞過它,等於不知道它有沒有用。
Evals治理
成效評測
用一組固定題目定期測試 AI 表現,量化準確度、引用率與拒答率。
對企業的意義沒有評測就無法判斷「改了提示詞之後到底有沒有變好」,只能靠感覺。
實務重點評測題目要從真實的使用者提問裡挑,而不是自己想像。至少涵蓋常見題、邊界題與應該拒答的題。
Golden Set治理
黃金測試集
一組已知正確答案的標準題目,用來衡量系統改動前後的表現差異。
對企業的意義每次改動提示詞、換模型、調整檢索設定,都跑一次,避免「修好一個、弄壞三個」。
實務重點五十題就很有用了,不必追求數量。重點是每一題的正確答案有人負責維護。
Data Residency治理
資料落地
資料實際被儲存與處理的地理位置。
對企業的意義受主管機關或客戶合約約束的產業,這通常是選型的硬條件,先問清楚再談功能。
實務重點要確認的不只是「主要處理位置」,還包括備援、記錄檔與人工審核流程各自在哪裡。
PII Masking治理
個資遮罩
在資料進入模型前先隱去可識別個人的欄位,或以代號替換。
對企業的意義多數業務場景不需要完整個資。遮罩後再處理,可以大幅降低風險又不影響效果。
實務重點三種常見做法:欄位遮罩(只留後三碼)、代號替換(以內部 ID 取代姓名)、聚合呈現(只給統計不給名單)。逐場景決定,不要全系統一刀切。
Audit Log治理
存取稽核紀錄
記錄誰、在什麼時候、存取了哪些資料的紀錄。
對企業的意義稽核時要能回答「誰授權它看的、什麼時候、為了什麼」。這題答不出來,導入案就過不了關。
實務重點導入時就要設計進去。事後補建的難度極高,因為過去的存取行為已經沒有紀錄了。
RBAC治理
角色權限控管
依角色而非個人來配置存取權限的機制。
對企業的意義Agent 也應該被視為一種角色,綁定明確的讀取上限,而不是共用一組萬用權限。
實務重點權限矩陣要定期複檢。人員異動、專案結束後,權限常常忘了收回。
Latency導入
延遲
從送出請求到拿到回覆所需的時間。
對企業的意義即時客服與線上互動場景,超過三秒使用者就會感覺卡。批次處理的報表則可以慢。
實務重點加了重排序、多步驟推理、多次工具呼叫都會累加延遲。設計時先定義每個場景能接受的上限。
TCO導入
總持有成本
含授權、串接開發、維運、資料整理與人力的完整成本。
對企業的意義只比較 API 單價會嚴重低估。資料整理與後續維運通常佔更大比重。
實務重點報價比較時要求對方拆出「一次性建置」與「每月經常性」兩塊,否則數字沒有可比性。
Baseline導入
基準線
導入前先量測的既有流程表現:耗時、經手人數、返工次數、錯誤率。
對企業的意義沒有基準線就無法證明改善幅度,專案結束時會拿不出數字。
實務重點花一到兩週量測,這份資料在專案結束時的價值會遠超過取得成本。
Change Management導入
變革管理
協助組織適應新流程的管理工作:溝通、訓練、誘因調整、阻力處理。
對企業的意義導入失敗多數不是技術問題,而是這一段沒有人負責。
實務重點如果主管沒有改變衡量員工產出的方式,省下來的時間只會被更多工作填滿,流程本身沒有變。