沒有人敢動的 AI agent，問題不在模型，在治理層

大部分人問我的第一個問題是：「你都用哪個模型？」

我懂為什麼。模型是看得到的東西——有 benchmark、有排行榜、有版本號，每隔幾週還有人宣布刷新了 SOTA。換模型給人一種「我在進步」的安全感。

但做了快兩年 production agent，我的結論很單純：換模型是一行程式碼的事，harness 設計錯了才是重來。

什麼是 harness#

對非模型供應商來說，LLM 應用開發的本質不是訓練模型，是 build the harness——把模型包進一個能在真實環境穩定運作的系統。

harness 至少包含這四層，而它們沒有一層在 benchmark 上：

• Tool orchestration：agent 什麼時候該呼叫哪個 tool、參數怎麼組、回傳怎麼接。錯一步，後面全錯。
• State management：多輪對話、多步任務裡，agent 記得什麼、忘記什麼、什麼時候該重置。
• Human-in-the-loop：哪些決策 agent 可以自己做、哪些必須升級給人。這條線畫錯，不是慢就是出事。
• Error handling：tool 掛了、模型回傳格式跑掉、外部 API timeout——production 的世界裡這些不是例外，是日常。

模型再強，這四層沒做好，你得到的還是一個 demo。

Functionally complete ≠ production-ready#

我看過太多「跑通了」的 agent。在 demo 環境、用準備好的 input、跑一次成功——然後就被當成做完了。

但 demo 跑通是起點，不是終點。真正的問題是：你的工程師敢不敢動它？

如果改一個 prompt、加一個 tool、換一個模型，沒人知道會不會把別的東西弄壞，那這個 agent 就是個黑盒。黑盒不是資產，是負債。

所以我的交付標準從來不是「能跑」，是「你的團隊能信任它」。而信任不是靠承諾，是靠基礎設施。

Eval 不是事後補，是第一天就建#

讓團隊敢動 agent 的東西，叫 eval flywheel。

從第一天就建立 baseline behavioral suite 和 tracing（我習慣用 Langfuse，可以 self-host，資料不出境）。之後每次改 prompt、換模型、加 tool 之前，先跑 eval 確認沒有 regression。

這個循環的價值在於：你的 agent 是靠數據在進步，不是靠直覺猜。我們不靠 vibe 調整 agent，靠數據。

附帶一個好處——當你有 eval suite，「換模型」這件事才真的變成一行程式碼。你換完跑一次 eval，數字告訴你變好還變壞。沒有 eval，換模型是賭博；有 eval，換模型是實驗。

為什麼先談「值不值得建」#

還有一件事，比 harness 更前面。

多數 agent 開發者等需求已經定義好才進場。但我的第一個問題不是「要用哪個框架」，是「這個 agent 值得建嗎」。

在動手之前，我會先做 outcome 定義、Human-Agent Responsibility Map、KPI 設定、data availability 確認。這是 ADLC（Agent Development Lifecycle）的 Discovery 階段，產出是一份診斷報告——讓你在投入開發前，先知道這件事值不值得。

這聽起來像在勸退生意。某種程度上是。但對技術決策者來說，這才是誠實的合作方式：每個 phase 結束，你都有東西可以拿走，不是只有承諾。

回到那個問題#

所以當有人問我「你都用哪個模型」，我的回答通常會讓他愣一下：

「模型我們不綁——OpenRouter 當 gateway，PydanticAI 當 framework，哪天有更好的換過去就好。真正決定你 agent 好不好用的，不在那裡。」

決定 agentic system 成敗的是 harness。這也是 Harnext 這個名字的由來。

---

想聊聊你手上那個「跑通了但不敢上線」的 agent？歡迎帶問題來談。