先写评测，再写代理

第一天建立的一个小型测试集，如何改变之后的每个决策。

先做代理、后做测试很诱人。把顺序倒过来，项目会更容易把控、改动成本更低，也更值得信任。

从 30 个真实案例开始

收集三十个真实输入，以及一位合格人员会给出的答案，其中包含几个棘手的案例。这就够开始了。之后把生产中遇到的每个失败都加进去。

给关键点打分

• 正确性：答案或操作对不对？
• 安全性：是否始终在权限范围内？
• 成本与时延：是否划算且足够快？
• 不确定性处理：该求助时是否求助？

让每次改动都变成一次度量

更换模型、修改提示词或增加工具，都应当在几分钟内得到前后对比的分数。这能终结凭感觉的争论，也让你在更好的模型出现时可以放心升级。

无法度量，就无法安全地改动。

让评测集有版本管理，并归你的团队所有。它会成为你最有价值的资产：它比任何单个模型都活得更久。