把内部工具做成可交付产品,和给自己用是两回事。整理几点做宴行数智员工过程中的体会。
给自己用,出错自己知道哪里错了就行;给客户用,每一步都要有日志、能回放。我们在任务执行记录上花的功夫,比核心逻辑还多。
模型能力是波动的,同一个 prompt 这个月好用下个月未必。凡是依赖模型输出的环节,都要有规则兜底:格式校验不过就走人工确认队列,不让错误数据往下流。
版本更新要克制。客户环境千差万别,大版本更新前先在两三家老客户机器上灰度一周,再全量推送。
把内部工具做成可交付产品,和给自己用是两回事。整理几点做宴行数智员工过程中的体会。
给自己用,出错自己知道哪里错了就行;给客户用,每一步都要有日志、能回放。我们在任务执行记录上花的功夫,比核心逻辑还多。
模型能力是波动的,同一个 prompt 这个月好用下个月未必。凡是依赖模型输出的环节,都要有规则兜底:格式校验不过就走人工确认队列,不让错误数据往下流。
版本更新要克制。客户环境千差万别,大版本更新前先在两三家老客户机器上灰度一周,再全量推送。