痛定思痛,AI Agent 给我的教训
从赔付率异动分析项目中总结AI Agent在企业落地的教训:规划阶段LLM不可控、执行阶段数据模拟、表达阶段事实丢失,以及prompt二义性和小概率表现的深层反思。
蚂蚁集团 Agent 技术专家,负责百万 MAU 产品的 Agent 应用开发。在Agent 特区第12期分享了AI Coding时代测试作为终极质量控制手段的实践经验。深入探讨了五个关键问题:review速度跟不上AI生成速度、不可控依赖、非确定性输出、质量靠组织还是架构、以及reward hacking。