做AI产品经理最难的点:召回测试与提示词配置

     分类 [产品经理]
2025/6/18 11:08:30 浏览量  1402 喜欢  77
导读:现在要问做AI产品最难的点是什么,那就是如何在产品设计中引导用户避免生产AI幻觉,并且提升识别准确率以及答案准确率,因为现在任何模型都是有不准的情况。

做AI产品经理最难的点:召回测试与提示词配置

幻觉导致在生产力场景上,无法覆盖,产品经理难以做变现收益,这也是为什么现在几乎AI模型厂商都是在亏钱的本质原因,因为付费的用户还是非常少一部分,并且订阅成本还cover不了成本。
反观是涉及到不需要那么细致的情况下,这部分是AI产品可以做收益的,比如你看在娱乐领域的视频、音乐、以及游戏上,AI能力成了很多供应商的必备,很多人就会花钱去采购。
很难做的就是公众号排版
因为公众号排版涉及到多个样式以及文字与段落,长文章加上排版样式,就会出现超长tokens,幻觉较多。目前推出的AI排版,会反而增加了人工成本,我们希望最好的方式显然就是公众号一键排版完成。
所以,产品经理首先找到不同的排版风格文章,然后在进行AI排版生成,从而测试,才能得到最佳效果。
如下图不同的排版效果,不同的排版风格所涉及到的素材以及AI模型能力还有区别,有的还需要绘制图像。
做AI产品经理最难的点:召回测试与提示词配置
研发过程并不花时间,而大量的时间是调试与测试,这就是花费时间。
不同创作者的文章排版风格不一样,比如像我的文章排版的风格就简单,但是一些公司媒体的公众号文章就复杂的多,有各种组件与格式。
AI测试的参数调试
比如我推荐用Dify来完成的AI配置,仍然需要产品经理来参与多个配置,比如下面的Top K与 score积分制,这涉及到知识库的范围与技能大小。
做AI产品经理最难的点:召回测试与提示词配置
我们在知识库的配置以上参数涉及到段落分值
做AI产品经理最难的点:召回测试与提示词配置
将段落参数配置如上,通过修分段的字符长度,来完成知识库的检索准确率
 
做AI产品经理最难的点:召回测试与提示词配置
如上知识库的长度与重叠配置,从在分段数量上做控制,得到检索正确率较高的组合。
但这个调试需要产品经理不断地测试
每一次字符长度设置后,就需要查看知识库的分段数量,从而再进行召回测试,通过不断的测试,最终得到一个比较好的答案。
做AI产品经理最难的点:召回测试与提示词配置
 
知识库做召回测试是发现知识库的召回率以及只是完整性,比如这里我们拿的规培考试题目来做召回测试,就发现题目并没有完整出现。
这也是产品经理测试AI模型最费时间的工作环节。
提示词测试
除了召回测试外,AI产品经理还要关注提示词测试,比如下面我们做的耳鼻喉科答题的AI提示词规则设置,就说明了答题的要求以及限制,这一部分也需要产品经理调试。
做AI产品经理最难的点:召回测试与提示词配置
甚至是说清楚解释与限制,才能够保证AI产品的落地点幻觉减少,从而真的产生生产力。
这都不是说部署了AI大模型就好了,而要反复的在业务场景做调试才能完成,如果在Dify这类模型管理工具里没有办法实现到自己想要的参数,那就只有进行个性化开发,或者调整自己的产品设计方案。
这是传统的产品经理不会涉及的,以上就是今天的分享。
“关注我,了解第一批空间计算的产品经理做什么”
点击加入XR空间计算开发者、产品经理交流群

 

AI开源项目拆解群,以及每天体验1款APP

我创建的产品设计打卡社群,加入后365天,每天体验一款APP。提升产品设计能力,同时有1300份体验报告帮助你找到竞品。

在这里你可以随时查询到你想找的各类竞品行业APP以及我收集整理的开源Github项目,马上得到APP的一手产品优化、交互设计、功能描述信息。

从优化&建议、商业模式、运营、功能描述、交互设计、产品定位至少6个维度,体验一款应用。

平均1天1块钱,扫码购买即可加入 

连续体验48款应用,通过后原路退回

 

做AI产品经理最难的点:召回测试与提示词配置

报名后添加星球助理

PMTalk123

 

 

 

 

微信扫一扫,分享到朋友圈

微信公众号

相关推荐