问题集搭建:基于真实用户需求选样
优先从销售客服对话、官网搜索词、竞品评论区提取真实问题,选取30-50个覆盖信息型、比较型、决策型的问题,固定后不得随意增删,否则前后对比会失去意义。假设某财税服务企业提取40个用户常问的注册流程、费用类问题作为固定基线问题集。核对步骤:核对问题集的真实来源,排除企业内部自拟的非用户需求问题。
测量记录规范:留存完整可追溯字段
每轮测量必须完整记录问题原文、提问时间、测试平台与模型版本、品牌出现位置与推荐情况、引用页面URL、竞品出现情况、AI完整原始回答,不得仅记录提及率单个数字,否则后期无法追溯变化原因。核对步骤:随机抽查3条测量记录,确认所有必填字段是否完整留存。
变化判定标准:明确可落地的判断规则
对比基线数据时,优先看方向性变化而非纠结精确数值,把变化归因到具体优化动作而非笼统归因为整体优化,同时保留未变化的指标用于分析优化盲区,避免模糊判断带来的决策误差。核对步骤:每次优化后对比基线,是否明确标注了变化对应的具体优化动作。