1. 概述

在实际使用的过程中,用户提问的时候会带入一些场景黑话和自己的提问习惯,而这些非通用的内容无法被大模型识别。如果感觉大模型对于特定业务及概念的理解不足,可再进行关键词的配置。

2. 业务术语

概述:统一管理业务标准术语,支持配置业务名称、业务说明、同义词;用户提问命中名称或同义词时,会将业务说明文案推送给大模型理解。

  • 业务名称:在问答过程中容易书写的文字
  • 业务描述:对业务名称的定义进行描述
  • 同义词:业务名称的同义词

案例:用户问题中没有完全包含模型中的某个字段值,会导致大模型理解语义时出现判断偏离的问题。可以提供自定义规则引导大模型思路。

  • 配置前:查询北方销售额,大模型仅展示东北地区的销售额
    业务知识 - 图1

  • 配置中:明确定义北方为东北、华北、西北三个区域
    业务知识 - 图2

  • 配置后:查询北方销售额,大模型展示东北、华北、西北地区的销售额占比值
    业务知识 - 图3

3. 关键词匹配

概述:用户提问只要命中单个 / 多个关键词,大模型根据用户规则完成匹配。包含意图匹配、指标匹配、模型匹配。
业务知识 - 图4

意图识别:当用户问题中包含某个关键字时,大模型会自动根据规则使用固定的意图,根据指定意图完成问题解答。

案例:用户提问某些关键词时,大模型意图识别偏差,可通过意图识别关键词匹配。

  • 配置前:查询东北经营分析,大模型意图识别为任务规划,出现偏差
    业务知识 - 图5

  • 配置中:指定意图为知识解读
    业务知识 - 图6

  • 配置后:查询东北经营分析,大模型意图识别为知识解读
    业务知识 - 图7

指标匹配:当用户问题中包含某个关键字时,大模型会自动根据规则使用固定的指标,根据指定指标完成问题解答。

案例:用户提问查询某个指标时,大模型理解语义匹配的指标有偏差,可通过指标匹配识别关键词。

  • 配置前:查询东北实际上是有多少销售额,大模型指标选定为东北销售额,出现偏差
    业务知识 - 图8

  • 配置中:指定指标为实际销售额
    业务知识 - 图9

  • 配置后:查询东北真实的销售额,大模型指标选定为实际销售额
    业务知识 - 图10

模型匹配:当用户问题中包含某个关键字时,大模型会自动根据规则使用固定的模型,根据指定模型完成问题解答。

案例:用户基于模型进行问答时,大模型理解语义匹配的模型有偏差,可通过自定义模型匹配固化大模型分析思路。

  • 配置前:查询孙总的销售信息,我的本意希望查询"销售明细"数据表,但大模型自动帮我查了超市数据表
    业务知识 - 图11

  • 配置中:选择"模型匹配",由于孙总的综合数据只在"销售明细"模型,所以当我的问题中包含孙总的时候需要匹配到"销售明细"模型
    业务知识 - 图12

  • 配置后:再次输入同样的问题,大模型匹配的模型为"销售明细"
    业务知识 - 图13

4. 自定义提示词

当用户问题中包含单个 / 多个关键字时,大模型会自动根据自定义规则进行分析。

  • 应用阶段:提示词的作用阶段,通用表示全局生效,其他场景仅在该阶段生效
  • 提示词:自定义分析思路,让大模型根据用户想法完成分析和输出

示例:

  • 配置前:询问今年东北销售额增长率,意图识别为多步骤处理的分析任务
    业务知识 - 图14

  • 配置中:自定义提示词"如果用户问东北销售额增长率,希望是做可视化展示",在意图识别阶段应用
    业务知识 - 图15

  • 配置后:询问今年东北销售额增长率,意图识别为具体数值通常用于可视化展示
    业务知识 - 图16

5. 资料库

  • 助手资料库:可上传与助手内资源相关的文档资料,在知识解读问答情况下会基于助手资料库数据完成分析
    业务知识 - 图17

  • 企业资料库:关联企业内已上传的资料库,用于在知识解读内从宏观角度分析企业情况时自动调用企业资料库完成分析
    业务知识 - 图18

6. few-shot(正负例配置)

为了让大模型回答得更加准确且稳定,需要增加 few-shot 正负例给到大模型进行学习,强化问答能力,提升问答的稳定性。

  • 应用阶段:当前正负例内容可以应用于大模型执行"问题改写、任务规划、生成 SQL"阶段
  • 样本分类:正样本(对用户来说正确的理解和输出)、负样本(对用户来说不希望大模型理解成的样子)。通过正负样本让大模型双向学习,能够让大模型更聪明,更好地理解用户意图
  • 问题:用户在问答框输入的问题
  • 内容:选择正样本时,填写希望大模型理解成什么;选择负样本时,不希望大模型理解成什么。内容写得越细越好,大模型能更容易理解

示例:

  • 配置前:询问"22-25 超市销售数据销售额 top3 的区域是什么?分别是多少销售额?",大模型找不到资源,从而导致无法输出结果
    业务知识 - 图19

  • 配置中:在问题改写的阶段,大模型获取到用户输入的问题之后会对问题进行理解,基于大模型理解的意思将现有的问题改写成数据能处理的文本格式。可以通过正样本,输入问题,在内容中把问题描述得更详细,让大模型优先基于正样本进行思考
    业务知识 - 图20

  • 配置后:大模型能够跟进配置的思考方式完成问答并输出总结文本或可视化图表
    业务知识 - 图21