通过提示词控制大模型在回复时输出动作表情与情绪语音,适用于智能机器狗、AI眼镜等多模态交互场景。
回复时输出动作表情
可以通过多模态套件内部LLM直接控制生成系统配置好的动作以及回复,达到设备在做动作的同时与用户进行语义交互的目的,指令与回复由大模型一次推理生成,保证链路时延的同时,也能让动作/表情与回复内容保持一致性,增强交互的趣味与自然度。
示例动作列表
配置的动作列表如下(动作内容支持自定义):
实践一:标准json化格式输出
输出内容格式:
输出内容为标准化json,action_query字段为生成的动作指令,response为对应生成的回复;(字段内容及字段定义均支持在提示词中自定义)
提示词模板
提示词中支持自定义的部分包括:指令内容,输出字段名称,输出字段含义,输出字段格式
实践二:自然语言格式输出
考虑到JSON格式输出中有一定的字段冗余,可能带来一些延时消耗;也可选择按照自然语言格式输出执行结果,使用时按照特殊符号进行解析标准化动作。
输出内容格式:
提示词模版
提示词中支持自定义的部分包括:指令内容,输出字段名称,输出字段含义,输出字段格式
实践三:简化方案(无需复杂动作参数)
情绪语音
-
cosyvoice-v3-plus、cosyvoice-v3-flash模型,龙安欢、龙安洋、龙呼呼、龙火火、龙川叔支持情感控制
- 可支持的情感:默认中立,可切换为开心、生气、恐惧、伤心、惊讶、厌恶(根据音色本身特质,适合的情感偏向略有差异)
- 提示词参考