本文档用于指导开发者如何加载并使用多模态交互套件中的 技能-指令 模块,用以控制设备。
1. 开发准备
⚠️注意:先参考SDK安装完成应用创建及SDK对接。
1.1. 多模态应用创建和配置
根据应用配置的文档完成应用的配置,指令模块配置见下:
- 指令模块应用配置



1.2. 端侧SDK开发和对接
在启用指令模块功能前,要求设备已完成SDK接入,不同类型的硬件设备需要根据不同的SDK接入方式进行开发和对接。
2. 使用官方设备端C SDK(支持RTOS/Linux)实现设备控制能力
参考设备端C SDK。
2.1. 加载模块说明
启用指令模块对应功能,首先需要在工程配置中添加对应的组件库;组件库在 SDK 包 qwen_sdk/libs/ 目录下,名称以 libc_mmi_cmd_ 开头,如音量控制组件 libc_mmi_cmd_volume.a。
加载组件库示例代码如下(ESP32平台):
2.2. 引用头文件说明
在加载组件库后,源码中需要引用对应指令模块的头文件,位于 SDK 包 qwen_sdk/include/c_mmi_cmd/ 目录下,如音量控制组件引用 c_mmi_cmd_volume.h;回调类型 c_mmi_cmd_event_callback 定义在 c_mmi_cmd.h。
2.3. 注册事件回调
每个指令模块提供独立的注册接口 c_mmi_cmd_<module>_register,回调类型统一为 c_mmi_cmd_event_callback,在 c_mmi_cmd.h 中定义如下:
c_mmi_cmd_volume_register、c_mmi_cmd_brightness_register、c_mmi_cmd_device_register、c_mmi_cmd_screen_register、c_mmi_cmd_multimedia_register、c_mmi_cmd_application_register、c_mmi_cmd_camera_register、c_mmi_cmd_recording_register、c_mmi_cmd_music_register、c_mmi_cmd_telephone_register 等。
如音量设置组件示例代码如下:
2.4. 实现指令响应函数
指令响应函数相关事件及参数在对应模块头文件(如 c_mmi_cmd_volume.h)中均有说明:
如音量设置组件相关说明下:
- 场景一:音量调大一点
- 场景二:通话音量调低10
- 场景三:通话音量调低/调高/设置到10
3.使用官方Android/iOS SDK 实现设备控制能力
在 Android 和 iOS SDK 中,服务端下发的结果会透传给客户端,客户端解析下发结果payload.output.extra_info.commands中的指令名称,执行对应的指令操作。系统指令和对应的说明请参考:应用配置。
服务端下发指令格式示例:
- Android
- iOS