设备端C SDK视觉模块接入

qwen_sdk/
├── include
│   ├── c_utils
│   │   └── ...
│   ├── c_visual
│   │   └── c_visual.h
│   └── ...
├── libs
│   ├── libc_visual.a
│   └── ...
└── ...

int32_t app_visual_init(void)
{
    c_visual_config_t config = {
        // mode设置采用多重设置，即可以设置为 C_VISUAL_MODE_VQA ｜ C_VISUAL_MODE_LIVE_AI,
        // 设置为如上形式时可以同时使用VQA和LIVE AI，
        // C_VISUAL_MODE_NONE 表示不启用任何视觉功能，不能作为 visual_mode 的取值（配置会被拒绝）。
        .visual_mode = C_VISUAL_MODE_VQA | C_VISUAL_MODE_LIVE_AI | C_VISUAL_MODE_OMNI,
        // 图片格式设置，该参数目前不影响实际功能，目前支持的图片格式为头文件枚举项
        .image_format = C_VISUAL_PIC_FORMAT_JPG,
        // 必选项
        .data_type = C_VISUAL_DATA_BASE64,
        // 该参数目前不影响实际功能
        // 实际传入图像的宽度和高度均应大于10像素，宽高比不应超过200:1或1:200。
        .frame_size = C_VISUAL_FRAMESIZE_320x240,
        // 图片大小设置，现阶段百炼云端单张照片只支持180KB
        .image_size = 180 * 1024,
        // 建议fps设置为2
        .fps = 2,
        .event_callback = _visual_callback
    };
    c_visual_config(&config);
    return UTIL_SUCCESS;
}

[UT][D][c_visual_config]mode 14
[UT][D][c_visual_config]VISUAL set params success
[UT][D][c_mmi_set_upstream_type]upstream_type[AudioAndVideo]
[UT][I][c_visual_config]upgrade to video stream
[UT][D][c_mm_cmd_register]create new domain [visual_qa]
[UT][D][c_mm_cmd_register]domain [visual_qa] add [visual_qa]
[UT][D][c_mm_cmd_register]create new domain [video_chat]
[UT][D][c_mm_cmd_register]domain [video_chat] add [open_videochat]
[UT][D][c_mm_cmd_register]domain [video_chat] add [switch_video_call_success]
[UT][D][c_mm_cmd_register]domain [video_chat] add [quit_videochat]
[UT][D][c_mm_cmd_register]domain [video_chat] add [exit_video_call_success]
[UT][D][c_mm_cmd_register]create new domain [omni]
[UT][D][c_mm_cmd_register]domain [omni] add [send_video_stream]
[UT][D][c_mm_cmd_register]domain [omni] add [stop_video_stream]
[UT][I][c_visual_config]done

enum {
    C_VISUAL_EVENT_MALLOC_PREPARE,  // 分配 PSRAM 资源前触发，可在回调中腾挪资源；返回非 0 则中止本次分配（回调在模块锁内执行，禁止调用本模块锁相关接口）
    C_VISUAL_EVENT_VQA_START,       // 开启拍照问答时触发，可在该事件回调中激活摄像头并开始拍照
    C_VISUAL_EVENT_VQA_END,         // 结束拍照问答时触发，建议在该事件回调中关闭摄像头
    C_VISUAL_EVENT_LIVEAI_START,    // 开启视频通话时触发（含极速），建议在该事件回调中开启摄像头
    C_VISUAL_EVENT_LIVEAI_ACTION,   // 视频通话抽帧时触发，可在该事件回调中进行图片采集
    C_VISUAL_EVENT_LIVEAI_STOP,     // 关闭视频通话时触发，建议在该事件回调中关闭摄像头
    C_VISUAL_EVENT_PROACTOR_START,  // 开始主动交互时触发，建议在该事件回调中开启摄像头
    C_VISUAL_EVENT_PROACTOR_STOP,   // 退出主动交互时触发，建议在该事件回调中关闭摄像头
};

static int32_t _visual_callback(uint32_t event, char *req_id, void *params)
{
    (void)req_id;
    (void)params;
    switch (event) {
    case C_VISUAL_EVENT_VQA_START:
        UTIL_LOG_I("vqa start");
        c_camera_open();
        // 手动触发拍照，根据实际实现方案确认是否要调用
        c_camera_capture();
        break;
    case C_VISUAL_EVENT_VQA_END:
        UTIL_LOG_I("vqa end");
        c_camera_close();
        break;
    ...
    }
    return UTIL_SUCCESS;
}

static int32_t _visual_callback(uint32_t event, char *req_id, void *params)
{
    (void)req_id;
    (void)params;
    switch (event) {
    case C_VISUAL_EVENT_LIVEAI_START:
        UTIL_LOG_I("liveai start");
        c_camera_open();
        break;
    case C_VISUAL_EVENT_LIVEAI_ACTION:
        UTIL_LOG_I("liveai capture");
        // 手动触发拍照，根据实际实现方案确认是否要调用
        c_camera_capture();
        break;
    case C_VISUAL_EVENT_LIVEAI_STOP:
        UTIL_LOG_I("liveai stop");
        c_camera_close();
        break;
    ...
    }
    return UTIL_SUCCESS;
}

// 将摄像头采集的image数据传递给c_visual
int32_t hal_camera_capture_callback(uint8_t *image, uint32_t image_size)
{
  uint8_t *buffer;
  uint32_t buffer_size;
  buffer = c_visual_image_get_buffer(&buffer_size);
  if (buffer == NULL) {
    UTIL_LOG_W("get buffer fail");
    return -1;
  }
  if (buffer_size < image_size) {
    UTIL_LOG_W("image_siz > buffer_size");
    return -1;
  }
  memcpy(buffer, image, image_size);
  c_visual_image_action(image_size);
  return 0;
}

void hal_camera_task_handle(void *param)
{
  (void)param;
  int32_t err;
  uint8_t *buffer;
  uint32_t buffer_size;
  while (1) {
    buffer = c_visual_image_get_buffer(&buffer_size);
    if (buffer == NULL) {
      UTIL_LOG_D("get buffer fail");
      util_msleep(20);
      continue;
    }
    err = hal_camera_capture(buffer, &buffer_size);
    if (err) {
      UTIL_LOG_D("capture fail");
      util_msleep(20);
      continue;
    }
    UTIL_LOG_I("capture success");
    c_visual_image_action(buffer_size);
    util_msleep(100);  // 休眠一段时间后再次调用camera采集图像
  }
}