DashScopeJsonNodeParser提供阿里巴巴通义实验室开发的文本切分模型,开发者可以通过LlamaIndex框架对DashScopeParse的解析结果进行文档切分。
开始
前提条件
首先,登录https://bailian.console.aliyun.com/,获取你的API-KEY,当需要指定业务空间时也要获取指定“业务空间id”。
- 已创建API-KEY: 获取与配置 API Key。
- 已创建业务空间:业务空间管理。
示例代码
- DashScopeJsonNodeParser主要用于配合DashScopeParse使用
参数说明
参数值 | 默认值 | 说明 |
try_count_limit | 10 | 最大重试尝试次数 |
chunk_size | 500 | 每次处理的块大小 |
overlap_size | 100 | 连续块之间的重叠大小 |
separator | " |,|,|。|?|!|\n|\?|\!" | 用于分割文本的分隔符字符 |
language | cn | 词法分析器的语言,接受"cn"(中文),"en"(英文),"any"(任意)。注意,任意模式将会比较慢 |