Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
在LlamaIndex中使用阿里云百炼提供的检索增强服务。
pip install llama-index-core
pip install llama-index-llms-dashscope
pip install llama-index-indices-managed-dashscope
DashScopeParse 解析器支持在线解析 .doc、.docx、.pdf 文件，要求单个文件的大小在100M以内， 并且文件页数在1000以内。
import os
from llama_index.readers.dashscope.base import DashScopeParse
from llama_index.readers.dashscope.utils import ResultType
# 设置业务空间 ID 将决定文档解析结果在“创建知识库”步骤中上传到哪个业务空间
os.environ['DASHSCOPE_WORKSPACE_ID'] = "<您的业务空间ID，使用默认业务空间时留空>"
# 第一种方式：使用文档解析器解析一个或多个文件
file = [
# 需要解析的文件，支持pdf,doc,docx，请替换为您的文件路径
"path/to/your_file.pdf",
]
# 解析文件
parse = DashScopeParse(result_type=ResultType.DASHSCOPE_DOCMIND)
documents = parse.load_data(file_path=file)
# 第二种方式：使用文档解析器解析一个文件夹内指定类型的文件
from llama_index.core import SimpleDirectoryReader
parse = DashScopeParse(result_type=ResultType.DASHSCOPE_DOCMIND)
# 定义不同文档类型的解析器
file_extractor = {".pdf": parse, '.doc': parse, '.docx': parse}
# 读取文件夹，提取和解析文件信息
documents = SimpleDirectoryReader(
"your_folder", file_extractor=file_extractor
).load_data(num_workers=1)
from llama_index.indices.managed.dashscope import DashScopeCloudIndex
# create a new index
index = DashScopeCloudIndex.from_documents(
documents,
"my_first_index",
verbose=True,
)
index = DashScopeCloudIndex("my_first_index")
# convert from index
retriever = index.as_retriever()
# initialize from DashScopeCloudRetriever
from llama_index.indices.managed.dashscope.retriever import DashScopeCloudRetriever
retriever = DashScopeCloudRetriever("my_first_index")
nodes = retriever.retrieve("my query")
import os
from llama_index.llms.dashscope import DashScope, DashScopeGenerationModels
dashscope_llm = DashScope(
model_name=DashScopeGenerationModels.QWEN_MAX, api_key=os.environ["DASHSCOPE_API_KEY"]
)
query_engine = index.as_query_engine(llm=dashscope_llm)
# add documents to index
index._insert(documents)
# delete documents from index
doc_id = "your_doc_id" # 替换为待删除文档的ID
index.delete_ref_doc([doc_id])