数据同步规则最佳实践，帮助您理解不同数据来源的同步机制、选择合适的同步周期，并解答常见问题。
概述
数据同步规则是阿里云百炼平台提供的自动化数据同步功能。通过创建同步规则，您可以将外部数据源（OSS、飞书、钉钉、语雀、SharePoint）中的文件和文档自动同步到百炼平台，无需手动上传。
每条同步规则包含以下核心要素：
- 同步类目：指定同步数据在百炼平台中的存储类目。
- 同步来源：数据来源类型（OSS、飞书、钉钉、语雀、SharePoint）。
- 来源凭证：访问数据源所需的认证信息（如 OSS 路径、飞书 App ID/Secret、钉钉应用凭证等）。
- 同步周期：数据自动同步的频率（一分钟、一小时、一天）。
- 数据标签：为同步的数据配置标签，便于后续分类管理和检索。
入口路径
同步数据规则功能位于文件连接器的文件管理页面中。按以下步骤进入同步规则创建页面：
-
访问百炼控制台 — 数据连接页面，查看已创建的数据连接器列表。
-
在数据连接列表中，找到目标文件连接器，点击卡片上的详情，进入文件管理页面。
-
在文件管理页面中，点击右上角的同步数据规则按钮，打开同步规则列表。
-
在弹出的同步规则列表对话框中，点击创建同步规则按钮，进入规则创建表单。
同步机制说明
同步流程
同步规则按照配置的同步周期自动运行。每次同步执行时，系统会连接到指定的数据源，检查源路径下的文件状态，并将新增或更新的文件同步到百炼平台。
同步流程包含以下阶段：
- 连接：使用配置的凭证连接到数据源。
- 扫描：检查源路径下的文件列表，识别新增和更新的文件。
- 导入：将新增或更新的文件同步到百炼平台，并触发解析和向量化处理。
- 确认：同步完成后，可在文件管理页面查看同步结果。
各来源同步行为
不同同步来源在文件更新检测、同步范围和特殊限制方面存在差异：
同步来源 | 文件更新检测 | 同步范围 | 说明 |
|---|---|---|---|
OSS | 按同步周期检查指定路径，自动同步新增和更新的文件。 | 指定的 OSS 对象路径下的所有文件（目录或单个文件）。 | 基于阿里云服务关联角色（SLR）访问，无需配置 AccessKey。需为目标 Bucket 添加 |
飞书 | 按同步周期访问指定知识库/目录/文档，同步新增和更新的内容。 | 指定的飞书知识库、目录或文档。 | 需创建飞书自建应用并配置权限。不支持 MindNote 文档导出。 |
钉钉 | 按同步周期访问指定知识库/文件夹/文档，同步新增和更新的内容。 | 指定的钉钉知识库、文件夹或文档。 | 每次同步消耗钉钉 API 配额，建议提前评估配额。支持同步钉钉文档、表格和 AI 表格。 |
语雀 | 按同步周期访问指定 URL 列表，同步新增和更新的文档。 | 指定的语雀文档或知识库 URL。 | 支持配置文档权限等级筛选。仅支持公网版本语雀。 |
SharePoint | 按同步周期访问指定分享链接，同步新增和更新的文档。 | 指定的 SharePoint 文档或文件夹分享链接。 | 需注册 Azure AD 应用并配置权限。支持全球公有云和中国世纪互联云。 |
同步周期建议
同步周期决定了数据从来源同步到百炼平台的频率。选择合适的同步周期需要在数据实时性和资源消耗之间取得平衡：
同步周期 | 适用场景 | 优势 | 注意事项 |
|---|---|---|---|
一分钟 | 需要近实时更新的场景，如在线协作文档频繁变更。 | 数据更新延迟最低。 | 同步频率高，资源消耗较大。对于钉钉同步，会更快消耗 API 配额。 |
一小时（默认） | 大多数业务场景，数据变更频率适中。 | 兼顾数据实时性和资源消耗，适合绝大多数场景。 | 最长延迟 1 小时。 |
一天 | 数据变更频率低，如定期更新的文档或报告。 | 资源消耗最低，对 API 配额影响最小。 | 最长延迟 1 天，不适合需要及时更新的场景。 |
常见问题
OSS 文件更新与增量同步
OSS 里面的文件更新之后，百炼知识库会跟着更新吗？
OSS 里面的文件更新之后，百炼知识库会跟着更新吗？
OSS 能增量同步吗？
OSS 能增量同步吗？
- 路径为目录（如
my-bucket/docs/）：同步该目录下的所有文件，并持续监控新增和更新。 - 路径为单个文件（如
my-bucket/docs/foo.md）：仅同步该文件，并在文件更新后自动重新同步。
源文件删除行为
删除源文件后，百炼知识库中的数据会怎样？
删除源文件后，百炼知识库中的数据会怎样？
同步来源选择建议
不同同步来源有什么差异？应该如何选择？
不同同步来源有什么差异？应该如何选择？
- OSS：适合已在阿里云 OSS 中存储大量文件的用户。基于 SLR 授权访问，无需配置 AccessKey，安全性高。
- 飞书：适合企业知识库主要在飞书平台管理的用户。需创建飞书自建应用并配置权限。
- 钉钉：适合企业知识库主要在钉钉平台管理的用户。需创建钉钉应用并开通 MCP 服务，每次同步消耗 API 配额。
- 语雀：适合使用语雀管理文档和知识库的用户。仅需提供 Token 和 URL，配置简单。
- SharePoint：适合使用 Microsoft 365 / SharePoint 管理企业文档的用户。需注册 Azure AD 应用。目前仅对白名单用户开放。
同步问题排查
同步规则创建后文件未同步成功，如何排查？
同步规则创建后文件未同步成功，如何排查？
- 在同步规则列表页面，检查规则的生效状态是否为"启用"。如果为"禁用"，请在操作列点击启用。
- 在创建/编辑规则页面，点击连接检测，验证凭证和路径是否可正常访问。如果检测失败，请检查凭证信息和源路径配置。
- 确认OSS 对象路径（或飞书/钉钉/语雀/SharePoint 的 ID/URL）是否正确，路径需包含 Bucket 名称（OSS）或完整的文档链接。
- 确认数据源权限配置：OSS Bucket 是否已添加
bailian-datahub-access标签；飞书/钉钉应用权限是否已正确配置。 - 如果文件已同步但无法检索，可能是解析耗时较长。在流量高峰时段，文件解析可能需要数小时，请耐心等待或在非高峰时段重试。
同步规则如何管理（启用/禁用/删除）？
同步规则如何管理（启用/禁用/删除）？
- 启用/禁用：在操作列点击"启用"或"禁用"来控制规则是否运行。
- 删除：在操作列点击"删除"移除不再需要的同步规则。删除规则不会删除已同步的文件。
- 搜索：在搜索框中输入关键词，快速查找特定的同步规则。