什么是crawl requirement from confluence
OpenClaw 是一款专为从 Confluence 平台采集需求文档而设计的自动化工具，其核心职责是‘忠实记录’而非‘需求分析’。该工具通过解析 Confluence 页面结构，将指定页面及其所有子页面的内容完整提取并转换为标准化的 Markdown 格式文件。整个采集过程严格遵循‘不删减、不概括、不重组’的原则，确保原始文档的每一个细节——包括表格、列表、批注、代码块等——都被原样保留。输出结果不仅包含每个页面的独立 Markdown 文件，还附带元信息文件和所有关联图片，形成一个结构清晰、内容完整的知识资产包。
OpenClaw 的设计充分考虑了企业级文档管理的实际需求。它支持自动遍历 Confluence 的页面树结构，强制抓取所有层级的子页面，杜绝选择性遗漏的风险。同时，工具内置智能存储管理机制，当输出目录总大小超过预设阈值（默认1GB）时，会自动清理最早生成的目录和压缩包，确保系统持续可用。每次运行都会创建带有时间戳的独立输出目录，避免文件冲突，便于版本管理和追溯。此外，工具要求用户预先在浏览器中登录 Confluence，以获取必要的认证 Cookie，从而保障私有图片和敏感内容的正常下载。
从技术实现上看，OpenClaw 采用模块化流程：首先分析页面树并创建输出目录，然后并行派发任务获取页面内容和图片附件，最后生成标准化文件并打包交付。整个过程强调稳定性和完整性，所有网络请求均配备重试机制，转换过程使用成熟的 HTML-to-Markdown 库（如 markdownify 或 turndown），确保格式无损。最终输出的 zip 包可直接用于知识沉淀、文档迁移或 AI 训练等多种场景，是企业级需求管理流程中的重要基础设施。
核心功能特点
- 忠实采集所有层级页面，禁止选择性跳过或精简
- 自动清理存储空间，超过80%阈值时删除最早目录
- 生成带时间戳的独立输出目录，避免文件混淆
- 支持HTML到Markdown的无损转换，保留全部格式细节
- 批量下载页面图片，自动插入正确引用路径
- 需用户提供Confluence登录Cookie以下载私有资源
适用场景
OpenClaw 最典型的应用场景是企业在进行需求调研或项目交接时，需要将分散在 Confluence 上的需求文档集中归档。例如，一个新产品上线前，产品团队可能在 Confluence 上维护了数百页的详细需求说明，涵盖功能设计、原型图、接口定义等多个维度。此时使用 OpenClaw 可一键提取全部相关内容，生成结构化的 Markdown 文件包，极大提升文档整理效率，并为后续的需求评审、开发指导或合规审计提供可靠依据。
另一个高频使用场景是知识资产的数字化迁移。当企业计划将内部知识库从 Confluence 迁移至其他系统（如 GitBook、Notion 或自研平台）时，OpenClaw 能快速完成内容格式的批量转换与图片资源的同步转移。由于工具坚持‘不做任何主观删改’的原则，迁移后的文档完全保持原始语义和视觉布局，有效降低二次加工成本，确保知识传承的准确性。
此外，在 AI 辅助开发日益普及的背景下，OpenClaw 输出的标准化 Markdown 包可作为高质量的训练数据源。开发者可将这些文档输入大语言模型，用于自动生成 API 文档、编写测试用例或构建知识图谱。其严格的层级结构和元数据标注（如 pageId、采集时间）也为后续的数据分析和流程优化提供了结构化基础，成为连接人工文档与智能系统的关键桥梁。