什么是zhipu web fetch
Zhipu Web Fetch 是智谱 AI 推出的一款网页内容抓取与解析工具，基于其 Reader API（接口路径为 `/paas/v4/reader`）实现。该工具通过轻量级的 `cURL` 请求，能够高效获取指定网页的原始内容，并将其自动解析为结构化的 Markdown 或纯文本格式返回。用户只需提供目标网页的 URL 和有效的 API 密钥，即可快速提取页面正文、标题、描述及元数据信息。整个调用过程无需复杂依赖，支持命令行直接操作，非常适合开发者集成到自动化流程中。此外，工具还提供了 Shell 脚本封装版本，进一步简化了使用门槛，使非专业用户也能轻松完成网页内容抓取任务。
核心功能特点
- 支持通过 cURL 调用智谱 AI Reader API 获取并解析网页内容
- 输出格式灵活：可选择 Markdown 或纯文本两种结构化结果
- 自动提取页面标题、描述、元数据及原始 URL 信息
- 提供命令行脚本封装，支持参数化配置如超时、缓存控制、图片链接处理等
- 支持禁用缓存强制刷新、关闭图片保留、生成图片与链接摘要等功能选项
适用场景
Zhipu Web Fetch 特别适合需要从互联网上批量读取和解析网页内容的场景。例如，在构建知识库系统时，可通过该工具将外部文档站点（如官方技术文档、博客平台）的内容实时抓取并转换为标准文本入库；对于做竞品分析或市场情报收集的企业，也可利用它定期抓取新闻网站或产品页面的更新动态，提取核心观点用于趋势研判。此外，教育类应用或内容聚合平台若需整合多来源网页信息，该工具能显著降低人工复制粘贴成本，提升数据处理效率。由于其对 GFM（GitHub Flavored Markdown）的支持可灵活开关，也适用于不同排版风格的内容源适配需求。