Safe Web Fetch 是一个专为 Agent 设计的安全网页内容获取技能,它在保留原版智能抓取核心能力的基础上,增加了多层安全防护机制。该工具通过调用 Jina Reader 服务自动清洗网页内容,去除广告、导航栏等干扰元素,实现高达 50-80% 的 Token 节省,显著降低大语言模型处理网页信息的成本。与传统的 web_fetch 不同,Safe Web Fetch 不仅关注效率,更将安全性置于首位,内置强制 SSL 验证、URL 白名单过滤和敏感数据检测功能,有效防止 SSRF(服务器端请求伪造)和数据泄露风险。其输出为结构化的 Markdown 格式,便于后续解析和处理,同时支持灵活的配置选项,确保在不同场景下的可控性和适应性。
核心功能特点
- 自动使用 Jina Reader 清洗网页内容,输出纯净 Markdown
- 节省 50-80% Token,提升 LLM 处理效率
- 内置 URL 白名单验证,阻止内网及私有 IP 访问
- 强制启用 SSL 证书验证,杜绝中间人攻击
- 实时检测敏感信息(如 API Key、Token),避免数据外泄
- 支持可配置允许列表与超时限制,增强灵活性
适用场景
Safe Web Fetch 特别适用于需要从公开网页中提取高质量文本内容的智能代理场景。例如,当用户请求获取某新闻网站的文章摘要时,该技能能自动过滤掉页面中的广告和评论区,仅返回正文内容的干净 Markdown 版本,极大减少 LLM 的理解负担。在知识库构建或信息聚合任务中,它能稳定地从多个来源抓取结构化内容,而无需担心因页面布局复杂导致的语义噪声。此外,对于企业内部系统中涉及外部数据源的自动化流程,Safe Web Fetch 的安全防护机制可有效隔离潜在的网络威胁,确保只有经过验证的域名和内容才能被处理,从而保障系统整体的安全性。无论是个人开发者还是企业级应用,该工具都能在不牺牲性能的前提下提供可靠的网页内容接入方案。
