Web Fetcher 是一款专为 Claude Code 设计的智能网页内容抓取工具，能够高效地从主流中文及国际平台提取文章和视频内容。它支持微信公众号、飞书文档、知乎专栏、Bilibili、抖音、YouTube 等数十个平台的自动识别与适配抓取，用户只需提供 URL 即可一键获取高质量文本或视频资源。该工具采用模块化架构，内置多种抓取策略，可根据目标网站特性动态选择最优方案，确保在不同反爬机制下仍能稳定运行。无论是单篇文章下载还是批量处理文件列表，Web Fetcher 都提供了简洁统一的命令行接口，极大提升了内容采集效率。同时，其轻量化设计允许按需安装依赖，避免不必要的包体积膨胀，适合开发者集成到自动化工作流中。
核心功能特点
- 自动识别平台并匹配最佳抓取策略，支持微信公众号、飞书、知乎、B站、YouTube 等主流站点
- 内置 scrapling、yt-dlp、camoufox 等多种抓取引擎，应对不同反爬机制与页面结构
- 支持文章正文提取与图片批量下载，视频支持多清晰度选择与音频分离导出
- 提供命令行与 Python API 双模式操作，便于脚本集成与自定义扩展
- 智能处理懒加载、虚拟滚动等现代前端技术，确保复杂页面内容完整捕获
适用场景
Web Fetcher 特别适合需要快速采集网络公开信息的场景，例如研究人员从微信公众号或知乎专栏批量下载行业报告与深度分析；内容运营团队可将其用于竞品监测，定期抓取今日头条或微博上的热点资讯进行舆情追踪；教育从业者也能利用它保存 Bilibili 教学视频或飞书共享文档作为课程资料库。对于开发者而言，该工具是构建爬虫系统前的理想测试与原型工具，无需深入理解各平台接口细节即可实现内容抓取。此外，在数据归档、知识管理或离线阅读等场景中，Web Fetcher 能显著减少手动复制粘贴的工作量，提升信息留存效率。由于其对 JavaScript 渲染页面的良好支持，即使面对动态生成的内容（如小红书商品笔记或微博长图），也能通过 stealth 浏览器模式成功提取原始数据。