WrynAI Skill 是一个专为高级网页爬取与内容提取设计的强大工具，基于 WrynAI SDK 构建，能够无缝集成到自动化工作流中。它支持从复杂网站中智能抓取多页内容、解析搜索引擎结果、提取结构化数据，并捕获页面截图，适用于需要高效获取网络信息的各类场景。该技能通过灵活的参数配置和多种引擎模式（如静默渲染模式），可应对静态页面、动态单页应用（SPA）以及受反爬虫机制保护的站点。用户只需设置 API 密钥即可调用其核心功能，极大简化了网页数据采集的技术门槛。无论是文档聚合、竞品分析还是知识库建设，WrynAI Skill 都能提供稳定可靠的数据支持。
核心功能特点
- 支持多页深度爬取，最大可达10页，深度为3层链接层级
- 具备智能内容提取能力，包括纯文本、Markdown格式、结构化数据、标题及外链列表
- 可解析主流搜索引擎结果页（SERP），自动抓取前N个搜索结果并进行二次爬取
- 提供两种渲染引擎：简单模式用于静态HTML，静默模式用于JavaScript动态加载内容
- 支持URL模式过滤，允许自定义包含/排除规则以精准定位目标页面
- 集成截图功能，支持视口全屏与整页截图保存
适用场景
WrynAI Skill 特别适用于需要系统化采集互联网公开数据的实际业务场景。例如，在竞争情报收集中，用户可通过搜索关键词并自动爬取前几名的商业网站，快速汇总各平台的产品信息、价格策略或用户评价，辅助市场分析与决策制定。对于技术团队而言，该技能能高效抓取官方文档站点（如API参考、开发指南），将分散的文档统一提取为结构化格式，便于构建内部知识库或生成代码示例。此外，内容迁移项目也受益匪浅——企业可将旧站点的博客文章、新闻稿等内容批量导出为Markdown，实现平滑过渡至新系统。在学术研究或舆情监测领域，结合搜索与爬取功能，研究人员能迅速定位相关主题的高影响力来源，并提取关键段落用于综述撰写或趋势判断。由于其内置错误处理与重试机制，即使在面对高延迟或限流站点时也能保持较高成功率，适合部署于生产环境中的自动化管道。