从X/Twitter抓取推文、话题、文章和回复。FxTwitter API为主(免费),Grok x_search备选(付费)。

安装

概览

xpull 是一款专为开发者设计的命令行工具,用于从 X(原 Twitter)平台抓取推文、话题讨论、文章内容和用户回复。它通过调用 FxTwitter API 和 Grok x_search API 两种方式实现数据采集,前者完全免费且无需认证,后者则需要付费的 xAI API 密钥支持。该工具采用 Node.js 编写,提供简洁的命令行接口,适合需要自动化获取社交媒体内容或进行数据分析的开发者使用。无论是提取单条推文、还原完整推文线程,还是搜索特定关键词或作者发布的内容,xpull 都能高效完成。其设计注重轻量化与易用性,不依赖浏览器环境,可直接集成到脚本流程中。

核心功能特点

  1. 支持通过 FxTwitter API 免费抓取单条推文、文章及向上追溯原始推文线程
  2. 利用 Grok x_search API 实现完整推文线程重建、回复抓取及关键词搜索功能
  3. 自动管理 Grok API 每日调用配额,避免超额使用并重置计数
  4. 仅需设置 XAI_API_KEY 即可启用高级搜索能力,配置简单灵活
  5. 输出结构化数据,便于后续处理或导入数据库进行分析

适用场景

xpull 特别适合需要批量采集 X 平台公开内容的开发者和研究人员。例如,在舆情监控项目中,可以通过脚本定期运行 `grok-x-search.mjs` 搜索特定品牌相关话题,快速收集用户反馈;在研究社交媒体传播路径时,使用 `–thread` 参数可还原某条热门推文的完整上下文,分析信息扩散过程。对于内容聚合类应用,也可用 `fx-fetch.mjs` 抓取高转发量文章链接及其正文,提升内容抓取效率。此外,由于工具无状态、无需登录账号,非常适合部署在无头服务器环境中执行定时任务。只要具备基本的 Node.js 运行环境,即可轻松将其接入 CI/CD 流程或数据管道中,实现对 X 生态数据的持续监听与归档。