Computer Use

无头Linux服务器完整桌面操作。基于Xvfb + XFCE虚拟桌面与xdotool自动化。支持点击、输入、滚动、截图、拖拽等17种操作。

安装

概览

什么是Computer Use

Computer Use 是一个专为无头 Linux 服务器设计的完整桌面图形界面控制系统,它通过创建虚拟显示环境(Xvfb + XFCE)的方式,让用户能够在没有物理显示器的情况下,远程操控运行在云服务器或 VPS 上的桌面应用程序。该系统基于轻量级的 XFCE4 桌面环境构建,仅包含窗口管理器 xfwm4 和基础面板,确保资源占用最小化。所有核心服务均以 systemd 守护进程形式运行,具备开机自启、崩溃自动重启等稳定性保障机制。用户可通过浏览器访问 noVNC 提供的 Web 界面,或使用传统 VNC 客户端实时查看和控制整个虚拟桌面。该工具特别适用于需要自动化操作图形化应用、执行 GUI 测试或远程维护云服务器的场景。

核心功能特点

  1. 支持完整的桌面级 GUI 控制,可在无物理显示器的 Linux 服务器上运行图形化程序
  2. 提供 17 种基础交互操作:点击、拖拽、输入文本、滚动、截图、按键组合等
  3. 内置虚拟显示环境(Xvfb),分辨率固定为 1024×768,兼容主流云服务商的虚拟化平台
  4. 集成 noVNC 与 x11vnc,支持通过浏览器或标准 VNC 客户端实时查看和操作桌面
  5. 采用 systemd 管理服务链(xvfb → xfce-minimal → x11vnc → novnc),实现高可用性和自动恢复
  6. 所有操作脚本化且可调用,便于集成到自动化工作流中,支持命令行批量执行

适用场景

Computer Use 最典型的应用场景是面向无头服务器(headless server)的图形界面自动化需求。例如,在持续集成/部署(CI/CD)流程中,开发者可能需要验证网页应用在不同环境下的渲染效果,此时可通过 Computer Use 启动 Chrome 浏览器并自动执行页面截图、表单填写等操作。另一个常见用例是远程运维管理,管理员可以通过浏览器直接访问云服务器的虚拟桌面,像本地电脑一样操作文件管理器、终端或监控仪表盘,而无需依赖复杂的命令行工具。此外,该方案也适合用于训练 AI 模型处理真实桌面交互任务,如模拟用户行为完成登录、导航和点击等复杂流程。由于系统对资源消耗极低且配置简洁,它也常被部署在预算有限的轻量级云实例上,作为替代传统远程桌面的低成本解决方案。