Desktop Automation Skill v2.0 是一款专为 Windows、macOS 和 Linux 系统设计的本地桌面自动化工具，基于 Python 实现，无需依赖远程 API 或云服务即可完成复杂的用户界面操作。该工具通过模拟鼠标、键盘输入以及窗口控制等功能，实现对图形界面应用程序的精准操控。其核心优势在于完全本地化运行，确保用户隐私与数据安全，所有宏记录均以 JSON 格式存储于本地目录中，避免敏感信息外泄风险。 该工具不仅支持基础的点击、拖拽、文本输入等交互行为，还集成了图像识别（基于 OpenCV 模板匹配）和自然语言文字提取（OCR，使用 Tesseract 引擎），使其能够智能定位屏幕上的特定元素或读取非结构化文本内容。同时，系统内置了多层次安全防护机制，包括默认开启的安全模式、危险指令拦截、干运行（dry_run）测试功能以及详尽的操作日志记录，极大降低了误操作带来的系统风险。 作为一款生产级就绪的工具，Desktop Automation Skill 提供了完整的开发套件与测试框架，涵盖 13 项单元测试用例，并采用线程锁保障多任务环境下的稳定性。无论是重复性办公任务的自动化处理，还是跨平台软件测试流程的支持，该工具都能以高度可靠的方式执行复杂的工作流编排。
核心功能特点
- 支持全平台本地运行：可在 Windows、macOS 和 Linux 上直接部署，无需联网或外部服务
- 全面的输入模拟能力：涵盖鼠标点击、键盘敲击、拖拽、滚动及剪贴板操作等多种交互方式
- 集成图像识别与 OCR 技术：利用 OpenCV 进行模板匹配定位，结合 Tesseract 实现屏幕文字提取
- 内置多层安全保护机制：默认启用安全模式拦截危险命令，支持干运行模式预演操作流程
- 强大的宏录制与回放功能：可保存用户操作序列为结构化 JSON 文件，并支持带子程序的高级回放逻辑
适用场景
Desktop Automation Skill 特别适用于需要高频次执行标准化操作的场景，例如金融行业的批量数据录入、电商平台的订单处理流水线或客服系统中的工单管理系统。在这些环境中，通过录制并复用自动化脚本，可以显著减少人工干预时间，提升整体工作效率并降低人为错误概率。 对于软件开发者而言，该工具是理想的 UI 测试辅助手段，可用于验证跨平台应用在不同操作系统下的界面响应一致性。特别是在持续集成（CI）流程中，配合截图比对与 OCR 校验，能够有效检测前端组件的状态变化是否符合预期。此外，研究人员也可借助其图像识别能力开展人机交互实验，分析用户在特定任务路径中的行为模式。 在日常办公自动化方面，用户可通过此工具简化诸如文件整理、报表生成、邮件群发等繁琐事务。例如，财务人员可以编写脚本来自动抓取多个网页中的交易记录，并将其汇总至 Excel 表格；市场专员则可利用 OCR 功能从扫描合同中提取关键字段信息，加速审批流程。由于所有操作均在本地完成且具备完善的审计日志，企业客户还能借此满足内部合规要求，确保敏感业务数据不被泄露。