AI驱动的Apple TV遥控器,利用视觉技术自主导航应用、播放内容、控制播放及管理设置。

安装

概览

ClawTV 是一款基于人工智能的 Apple TV 遥控器,它通过视觉识别技术与远程操控相结合,能够自主完成对 Apple TV 的操作。与传统遥控器不同,ClawTV 利用 Claude 的视觉 API 分析电视屏幕内容,理解当前界面状态,并据此执行导航、播放、搜索等复杂任务。用户只需用自然语言描述需求,例如“在 Plex 上播放《搏击俱乐部》”或“打开 Netflix 并找到《怪奇物语》”,ClawTV 即可自动完成整个操作流程。该项目由命令行工具构成,支持多种交互模式,既包括完全自主的 AI 代理模式,也提供直接控制命令和 Plex 集成功能。

ClawTV 的核心优势在于其智能决策能力。当使用 AI 代理模式(`do` 命令)时,系统会循环执行“截图—分析—操作—验证”的步骤,最多进行 20 次迭代以确保目标达成。每次分析都会将屏幕截图发送至 Anthropic 的 Claude 模型,借助其强大的视觉理解能力判断下一步行动。为了优化成本与效率,ClawTV 实现了多项自动化策略:对于明确指向 Plex 的内容请求,会自动绕过视觉循环,直接调用 Plex API 实现即时播放;同时采用图像压缩、滑动窗口缓存和模型自动升级机制(从 Haiku 到 Sonnet),显著降低 API 调用次数和费用。

尽管功能强大,ClawTV 也充分考虑了隐私与安全性问题。所有敏感凭证如 Apple TV 配对信息和 Plex 令牌均明文存储于本地配置文件 `~/.clawtv/config.json` 中,仅允许当前用户读取。当启用 AI 模式时,屏幕截图会被传输至外部服务器进行分析,因此建议用户在处理包含个人信息的界面时谨慎使用。不过,项目也提供了零成本的替代方案——手动命令(如 `cmd`、`type`、`launch`)和 Plex 直控模式完全不依赖外部 API,适合对数据隐私要求较高的场景。此外,开发者还推荐设置 Anthropic 账户的消费限额,以防范因长时间运行导致的意外支出。

核心功能特点

  1. AI 驱动的智能导航:通过视觉识别自主理解屏幕内容并执行复杂操作
  2. 多模式交互支持:提供 AI 代理模式、手动遥控命令和 Plex 直控三种操作方式
  3. 低成本高效执行:自动检测 Plex 请求并跳过视觉循环,大幅节省 API 费用
  4. 灵活的截图技术:支持 QuickTime、Xcode 和第三方 Lookout 应用三种捕获方式
  5. 本地凭证管理:所有设备认证信息加密存储于用户主目录下的配置文件
  6. 零 API 消耗命令:`cmd`、`type`、`launch` 等基础操作无需联网且无额外费用

适用场景

ClawTV 特别适合那些希望摆脱传统遥控器繁琐操作的家庭娱乐环境。当你想快速观看某部电影却不愿手动切换多个应用时,只需在终端输入 `python3 clawtv.py do “play Fight Club on Plex”`,系统便会自动打开 Plex、定位影片并开始播放,全程无需人工干预。对于经常使用流媒体平台的用户而言,无论是 Netflix、Disney+ 还是 HBO Max,都可以通过自然语言指令让 ClawTV 代为查找内容,即使面对 DRM 保护的应用也能通过 Xcode 方法实现精准控制。此外,该工具在处理重复性任务时表现尤为出色,比如每天定时播放特定歌单或启动体育直播频道,都能通过预设脚本一键完成。

在智能家居集成方面,ClawTV 可作为家庭中枢的一部分发挥作用。配合 Home Assistant 或其他自动化平台使用时,它能响应语音助手发出的复合指令,例如‘晚上八点打开客厅电视播放纪录片’,从而真正实现全屋设备的无缝联动。对于开发者和高级用户来说,其开放的命令行接口也便于构建自定义工作流——你可以编写 shell 脚本批量截取电视节目画面用于素材收集,或者结合其他工具实现更复杂的媒体库管理功能。值得一提的是,虽然 AI 模式依赖外部服务,但日常基础操作完全可以脱离互联网独立完成,确保核心功能的稳定可用。

考虑到实际部署中的多样性需求,ClawTV 设计了多层次的配置选项以适应不同网络环境和安全策略。如果你的 Apple TV 位于远程位置,可通过配置文件中指定 Plex 服务器的公网地址实现跨地域访问;而在企业环境中,管理员可以严格控制 `~/.clawtv/` 目录权限,防止未授权进程窃取凭证。对于那些担心云端传输敏感画面的用户,项目文档特别强调了手动命令的价值:仅需几行代码就能实现音量调节、应用切换等基本操作,既安全又经济。总体而言,无论是追求极致便利的普通消费者,还是需要定制化解决方案的技术爱好者,ClawTV 都提供了一个兼具智能化与可控性的新选择。