什么是LLM Supervisor
LLM Supervisor 是一款专为应对云端大语言模型服务限制而设计的智能代理工具，旨在提升开发者在遭遇速率限制或过载时的体验。当连接到 Anthropic、OpenAI 等云服务商时，该工具会主动监控请求状态，一旦检测到速率限制或过载错误，立即向用户发出明确通知，避免静默失败或无限重试带来的困扰。其核心设计理念在于优雅降级：在关键代码生成任务中，它不会擅自切换至本地模型，而是等待用户确认后才执行切换操作，确保用户对生产环境变更拥有完全控制权。对于非代码类简单查询，若用户此前已授权过本地 fallback，则可实现无感切换，兼顾效率与安全性。整个系统通过会话级状态跟踪机制维护当前活跃提供商、最近一次限流时间戳以及是否允许本地模型参与代码生成的标记，从而在不同命令和交互间保持上下文连贯性。
核心功能特点
- 实时检测并响应用户云服务商（如 OpenAI、Anthropic）的速率限制与过载错误
- 在触发限流时主动通知用户，并提供切换至本地 Ollama 模型的选项
- 对代码生成任务强制要求用户显式确认后再启用本地模型，防止意外行为
- 支持通过 `/llm status` 查看当前活跃提供商、Ollama 可用性及历史限流记录
- 提供手动切换命令 `/llm switch local` 和 `/llm switch cloud` 以灵活控制运行模式
- 内置会话状态追踪，自动记录当前提供商、上次限流时间及本地代码生成权限状态
适用场景
LLM Supervisor 特别适用于那些依赖云端大模型进行高频开发工作的开发者群体。例如，在编写复杂函数或重构大型模块时，若因 API 调用频繁触发速率限制而导致中断，该工具能迅速提示问题并引导用户评估是否切换到本地部署的模型（如 qwen2.5:7b）继续工作，避免项目进度停滞。对于需要持续集成测试或自动化脚本中调用 LLM 的场景，LLM Supervisor 的状态管理和手动切换机制可有效降低因突发限流引发的构建失败风险。此外，在团队协作环境中，由于不同成员可能处于不同的网络条件或配额状态，该工具的统一响应策略有助于保持一致的错误处理体验。尤其值得注意的是，它在处理敏感或关键代码逻辑时坚持‘确认优先’原则，杜绝了未经许可的模型切换可能引入的技术债或合规隐患。因此，无论是个人开发者还是企业级应用集成场景，LLM Supervisor 都能显著提升 LLM 辅助开发的鲁棒性与可控性。