什么是MetriLLM
MetriLLM 是一款专为本地运行大语言模型（LLM）设计的性能评测工具，旨在帮助用户快速识别在个人硬件上表现最优的模型。它通过自动化测试流程，全面衡量模型的推理速度、输出质量以及内存占用情况，并给出是否值得在当前设备上运行的明确建议。无论是开发者还是普通用户，都可以借助 MetriLLM 避免盲目尝试，提升 LLM 部署效率。该工具支持与 Ollama 和 LM Studio 等主流本地推理框架集成，兼容 Node.js 20+ 环境，安装简便且操作直观。其开源特性（Apache 2.0 协议）也鼓励社区共同参与模型性能数据的收集与优化。
核心功能特点
- 自动评估模型推理速度与响应时间，包括每秒生成 token 数和首字响应时间（TTFT）
- 多维度质量评分：涵盖逻辑推理、数学计算、代码生成、指令遵循、结构化输出及多语言能力
- 智能适配性判断：根据性能与质量综合得分给出 EXCELLENT / GOOD / MARGINAL / NOT RECOMMENDED 四级推荐等级
- 支持快速性能测试模式，跳过质量评估以提升测试效率
- 可导出详细 JSON 结果文件供本地查看或二次分析
- 提供公开排行榜功能，允许用户上传匿名化测试结果至社区数据库进行横向对比
适用场景
MetriLLM 特别适用于需要在个人电脑或边缘设备上部署大语言模型的技术人员与爱好者。例如，当用户从 Ollama 或 LM Studio 加载多个候选模型时，可通过 MetriLLM 快速筛选出既满足响应速度要求又具备高准确性的模型，避免因模型过大导致内存溢出或过小影响使用效果的问题。对于远程办公或资源受限场景，该工具能帮助判断哪些模型能在现有 CPU/GPU 配置下稳定运行。此外，研究人员也可利用其标准化测试流程对不同硬件平台上的 LLM 表现进行量化比较。若希望参与社区共建，用户还可将测试结果匿名分享至官方排行榜，助力构建更透明、实用的本地 LLM 性能数据库。