Llm Eval Router

Llm Eval Router是什么

Llm Eval Router是一款用于本地Ollama模型评估的工具，通过与云端基线对比，自动提升等效模型等级，适用于本地运行Ollama模型且需要降低推理成本的场景。

由 nissan 开发 | 累计安装 215 次 | 开源协议：MIT-0

Llm Eval Router的主要功能

• 模型对比：本地Ollama模型与云端基线进行对比，确保模型质量。
• 自动提升：当模型在统计上证明等效时，自动提升模型等级。
• 成本降低：基于证据的成本降低，而非盲目的路由。
• 多评委集成：采用多评委集成对本地输出进行评分，确保评估的准确性。
• 自定义权重：支持自定义任务权重，适应不同任务需求。

如何使用Llm Eval Router

• 安装Ollama：确保已安装并运行Ollama。
• 配置API密钥：配置Anthropic、OpenAI和Gemini的API密钥。
• 运行评估：启动Llm Eval Router进行模型评估。
• 查看结果：根据评估结果自动提升或降低模型等级。
• 调整权重：根据任务需求调整模型权重。

Llm Eval Router的项目地址

• 项目官网：https://clawhub.ai/nissan/llm-eval-router

Llm Eval Router的应用场景

• 本地Ollama模型评估与云端基线对比
• 自动提升等效模型等级以降低推理成本
• 适用于总结、分类、提取、格式化、分析、RAG等任务
• 减少对云端API的依赖，降低成本
• 提高本地模型的效率和质量