evaluate-presets

evaluate-presets是什么

评估预设是一款基于CLI的测试工具，用于系统地测试Ralph的帽子收藏预设，验证预设配置，审核预设库质量，适用于预设配置更改、质量审核和新预设验证等场景。

开源协议：MIT-0

evaluate-presets的主要功能

• 预设测试：支持对单个或所有预设进行测试，确保预设配置正确无误。
• CLI调用：通过命令行直接调用，无需复杂的元编排。
• 日志记录：详细记录测试过程中的输出日志、退出代码和计时信息。
• 指标提取：提取迭代次数、激活的帽子和发布的事件等关键指标。
• 后台运行：支持后台运行，避免长时间测试对系统资源的影响。

如何使用evaluate-presets

• 评估单个预设：使用命令 ./tools/evaluate-preset.sh 预设名称 后端。
• 评估所有预设：使用命令 ./tools/evaluate-all-presets.sh 后端。
• 设置Bash工具：配置timeout和run_in_background参数，确保后台运行。
• 检查进度：使用TaskOutput工具定期检查测试进度。
• 结果解读：根据退出代码和metrics.json文件解读测试结果。

evaluate-presets的应用场景

• 在更改预设配置后测试预设配置的有效性。
• 审核预设库的质量，确保预设配置的正确性和可靠性。
• 验证新预设是否正确工作，避免引入错误。
• 修改帽子路由逻辑后，测试预设配置的兼容性。
• 定期进行预设测试，确保系统稳定运行。