token-usage-tracker

token-usage-tracker是什么

token-usage-tracker是一款用于追踪AI模型Token使用情况、优化成本和压缩上下文的工具，适用于需要透明Token会计、降低Token使用或保护敏感上下文的场景。

开源协议：MIT-0

token-usage-tracker的主要功能

• Token监控：实时追踪每次调用的Token使用情况，提供透明会计。
• 模型路由：根据任务复杂度智能路由到合适的模型，优化成本。
• 上下文压缩：通过摘要/压缩减少发送给LLMs的上下文，保护敏感信息。
• 警报系统：基于阈值的警报，及时发现异常使用情况。
• 日志管理：标准化时间戳，并记录Token使用日志。

如何使用token-usage-tracker

• 配置设置：在`skill-config.json`中配置默认设置，如时区和日志文件夹。
• 安装脚本：将脚本安装到工作区，并连接拦截器到消息管道。
• 使用拦截器：使用`token_interceptor.py`标准化时间戳，并转发消息。
• 日志记录：使用`token_tracker.py`记录Token使用情况。
• 上下文压缩：在发送大型上下文前，使用`context_summarizer.py`进行压缩。

token-usage-tracker的应用场景

• AI模型成本优化，通过智能路由降低成本。
• 敏感上下文保护，通过压缩减少Token使用。
• 透明Token会计，实时监控Token使用情况。
• 异常使用警报，及时发现并处理异常。
• 日志管理，标准化时间戳并记录Token使用。