stream-formatter

stream-formatter是什么

Stream-Formatter是一款适用于LLM流式输出的格式化工具，适用于对话类Agent、聊天机器人等，通过自动缓冲、格式修正等功能优化Markdown内容流式渲染，提升用户交互体验。

由 Ayalili 开发 | 累计安装 57 次 | 开源协议：MIT-0

stream-formatter的主要功能

• 自动缓冲：边输出边修复，无需等待大模型返回完成，延迟<10ms。
• 格式修正：自动修复Markdown格式错误、不完整的代码块、链接、列表等。
• 智能断句：按完整句子输出，避免输出半个单词或半句话，提升阅读体验。
• 去重处理：自动去除大模型重复输出的内容，避免混乱。
• Markdown渲染：内置Markdown格式错误修复规则，支持Markdown内容流式渲染。

如何使用stream-formatter

• 初始化：调用init操作进行初始化配置。
• 处理流式输出：使用process操作处理大模型返回的流式块。
• 强制输出：可选的flush参数，用于强制输出所有缓冲区内容。
• 自定义配置：通过options参数进行自定义配置，如buffer_size、format_markdown等。
• 结束处理：最后强制刷新缓冲区，确保所有内容输出。

stream-formatter的项目地址

• 项目官网：https://clawhub.ai/Ayalili/stream-formatter

stream-formatter的应用场景

• 应用于对话类Agent和聊天机器人，优化聊天内容格式。
• 在实时内容生成场景中，提升Markdown内容的流式渲染质量。
• 用于Markdown内容流式渲染，改善用户阅读体验。
• 适用于需要格式化LLM流式输出的各种场景，如API接口等。
• 提升用户交互体验，特别是在需要实时反馈的场景中。