Clawtext Ingest

Clawtext Ingest是什么

Clawtext Ingest 是一款多源数据摄取工具，支持从 Discord、文件、URL 等多种来源自动摄取数据，并自动去重，为 AI 代理提供结构化、去重的记忆。

由 ragesaq 开发 | 累计安装 136 次 | 开源协议：MIT-0

Clawtext Ingest的主要功能

• Discord 集成：支持从 Discord 论坛、频道和线程摄取数据，保留帖子/回复结构，提供实时进度和自动批量模式。
• 多源摄取：支持从文件、URL、JSON、原始文本等多种来源摄取数据，实现批量操作和统一摄取。
• 自动去重：基于 SHA1 哈希匹配，确保摄取数据的唯一性，无数据丢失，并提供哈希持久化功能。
• 代理就绪：提供多种文档化的代理模式，包括直接 API、Discord 代理、CLI、Cron、批量、线程等，支持错误处理和进度回调。
• 开发者友好：提供 CLI 工具、Node.js API 和 TypeScript 准备就绪，支持自定义转换和字段映射，文档齐全。

如何使用Clawtext Ingest

• 安装：通过 npm 或 OpenClaw 安装 clawtext-ingest。
• 设置 Discord 机器人：按照 DISCORD_BOT_SETUP.md 指引设置 Discord 机器人。
• 获取机器人令牌：获取机器人令牌，并设置 DISCORD_TOKEN 环境变量。
• 检查论坛：使用 clawtext-ingest-discord describe-forum 命令检查论坛。
• 开始摄取：使用 clawtext-ingest-discord 命令开始摄取数据。

Clawtext Ingest的项目地址

• 项目官网：https://clawhub.ai/ragesaq/clawtext-ingest

Clawtext Ingest的应用场景

• 从 Discord 论坛摄取数据，为 AI 代理提供结构化记忆。
• 从多个文件和 URL 摄取数据，实现数据整合和分析。
• 在数据摄取过程中自动去重，确保数据质量。
• 为 AI 代理提供多种摄取模式，满足不同需求。
• 简化数据摄取流程，提高工作效率。