Smart Web Fetch

Smart Web Fetch是什么

Smart Web Fetch是一款替代内置web_fetch的智能网页抓取工具，通过Jina Reader、markdown.new和defuddle.md等清洗服务，自动获取干净的Markdown内容，支持多级降级策略，有效降低Token消耗，适用于需要获取网页内容的场景。

由 Leochens 开发 | 累计安装 1,675 次 | 开源协议：MIT-0

Smart Web Fetch的主要功能

• 替代web_fetch：直接获取清洗后的Markdown内容，无需处理原始HTML。
• 多级降级策略：支持Jina Reader、markdown.new、defuddle.md和原始内容四级降级，确保内容获取的稳定性。
• Token优化：清洗后的内容比原始HTML节省50-80%的Token消耗。
• 自动容错：四级服务降级，确保在服务不可用时仍能获取内容。
• 免费使用：所有清洗服务均为免费，无需API Key。

如何使用Smart Web Fetch

• 获取Markdown内容：使用命令行工具，输入网页URL，获取清洗后的Markdown内容。
• 获取JSON格式内容：使用命令行工具，添加--json参数，获取包含元信息的JSON格式内容。
• 配置Agent：在openclaw.json中配置，强制使用Smart Web Fetch替代内置web_fetch。
• 运行脚本：在Agent中运行脚本，获取网页内容。
• 解析输出：根据输出格式解析内容，如JSON格式包含成功状态、URL、内容、来源和错误信息。

Smart Web Fetch的项目地址

• 项目官网：https://clawhub.ai/Leochens/smart-web-fetch

Smart Web Fetch的应用场景

• 从网页中提取干净的Markdown内容，用于文档编辑。
• 在信息聚合平台中，自动抓取并清洗网页内容。
• 在搜索引擎中，优化网页内容的抓取和展示。
• 在数据爬取任务中，降低Token消耗，提高效率。
• 在内容审核系统中，自动清洗网页内容，减少人工审核工作量。