网站简介

Crawl4AI 是一款开源、对 LLM（大语言模型）友好的网页爬虫工具，在 GitHub 上拥有 71k+ Stars，月下载量 190 万次。它最初是一个 Python 库，现已推出云托管 API 服务，让开发者无需处理浏览器、代理和 Cookie 等繁琐基础设施，只需一个 API Key 即可将任意 URL 转换为干净的 Markdown、结构化的 JSON 或搜索结果。该工具采用 Apache-2.0 许可证，支持 Python 3.10 至 3.13，用户可以自由自托管，也可以使用官方云服务。

主要功能

Crawl4AI 提供了多个核心 API 端点：

• /scrape：抓取网页内容，去除样板代码，返回适合直接输入 Prompt 的干净 Markdown。
• /extract：通过自然语言指令从网页中提取结构化 JSON 数据，无需编写选择器。
• /search：执行搜索查询，返回排名结果 JSON，支持 rich=1 参数获取相关搜索、后续问题等信息。
• /answer：基于搜索结果直接回答用户问题，并提供引用来源（实验性功能）。
• /serp：将 Google 搜索结果页转换为数据，包括真实排名和页面块信息，支持本地化，用于排名追踪（Beta）。

此外，Crawl4AI 支持 MCP（Model Context Protocol），可以无缝集成到 Claude Code、Codex、OpenCode、Cursor、Windsurf、OpenClaw 等 AI Agent 工具中。用户只需在聊天中提供一行配置或使用命令行添加 MCP 服务器，即可让 Agent 调用爬虫能力。

特点说明

• 开源免费：代码完全开源，可自托管，无令牌限制，适合开发者和研究使用。
• 云托管便捷：官方提供托管 API，省去代理、队列、重试等运营成本，按月度计划付费，每月提供免费 1,000 点额度（验证邮箱即可），无需信用卡。
• 多平台集成：通过 MCP 或 HTTP API，支持多种 AI 编程助手和 Agent，一行命令即可完成配置。
• 价格灵活：提供 Free、Starter（$10/月）、Builder（$99/月）、Scale（$499/月）等档位，满足从原型到大规模生产的需求。
• 性能强大：云服务可处理大规模抓取任务，提供并发限制和额外用量付费选项。

总的来说，Crawl4AI 是一个集开源与云服务于一体的现代爬虫工具，特别适合需要为 LLM 提供干净数据的开发者和 AI 应用构建者。