2026年9月29日星期二

Crawl4AI开源爬虫:84K Star 把网页转成AI可用Markdown

Crawl4AI 是 84K Star 的开源爬虫,Apache-2.0 协议,pip 安装即用,无需账号和 API key。它可把任意网页转成干净的 Markdown,支持启发式过滤、CSS/XPath 与 LLM 结构化提取、Playwright 浏览器控制、深度爬取和断点续爬,适合给 RAG 知识库和大模型快速攒语料。

Tags:

推荐阅读:

好用!GitHub上值得收藏的免费开源项目,功能很强!

推荐:3 个小众但超实用的开源效率工具,提升效率!

34K Star!盯网页变化的神器,很强!

大家好!我是老码!

最近在给一个小项目攒 RAG 知识库,最烦的就是爬网页:BeautifulSoup 写一堆清洗逻辑,抓回来的还是导航栏、页脚、版权声明混成一团的 HTML,直接塞给大模型,token 全烧在噪音上。后来在 GitHub 上翻到 Crawl4AI,用下来确实顺手,今天安利一下。

Crawl4AI开源爬虫:84K Star 把网页转成AI可用Markdown

它是个专门给 LLM 打工的开源爬虫,84K Star,GitHub 上星最多的爬虫项目之一,Apache-2.0 协议,pip install -U crawl4ai 装完就能用,不注册账号、不要 API key。核心卖点一句话:把任意网页变成干净的、AI 直接能吃的 Markdown。

Crawl4AI开源爬虫:84K Star 把网页转成AI可用Markdown

用法是真简单:

import asyncio from crawl4ai import AsyncWebCrawler  async def main():     async with AsyncWebCrawler() as crawler:         result = await crawler.arun(url="https://news.ycombinator.com")         print(result.markdown)  asyncio.run(main()) 

跑完 result.markdown 就是洗好的正文。它内置两种启发式过滤器:一个按标签结构剪掉导航和页脚,一个用 BM25 按你的查询词留住相关段落。不调 LLM、不花一分钱,噪音就能剔掉大半,批量爬站的时候太省了。

第二层是结构化提取。页面规整就用 CSS 选择器或 XPath 直接抓,快且免费:

Crawl4AI开源爬虫:84K Star 把网页转成AI可用Markdown

页面乱、或者要语义理解时,换 LLMExtractionStrategy,定义一个 Pydantic 模型描述你要什么字段,它按 schema 吐 JSON,连选择器都不用写。

Crawl4AI开源爬虫:84K Star 把网页转成AI可用Markdown

模型随便接,OpenAI、Gemini 都行,本地 Ollama 也能挂,数据不出门。

第三层是浏览器控制,这是它比 requests 类库强的地方。底层是 Playwright,JS 渲染的页面照样爬,还能注入自己的 JS。比如爬资讯列表时自动点一下"加载更多",或者等某个元素出现再动手:

Crawl4AI开源爬虫:84K Star 把网页转成AI可用Markdown

代理、headers、cookie 会话复用、隐身模式都有,爬的时候顺手截图存档也支持。

爬整站不慌。深度爬取有 BFS、DFS、best-first 三种策略,配 FilterChain 过滤 URL;断点续爬也加了,中途挂了从 resume_state 接着跑。还有个挺聪明的 adaptive crawling:不数页数,而是判断信息够不够回答你的问题,够了就停,省时间也省带宽。

部署姿势随意。当 Python 库用可以,起 Docker 也行,官方镜像自带 FastAPI 服务和 Playground 网页,新版默认带鉴权、只绑本机,安全姿势端正了不少。它还有 MCP 接口,一行命令把爬虫挂给 Claude Code、Cursor 这类编程智能体,AI 要查资料自己就会去爬。官方最近也出了云 API,但开源版没有任何阉割,自托管完全够用。

跟 Scrapy 比一句:Scrapy 是通用爬虫框架,啥都能干,但清洗管线得自己搭;Crawl4AI 把"给 AI 喂数据"这一件事做成了开箱即用,像我这种只想快速攒语料的,用着省心。

Crawl4AI开源爬虫:84K Star 把网页转成AI可用Markdown

地址:github.com/unclecode/crawl4ai

反正免费开源,下回要给 AI 喂网页数据,先试试它。

往期推荐:

赞!这个很强的命令终于有了好用的壳!完美!

49.7K Star!30多个网盘挂进一个网页!五星好评!

204K Star!开源自动化神器,太香了!

很轻量!站内搜索换成它!非常香!

输几个字母,就能打完一整段话!

复杂文档,交给它读!

老电脑吃灰?把它变服务器用!

本地模型难搞,它给套了个界面

纸文件堆成山,让它自己归档!

没有评论:

发表评论

2026淘宝联盟年度榜单揭晓 两类新玩家正在改写淘客格局

本文解读淘宝联盟2026年度优秀合作伙伴榜单,重点拆解手机厂商流量型与广告媒体投流型两类新玩家,剖析其资源迁移打法与头部格局变化。对想入局淘客的新人,建议结合所在城市的产业圈子选赛道,并重视自身流量资源与能力的长期积累。 Tags: 淘宝联盟 淘客榜单 手机厂商流量 ...