全自动批量采集200个网站，这个37K Star的开源爬虫工具拯救了我【附：源码和爬虫MCP】

大家好，我是袋鼠帝

前几天收到一个客朋友的咨询：“有没有什么爬虫软件推荐？”

他们想收集一下竞品官网的资料，做一下数据分析

我直接推荐了一个已经在Github斩获37K Star的开源爬虫工具（也有在线的云版本）：Firecrawl

https://github.com/mendableai/firecrawl

需要爬取的网页貌似还不少...

Firecrawl支持本地部署免费使用

或者使用在线版：

https://www.firecrawl.dev/

在线版有500个页面的免费次数，用完后需要付费使用。

但是Firecrewl的网页端只支持一次爬一个链接，需要手动执行

如果需要抓取的站点太多的话，还是非常非常耗时的。

要想批量处理，还得使用API来搞

于是我答应帮忙处理了（下图）。

第二天一早就收到了朋友整理的竞品官网网址。

打开一看，卧槽，还真不少，有200个站点需要爬取

正好我前几天享一篇MCP文章里面其实就包含了Firecrawl MCP。

评论区大家也呼吁我出一篇Firecrawl的文章

buff叠满了...

这篇是天选之文

我本来以为这是一次很顺利，迅速就能搞定的事情。

结果，是我天真了...

坎坷的安装调试之路

先把时间拉回昨天

我当时信心满满的打开了Firecrawl的Github页面

https://github.com/mendableai/firecrawl

通过git clone把Firecrawl项目拉取到了本地（也可下载zip）。

结果跑起来之后会报下面这个错误，我以为是我的问题，比如请求参数错误，或者请求地址不对？

搞了半天，直到我看到某人昨天在Github刚提的issues(问题)，和我遇到的问题一样，这特喵是个bug...我只能无奈的写下一个me too

希望官方尽早修复吧

我果断用git把代码切换到上一个版本（v1.7.0）

git checkout tags/v1.7.0

没有安装git的朋友，也可以在release里面下载对应版本的代码zip包

https://github.com/mendableai/firecrawl/releases

然后手动在docker-desktop上把之前创建的Firecrawl容器和镜像删除。

接着我们进入Firecrawl项目所在路径的终端

Windows在其根目录下的地址栏输入cmd，回车即可进入

根据官方提供的步骤，把 根目录/apps/api下的.env.example复制一份出来，修改其文件名为.env

可以直接使用这个指令

cp ./apps/api/.env.example ./apps/api/.env

然后改一下.env里面的配置（如下图）

在Firecrawl根目录的终端执行 docker-compose up -d

用v1.7.0的代码制作镜像，启动容器。

如果开了科学上网，也出现下载失败的情况，请重新执行。或者开启增强模式

过一会儿，看到下面的日志就代表启动成功（一共4个docker容器）

可以用下面这个curl示例，在终端执行测试

curl --location 'http://127.0.0.1:3002/v1/crawl' \--header 'Content-Type: application/json' \--header 'Authorization: Bearer kangarooking' \--data '{    "url": "https://mendable.ai",    "limit": 100,    "maxDepth":2,    "scrapeOptions": {     "formats": ["markdown"]   }}'

看到下面红框中的返回就代表成功了。

如果复制过去执行失败，可能是公众号的格式问题，可以复制丢给AI，让AI生成给你

批量爬取站点

朋友整理的站点信息是一个txt文件，我想把它转成Excel，方便后续操作。

说真的，扣子空间确实挺好用

我把txt内容丢给它，让它转Excel，三下五除二就搞好了，直接供我下载。

关键是没有出错，完美完成任务

期间我还用过ChatGPT-O3，但是o3翻车了...

“因为朋友需要深度爬取，比如爬取页面中的二级页面信息

所以就使用了v1/crawl接口来进行

参数说明：

limit：代表爬取的页面上限数

maxDepth：爬取的页面深度，比如值为2，就代表会爬取所有的二级页面信息，以此类推。”

我本来想用n8n做一个工作流来实现的，但是n8n有一个弊端，虽然支持全自动把所有爬虫跑完，但是只能一个一个跑，没法多任务并行跑。

所以我最终还是选择了写Python代码，直接让AI编程（用Gemini-2.5-Pro）

没啥复杂的提示词，把需求描述好发过去即可（用的Cursor）

一共200个网站链接，我开了3个线程（也就是可以同时执行3个爬取任务）

批量爬取的时候，并发还是设置小一点儿，因为爬虫很耗资源，如果CPU或者内存消耗太大，Firecrawl会触发保护机制，就会拒绝一些任务。

我的本地电脑是Mac，m2芯片，24G内存，最后还是设置一个一个排队爬，maxDeep设置为1，这样更稳定。

跑了不知道多久... 终于爬完了

如果大家后续有爬站点资料的需求，也可以基于我这个代码去跑，或者让AI改一下。

爬取的数据不仅可以用于数据分析，还可以上传AI知识库，亦或是作为大模型语料训练、微调大模型

具体的代码逻辑和使用我这里就不展开赘述了，可以把代码直接丢给AI，让AI帮助解读。

请严格遵守以下原则：

遵守相关法律法规，尊重目标网站robots.txt协议

控制爬取频率，避免对服务器造成负担

获取的数据仅用于个人学习，不得用于商业用途（贩卖等）

尊重内容版权，不爬取涉及隐私的数据

Firecrawl MCP使用

之前有朋友在评论区留言

让我讲一讲如何在Cherry Studio里面使用本地数据库的MCP-Server

那么这期就用Cherry Studio来演示一下如何使用Firecrawl MCP吧

不管是配置数据库，还是配置Firecrawl，配置方式都差不多

我们先打开Cherry Studio->设置->MCP服务器->编辑MCP服务器

拉到最下面，在倒数第二个}和倒数第三个}之间加一个英文逗号，在逗号后面粘贴上Firecrawl-MCP-Server的配置信息，点击确定

"firecrawl-mcp": {        "command": "npx",        "args": ["-y", "firecrawl-mcp"],        "env": {          "FIRECRAWL_API_KEY": "kangarooking",          "FIRECRAWL_API_URL": "http://localhost:3002"        }      }

配置的是之前安装的本地Firecrawl

在MCP-Server列表拉到最下面，找到firecrawl-mcp，点进去

点击启用

可能不会有啥反应，我们退出去

检查列表中firecrawl-mcp 有一个绿色打勾的电脑图标，就表示启用成功

接下来就可以返回对话页面，添加firecrawl-cmp和以前安装过的filesystem-mcp作为工具（后者可以将爬取到的数据保存到本地）

测试一下，ok的

成功爬取了百度的网页信息，并保存到本地

但是用Firecrawl MCP有个弊端：

就是大模型调用之后会进行总结，就无法获取原始网页，即使在prompt里面要求保存原始网页， 大模型还是会先输出原网页内容，这简直token爆炸！

可能也是目前所有MCP的弊端--返回的数据大模型都会或多或少复述一遍。

在这个流程里，原本是需要大模型能把Firecrawl返回的网页信息直接传给filesystem mcp保存

而现实是，我换了很多个模型进行测试，并且在prompt里面说明清楚，但是最终大模型都会先输出原网页内容...

所以，想要批量爬虫的朋友，目前最好还是使用代码程序来执行。

Firecrawl MCP目前只适合单站点的爬取

文章来自于微信公众号 “袋鼠帝AI客栈”，作者 ：袋鼠帝”