上个月帮一个慈溪做五金件的老板（老 W）做网站诊断。 他的独立站做了两年，谷歌排名还行，月均三四个询盘。 我让他打开浏览器，在地址栏输入他网站域名后面加一个路径。 页面加载出来，他看到一段代码，后面跟着几个英文名字——GPTBot、ClaudeBot、PerplexityBot。 他问我什么意思。 我说：你的网站大门口挂了块牌子，写着“AI 不准进”。你知道吗？ 他一脸茫然。
一、你的网站在你不知道的情况下，把 AI 挡在了门外
全球超过一半的网站都在用一个叫 Cloudflare 的服务——可以理解为“网站加速器加安全防护”。你的独立站如果是最近几年建的，大概率用了它。建站的人几乎默认配上，因为免费好用。
问题就出在这里。
Cloudflare 去年底悄悄开启了一个默认功能，叫“托管式机器人规则”。
解释一下。每个网站根目录下有个叫 robots.txt 的文件，作用就像工厂大门口的门卫——负责告诉来访的搜索引擎爬虫“哪些区域能进，哪些不能进”。
Cloudflare 这个功能做了什么？它越过你的门卫，在大门口竖了块新牌子，上面写着：所有 AI 搜索引擎的爬虫，全部禁止进入。
ChatGPT 的爬虫——“不准进”。Claude 的爬虫——“不准进”。Perplexity 的爬虫——“不准进”。微软的、亚马逊的、字节跳动的——一个不剩，全部吃闭门羹。
这个功能是默认开启的。 你没做任何操作，没勾选任何选项，Cloudflare 替你做了决定，而且没通知你。
你为什么不知道？因为谷歌搜索完全正常。这个功能只挡 AI 爬虫，不挡谷歌的爬虫。你用谷歌搜自己公司，该出来还是出来。排名没变，流量报告正常。你觉得天下太平。
但你去 ChatGPT 里问“推荐几个靠谱的中国五金件供应商”——答案里永远不会有你。
谷歌能看到你，但 AI 看不到你。在 AI 搜索的世界里，你的工厂不存在。
二、这件事比你想象的严重
看一组行业数据：
- 二零二四年，海外采购商用 AI 搜索找供应商的比例约百分之五到八
- 二零二五年，上升到百分之十到十五
- 二零二六年上半年，达到百分之十五到二十二
- 预计明年底，会到百分之三十到四十
我帮二十多家宁波、慈溪、余姚的外贸工厂做过 AI 搜索排查：十七家被 Cloudflare 默认挡了 AI 爬虫。占百分之八十五。
这十七家里好几家独立站做得不错——产品页完整，博客定期更新，技术参数写得详细。AI 搜索引擎如果能进去，完全有机会推荐它们。但 AI 进不来。内容再好，门锁着，等于白做。
更扎心的是对比效应。你和竞争对手做同类产品，你的网站内容更好。但你的门锁着，他的门开着。AI 搜索引擎只能抓到他的信息——于是只推荐他。
| 场景 | 你的网站（被锁） | 竞争对手（没锁） |
|---|---|---|
| 采购经理问 ChatGPT “推荐中国 XX 工厂” | 永远不出现 | 有机会被推荐 |
| 采购经理用 Perplexity 做供应商调研 | 完全看不到 | 可能被引用 |
| AI 搜索流量占询盘来源比例 | 零 | 百分之十五到二十二 |
而且 AI 搜索跟谷歌搜索不一样。谷歌给你一个列表，排第一和排第十都能被看到。但 AI 直接给答案——只推荐两三家，不推荐就是不推荐。这是零和一的问题。门开着你就有机会，门锁着你就完全没有。
三、怎么查、怎么修——三十秒排查，两分钟修复
排查
打开浏览器，输入 你的域名/robots.txt。
看页面最前面几行，有没有出现 “Cloudflare Managed” 字样。
有——你中招了，网站正在把 AI 爬虫挡在门外。 没有——你没这个问题，可能没用 Cloudflare，或建站公司已经帮你关了。
修复
- 登录 Cloudflare 后台（不知道账号问建站公司要）
- 选择你的域名
- 左侧菜单找到 “AI Crawl Control”
- 在 “Signals” 下面把 “Managed robots.txt” 这个开关关掉
- 保存
关掉后重新打开 robots.txt，确认那段 “Cloudflare Managed” 代码消失了。全程两分钟。
不是自己管后台的，把这篇文章转给建站公司，说“帮我把 AI 爬虫的限制关掉”。一句话的事。
四、光开门还不够——你还得给 AI 递名片、贴标签
关掉开关，相当于把门打开了。但“能进来”和“愿意推荐你”是两回事。就像工厂大门开了，客户走进来一看——没有前台、没有导览牌、一片空荡——转身就走。
给 AI 一张“名片”
在网站根目录放一个叫 llms.txt 的文件，专门给 AI 看的“工厂名片”：
- 你的工厂叫什么，在哪个城市，成立多少年
- 做什么产品，主要品类有哪些
- 核心优势——年产能多少、有什么国际认证、给哪些品牌做过代工
- 主要服务什么类型的客户
- 网站上最重要的几个页面链接
AI 爬虫进你网站，第一件事就是看有没有这个文件。有的话几秒钟就搞清楚你做什么；没有的话得一页一页慢慢爬，效率差很多。
你可以把它理解成递给 AI 的一张名片。名片上写清了你是谁，AI 才知道该不该推荐你。
给产品“贴标签”
产品页写着“材质三零四不锈钢，起订量五百件”。人看得懂，但 AI 不一定能分辨哪个是材质、哪个是起订量。
结构化数据（技术上叫 Schema）就是给每个参数贴标签。贴了标签，AI 能精准理解你的产品信息，然后告诉买家：“我找到一家浙江宁波的工厂，做三零四不锈钢件，起订量五百件起，有 CE 和 FDA 认证。”
这两件事需要找懂技术的人做，但成本不高，几千块钱一次性搞定。
五、真实案例：关掉开关两周，来了第一个 AI 询盘
帮一个慈溪工厂排查时发现了这个问题。
独立站做了一年多，三十多篇技术博客，结构化数据也做了，谷歌排名稳步上升。但 AI 搜索里一直没动静。老板一度怀疑“AI 对中国工厂有偏见”。
查了 robots.txt——果然，Cloudflare 自动加了那段禁止代码。
关掉开关，部署了名片文件。两周后，收到了第一个来自 AI 搜索渠道的询盘。
买家是美国华盛顿州的行业批发商。他在 ChatGPT 里搜了行业关键词，AI 引用了这家工厂的技术博客，买家顺着链接找到独立站，直接发了询盘。采购量是以前阿里国际站平均订单的四倍。
之后一个月，这家工厂独立站询盘从月均三四个涨到八个，其中至少三个能确认来自 AI 搜索——买家明确说“我在 ChatGPT 上看到你们的”。
之前搜不到他，不是网站不好，不是内容不够——纯粹因为门锁着。打开了，世界就不一样了。
六、最后
这个问题值得单独写一整篇，因为它同时满足三个条件：
- 影响面大——用 Cloudflare 的外贸独立站几乎是行业标配，绝大部分都被默认锁了
- 损失很隐蔽——谷歌搜索正常，你不知道自己在 AI 搜索里是隐形的
- 修复成本极低——两分钟关一个开关
你辛辛苦苦花几万块建的独立站，因为一个你不知道的默认设置，在 AI 搜索时代变成了半个废站。
这件事不应该发生。
今天就去查一下你的 robots.txt。
自己搞不定的——直接把你的域名发给我，我免费帮你查。顺便看看你的网站在 AI 搜索优化上还有哪些马上能捡的低垂果实。
想知道你的产品在海外还有多少机会？ 发1688链接或目录册，免费帮你做市场分析。微信：18268661068
