两个互联网：人机双版本访问沙盘
访客视角切换器（6 种身份 × 六层漏斗）· crawl-to-refer 账本（盈亏平衡回流比 r* 闭式解）· 站长控制台（robots / llms.txt / 402 / CDN 四控件实时结算）· 已知与未知
⭐ Cloudflare 数据（2026 Q1）：ClaudeBot 抓 23,951 页才回流 1 次访问，Perplexity 约 111:1，Google 传统搜索约 4.9:1。训练爬虫「几乎不回流」是这一整类冲突的根源。
人机双版本 · 快照 2026-10-20 · 构造示例
两个互联网
你的网站同时在维护两个版本：给人看的（渲染、广告、交互）与给机器看的（robots.txt / llms.txt / 402）。 两者经常不一致 —— 而绝大多数人只看得到其中一个。
同一个页面，切换访客身份 —— 它实际拿得到的东西完全不同。 六个身份，六层漏斗，五种结果。
🕷️ 训练爬虫 · 访问漏斗
实际拿得到
被挡在门外
robots / CDN / 定价任一层拦截 —— 什么也拿不到
① robots.txt拦截
User-agent: ClaudeBot → Disallow
按 UA 分行声明允许 / 不允许。恶意脚本直接跳过这一层。
② CDN 默认策略拦截
默认屏蔽 AI 训练爬虫（2025-07 起）
Cloudflare 自 2025-07 起对新建域名默认屏蔽 AI 训练爬虫，需站点主动放开。
③ llms.txt不适用
不存在 → 只能自己解析 HTML
站方给的「机器推荐版本」。有 → 机器拿摘要；无 → 只能自己解析 HTML。
④ 402 按次收费不适用
未启用 402 → 免费
服务端先返回价格，agent 带确认重发请求。定价高于支付意愿 → 爬虫走人。
⑤ JS 渲染拦截
不执行 JS → 只有初始 HTML
不执行 JS 的访客只能看到初始 HTML，拿不到客户端渲染出来的正文。
⑥ 结构化数据不适用
不用结构化数据 → 只能从布局里猜字段
JSON-LD 等机器可读字段。没有它，机器只能从视觉布局里猜。
🕷️ 训练爬虫
UA：ClaudeBot（训练用途）
为训练语料系统性抓取，几乎不回流访问。执行 JS 的概率低。
crawl-to-refer 比23,951 : 1
📖 Cloudflare 2026 Q1：ClaudeBot 抓 23,951 页才回流 1 次访问。
402 支付意愿（🧮 假设）$0.5 / 千页
⚙️ 示例站点配置（本站构造的示例站点（example-site），不对应任何真实站点；控制台里的 robots.txt / llms.txt / 402 全为本页虚构配置。）
402 定价 $0 / 千页
⭐ 反直觉：封掉爬虫 = 失去 citation；放开爬虫 = 流量被吃光不回流，中间不存在静态最优点。
本页不发起任何真实网络请求，示例站点为构造；第三方数字标 📖 并带日期与口径，本站参数标 🧮，未公布的量一律留白。