你刚给网站做完一轮大优化:内容重写了,内链理顺了,LCP 也压到 1 秒内——结果打开 Google Search Console,抓取错误数不降反升?别急着查 robots.txt 或重写 JS,先低头看看:你的服务器,听得到 IPv6 的敲门声吗?
你的服务器真的在“听”IPv6请求吗?
加一条 AAAA 记录 ≠ 网站就支持 IPv6。
很多人的服务器明明配了 IPv6 地址,防火墙却还锁着 IPv4 的门。云厂商默认只开 0.0.0.0:80,你没手动放开 :::80,蜘蛛的 IPv6 请求连门都摸不到,直接被拦在门外。
我帮一个做跨境母婴电商的客户排查时,发现百度蜘蛛的失败日志里,90% 都是 IPv6 超时。最后定位到:他们上了新 CDN,但源站 Nginx 只监听 IPv4,CDN 回源走不通,IPv6 流量全卡在半路。
验证很简单:SSH 登上去,跑这句
netstat -an | grep :80
如果只看到 0.0.0.0:80,没看到 :::80,那你的服务器对 IPv6 是彻底失聪。
为什么搜索引擎蜘蛛更偏爱IPv6抓取?
不是蜘蛛“偏心”,是 IPv4 太累了。
经过 NAT、运营商网关、多层负载均衡……一次请求可能跳 4–5 个节点,中间任何一环抖一下,蜘蛛就超时放弃。
IPv6 是端到端直连,路径干净,握手快,尤其对移动端蜘蛛(比如 Googlebot Smartphone)更友好。
我拿两个镜像站做过对比测试:配置完全一样,一个只开 IPv4,一个只开 IPv6。一周下来,IPv6 版本的抓取成功率明显提升,响应时间也缩短了不少——不是玄学,是网络结构决定的。
你的IPv6配置可能在“欺骗”搜索引擎
最常见的一种“假支持”:AAAA 记录指向服务器,但服务器收到 IPv6 请求后,立刻 301 跳回 IPv4 域名。
谷歌蜘蛛会把它当成两个不同站点处理,内容重复、权重分散、索引混乱。
某技术论坛就栽在这儿:启用了 IPv6,但 Nginx 配置里写了统一跳转逻辑,不管来源是 IPv4 还是 IPv6,一律重定向。结果蜘蛛用 IPv6 抓到的全是跳转页,索引率断崖下跌。
正确做法就一条:IPv6 和 IPv4 必须返回完全一致的内容——相同的 HTTP 状态码、相同的响应头、相同的 HTML 主体。
别在 robots.txt 里写 IPv6 地址,它不认;也别给 IPv6 单独配一套跳转规则,蜘蛛不是来旅游的,是来抄作业的。
如何用5分钟验证你的IPv6抓取是否正常?
不用等站长工具报警,现在就能动手:
- 打开 ipv6-test.com,输入你的域名,看所有子资源(图片、CSS、JS)是否都能走 IPv6 加载成功;
- 在服务器或本地终端执行:
curl -6 -H "User-Agent: Googlebot" https://你的域名
返回 200 + 正常 HTML?OK。返回 Connection refused 或 No route to host?立刻去查防火墙和监听端口;
3. 登进 Google Search Console →「抓取统计」→ 筛选「IPv6」类型,看失败率有没有突然翘尾——有异常,说明部分流量已经走 IPv6,但你没接住。
当IPv6遇上CDN:最容易踩的3个坑
- CDN 不支持 IPv6 回源:前端开着 IPv6,CDN 边缘节点却只能用 IPv4 回源到你服务器,等于大门敞开,后门焊死。阿里云 CDN、Cloudflare、腾讯云 CDN 都支持 IPv6 回源,开通前务必确认开关已打开;
- WAF 误封 IPv6 段:有些 CDN 的默认 WAF 规则,会把
/32或/48的 IPv6 段当扫描器封掉。谷歌和百度都公开了自家爬虫的 IPv6 段,直接加进白名单就行; - HTTPS 证书不兜底:别用 IP 地址绑 SSL 证书。IPv6 地址不能进证书 Subject Alternative Name(SAN),必须靠域名验证。确保你用的是泛域名证书(
*.yoursite.com),或者至少主域名+www 都覆盖到了。
一个今天就能执行的操作步骤
现在就打开你常用的 DNS 后台(阿里云、腾讯云、Cloudflare 都行),添加一条 AAAA 记录,主机名填 @ 或 www,记录值填你服务器的 IPv6 地址(不确定?去服务器里执行 ip -6 addr show,找 inet6 开头、非 fe80:: 的地址)。
然后立刻 SSH 登服务器,执行:
sudo firewall-cmd --add-source=::/0 --zone=public --permanent && sudo firewall-cmd --reload
(CentOS/RHEL 系;Ubuntu 用 ufw 的同学,执行 sudo ufw allow proto ipv6 from ::/0 to any port 80,443)
最后,关掉 WiFi,用手机蜂窝网络访问你的网站——能打开,说明 IPv6 链路通了。
这三步做完,不用等更新,下次蜘蛛路过,就会多一条路进来。