官网上线后,中小企业自查 GEO 爬虫配置的清单

发布时间:2026-08-15 · 更新时间:2026-08-15

官网能不能被 AI 抓到,先看五件事:域名和 HTTPS、robots、sitemap、页面正文是否直出、标题描述是否完整。这五件不达标,后续内容做得再好,爬虫也可能看不到。这篇按上线顺序给出自查清单,附常见故障的排查方向。

一、五项必查

上线前逐项核对,任何一项不通过都要先修再谈内容。

项目要求自查方法
域名与 HTTPS稳定域名,全站 HTTPS,HTTP 301 跳转浏览器访问 http:// 看是否自动跳转
robots.txt放行 Bytespider、ByteDance-SearchCrawler 等爬虫访问 /robots.txt,确认无 Disallow: /
sitemap.xmlUTF-8 编码,含全部核心页,填写 lastmod访问 /sitemap.xml,确认返回 200
正文直出curl 能看到正文、公司名、电话curl -sL 域名 | head -n 80
Title / Meta每页唯一,含核心词与地域抽查首屏源码,确认非 JS 注入

第三项常被忽略的是编码。sitemap 若存成 GBK,部分爬虫解析会失败,建议统一保存为 UTF-8。

二、正文直出为什么最关键

很多企业站用前端框架渲染,浏览器里看着正常,爬虫拿到的却是空 HTML 或一句 Loading。判断方法很简单:用 curl 抓首页,如果返回的源码里找不到公司名和电话,就说明正文没有直出。

解决办法有三种:服务端渲染、静态生成、或者为爬虫配置预渲染。静态站天然满足这一条,这也是本项目采用静态架构的原因之一。

三、适用与不适用的场景

场景是否适用说明
新建静态站适用上线即可对照本清单核对
老站改版适用改版后需重新核对跳转与 sitemap
纯前端渲染站需改造必须先解决正文直出问题
临时测试环境不适用测试站应保持禁止抓取,避免与正式站重复

第二类需要特别提醒:老站改版时如果 URL 结构变了,务必配置 301 跳转,并把旧地址从 sitemap 中替换掉,否则会留下大量死链。

四、配置完成后的提交顺序

五项都通过之后,再到各站长平台验证并提交。顺序建议是:先把 sitemap 提交给头条搜索站长平台与百度搜索资源平台,再补 Bing、搜狗、神马。被动等爬虫自然抓取,高权重站也要两周以上,主动提交能明显缩短周期。

提交之后不是结束。每周看一次抓取诊断与索引量,发现异常及时处理,比反复提交更有效。

五、常见故障排查

现象可能原因排查方向
提交后长期不抓robots 拦截或 WAF 误封检查 UA 规则与防火墙日志
抓取成功但不索引内容质量判定不通过检查页面是否为薄内容或重复内容
索引量突然下降改版未做跳转核对 301 规则与 sitemap 一致性
抓取频次极低页面体积过大或响应慢开启 gzip 压缩,检查服务器响应时间

六、常见疑问

新站通常三到五天开始被爬,稳定收录要四到十二周。主动提交 sitemap 能明显加快这个过程。
不建议。电话、地址、参数必须是可复制文本,爬虫读不出图片里的文字,关键信息会被漏掉。
要,但前提是每篇文章都有独立价值。几百篇内容雷同的页面塞进去,反而会被判定为低质。
页面体积能压缩六到八成。爬虫抓取有带宽与超时约束,响应越快,单位时间内能抓的页面越多。
不需要单独建站。用响应式适配同一套 URL 即可,分成 m 站会造成权重分散。
配置 301 跳转到新地址,同时把旧地址从 sitemap 移除。直接删除会留下死链,影响整站评价。

结语:这五项是基础,不解决它们,内容做得再多也传不到 AI 那里。配置完成后建议每月复查一次,平台规则与服务器配置都可能变化。更多建站要求可对照服务与报价页与选型指南。