官网上线后,中小企业自查 GEO 爬虫配置的清单
发布时间:2026-08-15 · 更新时间:2026-08-15
官网能不能被 AI 抓到,先看五件事:域名和 HTTPS、robots、sitemap、页面正文是否直出、标题描述是否完整。这五件不达标,后续内容做得再好,爬虫也可能看不到。这篇按上线顺序给出自查清单,附常见故障的排查方向。
一、五项必查
上线前逐项核对,任何一项不通过都要先修再谈内容。
| 项目 | 要求 | 自查方法 |
|---|---|---|
| 域名与 HTTPS | 稳定域名,全站 HTTPS,HTTP 301 跳转 | 浏览器访问 http:// 看是否自动跳转 |
| robots.txt | 放行 Bytespider、ByteDance-SearchCrawler 等爬虫 | 访问 /robots.txt,确认无 Disallow: / |
| sitemap.xml | UTF-8 编码,含全部核心页,填写 lastmod | 访问 /sitemap.xml,确认返回 200 |
| 正文直出 | curl 能看到正文、公司名、电话 | curl -sL 域名 | head -n 80 |
| Title / Meta | 每页唯一,含核心词与地域 | 抽查首屏源码,确认非 JS 注入 |
第三项常被忽略的是编码。sitemap 若存成 GBK,部分爬虫解析会失败,建议统一保存为 UTF-8。
二、正文直出为什么最关键
很多企业站用前端框架渲染,浏览器里看着正常,爬虫拿到的却是空 HTML 或一句 Loading。判断方法很简单:用 curl 抓首页,如果返回的源码里找不到公司名和电话,就说明正文没有直出。
解决办法有三种:服务端渲染、静态生成、或者为爬虫配置预渲染。静态站天然满足这一条,这也是本项目采用静态架构的原因之一。
三、适用与不适用的场景
| 场景 | 是否适用 | 说明 |
|---|---|---|
| 新建静态站 | 适用 | 上线即可对照本清单核对 |
| 老站改版 | 适用 | 改版后需重新核对跳转与 sitemap |
| 纯前端渲染站 | 需改造 | 必须先解决正文直出问题 |
| 临时测试环境 | 不适用 | 测试站应保持禁止抓取,避免与正式站重复 |
第二类需要特别提醒:老站改版时如果 URL 结构变了,务必配置 301 跳转,并把旧地址从 sitemap 中替换掉,否则会留下大量死链。
四、配置完成后的提交顺序
五项都通过之后,再到各站长平台验证并提交。顺序建议是:先把 sitemap 提交给头条搜索站长平台与百度搜索资源平台,再补 Bing、搜狗、神马。被动等爬虫自然抓取,高权重站也要两周以上,主动提交能明显缩短周期。
提交之后不是结束。每周看一次抓取诊断与索引量,发现异常及时处理,比反复提交更有效。
五、常见故障排查
| 现象 | 可能原因 | 排查方向 |
|---|---|---|
| 提交后长期不抓 | robots 拦截或 WAF 误封 | 检查 UA 规则与防火墙日志 |
| 抓取成功但不索引 | 内容质量判定不通过 | 检查页面是否为薄内容或重复内容 |
| 索引量突然下降 | 改版未做跳转 | 核对 301 规则与 sitemap 一致性 |
| 抓取频次极低 | 页面体积过大或响应慢 | 开启 gzip 压缩,检查服务器响应时间 |
六、常见疑问
新站通常三到五天开始被爬,稳定收录要四到十二周。主动提交 sitemap 能明显加快这个过程。
不建议。电话、地址、参数必须是可复制文本,爬虫读不出图片里的文字,关键信息会被漏掉。
要,但前提是每篇文章都有独立价值。几百篇内容雷同的页面塞进去,反而会被判定为低质。
页面体积能压缩六到八成。爬虫抓取有带宽与超时约束,响应越快,单位时间内能抓的页面越多。
不需要单独建站。用响应式适配同一套 URL 即可,分成 m 站会造成权重分散。
配置 301 跳转到新地址,同时把旧地址从 sitemap 移除。直接删除会留下死链,影响整站评价。
结语:这五项是基础,不解决它们,内容做得再多也传不到 AI 那里。配置完成后建议每月复查一次,平台规则与服务器配置都可能变化。更多建站要求可对照服务与报价页与选型指南。