为什么搜索引擎迟迟不收录我的站点？
先问自己：站点是否被主动提交？未提交URL是90%新站不被抓取的根源。打开 Search Console，确认 sitemap.xml 已正确上传且状态为“成功”。若状态为“无法获取”，多半是 robots.txt 误封或 CDN 防火墙拦截了 Googlebot IP。
抓取频次低的核心原因拆解
- 服务器响应慢：TTFB 超过 600ms，爬虫会自动降低来访节奏。
- 重复内容泛滥：大量 tag 页、分页参数导致蜘蛛陷入黑洞。
- 内链孤岛：重要落地页距离首页点击深度大于 3，被视为边缘页面。
如何快速诊断抓取瓶颈？
步骤一：日志分析
下载最近 7 天原始访问日志，用 Shell 命令 grep -i 'bot' access.log | awk '{print $1,$7,$9}' | sort | uniq -c | sort -nr 统计蜘蛛访问路径。若返回码 404 占比高于 5%，立即修复死链。
步骤二：抓取预算测算
自问：我的站点每日产生多少新 URL？若新增量 > 抓取预算，旧页面会被挤出队列。公式：抓取预算 ≈ 日均蜘蛛访问页数 × 平均抓取深度。通过 Search Console 的“抓取统计”可直接读取。
提升抓取频次的实战技巧
1. 优化服务器性能
启用 Brotli 压缩、HTTP/2、Keep-Alive，将首包时间压到 200ms 以内。实测，TTFB 从 800ms 降到 180ms 后，百度蜘蛛抓取量提升 2.3 倍。
2. 构建扁平化信息架构
把核心分类放在主导航，使用 HTML 锚文本而非 JS 跳转。每新增一篇内容，至少在 3 个相关旧文中做锚文本指向，形成蛛网式内链。
3. 主动推送与索引 API
百度：使用“普通收录-API 提交”，每次推送不超过 2000 条 URL。
Google：部署 Indexing API，对 JobPosting、Livestream 类型页面可实现分钟级收录。
推送后 24 小时内，监控返回码，若出现 403 立即检查 Token 权限。
4. 减少低质量参数
在 GSC 的“参数处理”中，把 ?sort=、?from= 设为“不影响页面内容”。此举可节省 30% 以上的抓取预算。
常见疑问快问快答
问：外链数量少会影响抓取吗？
答：不会直接影响频次，但高质量外链能缩短首次发现时间，尤其对冷启动站点。
问：每天更新多少篇才算“活跃”？
答：与其追求数量，不如保持固定节奏。实测每日 2-3 篇原创，连续 30 天后，抓取间隔从 48h 缩短到 6h。
问：CDN 缓存命中率低怎么办？
答：把静态资源设置 7 天缓存，HTML 设置 60-120 秒动态缓存，并通过 Edge Cache Tag 清理指定页面，避免全站刷新。
长期策略：把爬虫当“用户”运营
建立“蜘蛛专属”性能看板，包含：抓取成功率、平均响应、重复抓取率。每周例会讨论数据异常，像优化转化率一样优化爬虫体验。当蜘蛛发现每次来访都有新内容且速度极快，它会自发提高访问频率。
评论列表