核心做法不是急着删域名或做跳转,而是先给每个域名写一句可验证的用途声明,再用它决定哪些相似内容该保留、该合并、该屏蔽。下面用一个假设情境把决策过程走完。
假设你手上有三个域名:主站 example.com、旧品牌域名 oldbrand.com、活动域名 campaign.example.net。三者的栏目结构和文章高度相似,旧域名上还留着大量已被替换的页面,活动域名只做过一次短期投放。你已经提交过站点地图、在 robots.txt 里限制过部分目录,但相似内容仍然同时出现在不同域名的抓取结果里。这时真正遗漏的条件往往不是技术配置,而是没有为每个域名定义唯一用途。
用途声明要能回答“这个域名为什么必须存在”。可用的句式是:该域名服务于哪类访问者、承载哪类内容、与主站是什么关系。例如:
写不出这句声明的域名,通常就是可以被合并或停用的对象。这一步的结果直接决定下一步:只有声明为“需要被索引”的域名,才值得继续投入内容维护和抓取配置。
相似不等于重复,处理方式取决于它在用途声明里的角色。可以按下面的判断顺序走:
这里要避免一个常见误判:把 robots.txt 的抓取限制当成索引移除手段。限制抓取只影响爬虫能否访问,已经建立的索引记录未必因此消失,所以对需要合并的相似内容,跳转或规范化通常比单纯屏蔽更可核查。
假设你对旧品牌域名做了两件事:把文章目录 301 到主站对应地址,把品牌词落地页保留并加上指向主站的规范化链接。接下来要看的不是“排名有没有涨”,而是这些可复查的现象:
如果一段时间后旧地址的抓取量下降,这只能说明抓取行为变化,不能单独证明合并已经完成;还要结合跳转状态、页面返回内容和规范化指向一起判断。类似地,站点地图提交不保证收录,HTTPS 也不等于内容重复问题自动消失。不同搜索引擎对规范化和跳转的处理细节需要分别核查,不能用一个平台的表现推断全部。
按顺序执行,可以避免边删边补:
当每个域名都能用一句话说明用途,并且实际返回状态与这句话一致时,相似内容就不再是模糊的重复问题,而是一组可以逐项验证的配置结果,后续的保留或停用决策也就有了依据。