搜索与 SEO
robots.txt
robots.txt
网站向遵循机器人排除协议的抓取程序表达访问规则的文本文件。它针对抓取行为提出规则，不承担登录鉴权、机密保护或所有搜索展示控制的职责。
举个例子
禁止某爬虫抓取一条路径，可能使它无法读取该页的 noindex 标签。若网址已从其他地方获知，抓取被阻止和网址在结果中完全消失也不是同一件事。
与 GEO 的关系
配置时区分目标机器人的用途，避免误封需要公开发现的正文、样式或脚本。服务器日志和平台工具可以帮助判断规则是否产生预期访问行为。
适用边界
robots.txt 不是安全边界，不应把敏感地址放进去就认为已保护。不同机器人遵循程度与产品用途不同，单个规则不能代表平台所有数据使用方式。
参考资料
© 2026 NiubiGEO。原创文章与图示未经书面授权禁止转载、复制、改编或用于商业发布，法律另有规定或另有授权的除外。第三方资料的权利归其权利人所有。本声明不改变开源软件许可证。