https://www.zzwws.cn/archives/5379/ robots.txt的作用1、引导搜索引擎蜘蛛抓取指定栏目或内容；2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接；3、屏蔽死链接、404错误页面；4、屏蔽无内容、无价值页面；5、屏...