抓取工具的权限
发布时间:2015-03-10 来源:查字典编辑
摘要:
下一课通过 robots.txt 文件可以设置搜索引擎查找站点地图;
1、抓取工具的权限
1)点击左边导航栏中的“网站配置-抓取工具的权限”;
2)robots.txt 是一个文本文件,放在网站的根目录;
3)在robots.txt 里输入一句 Sitemap: http://teliute.org/sitemap.xml 告诉搜索引擎,站点地图的文件位置;
4)还可以在下边文本框中输入内容,测试 robots.txt 的效果,然后写入自己的robots.txt文件中;
5)点击“创建 robots.txt”标签可以方便地创建一个 robots.txt,然后下载下来,再上传到自己的站点中;
6)点击“删除网址”标签可以查看网址删除申请;
本节学习了设置抓取工具的权限的基础知识,如果你成功地完成了练习,请继续学习下一课内容;