
robots.txt文件生成器
点击收藏-
全局设置
-
限制目录
-
Sitemap
-
国内搜索引擎
-
国外搜索引擎
1、robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
2、robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
3、如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
4、robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
5、注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容1、搜索引擎蜘蛛的是否可访问性或者说可爬行性
2、搜索引擎蜘蛛针对目录或者文件的可访问性
3、网站站点地图sitemap路径定义
4、搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器1、通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
2、创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
3、把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
简单概括
将一段内容用最段的语言进行表达
小红书穿搭文案
AI帮您快速生成小红书穿搭文案
知乎问题
批量生成比较热门且吸引力比较高的问题。
BCC校验在线计算
BCC校验(异或校验)在线计算工具
(BMR)基础代谢率
人体基础代谢率(BMR)在线计算工具
浏览器信息查看
一款可以免费查看当前浏览器详细信息的在线小工具
木材密度计算器
在线计算木才的密度
N次方计算工具
在线N次方计算工具
亲戚称呼计算器
中国家庭亲戚在线计算器
圆柱侧面积计算器
在线计算圆柱体侧面的表面积
密度单位换算
密度单位在线换算工具
相反颜色计算器
一款在线取相反颜色的计算工具
批量删除图片EXIF信息
在线批量删除图片中的EXIF信息
图片翻转
在线图片批量翻转,可垂直翻转,水平翻转
图片加水印
一键给图片添加水印
节日大全
在线查询每年的所有节日
在线思维导图
在线思维盗图处理工具
年龄计算器
年龄在线计算工具
PDF文件添加水印
在线对PDF文件添加水印
在线云风扇
除没有风啥都好的云风扇
睡眠周期计算器
在线计算睡眠周期计算工具
UTF8与中文互转
UTF8转中文/中文转UTF8处理工具
孩子血型预测
子女血型在线预测工具
正则表达式大全
常用正则表达式大全