XML 站点地图生成器粘贴网址列表,即可得到有效且已转义的 sitemap.xml,可选设置最后修改日期。
Robots.txt 生成器
robots.txt 告诉守规矩的爬虫可以请求网站的哪些部分。它不是安全功能——被屏蔽的网址仍可被访问,如果其他页面链接到它们,甚至可能出现在搜索结果中。要让页面不出现在结果中,请改用 noindex 标签。
测试路径
完全在浏览器中运行。你的输入内容和文件不会上传到任何服务器。
使用方法
- 选择一个起始预设。
- 列出要禁止或允许的路径,每行一个,并添加你的站点地图网址。
- 测试几个路径,然后下载 robots.txt 并上传到域名根目录。
示例
屏蔽管理后台
禁止 /admin/,同时让网站其余部分可被抓取。
拒绝 AI 训练爬虫
为 GPTBot、CCBot 等公布了退出方式的用户代理添加规则。
隐私
完全在浏览器中运行。你的输入内容和文件不会上传到任何服务器。 浏览器中保存了哪些内容(仅收藏和历史记录),请参阅隐私政策。 隐私政策
你可以自己验证:打开浏览器的开发者工具,选择“网络”(Network)标签,然后使用工具。你的文件不会出现在任何上传请求中。此页面保存为离线可用后,你还可以断开网络继续使用。 广告和匿名访问统计在启用时会发出各自的请求,但绝不会接收你的文件或文本。
常见问题
robots.txt 放在哪里?
放在主机根目录:https://example.com/robots.txt。每个子域名都需要自己的文件。
Disallow 会把页面从 Google 中删除吗?
不会。它阻止的是抓取,而不是索引。要从结果中删除页面,请使用 noindex meta 标签(并允许抓取)。
测试工具如何判断?
遵循 Robots 排除协议(RFC 9309):最长的匹配规则优先,长度相同时 Allow 优先,并支持 * 和 $ 通配符。测试的是“*”组。
相关工具
全部SEO 工具Meta 标签生成器为页面生成规范的 HTML meta 标签:标题、描述、canonical、robots、Open Graph 和 Twitter Card,并提供长度建议。
规范网址助手将网址统一为一致的规范形式:HTTPS、带或不带 www、末尾斜杠、删除跟踪参数。
网站图标生成器从一张图片或一个字母生成完整的网站图标套件:favicon.ico、16–512 px 的 PNG、Apple Touch 图标、Web 清单和 HTML 标签,打包为一个 ZIP。
Slug 生成器将标题转换为简洁的小写网址 slug。
Open Graph 预览根据 og:title、og:description 和 og:image 预览链接卡片,检查图片尺寸和文本长度,并复制 Open Graph 标签。