规则列表
User-agent: * Disallow: /admin/ Disallow: /api/ Allow: /
如何使用Robots.txt生成器
- 选择需要配置的搜索引擎爬虫类型
- 设置允许和禁止抓取的目录路径
- 添加Sitemap文件地址
- 点击「生成」按钮，下载robots.txt文件
Robots.txt生成器功能说明
- 支持配置所有主流搜索引擎爬虫规则
- 可视化设置允许和禁止目录，无需手写代码
- 自动生成标准格式的robots.txt文件
- 提供常见配置模板，快速套用
注意事项
- robots.txt仅是建议而非强制，恶意爬虫可能忽略
- 不要通过robots.txt隐藏敏感目录，应使用权限控制
- 语法错误可能导致搜索引擎无法正确解析
- 修改robots.txt后需等待搜索引擎重新抓取生效
