全站禁止收录怎么设置-网站被禁止搜索引擎抓取

设置全站禁止收录，核心是在网站根目录放一个 robots.txt 文件，并写入禁止所有搜索引擎抓取的规则。

✅ 最直接的配置方法

在网站根目录下创建或编辑 `robots.txt` 文件，写入以下内容：

```text

User-agent: *

Disallow: /

```

这段代码的意思是：禁止所有搜索引擎的蜘蛛（如百度的 Baiduspider、谷歌的 Googlebot）访问你网站的任何目录和页面。 配置完成后，搜索引擎通常会在 48 小时内开始遵守新规则，之后的新网页将不再被收录。

如果想只禁止百度，可以写成：

```text

User-agent: Baiduspider

Disallow: /

```

⚠️ 重要提醒

- 只设置 robots.txt 不会立刻删除已经收录的历史页面，已经索引的内容可能需要数月时间才会逐步从搜索结果中移除。

- 如果情况紧急，比如涉及隐私或敏感信息，建议同时登录百度搜索资源平台，通过“删除URL”功能提交删除申请，加快移除速度。

- 如果希望彻底移除所有痕迹，可以让页面返回 404 状态码，这有助于搜索引擎更快地将其从索引库中删除。

🛠️ 其他辅助方法

如果只想禁止某个目录或页面，而不是全站，可以使用以下方法：

1. robots.txt 指定目录：在 robots.txt 中写 `Disallow: /private/` 即可禁止抓取 `private` 目录下的所有内容。

2. Meta 标签：在单个网页的 `<head>` 区域添加 `<meta name="robots" content="noindex, nofollow">`，可以精准禁止这一页被索引，适合不想动服务器配置的情况。

3. X-Robots-Tag HTTP 头：在服务器配置中（如 Nginx）添加响应头，适合批量控制非 HTML 文件（如 PDF、图片）。

> 需要特别注意：robots.txt 是“建议性”协议，大部分主流搜索引擎（百度、谷歌）会遵守，但并非所有爬虫都会遵循，涉及高度敏感的内容，建议结合密码访问或彻底删除页面。