Управление доступом AI-краулеров

Два разных потребителя, которых путают

Отсюда главное: блокировка AI-краулеров в robots.txt никак не влияет на AI Overviews. Это разные механизмы, и путаница здесь стоит дорого.

Инструменты и их последствия

<!-- закрыть от цитирования только цены, оставив остальное -->
<div data-nosnippet>
  Цена для партнёров: 3 200 ₽
</div>

robots.txt: разграничение ботов

Записи в robots.txt адресуются по user-agent. Порядок и точность имени критичны: неправильно написанное имя просто игнорируется.

# поисковые роботы — полный доступ
User-agent: Googlebot
Allow: /

User-agent: YandexBot
Allow: /

# конкретный краулер AI-сервиса — закрыт
User-agent: GPTBot
Disallow: /

# все остальные
User-agent: *
Allow: /
Disallow: /go.php
Disallow: /*inc_*.php

Sitemap: https://site.ru/sitemap.xml

Блокировка на уровне сервера

Когда решение принято окончательно, надёжнее закрывать на nginx — тогда это не зависит от доброй воли бота:

map $http_user_agent $block_ai {
    default            0;
    "~*GPTBot"         1;
    "~*CCBot"          1;
}

server {
    if ($block_ai) { return 403; }
}

Перед внедрением проверьте по логам, что под правило не попадают поисковые роботы: ошибка здесь выбьет сайт из индекса.

Про llms.txt

Формат, предложенный сообществом: текстовый файл в корне сайта с кратким описанием проекта и списком ключевых страниц — чтобы языковой модели было проще сориентироваться. Статус на сегодня:

• Официальной поддержки со стороны Google и Яндекса нет.
• Ни одна поисковая система не заявляла, что учитывает файл.
• Вреда он не приносит: это обычный текстовый файл.
• Полезный побочный эффект — вы формулируете, что у вас за проект и какие страницы главные.

Вывод: делать можно, рассчитывать на эффект — нет. Приоритет ниже, чем у разметки и структуры.

Как принимать решение

1. Оцените, что вы теряете. Посмотрите в аналитике переходы с доменов AI-сервисов: если их заметно, блокировка стоит трафика.
2. Отделите обучение от ответов. Возражение против обучения на вашем контенте — не то же самое, что нежелание быть источником ответа.
3. Решайте по типам контента, а не по всему сайту: платный раздел и блог могут иметь разные правила.
4. Используйте точечные инструменты. data-nosnippet на конкретных блоках почти всегда лучше, чем nosnippet на странице.
5. Зафиксируйте решение в документе с датой и причиной — через год вопрос вернётся.

Итог

Есть два независимых контура: поисковый индекс, откуда растут AI Overviews и нейроответы, и отдельные краулеры AI-сервисов. Первый управляется директивами сниппетов и всегда ценой обычного описания в выдаче; второй — robots.txt и настройками сервера. Решение стоит принимать осознанно и по типам контента, а не одним запретом на весь сайт.