Как языковые модели читают сайт

Путь страницы до ответа

Между публикацией текста и его появлением в сгенерированном ответе лежат несколько этапов. На каждом можно потерять страницу — и обычно теряют на первых двух.

Рендеринг: два разных мира

Здесь важно различать системы:

• AI Overviews и нейроответы работают поверх поискового индекса. Googlebot рендерит JavaScript, поэтому содержимое SPA туда попадает — с задержкой и не всегда полностью.
• Краулеры отдельных AI-сервисов в большинстве случаев забирают исходный HTML без выполнения скриптов. Для них всё, что подгружается после загрузки, просто не существует.

# то, что видит краулер без рендеринга
curl -s https://site.ru/page/ | sed 's/<[^>]*>/ /g' | tr -s ' \\n' ' \\n' | head -40

Если в выводе нет вашего основного текста — часть систем его никогда не увидит. Лечится серверным рендерингом или пререндером, см. смежный урок о PWA и индексации.

Разбор: как отделяют основное от обвязки

Прежде чем разбирать текст, систему интересует, какая его часть — содержание, а какая — меню, футер, баннеры и «читайте также». Помогает семантическая разметка:

<body>
  <header>…шапка…</header>
  <nav aria-label="Оглавление раздела">…</nav>
  <main>
    <article>
      <h1>Заголовок материала</h1>
      <p>Основной текст…</p>
    </article>
  </main>
  <aside>…содержание страницы…</aside>
  <footer>…подвал…</footer>
</body>

Разница между <div class="content"> и <main><article> для человека нулевая, для машины — существенная.

Фрагментация: главное практическое следствие

Страница не оценивается целиком. Она режется на фрагменты, и границы почти всегда проходят по заголовкам. Отсюда правила, которые определяют, будет ли у вас хоть один пригодный фрагмент:

• Раздел на 150–350 слов. Слишком короткий — нет содержания, слишком длинный — в один фрагмент не помещается.
• Один раздел — одна мысль. Два вопроса в одном разделе означают, что ни на один нет чистого ответа.
• Заголовок описывает содержание раздела, а не интригует.
• Ответ в первом абзаце раздела. Начало фрагмента — самая ценная его часть.
• Никаких отсылок наружу: «как показано выше», «в предыдущем разделе».
• Списки и таблицы внутри раздела, а не разорванные между разделами.

Извлечение фактов

Отдельно от текста системы вытягивают структурированные факты: числа, даты, цены, шаги, характеристики. Чем однозначнее они записаны, тем надёжнее извлечение.

Разметка здесь работает как страховка: она снимает двусмысленность там, где текст можно понять по-разному — подробности в уроке о schema.org.

Чего делать нельзя

Итог

Модель не «читает страницу» в человеческом смысле — она получает HTML, отделяет содержание от обвязки, режет на фрагменты и ищет среди них ответ. Значит, работа оптимизатора смещается к тому, чтобы границы смысла совпадали с границами разметки: заголовок — раздел — ответ в первом абзаце.