Страницы поиска по сайту в выдаче

Страницы результатов внутреннего поиска, пустые теги и категории без описания попадают в индекс сами. Разбираем, как их закрыть и чем именно.

Что изменилось с прошлой версии урока Вывод прежнего урока верен, но способ был назван неточно: закрывать такие страницы через robots.txt — распространённая ошибка. Запрет обхода не убирает страницу из индекса, а мешает роботу прочитать директиву noindex. Ниже разобрано, чем и что закрывать.

Что не должно быть в выдаче

Тип страницы	Почему
Результаты поиска по сайту	Нет собственного содержания
Пустые категории и теги	Список из одной-двух позиций
Страницы фильтров без спроса	Комбинаторный мусор
Служебные: корзина, личный кабинет	Бесполезны в выдаче
Страницы благодарности	Вне контекста бессмысленны
Версии для печати	Дубли
Тестовые и черновые	Не готовы к показу

Чем закрывать

Инструмент	Что делает	Когда применять
`<meta name="robots" content="noindex">`	Исключает из выдачи	Основной способ
`Disallow` в robots.txt	Запрещает обход	Для экономии обхода, не для скрытия
Канонический адрес	Указывает основную версию	Для дублей и фильтров
Код ответа 404 или 410	Удаляет страницу	Когда страница не нужна вовсе

Классическая ошибка Поставить noindex на странице и одновременно закрыть её в robots.txt. Робот не зайдёт на страницу, не увидит директиву — и адрес останется в индексе без описания. Правильно: разрешить обход, оставить noindex, а когда страница выпадет из выдачи — можно закрывать обход.

Теги и категории: закрывать не всегда

Осмысленная подборка с описанием — оставить открытой, это полезная страница.
Автоматический список из двух статей — закрыть или не создавать.
Категория без вводного текста — дописать текст, а не закрывать.
Дублирующие теги вроде «SEO» и «сео» — объединить.

Здесь важно не перестараться: страница списка со своим описанием и логикой отбора — это листинг, и он должен индексироваться.

Как найти тонкие страницы

Прогоните сайт краулером с подсчётом объёма основного текста.
Отфильтруйте страницы с наименьшим объёмом.
Отдельно посмотрите списки с числом элементов меньше трёх.
Сверьтесь с отчётом индексирования: тонкие часто среди исключённых.
Проверьте, есть ли у них показы, — если есть, страница нужна.

# служебные страницы в индексе
site:example.com inurl:search
site:example.com inurl:?s=
site:example.com inurl:tag

Правило проверки Спросите: может ли эта страница быть чьим-то ответом на запрос в поиске? Если нет — ей не место в выдаче, независимо от того, сколько ссылок на ней собрано.

Итог

Страницы внутреннего поиска, пустые теги и служебные адреса закрываются метатегом noindex, а не запретом обхода. Списки с собственным описанием при этом закрывать не нужно — они полезны. Дальше — внутреннее ссылочное.

Частые вопросы

Почему страницы поиска по сайту не должны быть в индексе?

Это страницы без собственного содержания: набор ссылок, собранный по запросу. Поисковые системы прямо не рекомендуют показывать в выдаче результаты другого поиска.

Чем закрывать: noindex или robots.txt?

Для исключения из выдачи — метатегом noindex, тогда робот увидит директиву. Запрет в robots.txt мешает роботу зайти на страницу и прочитать noindex, поэтому такая страница может остаться в индексе.

Нужно ли закрывать страницы тегов?

Если тег — это осмысленная подборка с описанием, он полезен и должен индексироваться. Если это автоматический список из двух статей, лучше закрыть или не создавать вовсе.

Как найти тонкие страницы?

Краулером по объёму основного текста и по числу элементов в списке, плюс отчётом индексирования: тонкие страницы часто попадают в категорию исключённых.

Вся глава «Контент и ключевые слова» — 20 уроков

SEO продвижение сайтов

С чего начать

Мобильное SEO

Мобильная выдача

SEO для AI

Новый курс