Битые страницы и ссылки

Какой код в какой ситуации

Мягкая 404 — тихая, но дорогая проблема

Страница отдаёт код 200 и текст «ничего не найдено». Поисковик видит успешный ответ и пустое содержание, помечает адрес как «мягкую 404» и может распространить недоверие на похожие адреса. Типичные источники:

• Карточка удалённого товара с сообщением «товар не найден» и кодом 200.
• Пустая категория после применения фильтра.
• Результат поиска без совпадений.
• Страница ошибки, реализованная как обычный шаблон.
• Редирект всех несуществующих адресов на главную.

Проверка: отчёт «Индексирование страниц» в Search Console, категория «Страница с ошибкой soft 404».

Цепочки редиректов

# смотрим всю цепочку переходов
curl -sIL -o /dev/null -w '%{http_code} -> %{url_effective}\n' https://site.ru/staraya-stranica

# подробнее: каждый шаг
curl -sIL https://site.ru/staraya-stranica | grep -iE '^HTTP|^location'

Правило: один переход до конечного адреса. Отдельно обновите внутренние ссылки — они должны вести сразу на конечный URL, а не через редирект.

Как искать битые ссылки

1. Краулер по всему сайту. Screaming Frog или Netpeak: колонка «Status Code», фильтр 4xx и 5xx. Отчёт «Inlinks» покажет, с каких страниц стоят ссылки.
2. Search Console → Индексирование. Категории «Не найдено (404)» и «Ошибка сервера».
3. Яндекс.Вебмастер → Страницы в поиске, вкладка исключённых.
4. Логи сервера. Реальные обращения к несуществующим адресам, включая переходы по внешним ссылкам.
5. Внешние ссылки на 404. Search Console → Ссылки: если на удалённую страницу кто-то ссылается, ставьте 301 на близкую по теме — иначе вес теряется.

# топ несуществующих адресов из логов nginx
awk '$9 == 404 {print $7}' access.log | sort | uniq -c | sort -rn | head -30

Полезная страница 404

• Отдаёт настоящий код 404, а не 200 — это главное.
• Объясняет, что произошло, обычными словами.
• Даёт поиск по сайту и ссылки на основные разделы.
• Сохраняет шапку и навигацию — человек не должен чувствовать себя вне сайта.
• Не редиректит автоматически: пользователь должен понять, что адрес неверен.
• Закрыта от индексации через noindex.

# nginx
error_page 404 /404.php;
location = /404.php {
    internal;
    add_header X-Robots-Tag "noindex" always;
}

Порядок работ

1. Найти 4xx и 5xx краулером, выгрузить со списком ссылающихся страниц.
2. Исправить внутренние ссылки — они полностью в вашей власти.
3. Для адресов с внешними ссылками поставить 301 на близкие страницы.
4. Остальное оставить на 404 или закрыть 410 — если удалено намеренно.
5. Развернуть цепочки редиректов до одного перехода.
6. Проверить страницу ошибки: код, содержание, noindex.
7. Настроить мониторинг 5xx с оповещением.

Итог

404 — не проблема сама по себе. Проблема — внутренние ссылки на мёртвые адреса, потерянный вес от внешних ссылок, цепочки редиректов и страницы, которые притворяются существующими. Чинится это выгрузкой из краулера и правкой ссылок в шаблонах. Дальше — дубли мета-тегов и H1.