Типичные технические ошибки

Пятнадцать ошибок

Проверка после релиза за минуту

#!/bin/sh
S=https://site.ru

echo '— robots.txt'
curl -s $S/robots.txt | grep -E '^Disallow: /$' && echo '  СТОП: сайт закрыт целиком'

echo '— noindex в шаблоне'
curl -s $S/ | grep -io '<meta[^>]*noindex[^>]*>' && echo '  СТОП: главная закрыта'

echo '— canonical'
curl -s $S/ | grep -io '<link[^>]*canonical[^>]*>' || echo '  ВНИМАНИЕ: canonical отсутствует'

echo '— код ответа и время'
curl -s -o /dev/null -w '  %{http_code}  ttfb %{time_starttransfer}s\n' $S/

echo '— несуществующий адрес должен отдавать 404'
curl -s -o /dev/null -w '  %{http_code}\n' $S/nesushchestvuyushchiy-adres-12345

echo '— карта сайта'
curl -s -o /dev/null -w '  %{http_code}\n' $S/sitemap.xml

Краулинговый бюджет

Для сайта на несколько тысяч страниц бюджет обхода обычно не ограничивает ничего. Проблема появляется на крупных каталогах, где комбинации фильтров и сортировок плодят сотни тысяч адресов.

• Смотрите отчёт статистики сканирования в Search Console: сколько запросов в сутки, среднее время ответа, распределение по типам файлов.
• Анализируйте логи: какие адреса робот обходит чаще всего. Если это фильтры — бюджет уходит впустую.
• Закрывайте комбинации параметров от обхода, оставляя ценные фильтры открытыми.
• Убирайте цепочки редиректов — каждый переход это лишний запрос.
• Ускоряйте ответ сервера: при быстром ответе робот делает больше запросов в сутки.

# что робот обходит чаще всего
grep -i googlebot access.log | awk '{print $7}' \
  | sed 's/?.*//' | sort | uniq -c | sort -rn | head -20

# доля запросов к фильтрам
grep -i googlebot access.log | awk '{print $7}' | grep -c '?'

Что стоит автоматизировать

1. Мониторинг доступности с оповещением при 5xx — самая дешёвая страховка.
2. Проверка после деплоя — скрипт выше в конвейере сборки.
3. Еженедельный обход краулером с отчётом о новых 4xx.
4. Валидация разметки на этапе сборки.
5. Автогенерация sitemap при публикации.

Итог

Технические ошибки редко бывают экзотическими: это один и тот же набор из пятнадцати случаев, и больше половины приезжает вместе с релизом. Поэтому самое полезное — не разовый аудит, а короткая автоматическая проверка после каждого деплоя и мониторинг доступности.