- html5css.dev
- SEO
- SEO продвижение
- Техническая оптимизация
- Техническая оптимизация сайта
Техническая оптимизация сайта
Техничка — фундамент: если робот не может обойти и отрисовать страницу, всё остальное не имеет значения. Разбираем состав работ и порядок, в котором их делают.
.htaccess, борьбу за «валидность W3C» и мета-теги, которые
не учитываются. Ниже — состав работ по приоритету влияния.
Шесть блоков технической оптимизации
| # | Блок | Главный вопрос | Цена ошибки |
|---|---|---|---|
| 1 | Доступность | Может ли робот получить и отрисовать страницу? | Страницы нет в индексе |
| 2 | Коды ответа | Что отдаёт сервер: 200, 301, 404, 5xx? | Потеря страниц и веса |
| 3 | Индексация | Что в индексе и что исключено? | Мусор в выдаче, нужное вне её |
| 4 | Дубли | Сколько URL отдают одно и то же? | Размытие сигналов, каннибализация |
| 5 | Скорость | Core Web Vitals в зелёной зоне? | Поведение и слабый фактор ранжирования |
| 6 | Разметка | Понимает ли машина содержание? | Упущенные возможности, не потери |
Порядок не случайный: каждый следующий блок имеет смысл только когда решён предыдущий. Разметка на странице, которую робот не видит, бесполезна.
1. Доступность
- robots.txt не закрывает лишнего — особенно CSS и JS: без них робот видит «поехавшую» страницу.
- Нет случайного
noindexв шаблоне после релиза. - Содержание есть в серверном HTML, а не появляется только после JavaScript.
- Сервер отвечает стабильно и достаточно быстро — см. урок о скорости доступа.
- Защита от ботов не блокирует поисковых роботов — частая проблема после подключения CDN.
Проверка: инструмент проверки URL в Search Console — вкладки «HTML» и «Скриншот» показывают, что именно получил робот.
2. Коды ответа
| Код | Когда правильно | Когда ошибка |
|---|---|---|
| 200 | Страница существует и содержательна | Отдаётся для несуществующего адреса («мягкая 404») |
| 301 | Страница переехала навсегда | Цепочка из нескольких переходов; редирект всего на главную |
| 404 | Страницы нет и не будет | Отдаётся для рабочих страниц из-за ошибки шаблона |
| 410 | Страница удалена намеренно | — |
| 5xx | Никогда не «правильно» | Робот резко снижает обход, страницы выпадают |
# быстрая проверка кодов по списку URL
while read u; do
printf '%s %s\n' "$(curl -s -o /dev/null -w '%{http_code}' -L --max-time 10 "$u")" "$u"
done < urls.txt3. Индексация
Отчёт «Индексирование страниц» в Search Console делит адреса на проиндексированные и исключённые с причинами. Разбирать нужно обе части:
- Исключено, но должно быть в индексе — самая дорогая категория. Причины:
noindex, канонический адрес другой, дубль, ошибка обхода. - В индексе, но не должно быть — результаты поиска по сайту, фильтры, служебные страницы, тестовые поддомены.
- Обнаружено, не проиндексировано — обычно нехватка бюджета обхода или низкая ценность страницы.
4. Дубли
Один и тот же контент по нескольким адресам — самая распространённая техническая проблема. Источники разобраны отдельно: дубли контента, дубли мета-тегов, пагинация.
5. Скорость
Ориентир — Core Web Vitals по полевым данным, отдельно для мобильных. Разбор метрик и инструментов — в уроке мобильного курса, серверная часть — в уроке о скорости доступа.
6. Разметка
Последний по очереди, но не по полезности блок: структурированные данные не чинят проблемы, а открывают возможности. Практика — в уроке о schema.org.
keywords, revisit-after, author не учитываются.
Настройка .htaccess актуальна только для Apache — на nginx она
просто игнорируется.
Инструменты
| Задача | Инструмент |
|---|---|
| Что в индексе и почему исключено | Search Console → Индексирование; Яндекс.Вебмастер → Страницы в поиске |
| Что видит робот | Search Console → Проверка URL |
| Полный обход сайта | Screaming Frog, Netpeak Spider, SiteAnalyzer |
| Скорость | Core Web Vitals, PageSpeed Insights |
| Разметка | Тест расширенных результатов, Schema Validator |
| Реальный обход роботом | Логи сервера |
| Доступность и коды | Мониторинг с оповещением |
Порядок разового аудита
- Прогнать сайт краулером и выгрузить все URL с кодами ответа.
- Сверить с отчётом индексирования: что исключено и почему.
- Найти дубли по
title,h1и содержанию. - Проверить
robots.txtиsitemap.xml. - Проверить несколько типовых URL инструментом проверки URL.
- Посмотреть Core Web Vitals по группам страниц.
- Свести находки в таблицу «проблема — сколько URL — стоимость правки» и чинить по этому порядку.
Итог
Техническая оптимизация — это не список из сотни пунктов, а шесть блоков в порядке убывания цены ошибки. Начинайте с доступности и кодов ответа: всё остальное имеет смысл только когда робот стабильно получает ваши страницы. Дальше в главе — битые страницы и ссылки.
Частые вопросы
С чего начинать технический аудит?
С отчёта «Индексирование страниц» в Search Console и раздела «Страницы в поиске» в Яндекс.Вебмастере. Они показывают, что реально попало в индекс и что исключено — а это и есть главный технический вопрос.
Какие технические проблемы самые дорогие?
Недоступность страниц для робота, массовые дубли и неверные коды ответа. Они не ухудшают позиции постепенно, а исключают страницы из выдачи целиком.
Нужен ли платный краулер?
Для сайта до нескольких сотен страниц хватает бесплатных лимитов Screaming Frog или SiteAnalyzer. Для крупных проектов платная версия окупается: без полного обхода часть проблем не видна.
Как часто проводить технический аудит?
Полный — раз в квартал и после каждого крупного релиза. Отчёты индексирования и Core Web Vitals стоит смотреть ежемесячно, коды ответа — держать под мониторингом постоянно.