Логи поисковых роботов: как найти потерянный обход

Что логи показывают сверх счетчика

Мини-кейс: за неделю робот запрашивает 300 URL сортировки и только 24 URL услуг. Это не диагноз само по себе: возможно, сортировки связаны из каждого листинга, а услуги уже давно известны поиску. Сравните с предыдущей неделей, датами обновления услуг и внутренними ссылками. Для проверки настоящего поискового робота не полагайтесь на один user-agent: бот-сканер может назвать себя Googlebot. Сохраните агрегаты без лишних персональных данных, чтобы следующий отчет можно было сравнить тем же способом. Результат сформулируйте как конкретное действие над источником URL, а не как абстрактную «оптимизацию бюджета».

Доля запросов к /catalog?sort=* в учебном примере намного выше, чем к услугам, но из этого нельзя сразу вывести потерянные позиции. Сначала проверьте, откуда рождаются ссылки на сортировку и отличаются ли их ответы. Для 404 под /old/* соберите страницы-источники: внешняя старая ссылка и сломанный пункт меню требуют разной работы. Запросы группируйте по нормализованному пути, сохраняя исходный URL для проверки отдельных случаев.

Соберите запросы по группам URL и ответам

Получите серверный лог с временем, адресом, кодом, user-agent и временем ответа. Сначала отделите подтвержденных поисковых роботов от произвольной строки user-agent: ее может подставить кто угодно.

Группируйте URL по шаблонам: услуги, статьи, фильтры, параметры, файлы. Сравните доли 200, 3xx, 4xx и 5xx в одном периоде. Отдельно смотрите запросы к robots.txt и sitemap.

Отделите настоящих роботов от подделок

Частота запросов сама по себе не равна индексации или полезности страницы. Робот может многократно обращаться к проблемному URL и не включить его в поиск; сверяйте логи с инструментами поисковой системы.

Найдите шаблон, съедающий обход

Исправляйте повторяющиеся причины: ошибки 5xx, длинные цепочки, внутренние ссылки на 404, бесконечные комбинации параметров. Приоритет определяется охватом и значимостью раздела, а не только количеством строк лога.

У небольшого сайта малое число запросов к новой странице может быть нормальным. Не создавайте искусственные URL или массовые переотправки ради числа обращений робота.

Разделите логи на шаблоны: полезные страницы, параметры сортировки, ошибки и статические файлы. Подтвердите подлинность важных роботов, прежде чем считать запросы. Затем сравните долю обхода новых посадочных с объемом бесполезных URL, не выдавая эту долю за показатель индексации.

Исправьте источник лишних URL и ошибок

Сохраните исходный срез и правила группировки. После исправления проверьте новую неделю сопоставимой длины; не делайте вывод по одному дню после релиза.

Сравните равные периоды логов

Для группы с подозрением откройте реальные URL, сравните ответы и внутренние ссылки. Согласуйте результат с разделом индексации и датой последнего обхода, прежде чем объявлять проблему решенной.

После устранения источника параметрических ссылок сравните равные интервалы логов и те же группы URL. Для нескольких новых услуг дополнительно проверьте дату последнего обхода и статус в поисковом сервисе. Одно уменьшение числа запросов к мусорным адресам еще не означает рост трафика.

Проверка результата

• Намерение страницы определено
• Сохранена выборка URL до исправления
• HTTP-ответ и содержимое сверены
• Внутренние ссылки проверены
• Исключения учтены
• Проверка после релиза записана

Скачать таблицу примера

Вопросы по теме

Читайте также