Закрытые CSS и JS: как проверить, что робот видит страницу

Почему HTML есть, а рендер пустой

Мини-кейс: основной заголовок услуги есть в исходном HTML, а этапы работ и ссылки на кейсы добавляются скриптом из закрытого каталога. Проблема касается не только видимости текста, но и пути посетителя к доказательствам. Сначала откройте инструмент рендера и отметьте конкретные отсутствующие элементы. Затем проверьте, почему ресурс закрыт: правило robots.txt, 403 CDN или удаленный файл после релиза. Для приватного API нельзя просто снять авторизацию; публичный ответ следует подготовить в безопасном HTML. Повторная проверка должна показать и содержимое, и рабочие ссылки.

Когда текст услуги появляется только после /assets/app.js, запрет этого файла в robots.txt может сделать обработанную страницу почти пустой. Но открывать приватный API ради робота нельзя: публичный текст лучше выдавать безопасно в исходном HTML или доступном ресурсе. Отдельно проверьте версии файлов после релиза - старый URL статьи может ссылаться на удаленный chunk, и ошибка проявится только при прямом открытии.

Составьте список критичных CSS и JS

Составьте список ресурсов, необходимых для основного содержания: скрипты, CSS, шрифты, данные API. Для каждого проверьте правила robots.txt, HTTP-ответ и фактическую загрузку в инструменте проверки URL.

Сравните сырой HTML и отрендеренную страницу робота. Не каждая заблокированная иконка критична; приоритет - ресурс, отсутствие которого меняет заголовок, текст, ссылки или форму.

Найдите запрет или ошибку загрузки

Закрытый ресурс может привести к неполному рендеру и ошибочной оценке страницы. Но открытие всех технических каталогов без разбора не является решением; надо выяснить роль ресурса и правила доступа.

Откройте публичные ресурсы без утечки

Откройте для обхода ресурсы, необходимые для публичного рендера, и исправьте серверные ошибки. По возможности отдавайте критически важный текст и ссылки в исходном HTML, чтобы путь не зависел от одного запроса.

Приватный API нельзя делать публичным ради SEO. Разделите публичные данные страницы и защищенные операции, а для основного ответа используйте безопасный способ выдачи.

Назовите конкретный CSS или JS, без которого робот не видит смысловой блок, и выясните причину недоступности. Открывать приватный API целиком нельзя: перенесите безопасную часть ответа в публичный HTML или доступный ресурс. Решение зависит от того, что именно отсутствует после рендера.

Сохраните основной ответ в HTML

Проверьте относительные пути после изменений маршрута. CDN и файлы с хешем должны отдавать стабильный ответ в течение жизни страницы; недоступный старый чанк может сломать рендер архивного URL.

Сравните рендер робота и человека

После релиза посмотрите обработанную страницу в инструменте поисковой системы и сравните ее с экраном пользователя. Повторите на услуге, статье и странице с интерактивным блоком.

Сравните исходный HTML и обработанную страницу по H1, условиям услуги и ссылкам на кейсы. Проверьте статус каждого необходимого ресурса с внешней точки. После правки повторите снимок рендера; доступность файла сама по себе не доказывает появление нужного текста.

Проверка результата

• Намерение страницы определено
• Сохранена выборка URL до исправления
• HTTP-ответ и содержимое сверены
• Внутренние ссылки проверены
• Исключения учтены
• Проверка после релиза записана

Скачать таблицу примера

Вопросы по теме

Читайте также