Аналізатор логів сервера

Перетягніть access.log — побачите, куди Googlebot зливає краулінг-бюджет, які сторінки він не обходить і де ловить 404.

Обробка у вашому браузері — файл не покидає пристрій

Перетягніть файл або натисніть, щоб обрати

access.log (nginx/Apache combined) або Cloudflare Logpush JSON · файл обробляється у вашому браузері й нікуди не відправляється

Додайте, щоб побачити, що бот не обходить і які сторінки-сироти він знаходить

Навіщо читати логи

Search Console показує підсумок, логи — факти. Тільки в них видно, що бот 14 тисяч разів сходив на сторінки фільтрів, поки половина товарів лишалась не обійденою.

Як отримати лог

  • nginx: /var/log/nginx/access.log — попросіть у хостера або адміністратора
  • Cloudflare: Logpush у форматі JSON
  • Достатньо 7–30 днів; більший період — точніша картина

Про точність

Боти визначаються за User-Agent. Верифікація через reverse DNS із браузера неможлива, тому цифри Googlebot — це верхня оцінка: частину запитів могли зробити парсери, що представляються ботом Google.

Наступний крок: Аналіз логів сервера: куди насправді йде краулінг-бюджет