Анализ логов сервера для SEO: что на самом деле делает поисковый бот на вашем сайте
Анализ логов сервера для SEO – это разбор журнала доступа, где записано каждое обращение на сайт: адрес, код ответа, время, размер, строка агента. Он отвечает на вопрос, который не закрывает никакой другой инструмент: куда бот ходил на самом деле, а не куда вы его приглашали картой сайта. Далее из этого видно, какая доля обхода съедается переходами и ошибками, до каких разделов бот за месяц так и не дошел и в какое время сервер отвечает медленнее всего. Перед работой бесплатно проверяем, годны ли ваши журналы: на части хостингов они живут сутки.
раскладка обхода по разделам, кодам ответа и часам суток
после бесплатного аудита
Стоимость
30
Гарантия
дней после подписания акта
раскладка обхода по разделам, кодам ответа и часам суток
Что на выходе
неделю; луна дает картину, которой можно верить
Минимальный период данных
7–18
Срок разбора
рабочих дней от получения журналов
бесплатная проверка пригодности журналов, 1–2 рабочих дня
Перед сметой
обратный DNS-запрос, а не доверие к строке агента
Проверка ботов
позиций и прироста трафика: журналы объясняют бота, а не спрос
Чего не обещаем
Бесплатная проверка того, есть ли что анализировать
Журнал доступа – единственное место, где видны действия бота, а не наши предположения о них. Но сначала нужно убедиться, что журналы ведутся, сохраняются нужное время и содержат нужные поля. Эта проверка ничего не стоит и экономит обеим сторонам разочарования.
Что мы измеряем
Ведутся ли журналы доступаНа части хостингов они выключены или хранятся сутки — тогда анализировать нечего и лучше узнать это до оплаты.
Глубина храненияЗа какой период доступны данные. Для осмысленных выводов требуется не менее недели, лучше месяца.
Состав полейИмеются ли в записях адрес, код ответа, размер и строка агента. Без кода ответа половина выводов невозможна, без времени обработки раздел о скорости.
Наличие промежуточного слояКэш или сетевой сервис перед сайтом могут отдавать часть запросов сами. Тогда до журналов сервера доходит не все и нужны еще журналы прокси.
Виден ли настоящий адрес запросаЗа прокси в поле адреса лежит сам прокси. Если настоящий адрес не пробрасывается заголовком, проверка ботов даст ноль настоящих – это нужно знать до старта.
Объем данныхСколько строк в день. Это определяет, сколько времени займет разбор и нужна ли выборка вместо сплошного прохода.
Что вы получаете
Ответ, пригодны ли ваши журналы к анализу и за какой период.
Список того, что придется включить или донастроить перед работой.
Короткий разговор о том, какие вопросы разбор сможет закрыть, а какие нет.
Срок: 1–2 рабочих дня
Почему это бесплатно
Ибо на части хостингов ответ будет «журналов нет», и брать за это деньги было бы несправедливо. Лучше потратить день и сказать честно.
Что дальше
Если журналы пригодны — мы называем стоимость разбора и срок. Если нет, покажем, что можно извлечь из статистики сканирования Search Console и внешнего обхода вместо них.
Короткая форма: контакт и адрес сайта
Договор, акт и гарантия 30 дней
На каждый проект письменный договор: объём, сроки, сумма, порядок приёмки. После сдачи — акт и счёт, затем 30 календарных дней гарантии.
ФОП и безналичный расчёт
Исполнитель — зарегистрированный ФОП. Оплата на счёт с закрывающими документами.
Права и доступы — ваши
Код, дизайн и материалы переходят к вам после полной оплаты. Домен, хостинг, репозиторий оформляем на вас.
Портал клиента вместо переписки
Во время работы вы получаете доступ к порталу: договоры, счета, акты и статус проекта в одном месте.
Заказчики из Европы
Среди работ — проекты для Норвегии, Болгарии, Молдовы и Испании.
Цифры, которые можно проверить
Каждый кейс в портфолио — со ссылкой на живой сайт и техническим замером.
Сначала аудит, потом сумма
Прайса на сайте нет намеренно: объём одной и той же работы у двух клиентов отличается кратно.
Говорим «нет», когда не уверены
Если задача не наша или срок нереальный — скажем сразу.
Что влияет на стоимость
Почему две одинаковые на вид задачи считаются по-разному
Объем журналовСто тысяч строчек разбираются за вечер. Десятки миллионов – это уже выборка, отдельный проход по уникальным адресам и проверка ботов партиями, потому что проверять каждую строчку отдельно бессмысленно по времени.
Период данныхНеделя показывает суточные циклы. Луна показывает еще и еженедельные и дает увидеть, что изменилось после ваших собственных поправок. Более длительный период — больше данных и больше работы со сводкой.
Формат записейСтандартный формат nginx или Apache читается сразу. Свой формат с переставленными полями, несколько серверов по балансировщику или журнал без кода ответа означают отдельный разбор формата перед началом анализа.
Промежуточные слоиКогда перед сайтом стоит кэш или сетевой сервис, картина разложена на два источника: часть запросов сервер не видит вообще. Сводить приходится руками, и это заметная часть работы.
Размер и запутанность сайтаНа каталоге с чистой структурой раскладка по разделам делается правилом в полстроки. Там, где адреса порождаются путями категорий, параметрами фильтра и речевыми префиксами одновременно, каждый тип приходится описывать отдельно.
Является ли Search ConsoleС доступом мы сверяем журналы с официальной статистикой сканирования и видим расхождение. Без доступа остается один источник – выводы будут, но без второй опоры.
Кому подходит
Ситуации, в которых эта услуга даёт результат
Сценарий 1 из 5
Каталог пополняется, а новых карт в поиске долго не видно
Вопрос не в том, сколько адресов в вашей карте сайта, а в том, сколько из них бот действительно запросил за месяц. Журнал дает оба списка: что обходилось по десять раз и не обходилось ни одного. Внешним измерением видна только первая сторона — в магазине профессионального инструмента 25 537 записей карты вели на 6 857 разных адресов.
Разберём вашу ситуацию на бесплатном аудите
Сценарий 2 из 5
Трафик просел, и ни один отчет не объясняет, когда именно началось.
В журнале есть дата и время каждого запроса. Виден день, когда бот перестал заходить в раздел; видно, что адреса начали отдавать 301 вместо 200; видно, что время ответа выросло, а частота обхода последовала. Это не доказательство причины падения, но единственное место, в котором событие имеет точную дату.
Сценарий 3 из 5
Сайт велик, а сервер отвечает медленно
В измеренном магазине садовой техники карта сайта объявляет 59 189 адресов при первом ответе 840,5 мс. Арифметика проста: если бы бот шел по одному запросу за раз, полный обход занял бы около четырнадцати часов. Это наш расчет, а не замер: бот ходит параллельно и неравномерно и именно эту неравномерность показывает журнал.
Сценарий 4 из 5
Недавно меняли структуру адресов или переезжали
После миграции бот месяцами ходит по старым адресам – они у него в памяти. Журнал показывает, сколько обхода идет на редиректы, не собрались ли цепочки из двух-трех переходов и какие старые адреса до сих пор приносят запросы.
Сценарий 5 из 5
Хостинг жалуется на нагрузку, и непонятно кто его создает
Половина «поисковых ботов» в сырой статистике — парсеры цен и сканеры уязвимостей с поддельной строчкой агента. Мы делим поток проверкой происхождения запроса и дальше видно, кого имеет смысл ограничивать, а кого трогать нельзя.
Что входит
Полный перечень работ и того, что вы получаете на выходе
Выделяем обращение поисковых ботов из общего потока и проверяем происхождение каждого адреса – дальше вы работаете с реальными цифрами обхода, а не с суммой запросов всех партеров мира
Раскладываем обход по разделам сайта: сколько запросов достается каталогу, сколько - служебным адресам и фильтрам, которые вообще не должны попадать в индекс
Считаем распределение по кодам ответа – становится видно, какая доля обхода тратится на переходы, ошибки и недоступные страницы вместо товаров.
Составляем список адресов, которые бот спрашивает чаще всего, и сверяем его с тем, что для вас приоритетно: обычно верхушка списка – не то, что вы продвигаете
Составляем обратный список: важные страницы, до которых бот за период наблюдения не дошел ни разу – это и есть очередь на перелинковку и карту сайта
Меряем время ответа сервера именно на запросы бота и раскладываем его по часам суток: если ночью сайт отдает вдвое медленнее, вы об этом узнаете с цифрой
Проверяем, выполняются ли ваши правила обхода: закрытые разделы, которые на самом деле сканируют, — регулярная находка
Сверяем картину из журналов со статистикой сканирования Search Console и с вашей картой сайта – три источника редко совпадают, и расхождение само по себе диагноз
Отдаем письменный отчет с цифрами, выборками сырых строк под каждый вывод и перечнем работ — с разделением на то, что делается за час, и на то, что требует разработчика
Когда эта услуга не подходит
Что не входит в работу — чтобы не было сюрпризов на сдаче
Внедрение найденных исправлений – это отдельные работы, и мы называем их перечнем, а не добавляем молча
Анализ поведения живых посетителей: для этого есть аналитика, а не журналы сервера
Настройка сбора журналов на хостинге, где они отключены — обсуждается отдельно
Работа с персональными данными посетителей: нам нужны запросы ботов, и строки людей можно обезличить еще до передачи
Этапы работы
Прозрачные этапы с согласованием на каждом шагу
Общий срок:7–18 дней
1
Проверка и получение журналов
1–2 рабочих дня
Смотрим, что у вас сохраняется за какой период и в каком формате. Здесь же договариваемся о способе передачи: архиве за период или доступе на чтение. Если чего-то не хватает – говорим до начала работ, а не в отчете.
2
Разбор формата и отсев чужого потока
1–3 рабочих дня
Приводим записи в одну таблицу, отбрасываем статику и запросы людей, оставляем обращение ботов. Каждый адрес проверяем на происхождение: поддельная строчка агента отсеивается здесь, иначе вся последующая арифметика неправильна.
3
Карта обхода
2–5 рабочих дней
Раскладка по разделам, кодам ответа, частоте и часам суток. Отдельно — верхушка наиболее часто запрашиваемых адресов и список приоритетных страниц, которых в журнале нет вообще.
4
Сверка с картой сайта и Search Console
1–3 рабочих дня
Сравним три списка: что вы объявили, что бот спрашивал и что показывает официальная статистика сканирования. Разногласия между ними — половина выводов отчета.
5
Отчет и разговор по нему
2–5 рабочих дней
Письменный документ: цифры, выборки сырых строк под каждый вывод, перечень работ с разделением на быстрые и нуждающиеся в разработчике. Далее час разговора, чтобы вы могли задать вопрос человеку, а не файлу.
Не нашли свой случай?
Опишите, как это устроено у вас, — ответим, подходит ли «Анализ журналов сервера» и что это значит в вашей ситуации. Без брифа и без звонка: один вопрос, один ответ.
Кейсы
Задачи и результат в цифрах — все показатели сняты нашим замером
интернет-магазин профессионального инструмента, каталог более 6 тыс. позиций — наше внешнее техническое измерение
Задача
Понять, куда девается обход, без журналов: доступа к серверу не было, поэтому смотрели с той стороны, с которой смотрит бот.
Решение
Обход карты сайта с подсчетом записей и уникальных адресов, замеры времени ответа, проверка языковых версий.
Результат
25 537 записей в карте сайта дали 6 857 уникальных адресов — 6 486 карт товара и 361 категория, то есть каждый товар объявлен в среднем 3,9 раза под разными путями. Сама карта генерируется 34,2 секунды: спрашивающий ее бот ждет столько же. Все адреса в ней ведут на русскоязычную ветвь, хотя сайт по умолчанию отдает украинский. Измерение 31.07.2026. Чего метод не показал: сколько из 25537 адресов бот действительно спросил. Это видно только в журнале.
розничный магазин нижнего белья, каталог более 110 тыс. позиций — наше внешнее техническое измерение
Задача
Оценить, какая доля объявленных адресов имеет смысл для обхода, перед разговором о краулинговом бюджете.
Решение
Выборка из 150 случайных товарных адресов карты сайта с проверкой кода ответа каждой, подсчет повторов в товарных подкартах, замеры времени ответа и карты.
Результат
50 адресов из 150 (33%) отдали 301, и все 50 вели на другую позицию – другой размер или цвет. В масштабе каталога это около 37 тысяч адресов, каждый из которых стоит ботовые запроса и ничего не добавляет индексу. В товарных подкартах еще 3 774 дублированных записей, отдельные адреса повторены до 55 раз. Главная отдает первый ответ за 1 544,6 мс против 391,4 мс на карточке и отдается без кэширования. Измерение 31.07.2026.
магазин садовой техники и запчастей, каталог около 55 тыс. позиций — наше внешнее техническое измерение
Задача
Посчитать реально ли обойти объявленный объем при фактической скорости сервера.
Решение
Пересчет подкарт (18 файлов по 3000 адресов плюс 1321 в девятнадцатом, отдельно 3868 категорий), проверка директивы Sitemap в robots.txt, замеры времени ответа.
Результат
59 189 адресов в карте сайта при первом ответе 840,5 мс – самый медленный сервер партии, что для 55 тысяч товаров ожидаемо. Последовательный обход такого объема с такой скоростью занял бы около 14 часов непрерывных запросов; это наша арифметика, а не замер, и именно ее заменяет журнал реальными цифрами частоты. Карта объявлена в robots.txt на нестандартном адресе – иначе бот искал бы ее вслепую. Измерение 31.07.2026.
Технологии и интеграции
На чём строим и с чем это соединяется
Стек
Журналы доступа nginx/Apache – единственный источник, где есть каждый запрос; но только дошедший до сервера
Обратный DNS-запрос с прямой проверкой отсеивает подделки; на больших объемах идет партиями по уникальным адресам
GoAccess — быстрая сводка по большому файлу; раскладку по разделам каталога все равно приходится делать по отдельности
Собственные скрипты обработки – считают именно то, что необходимо; проверить результат без сырых данных невозможно, поэтому выборки отдаем вместе с отчетом
Search Console, статистика сканирования – официальная сверка; один поисковик, возведение и задержка в несколько дней
robots.txt — проверяем, выполняются ли правила; запрет обхода не убирает адрес из индекса
Журналы прокси нужны там, где перед сайтом стоит сетевой сервис и часть запросов до сервера не доходит.
Интеграции
Google Search Console
Bing Webmaster Tools
Cloudflare
хостинг-панель
Журналы сервера против отчета «Статистика сканирования»
Чем этот вариант отличается от альтернативы
Только статистика сканирования в Search ConsoleНаш подход
Единица данныхсгруппированная сводка по типу файла и назначениюотдельный запрос: адрес, код, время, размер, агент
Какие боты виднытолько боты Googleвсе, включая парсеров под чужим именем
Свежестьданные с задержкой в несколько днейзапись появляется в момент запроса
Глубина назадоколо трех месяцев, и за это ничего не нужно настраиватьсколько хранит ваш сервер — часто 7–30 дней
Что можно доказатьчто общий обход просел в какой-то периодчто конкретный адрес отдавал ошибку конкретного дня
Цена доступабесплатно и сразу — поэтому с этого отчета мы начинаем всегданужные журналы, доступ и разбор
Что нужно от вас
Без этого не начнём — лучше подготовить заранее
1Журналы доступа за период от недели, лучше месяца: архивом или доступом на чтение. Строки живых посетителей можно обезличить еще до передачи – нам нужны запросы ботов.
2Описание промежуточных слоев: кэш, сетевой сервис, балансировщик, несколько серверов. Без этого мы будем анализировать часть картины, считая ее целой.
3Доступ к Search Console на чтение – для сверки с официальной статистикой сканирования.
4Адрес карты сайта и текущий robots.txt: с ними сравнивается то, что бот делал на самом деле.
5Список разделов, которые для вас приоритетны. Иначе важные страницы придется определять нам, и вы получите отчет о чужих приоритетах.
6Дать последние изменения на сайте: миграция, изменение структуры адресов, переезд на другой сервер. В журнале они видны, но скорее, когда знаешь, что искать.
Если чего-то из этого нет — скажите, подскажем, как собрать или сделаем сами отдельной задачей.
Частые вопросы
Что спрашивают чаще всего — с конкретными ответами
Чем это отличается от отчета Статистика сканирования в Search Console?
Детализацией и охватом. Отчет Google группирует запросы по типу файла и назначению и показывает сводку с задержкой в несколько дней: из него видно, что обход просел, но не видно, где именно. В журнале каждый запрос лежит отдельной строкой – адрес, код ответа, время, размер, агент. Поэтому вопрос «почему просел обход» отчет закрывает на уровне тенденции, а журнальчик — на уровне конкретных адресов, которые начали отдавать 301 либо 500 такого-то числа. Вторая разница: Search Console показывает только ботов Google. Bing и парсеры, ходящие под чужим именем, в нем не существуют. Начинаем мы все равно с отчета – он бесплатный и дает ориентир за три месяца назад.
У меня нет доступа к логам – с чего начать?
По проверке, ведутся ли они вообще. На части хостингов журналы отключены по умолчанию, на части сохраняются сутки и перетираются. Мы производим эту проверку бесплатно за один-два дня. Если журналов нет, часть выводов можно получить другими методами: статистика сканирования Search Console плюс внешний обход карты сайта с проверкой кодов ответа. Так сделаны все три кейса на этой странице — и поэтому в каждом из них есть абзац о том, чего этот метод не показал. Это более слабый инструмент, и мы называем его более слабым.
Как вы отличаете настоящего бота от подделки?
Строка агента подделывается одной строкой кода, поэтому мы его не принимаем на веру. Проверка идет через обратный DNS-запрос к адресу и прямой запрос обратно: адрес должен решаться в официальное имя поисковика, а это имя обратно в тот же адрес. Одного обратного запроса мало, потому что запись под контролем владельца адреса. Отдельно техническая деталь, на которой спотыкаются самостоятельные попытки: если перед сайтом стоит сетевой сервис, в поле адреса в журнале лежит адрес самого сервиса, а не пришедшего. Пока настоящий адрес не пробрасывается заголовком и не читается с него, проверка честно покажет ноль настоящих ботов по всему массиву.
Что обычно находится в журналах?
Самая частая находка одна: обход идет не туда. Запросы тратятся на служебные адреса, на комбинации фильтров, на страницы, которых давно нет, и на переходы. Насколько это масштабная история, видно даже извне: в измеренном магазине белья по выборке в 150 случайных адресов карты сайта 50 отдали 301, а в масштабе каталога это около 37 тысяч адресов, за каждый из которых бот платит запросом. Вторая по частоте находка – раздел, которого в журнале нет вообще: страницы объявлены и перелинкованы, а бот до них не дошел ни разу за месяц. Третья — ночное время ответа, вдвое хуже дневного, и синхронное проседание частоты обхода.
За какой период нужные данные и как их хранить в дальнейшем?
Минимум неделя – чтобы увидеть суточные циклы. Луна дает картину, которой уже можно верить, особенно когда каталог обновляется неравномерно. Меньше недели – это догадки, подкрепленные цифрами, и мы так не работаем. Совет, который следует выполнить сегодня независимо от того, будем ли мы что-то вместе делать: включите хранение журналов на 30 дней с ротацией и архивированием. Это не стоит ничего, кроме нескольких гигабайт диска. Худшая ситуация — когда трафик упал вчера, а журналы живут сутки: причину уже не установить никак.
Можно ли по журналам понять, почему рухнул трафик?
Иногда да, и это самый ценный сценарий. В журнале видна дата, когда бот перестал заходить в раздел; видно, что часть адресов начала отдавать ошибку; видно, что время ответа выросло, а частота обхода последовала за ним. Но предел жесткий: журнал объясняет поведение бота, а не поведение людей. Если трафик упал из-за сезона, изменение спроса или нового конкурента в выдаче — в журналах этого не будет. Поэтому мы беремся за этот вопрос только в паре с аналитикой и Search Console.
Не проще ли просто заблокировать лишних ботов и не разбираться?
Это самый распространенный совет и самый легкий способ сделать хуже. Блокировка по частоте запросов бьет по настоящему поисковику первым — он как раз и ходит чаще всех. Блокировка по строке агента не работает против тех, кто эту строку подделывает, то есть именно против тех, кого вы хотели остановить. Наша рекомендация: сначала посмотреть в журнал и увидеть, кто сколько взял, потом ограничивать адресно - по происхождению запроса, со списком разрешенных поисковиков. И отдельно проверить, не блокирует ли ваша защита от погрузки кого-то из них уже сейчас.
Журналы весят гигабайты – как их передать?
Сжатым архивом за нужный период, частями. Текстовые журналы сжимаются хорошо: лунный файл в несколько гигабайтов обычно превращается в сотни мегабайтов. Если передавать неудобно, берём доступ на чтение и забираем нужное сами. Персональные данные нам не нужны: адрес посетителя-человека можно обезличить или обрезать еще до передачи, на выводы о ботах это не влияет. Что нужно сохранить без изменений – адрес запроса, код ответа, время, размер и строка агента.
Сколько это длится, и что вы отдаете на руки?
7–18 рабочих дней с момента, когда журналы у нас: проверка и получение 1–2 дня, разбор формата и отсев чужого потока 1–3, карта обхода 2–5, сверка с картой сайта и Search Console 1–3, отчет и разговор 2–5. На руки — письменный документ с цифрами, выборками сырых строк под каждый вывод и перечнем работ, разделенным на то, что делается настройкой за час, и на то, что требует разработчика. Внедрение в эту работу не входит.
Напишите, какой у вас хостинг и сохраняются ли журналы доступа.
За один-два дня ответим, пригодны ли ваши данные к разбору, за какой период и что придется донастроить. Если анализировать нечего – скажем это первым же письмом и покажем, что можно получить без журналов.
Из измеренных кейсов25 537 записей в карте сайта дали 6 857 уникальных адресов
Прайса на сайте нет намеренно: объём той же работы у двух клиентов отличается в разы, и цифра «от» в этом случае ничего не объясняет. Сначала бесплатный аудит — считаем ваши страницы, дубли и скорость, — потом называем сумму и срок и фиксируем их в договоре.