Журнали сервера: що насправді робить пошуковий бот на вашому сайті
Аналіз логів сервера для SEO — це розбір журналу доступу, де записане кожне звернення до сайту: адреса, код відповіді, час, розмір, рядок агента. Він відповідає на питання, яке не закриває жоден інший інструмент: куди бот ходив насправді, а не куди ви його запрошували картою сайту. Далі з цього видно, яка частка обходу з'їдається переходами й помилками, до яких розділів бот за місяць так і не дійшов і о котрій годині сервер відповідає найповільніше. Перед роботою безкоштовно перевіряємо, чи придатні ваші журнали: на частині хостингів вони живуть добу.
розкладка обходу за розділами, кодами відповіді й годинами доби
після безкоштовного аудиту
Вартість
30
Гарантія
днів після підписання акта
розкладка обходу за розділами, кодами відповіді й годинами доби
Що на виході
тиждень; місяць дає картину, якій можна вірити
Мінімальний період даних
7–18
Строк розбору
робочих днів від отримання журналів
безкоштовна перевірка придатності журналів, 1–2 робочих дні
Перед кошторисом
зворотний DNS-запит, а не довіра до рядка агента
Перевірка ботів
позицій і приросту трафіку: журнали пояснюють бота, а не попит
Чого не обіцяємо
Безкоштовна перевірка того, чи є що аналізувати
Журнал доступу — єдине місце, де видно дії бота, а не наші припущення про них. Але спершу треба переконатися, що журнали ведуться, зберігаються потрібний час і містять потрібні поля. Ця перевірка нічого не коштує й економить обом сторонам розчарування.
Що міряємо
Чи ведуться журнали доступуНа частині хостингів вони вимкнені або зберігаються добу — тоді аналізувати нічого, і краще дізнатись це до оплати.
Глибина зберіганняЗа який період доступні дані. Для осмислених висновків потрібен щонайменше тиждень, краще місяць.
Склад полівЧи є в записах адреса, код відповіді, розмір і рядок агента. Без коду відповіді половина висновків неможлива, без часу обробки — розділ про швидкість.
Наявність проміжного шаруКеш або мережевий сервіс перед сайтом можуть віддавати частину запитів самі. Тоді до журналів сервера доходить не все, і потрібні ще журнали проксі.
Чи видно справжню адресу запитуЗа проксі в полі адреси лежить сам проксі. Якщо справжня адреса не пробрасується заголовком, перевірка ботів дасть нуль справжніх — це треба знати до старту.
Обсяг данихСкільки рядків на добу. Це визначає, скільки часу займе розбір і чи потрібна вибірка замість суцільного проходу.
Що ви отримуєте на руки
Відповідь, чи придатні ваші журнали до аналізу, і за який період.
Перелік того, що доведеться увімкнути або донастроїти перед роботою.
Коротка розмова про те, які питання розбір зможе закрити, а які ні.
Строк: 1–2 робочих дні
Чому це безкоштовно
Бо на частині хостингів відповідь буде «журналів немає», і брати за це гроші було б несправедливо. Краще витратити день і сказати чесно.
Що далі
Якщо журнали придатні — називаємо вартість розбору й строк. Якщо ні — покажемо, що можна витягнути зі статистики сканування Search Console і зовнішнього обходу замість них.
Форма коротка: контакт і адреса сайту
Працюємо офіційно
Договір, акт і рахунок — на кожен проєкт, а не тільки на великий. Без документів у вас немає ні прав на роботу, ні підстави провести витрати.
Договір, акт і гарантія 30 днів
На кожен проєкт письмовий договір: обсяг, строки, сума, порядок приймання. Після здачі — акт і рахунок, а далі 30 календарних днів гарантії: помилки з нашої вини усуваємо безоплатно. Усне з дзвінка дублюємо письмово того ж дня — домовленість, якої немає в тексті, не рахується.
ФОП і безготівковий розрахунок
Виконавець — зареєстрований ФОП. Оплата на рахунок із закривними документами, які бухгалтерія проведе як витрати. Курс для гривневої оплати фіксується договором, а не з’ясовується постфактум.
Права й доступи — ваші
Код, дизайн і матеріали переходять до вас після повної оплати. Домен, хостинг, репозиторій, аналітику й рекламні кабінети оформлюємо на вас — щоб сайт не залежав від підрядника. NDA підписуємо на запит, після завершення свої доступи видаляємо самі.
Портал клієнта замість переписки
На час роботи ви отримуєте доступ до порталу: договори, рахунки, акти й стан проєкту в одному місці. Документи формуються з даних угоди, тому реквізити й суми в них не розходяться, а про оплати й дедлайни нагадує система, а не пам’ять менеджера.
Замовники з Європи
Серед робіт — проєкти для Норвегії, Болгарії та Іспанії: болгарський магазин трьома мовами з кур’єрською доставкою, іспанський з оплатою карткою й переказом, норвезький сайт клініки. Це видно в портфоліо, а не тільки в описі.
Цифри, які можна перевірити
Кожен кейс у портфоліо — з посиланням на живий сайт і технічним виміром: швидкість відповіді, вага сторінки, обсяг каталогу, знайдені дефекти. Ці цифри можна зняти самому й звірити з нашими.
Спершу аудит, потім сума
Прайсу на сайті немає навмисно: обсяг тієї самої роботи у двох клієнтів відрізняється в рази, і цифра «від» нічого не пояснює. Спершу безкоштовний розбір — рахуємо ваші сторінки, дублі й швидкість, — потім називаємо суму й строк і фіксуємо їх у договорі.
Кажемо «ні», коли не впевнені
Якщо задача не наша, строк нереальний або послуга вам просто не потрібна — скажемо це першим листом, а не після передоплати. Гарантій позицій у пошуку не даємо: їх не дає ніхто, а обіцянка без механізму — це продаж, а не робота.
NDA підписуємо на запит. Після завершення співпраці наші доступи до ваших сервісів видаляємо самі й повідомляємо про це.
Що впливає на вартість
Чому дві однакові на вигляд задачі рахуються по-різному — і що саме ми міряємо на аудиті
Обсяг журналівСто тисяч рядків розбираються за вечір. Десятки мільйонів — це вже вибірка, окремий прохід по унікальних адресах і перевірка ботів партіями, бо перевіряти кожен рядок окремо безглуздо за часом.
Період данихТиждень показує добові цикли. Місяць показує ще й тижневі й дає побачити, що змінилося після ваших власних правок. Довший період — більше даних і більше роботи зі зведенням.
Формат записівСтандартний формат nginx чи Apache читається одразу. Свій формат із переставленими полями, кілька серверів за балансувальником або журнал без коду відповіді означають окремий розбір формату перед початком аналізу.
Проміжні шариКоли перед сайтом стоїть кеш або мережевий сервіс, картина розкладена на два джерела: частину запитів сервер не бачить взагалі. Зводити доводиться руками, і це помітна частина роботи.
Розмір і заплутаність сайтуНа каталозі з чистою структурою розкладка за розділами робиться правилом у пів рядка. Там, де адреси породжуються шляхами категорій, параметрами фільтра й мовними префіксами одночасно, кожен тип доводиться описувати окремо.
Чи є Search ConsoleЗ доступом ми звіряємо журнали з офіційною статистикою сканування і бачимо розбіжність. Без доступу лишається одне джерело — висновки будуть, але без другої опори.
Кому підходить
Ситуації, у яких ця послуга дає результат
Ситуація 1 з 5
Каталог поповнюється, а нових карток у пошуку довго не видно
Питання не в тому, скільки адрес у вашій карті сайту, а в тому, скільки з них бот справді запросив за місяць. Журнал дає обидва списки: що обходилось по десять разів і що не обходилось жодного. Зовнішнім виміром видно лише перший бік — у магазині професійного інструменту 25 537 записів карти вели на 6 857 різних адрес.
Розберемо вашу ситуацію на безкоштовному аудиті
Ситуація 2 з 5
Трафік просів, і жоден звіт не пояснює, коли саме почалось
У журналі є дата й година кожного запиту. Видно день, коли бот перестав заходити в розділ; видно, що адреси почали віддавати 301 замість 200; видно, що час відповіді виріс, а частота обходу пішла слідом. Це не доказ причини падіння, але єдине місце, де подія має точну дату.
Ситуація 3 з 5
Сайт великий, а сервер відповідає повільно
У виміряному магазині садової техніки карта сайту оголошує 59 189 адрес при часі першої відповіді 840,5 мс. Арифметика проста: якби бот ішов по одному запиту за раз, повний обхід зайняв би близько чотирнадцяти годин. Це наш розрахунок, а не замір: бот ходить паралельно й нерівномірно, і саме цю нерівномірність показує журнал.
Ситуація 4 з 5
Нещодавно міняли структуру адрес або переїжджали
Після міграції бот місяцями ходить за старими адресами — вони в нього в пам'яті. Журнал показує, скільки обходу йде на редиректи, чи не зібрались ланцюжки з двох-трьох переходів і які старі адреси досі приносять запити.
Ситуація 5 з 5
Хостинг скаржиться на навантаження, і незрозуміло, хто його створює
Половина «пошукових ботів» у сирій статистиці — парсери цін і сканери вразливостей із підробленим рядком агента. Ми ділимо потік перевіркою походження запиту й далі видно, кого має сенс обмежувати, а кого чіпати не можна.
Що входить
Повний перелік робіт і того, що ви отримуєте на виході
Виділяємо звернення пошукових ботів із загального потоку й перевіряємо походження кожної адреси — далі ви працюєте з реальними цифрами обходу, а не з сумою запитів усіх парсерів світу
Розкладаємо обхід за розділами сайту: скільки запитів дістається каталогу, скільки — службовим адресам і фільтрам, які взагалі не мали потрапляти в індекс
Рахуємо розподіл за кодами відповіді — стає видно, яка частка обходу витрачається на переходи, помилки й недоступні сторінки замість товарів
Складаємо список адрес, які бот запитує найчастіше, і звіряємо його з тим, що для вас пріоритетне: зазвичай верхівка списку — не те, що ви просуваєте
Складаємо зворотний список: важливі сторінки, до яких бот за період спостереження не дійшов жодного разу — це і є черга на перелінковку й карту сайту
Міряємо час відповіді сервера саме на запити бота й розкладаємо його за годинами доби: якщо вночі сайт віддає вдвічі повільніше, ви про це дізнаєтесь із цифрою
Перевіряємо, чи виконуються ваші ж правила обходу: закриті розділи, які насправді сканують, — регулярна знахідка
Звіряємо картину з журналів зі статистикою сканування Search Console і з вашою картою сайту — три джерела рідко збігаються, і розбіжність сама собою діагноз
Віддаємо письмовий звіт із цифрами, вибірками сирих рядків під кожен висновок і переліком робіт — з поділом на те, що робиться за годину, і те, що потребує розробника
Коли ця послуга не підходить
Що не входить у роботу — щоб не було сюрпризів на здачі
Впровадження знайдених виправлень — це окремі роботи, і ми називаємо їх переліком, а не додаємо мовчки
Аналіз поведінки живих відвідувачів: для цього є аналітика, а не журнали сервера
Налаштування збору журналів на хостингу, де вони вимкнені — обговорюється окремо
Робота з персональними даними відвідувачів: нам потрібні запити ботів, і рядки людей можна знеособити ще до передачі
Як проходить робота
Прозорі етапи з погодженням на кожному кроці
Загальний строк:7–18 днів
1
Перевірка й отримання журналів
1–2 робочих дні
Дивимось, що у вас зберігається, за який період і в якому форматі. Тут же домовляємось про спосіб передачі: архів за період або доступ на читання. Якщо чогось бракує — кажемо до початку робіт, а не в звіті.
2
Розбір формату й відсів чужого потоку
1–3 робочих дні
Приводимо записи до однієї таблиці, відкидаємо статику й запити людей, лишаємо звернення ботів. Кожну адресу перевіряємо на походження: підроблений рядок агента відсіюється тут, інакше вся подальша арифметика неправильна.
3
Карта обходу
2–5 робочих днів
Розкладка за розділами, кодами відповіді, частотою й годинами доби. Окремо — верхівка найчастіше запитуваних адрес і список пріоритетних сторінок, яких у журналі немає взагалі.
4
Звірка з картою сайту й Search Console
1–3 робочих дні
Порівнюємо три списки: що ви оголосили, що бот запитував і що показує офіційна статистика сканування. Розбіжності між ними — половина висновків звіту.
5
Звіт і розмова по ньому
2–5 робочих днів
Письмовий документ: цифри, вибірки сирих рядків під кожен висновок, перелік робіт із поділом на швидкі й ті, що потребують розробника. Далі година розмови, щоб ви могли поставити питання людині, а не файлу.
Не знайшли свій випадок?
Опишіть, як це влаштовано у вас, — відповімо, чи підходить «Аналіз журналів сервера» і що це означає у вашій ситуації. Без брифу й без дзвінка: одне питання, одна відповідь.
Кейси
Задачі та результат у цифрах — усі показники зняті нашим виміром
інтернет-магазин професійного інструменту, каталог понад 6 тис. позицій — наш зовнішній технічний вимір
Задача
Зрозуміти, куди дівається обхід, не маючи журналів: доступу до сервера не було, тому дивились із того боку, з якого дивиться бот.
Рішення
Обхід карти сайту з роздільним підрахунком записів і унікальних адрес, заміри часу відповіді, перевірка мовних версій.
Результат
25 537 записів у карті сайту дали 6 857 унікальних адрес — 6 486 карток товару і 361 категорія, тобто кожен товар оголошений у середньому 3,9 раза під різними шляхами. Сама карта генерується 34,2 секунди: бот, який її запитує, чекає стільки ж. Усі адреси в ній ведуть на російськомовну гілку, хоча сайт за замовчуванням віддає українську. Вимір 31.07.2026. Чого метод не показав: скільки з 25 537 адрес бот справді запитав. Це видно тільки в журналі.
роздрібний магазин нижньої білизни, каталог понад 110 тис. позицій — наш зовнішній технічний вимір
Задача
Оцінити, яка частка оголошених адрес узагалі має сенс для обходу, перед розмовою про краулінговий бюджет.
Рішення
Вибірка зі 150 випадкових товарних адрес карти сайту з перевіркою коду відповіді кожної, підрахунок повторів у товарних підкартах, заміри часу відповіді головної й картки.
Результат
50 адрес зі 150 (33%) віддали 301, і всі 50 вели на іншу позицію — інший розмір або колір. У масштабі каталогу це близько 37 тисяч адрес, кожна з яких коштує ботові запиту й нічого не додає індексу. У товарних підкартах ще 3 774 дубльовані записи, окремі адреси повторені до 55 разів. Головна віддає першу відповідь за 1 544,6 мс проти 391,4 мс на картці — і віддається без кешування. Вимір 31.07.2026.
магазин садової техніки та запчастин, каталог близько 55 тис. позицій — наш зовнішній технічний вимір
Задача
Порахувати, чи реально обійти оголошений обсяг при фактичній швидкості сервера.
Рішення
Перерахунок підкарт (18 файлів по 3 000 адрес плюс 1 321 у дев'ятнадцятому, окремо 3 868 категорій), перевірка директиви Sitemap у robots.txt, заміри часу відповіді.
Результат
59 189 адрес у карті сайту при першій відповіді 840,5 мс — найповільніший сервер партії, що для 55 тисяч товарів очікувано. Послідовний обхід такого обсягу з такою швидкістю зайняв би близько 14 годин безперервних запитів; це наша арифметика, а не замір, і саме її замінює журнал реальними цифрами частоти. Карта оголошена в robots.txt на нестандартній адресі — інакше бот шукав би її наосліп. Вимір 31.07.2026.
Технології та інтеграції
На чому будуємо і з чим це з’єднується
Стек
Журнали доступу nginx / Apache — єдине джерело, де є кожен запит; але лише той, що дійшов до сервера
Зворотний DNS-запит із прямою перевіркою — відсіює підробки; на великих обсягах іде партіями по унікальних адресах
GoAccess — швидке зведення по великому файлу; розкладку за розділами каталогу все одно доводиться робити окремо
Власні скрипти обробки — рахують саме те, що потрібно; перевірити результат без сирих даних неможливо, тому вибірки віддаємо разом зі звітом
Search Console, статистика сканування — офіційна звірка; один пошуковик, зведення й затримка в кілька днів
robots.txt — перевіряємо, чи виконуються правила; заборона обходу не прибирає адресу з індексу
Журнали проксі — потрібні там, де перед сайтом стоїть мережевий сервіс і частина запитів до сервера не доходить
Інтеграції
Google Search Console
Bing Webmaster Tools
Cloudflare
хостинг-панель
Журнали сервера проти звіту «Статистика сканування»
Чим цей варіант відрізняється від «Тільки статистика сканування в Search Console»
Тільки статистика сканування в Search ConsoleНаш підхід
Одиниця данихзгруповане зведення за типом файлу й призначеннямокремий запит: адреса, код, час, розмір, агент
Які боти виднолише боти Googleусі, включно з парсерами під чужим ім'ям
Свіжістьдані з затримкою в кілька днівзапис з'являється в момент запиту
Глибина назадблизько трьох місяців, і за це нічого не треба налаштовуватискільки зберігає ваш сервер — часто 7–30 днів
Що можна довестищо загальний обхід просів у якийсь періодщо конкретна адреса віддавала помилку конкретного дня
Ціна доступубезкоштовно й одразу — тому з цього звіту ми починаємо завждипотрібні журнали, доступ і розбір
Що потрібно від вас
Без цього не почнемо — краще підготувати заздалегідь
1Журнали доступу за період від тижня, краще за місяць: архівом або доступом на читання. Рядки живих відвідувачів можна знеособити ще до передачі — нам потрібні запити ботів.
2Опис проміжних шарів: кеш, мережевий сервіс, балансувальник, кілька серверів. Без цього ми будемо аналізувати частину картини, вважаючи її цілою.
3Доступ до Search Console на читання — для звірки з офіційною статистикою сканування.
4Адресу карти сайту й поточний robots.txt: із ними порівнюється те, що бот робив насправді.
5Перелік розділів, які для вас пріоритетні. Інакше «важливі сторінки» доведеться визначати нам, і ви отримаєте звіт про чужі пріоритети.
6Дати останніх змін на сайті: міграція, зміна структури адрес, переїзд на інший сервер. У журналі вони видно, але швидше, коли знаєш, що шукати.
Якщо чогось із цього немає — скажіть, підкажемо, як зібрати або зробимо самі окремою задачею.
Часті питання
Те, що питають найчастіше — з конкретними відповідями
чим це відрізняється від звіту «Статистика сканування» в Search Console?
Деталізацією і охопленням. Звіт Google групує запити за типом файлу й призначенням і показує зведення з затримкою в кілька днів: з нього видно, що обхід просів, але не видно, де саме. У журналі кожен запит лежить окремим рядком — адреса, код відповіді, час, розмір, агент. Тому питання «чому просів обхід» звіт закриває на рівні тенденції, а журнал — на рівні конкретних адрес, які почали віддавати 301 чи 500 такого-то числа. Друга різниця: Search Console показує лише ботів Google. Bing і парсери, що ходять під чужим ім'ям, у ньому не існують. Починаємо ми все одно зі звіту — він безкоштовний і дає орієнтир за три місяці назад.
у мене немає доступу до логів — з чого почати?
З перевірки, чи вони взагалі ведуться. На частині хостингів журнали вимкнені за замовчуванням, на частині зберігаються добу й перетираються. Ми робимо цю перевірку безкоштовно за один-два дні. Якщо журналів немає, частину висновків можна дістати іншими методами: статистика сканування Search Console плюс зовнішній обхід карти сайту з перевіркою кодів відповіді. Так зроблені всі три кейси на цій сторінці — і саме тому в кожному з них є абзац про те, чого цей метод не показав. Це слабший інструмент, і ми називаємо його слабшим.
як ви відрізняєте справжнього бота від підробки?
Рядок агента підробляється одним рядком коду, тому ми його не приймаємо на віру. Перевірка йде через зворотний DNS-запит до адреси й прямий запит назад: адреса має розв'язуватись в офіційне ім'я пошуковика, а це ім'я — назад у ту саму адресу. Одного зворотного запиту мало, бо запис під контролем власника адреси. Окремо технічна деталь, на якій спотикаються самостійні спроби: якщо перед сайтом стоїть мережевий сервіс, у полі адреси в журналі лежить адреса самого сервісу, а не того, хто прийшов. Поки справжня адреса не пробрасується заголовком і не читається з нього, перевірка чесно покаже нуль справжніх ботів на всьому масиві.
що зазвичай знаходиться в журналах?
Найчастіша знахідка одна: обхід іде не туди. Запити витрачаються на службові адреси, на комбінації фільтрів, на сторінки, яких давно немає, і на переходи. Наскільки це масштабна історія, видно навіть ззовні: у виміряному магазині білизни з вибірки в 150 випадкових адрес карти сайту 50 віддали 301, а в масштабі каталогу це близько 37 тисяч адрес, за кожну з яких бот платить запитом. Друга за частотою знахідка — розділ, якого в журналі немає взагалі: сторінки оголошені й перелінковані, а бот до них не дійшов жодного разу за місяць. Третя — нічний час відповіді, удвічі гірший за денний, і синхронне просідання частоти обходу.
за який період потрібні дані і як їх зберігати надалі?
Мінімум тиждень — щоб побачити добові цикли. Місяць дає картину, якій уже можна вірити, особливо коли каталог оновлюється нерівномірно. Менше тижня — це здогади, підкріплені цифрами, і ми так не працюємо. Порада, яку варто виконати сьогодні незалежно від того, чи будемо ми щось разом робити: увімкніть зберігання журналів на 30 днів із ротацією та архівуванням. Це не коштує нічого, крім кількох гігабайтів диска. Найгірша ситуація — коли трафік упав учора, а журнали живуть добу: причину вже не встановити ніяк.
чи можна за журналами зрозуміти, чому впав трафік?
Іноді так, і це найцінніший сценарій. У журналі видно дату, коли бот перестав заходити в розділ; видно, що частина адрес почала віддавати помилку; видно, що час відповіді виріс, а частота обходу пішла за ним. Але межа жорстка: журнал пояснює поведінку бота, а не поведінку людей. Якщо трафік упав через сезон, зміну попиту або нового конкурента у видачі — у журналах цього не буде. Тому ми беремося за це питання тільки в парі з аналітикою і Search Console.
чи не простіше просто заблокувати зайвих ботів і не розбиратись?
Це найпоширеніша порада й найлегший спосіб зробити гірше. Блокування за частотою запитів б'є по справжньому пошуковику першим — він якраз і ходить частіше за всіх. Блокування за рядком агента не працює проти тих, хто цей рядок підробляє, тобто саме проти тих, кого ви хотіли зупинити. Наша рекомендація: спершу подивитись у журнал і побачити, хто скільки взяв, потім обмежувати адресно — за походженням запиту, зі списком дозволених пошуковиків. І окремо перевірити, чи не блокує ваш захист від навантаження когось із них уже зараз.
журнали важать гігабайти — як їх передати?
Стисненим архівом за потрібний період, частинами. Текстові журнали стискаються добре: місячний файл на кілька гігабайтів зазвичай перетворюється на сотні мегабайтів. Якщо передавати незручно, беремо доступ на читання й забираємо потрібне самі. Персональні дані нам не потрібні: адресу відвідувача-людини можна знеособити або обрізати ще до передачі, на висновки про ботів це не впливає. Що треба зберегти без змін — адресу запиту, код відповіді, час, розмір і рядок агента.
скільки це триває і що ви віддаєте на руки?
7–18 робочих днів від моменту, коли журнали у нас: перевірка й отримання 1–2 дні, розбір формату й відсів чужого потоку 1–3, карта обходу 2–5, звірка з картою сайту й Search Console 1–3, звіт і розмова 2–5. На руки — письмовий документ із цифрами, вибірками сирих рядків під кожен висновок і переліком робіт, розділеним на те, що робиться налаштуванням за годину, і те, що потребує розробника. Впровадження в цю роботу не входить.
Напишіть, який у вас хостинг і чи зберігаються журнали доступу.
За один-два дні відповімо, чи придатні ваші дані до розбору, за який період і що доведеться донастроїти. Якщо аналізувати нічого — скажемо це першим же листом і покажемо, що можна дістати без журналів.
Прайса на сайті немає навмисно: обсяг тієї самої роботи у двох клієнтів відрізняється в рази, і цифра «від» у такому разі нічого не пояснює. Спершу безкоштовний аудит — рахуємо ваші сторінки, дублі й швидкість, — потім називаємо суму й строк і фіксуємо їх у договорі.