Почати проект
+247%+185%📈📊
  • Технічне SEO · Search Console

Краулінговий бюджет: чому бот не доходить до половини каталогу

Оптимізація краулінгового бюджету — це робота з тим, на що бот витрачає обмежену кількість запитів до вашого сайту. Ми беремо статистику сканування, рахуємо частку обходу, яка йде на повтори й службові адреси, прибираємо їх і прискорюємо віддачу сторінок, які бот відкриває найчастіше. Розмір каталогу тут вторинний: у виміряному магазині інструменту карта сайту віддавала 25 537 записів на 6 857 реальних адрес — майже три чверті запитів бота йшли на повторний обхід уже відомого.

Подивитись, як це працює
Вартість
після безкоштовного аудиту
Гарантія
30 днів після підписання акта
Що робимо
статистика сканування, чистка обходу, швидкість віддачі, контрольний зріз
після безкоштовного аудиту
Вартість
30
Гарантія

днів після підписання акта

статистика сканування, чистка обходу, швидкість віддачі, контрольний зріз
Що робимо
10–25
Строк основних робіт

робочих днів

59 189
Найбільший каталог у власному вимірі

адрес у карті сайту, з них 55 321 товарна

25 537
Скільки з'їдають повтори

записів карти на 6 857 адрес — 3,9 повтору на товар

безкоштовна оцінка обходу, 3–4 робочих дні
Перед кошторисом
кількості сторінок в індексі — обхід її не визначає
Чого не обіцяємо

Безкоштовна оцінка того, на що витрачається обхід вашого сайту

Краулінговий бюджет — це не абстракція, а конкретна кількість запитів, які бот робить до вашого сайту. Питання лише в тому, на що вони йдуть: на нові товари чи на десяте повторення однієї й тієї ж картки. Оцінка цього складу нічого не коштує.

Що міряємо

  • Скільки унікального в карті сайтуЗаписи проти унікальних адрес. Кожен зайвий повтор — це запит бота, витрачений даремно.
  • Швидкість віддачі під ботомСкільки часу сервер витрачає на одну сторінку. Чим повільніше, тим менше сторінок бот встигає за сеанс.
  • Час генерації карти сайтуМи міряли магазин, де карта віддавалась 34,2 секунди. Бот не зобов'язаний чекати.
  • Службові адреси в обходіВнутрішній пошук, сортування, порівняння, сесії — усе, що не має бути в індексі, але доступне для обходу.
  • Мовні гілкиЧи не подвоюється обхід за рахунок мов і чи потрібні обидві версії в індексі однаково.
  • Статистика скануванняДані Search Console: скільки сторінок на день, який середній час відповіді, скільки помилок. Це єдине джерело правди про поведінку бота.

Що ви отримуєте на руки

  • Оцінка частки обходу, що йде на повтори й службові адреси.
  • Перелік того, що варто прибрати з обходу, з поясненням механіки для кожного пункту.
  • Порівняння середнього часу відповіді з тим, що ми бачили на інших сайтах того ж класу.
  • Розмова на 30–40 хвилин по документу.

Строк: 3–4 робочих дні

Чому це безкоштовно

Бо без доступу до статистики сканування будь-яка оцінка обходу — здогад, а перший зріз ми можемо зробити й ззовні. Це чесніше, ніж продавати роботу наосліп.

Що далі

Далі — перелік робіт із сумою і строком. Частина пунктів перетинається з чисткою дублів: якщо вам вигідніше зробити одну роботу замість двох, ми так і скажемо.

Форма коротка: контакт і адреса сайту

Працюємо офіційно

Договір, акт і рахунок — на кожен проєкт, а не тільки на великий. Без документів у вас немає ні прав на роботу, ні підстави провести витрати.

  • Договір, акт і гарантія 30 днів

    На кожен проєкт письмовий договір: обсяг, строки, сума, порядок приймання. Після здачі — акт і рахунок, а далі 30 календарних днів гарантії: помилки з нашої вини усуваємо безоплатно. Усне з дзвінка дублюємо письмово того ж дня — домовленість, якої немає в тексті, не рахується.

  • ФОП і безготівковий розрахунок

    Виконавець — зареєстрований ФОП. Оплата на рахунок із закривними документами, які бухгалтерія проведе як витрати. Курс для гривневої оплати фіксується договором, а не з’ясовується постфактум.

  • Права й доступи — ваші

    Код, дизайн і матеріали переходять до вас після повної оплати. Домен, хостинг, репозиторій, аналітику й рекламні кабінети оформлюємо на вас — щоб сайт не залежав від підрядника. NDA підписуємо на запит, після завершення свої доступи видаляємо самі.

  • Портал клієнта замість переписки

    На час роботи ви отримуєте доступ до порталу: договори, рахунки, акти й стан проєкту в одному місці. Документи формуються з даних угоди, тому реквізити й суми в них не розходяться, а про оплати й дедлайни нагадує система, а не пам’ять менеджера.

  • Замовники з Європи

    Серед робіт — проєкти для Норвегії, Болгарії та Іспанії: болгарський магазин трьома мовами з кур’єрською доставкою, іспанський з оплатою карткою й переказом, норвезький сайт клініки. Це видно в портфоліо, а не тільки в описі.

  • Цифри, які можна перевірити

    Кожен кейс у портфоліо — з посиланням на живий сайт і технічним виміром: швидкість відповіді, вага сторінки, обсяг каталогу, знайдені дефекти. Ці цифри можна зняти самому й звірити з нашими.

  • Спершу аудит, потім сума

    Прайсу на сайті немає навмисно: обсяг тієї самої роботи у двох клієнтів відрізняється в рази, і цифра «від» нічого не пояснює. Спершу безкоштовний розбір — рахуємо ваші сторінки, дублі й швидкість, — потім називаємо суму й строк і фіксуємо їх у договорі.

  • Кажемо «ні», коли не впевнені

    Якщо задача не наша, строк нереальний або послуга вам просто не потрібна — скажемо це першим листом, а не після передоплати. Гарантій позицій у пошуку не даємо: їх не дає ніхто, а обіцянка без механізму — це продаж, а не робота.

NDA підписуємо на запит. Після завершення співпраці наші доступи до ваших сервісів видаляємо самі й повідомляємо про це.

Що впливає на вартість

Чому дві однакові на вигляд задачі рахуються по-різному — і що саме ми міряємо на аудиті

  • Скільки адрес знає ботГоловний множник. Інвентаризація каталогу на 590 адрес і каталогу на 59 189 — це різні роботи не у відсотках, а в тижнях: підкарти доводиться обходити фактично, сторінка за сторінкою.
  • Частка повторівПовтори не розбираються поштучно — вони збиваються в шаблони, і на шаблон пишеться одне правило. Але шаблон спершу треба знайти. У виміряному магазині інструменту на одну адресу припадало 3,9 запису в карті сайту.
  • Чи є журнали сервераЗ журналами видно, куди бот ходить насправді, включно з адресами, яких немає ні в карті сайту, ні в посиланнях. Без них лишається Search Console: агреговані цифри без розбивки за адресами, і шлях до тих самих висновків довший.
  • Хто керує серверомКоли кеш, robots.txt і генератор карти сайту правимо ми — це календарно швидко. Коли все йде через вашого адміністратора або хостинг з обмеженим доступом, додається час на погодження кожної правки.
  • Кількість мовних гілокДві мови — це не вдвічі більше роботи, а плюс окремий шар звірки: чи обидві гілки в карті сайту і чи збігається мова адрес із мовою, яку сайт віддає за замовчуванням.
  • Стан карти сайтуКарта, що збирається на льоту, — окремий рядок робіт. Ми міряли магазин, де на її генерацію йшло 34,2 секунди: там питання вже не в чистці записів, а в переході на статичні підкарти.
Кому підходить

Ситуації, у яких ця послуга дає результат

Ситуація 1 з 4

Каталог на тисячі адрес, який регулярно поповнюється

Товар з'явився на сайті в понеділок, у пошуку — через три тижні або ніколи. На каталозі такого розміру бот не встигає обійти все за прохід, і черга вибудовується не за вашим пріоритетом. Робота полягає в тому, щоб звільнити місце в цій черзі: прибрати з неї те, що не має бути в індексі, і лишити нові картки.

Розберемо вашу ситуацію на безкоштовному аудиті
Що входить

Повний перелік робіт і того, що ви отримуєте на виході

  • Розбір статистики сканування Search Console за доступний період: сторінок на добу, середній час відповіді, розподіл кодів відповідей — точка, від якої міряється решта
  • Підрахунок фактичного складу обходу: скільки в ньому карток, категорій, службових адрес і повторів. Далі ви бачите частку, а не відчуття
  • Закриття службових розділів від обходу — внутрішній пошук, сортування, порівняння, кошик, ідентифікатори сесій: запити бота перестають на них витрачатись
  • Чистка карти сайту: одна адреса — один запис, щоб бот отримував список товарів, а не той самий товар під чотирма шляхами категорій
  • Скорочення часу збирання карти сайту або перехід на статичні підкарти — бот не зобов'язаний чекати, поки вона згенерується
  • Прискорення віддачі сторінок, які бот відкриває найчастіше: кеш, запити до бази, налаштування nginx. Це прямо додає сторінок за сеанс
  • Правдиві дати останньої зміни, щоб бот бачив, що оновилось насправді, і не переобходив увесь каталог наосліп
  • Перегляд внутрішньої перелінковки: глибокі сторінки каталогу підтягуються ближче до входу, бо до них має вести менше переходів
  • Контрольний зріз статистики сканування через 30 днів після впровадження — тими самими метриками, що знімались на старті
  • Письмове пояснення кожної зміни, щоб ваш розробник міг це підтримувати далі без нас
Коли ця послуга не підходить

Що не входить у роботу — щоб не було сюрпризів на здачі

  • Гарантія кількості сторінок в індексі: обхід її не визначає
  • Прискорення індексації окремих сторінок «за запитом»
  • Створення контенту для сторінок, які лишаються поза індексом через відсутність цінності
  • Робота із зовнішніми посиланнями
  • Переписування рушія, якщо повтори адрес закладені в самій платформі — це вже окремий проєкт із окремим кошторисом
Як проходить робота

Прозорі етапи з погодженням на кожному кроці

Загальний строк:10–25 днів

  1. Статистика сканування і журнали

    2–4 робочих дні

    Витягуємо звіт Search Console за доступний період і, якщо доступ є, журнали сервера. Дивимось обсяг обходу на добу, середній час відповіді, розподіл кодів. Тут же стає видно, чи проблема взагалі в бюджеті обходу.

  2. Інвентаризація того, що бот обходить

    2–5 робочих днів

    Обхід карти сайту з підрахунком записів і унікальних адрес, прогін структури краулером, розбивка на картки, категорії, службові адреси й мовні гілки. На виході — таблиця з часткою кожного типу в загальному обході.

  3. Чистка обходу

    3–7 робочих днів

    Службові розділи закриваються, повтори прибираються з карти сайту, канонічні адреси розставляються там, де одна сторінка доступна кількома шляхами. Кожне рішення пояснюємо письмово: закриття від обходу і виведення з індексу — різні механізми, і плутанина між ними коштує дорого.

  4. Карта сайту і час відповіді

    2–5 робочих днів

    Карта переводиться на підкарти або статичну генерацію, дати останньої зміни починають відповідати дійсності. Паралельно беремося за віддачу тих сторінок, які бот відкриває найчастіше, — зазвичай це категорії й перші сторінки пагінації.

  5. Перелінковка й передача

    1–4 робочих дні

    Глибокі сторінки каталогу підтягуються ближче до входу, усі зміни фіксуються в документі для вашого розробника. Тут же домовляємось про дату контрольного зрізу й про те, хто дивиться звіт після нас.

  6. Контрольний зріз

    через 30 днів після впровадження, поза строком робіт

    Повторно знімаємо статистику сканування тими самими метриками. Раніше дивитись немає сенсу: дані Search Console приходять із затримкою, а поведінка бота міняється не за тиждень.

Не знайшли свій випадок?

Опишіть, як це влаштовано у вас, — відповімо, чи підходить «Оптимізація краулінгового бюджету» і що це означає у вашій ситуації. Без брифу й без дзвінка: одне питання, одна відповідь.

Кейси

Задачі та результат у цифрах — усі показники зняті нашим виміром

інтернет-магазин професійного інструменту, каталог понад 6 тис. позицій

Задача
Зрозуміти, чому нові позиції довго не з'являються в пошуку, хоча карта сайту заповнена.
Рішення
Обійшли карту сайту з підрахунком записів і унікальних адрес, заміряли час її збирання, звірили мовний склад адрес із мовою, яку сайт віддає за замовчуванням.
Результат
25 537 записів на 6 857 унікальних адрес: 6 486 карток товару і 361 категорія — кожен товар присутній у карті в середньому 3,9 раза. Сама карта збирається на льоту 34,2 секунди, лежить на нестандартному шляху й знаходиться лише через директиву в robots.txt. Усі адреси в ній — однією мовною гілкою, при тому що за замовчуванням сайт віддає іншу. Вимір 31.07.2026.

бренд натуральних спецій із власним інтернет-магазином

Задача
Перевірити, чому частина каталогу не потрапляє у видачу при невеликому обсязі товарів.
Рішення
Підрахунок записів і унікальних адрес у карті сайту, звірка оголошеної мовної розмітки з фактичним складом адрес, інвентаризація лічильників аналітики.
Результат
3 971 запис на 590 унікальних адрес при каталозі близько 580 товарів. На такому обсязі бот обходить усе, і вузьким місцем виявився не бюджет, а напрямок обходу: всі 590 адрес ведуть на одну мовну версію, хоча документ оголошений іншою мовою. Перша відповідь 428,4 мс при 264,1 КБ розмітки. Вимір 31.07.2026.

інтернет-магазин садової техніки та запчастин, каталог понад 50 тис. позицій

Задача
З'ясувати, чи встигає бот обходити каталог такого розміру і де він гальмує.
Рішення
Порахували адреси в підкартах фактично, сторінка за сторінкою, заміряли час першої відповіді й вагу розмітки, перевірили, як карта оголошена в robots.txt.
Результат
55 321 товарна адреса розкладена на 19 підкарт — по 3 000 у кожній, крім останньої з 1 321, — плюс 3 868 категорійних: щонайменше 59 189 адрес. Перша відповідь 840,5 мс, вага розмітки 454,5 КБ, PHP 7.3.33 без підтримки з грудня 2021 року. Карта оголошена в robots.txt, але лежить на нестандартному шляху. Вимір 31.07.2026.
Технології та інтеграції

На чому будуємо і з чим це з’єднується

Стек

  • Search Console, статистика сканування — єдине джерело про поведінку бота; дані приходять із затримкою
  • Журнали сервера — точний слід кожного візиту; на shared-хостингу доступу до них зазвичай немає
  • Screaming Frog — обхід структури краулером; сторінку без жодного вхідного посилання не знайде теж
  • robots.txt — прямо знімає навантаження з обходу, але не виводить з індексу те, що вже туди потрапило
  • Канонічні адреси — навпаки: склеюють дублі в індексі, а обхід при цьому не економлять
  • sitemap-індекс із підкарт — щоб карта не збиралась на льоту; робочий орієнтир — 3 000 адрес на підкарту
  • Last-Modified і ETag — сигнал «не змінилось»; працює лише поки дата справжня, а не поточний час
  • nginx і Cloudflare — кеш і час відповіді; довгий хвіст каталогу все одно йде повз кеш

Інтеграції

  • Google Search Console
  • Bing Webmaster Tools
  • Cloudflare
  • GA4
Робота зі складом обходу проти ручного надсилання адрес на переобхід

Чим цей варіант відрізняється від «Ручне надсилання адрес у Search Console»

Що змінюєтьсясклад обходу: бот перестає ходити по повторах і службових адресах
Масштабефект тим більший, чим більше адрес у каталозі
Тривалістьтримається, поки не наросте новий шар повторів
Що видно у звітісторінок на добу, середній час відповіді, розподіл кодів — до і після
Що потрібно від вас

Без цього не почнемо — краще підготувати заздалегідь

  1. Доступ до Search Console: без статистики сканування ця робота наполовину сліпа, і ми так і скажемо.
  2. Доступ до журналів сервера, якщо він у принципі є, — це найточніше джерело про те, куди ходить бот.
  3. Перелік розділів, які свідомо не потрібні в індексі: добірки під рекламу, службові фільтри, архіви.
  4. Розуміння, як часто оновлюється каталог — щодня, щотижня чи раз на сезон. Від цього залежить, за чим гнатись.
  5. Людину з боку розробки, яка може змінити robots.txt, генератор карти сайту й налаштування віддачі.
  6. Рішення щодо мовних гілок, якщо їх дві: обидві лишаються в індексі чи одна.

Якщо чогось із цього немає — скажіть, підкажемо, як зібрати або зробимо самі окремою задачею.

Часті питання

Те, що питають найчастіше — з конкретними відповідями

у мене 500 товарів — краулінговий бюджет мене стосується?

Практично ні, і продавати вам цю роботу було б нечесно. На каталозі в кілька сотень адрес бот обходить усе, та ще й із запасом — вузьке місце там в іншому. Робота починає окупатися на тисячах адрес і особливо там, де каталог часто поповнюється. Виміряний нами магазин спецій — рівно такий випадок: 590 унікальних адрес, і проблема виявилась не в бюджеті обходу, а в тому, що всі вони вели на одну мовну гілку з двох оголошених.

як зрозуміти, що обхід витрачається дарма?

Найшвидша перевірка займає п'ять хвилин: відкрити карту сайту й порівняти кількість записів із кількістю унікальних адрес. Якщо перше більше за друге в рази, бот регулярно ходить по одному й тому самому. У магазині професійного інструменту ми нарахували 25 537 записів на 6 857 адрес — 3,9 повтору на товар. Друга перевірка складніша: у звіті про статистику сканування середній час відповіді росте, а кількість сторінок на добу падає. Тоді справа не в структурі, а в швидкості.

чи впливає швидкість сайту на обхід?

Прямо. Чим довше сервер віддає сторінку, тим менше їх бот встигає за сеанс. У магазині садової техніки з 59 189 адресами перша відповідь займає 840,5 мс, і на такому обсязі це рахується тисячами необійдених сторінок за прохід. Окремий випадок — сама карта сайту: коли вона збирається 34,2 секунди, питання вже не в швидкості сторінок, а в тому, чи бот узагалі дочекається списку. Чесна межа: перша відповідь — це серверна частина, вона не описує, що бачить живий відвідувач із телефона, там додаються картинки, скрипти й мережа.

закрити зайве в robots.txt — цього достатньо?

Для економії обходу — так, це працює прямо й одразу. Але закриття від обходу не прибирає сторінку з індексу, якщо вона вже туди потрапила: бот перестає її відкривати, а у видачі вона лишається — без опису, бо прочитати його вже нема звідки. Для виведення з індексу потрібен інший механізм, і ми в кожному пункті звіту називаємо, який саме застосували й чому.

що робити з мовними версіями?

Спершу вирішити, чи обидві потрібні в індексі, — це рішення бізнесу, а не наше. Кожна гілка множить перелік адрес, а разом із ним і обхід. У двох виміряних магазинах карта сайту містила лише одну гілку, і в обох випадках не ту, яку сайт віддає за замовчуванням, тобто обхід ішов повз основну версію. Друга сторона питання: мовна гілка — це ще й контент, який хтось має підтримувати постійно, і ця витрата не закінчується ніколи.

скільки часу до видимого ефекту?

Статистика сканування починає рухатись протягом кількох тижнів — швидше не буде, дані Search Console приходять із затримкою. Практичний ефект, тобто швидша поява нових товарів у пошуку, стає помітним на наступному циклі оновлення каталогу. Контрольний зріз ми робимо через 30 днів після впровадження і порівнюємо ті самі метрики, що знімали на старті.

після чистки кількість сторінок в індексі впаде?

Може впасти, і це очікуваний хід подій. З індексу йдуть дублі й службові адреси, тому число у звіті зменшується — за рахунок того, що ніколи не приносило візитів. Ми проговорюємо це до початку робіт саме тому, що без пояснення падіння лічильника читається як погіршення. І окремо: кількість адрес у карті сайту ніколи не дорівнює кількості проіндексованих сторінок — так це описує сам Google.

більше обходу означає більше трафіку?

Ні, і це важлива межа. Швидший обхід означає, що сторінка раніше стає доступною в пошуку, — попиту на неї він не створює. Картка без опису, без відмінності від сусідньої і без запитів у ніші може потрапити в індекс за добу й не отримати жодного візиту. Тому в наших метриках стоїть строк від публікації до появи в індексі, а не обіцянка приросту відвідувань.

Надішліть адресу сайту й доступ до статистики сканування.

У відповідь — частка обходу, що йде на повтори й службові адреси, час збирання вашої карти сайту й перелік того, що варто прибрати. Якщо каталог малий і обхід вам не болить, скажемо це першим листом.

Переглянути кейси
  • Відповідь протягом 2 годин
  • Без зобов’язань
  • Працюємо за договором

Прайса на сайті немає навмисно: обсяг тієї самої роботи у двох клієнтів відрізняється в рази, і цифра «від» у такому разі нічого не пояснює. Спершу безкоштовний аудит — рахуємо ваші сторінки, дублі й швидкість, — потім називаємо суму й строк і фіксуємо їх у договорі.