Почати проект
+247%+185%📈📊
  • Технічне SEO

Індексація каталогу на десятки тисяч позицій

Індексація великого каталогу інтернет-магазину — це робота над тим, щоб кожна з десятків тисяч сторінок була досяжна боту, не дублювалась і віддавалась швидко. Починається вона не з карти сайту, а з підрахунку: скільки позицій у каталозі насправді й скільки з них пошуковик узагалі отримує списком. Ці два числа рідко збігаються. У магазині спорядження, який ми міряли, розбіжність між картою сайту й штатним пошуком склала 0,4% — і саме такі відсотки показують, де каталог протікає.

Подивитись, як це працює
Вартість
після безкоштовного аудиту
Гарантія
30 днів після підписання акта
Що робимо
рахуємо каталог, перебудовуємо карту сайту, прибираємо повтори, доводимо глибину до обходу
після безкоштовного аудиту
Вартість
30
Гарантія

днів після підписання акта

рахуємо каталог, перебудовуємо карту сайту, прибираємо повтори, доводимо глибину до обходу
Що робимо
15–45
Строк першого циклу

робочих днів, далі щомісячний зріз

54 302
Найбільший каталог у власному вимірі

товари і 635 категорій

59 189
Найбільша карта сайту у вимірі

адрес: 18 підкарт по 3 000 і ще одна на 1 321

413,8 мс
Швидкість на 54 тис. позицій

до першого байта — обсяг не вирок

кількості сторінок в індексі: це рішення пошуковика
Чого не обіцяємо
безкоштовний зріз індексації, 3–5 робочих днів
Перед кошторисом
Як проходить робота

Прозорі етапи з погодженням на кожному кроці

Загальний строк:15–45 днів

  1. Зріз стану індексації

    3–5 робочих днів

    Рахуємо каталог двома методами, розбираємо карту по підкартах, дивимось повтори, мовні гілки, дати оновлення й час відповіді. Усе з датою заміру — далі буде з чим порівнювати.

  2. Звірка з тим, що бачить пошуковик

    2–4 робочих дні

    Дані Search Console поруч із нашим зовнішнім підрахунком. Тут стає видно головне: скільки адрес ви пропонуєте боту і скільки з них дійсно дійшли до індексу.

  3. Перебудова карти сайту

    3–8 робочих днів

    Індексний файл, підкарти розумного розміру, робочі дати останньої зміни, усі мовні гілки, оголошення карти в robots.txt. Один запис на адресу, без винятків.

  4. Чистка повторів і канонікалізація

    4–12 робочих днів

    Шаблони дублювання — різні шляхи категорій, параметри фільтрів, мовні префікси — закриваються правилами. Попереджаємо заздалегідь: кількість сторінок в індексі якийсь час падатиме, і це очікувано.

  5. Досяжність глибини і швидкість

    3–10 робочих днів

    Перелінковка до глибоких вузлів, кеш категорій, віддача картки під обходом. Міряємо на реальних адресах із кінця каталогу, а не на головній, бо головна швидка майже завжди.

  6. Щомісячний зріз

    щомісяця, від запуску

    П'ять цифр раз на місяць: адреси в карті, унікальні адреси, сторінки в індексі, строк появи нового товару, час відповіді. Ловить зламану перегенерацію до того, як вона з'їсть квартал.

Технології та інтеграції

На чому будуємо і з чим це з’єднується

Стек

  • sitemap-індекс із підкарт: ліміт формату — 50 000 адрес на файл, але ріжемо раніше, по 3 000–3 500
  • lastmod: працює, лише поки дати справді змінюються — застигла дата гірша за її відсутність
  • обхід карти скриптом: рахує адреси фактично; на десятках тисяч адрес ведеться повільно, щоб не класти сайт
  • штатний пошук CMS як другий метод: дає цифру там, де пошук віддає повну видачу, і мовчить там, де ні
  • Search Console: єдине джерело кількості проіндексованих; дані з затримкою й обмеженням вивантаження
  • Screaming Frog: показує глибину кліків; не бачить сторінок, на які немає посилань
  • структуровані дані Product і Offer: міняють вигляд сніпета, а не позиції
  • nginx і кеш категорій: тримають віддачу під обходом, але ховають повільні запити, а не лікують їх

Інтеграції

  • Google Search Console
  • Bing Webmaster Tools
  • Google Merchant Center
  • GA4
  • Cloudflare
Що входить

Повний перелік робіт і того, що ви отримуєте на виході

  • Підрахунок каталогу двома незалежними методами — обходом карти сайту й штатним пошуком CMS — із фіксацією розбіжності: розмір каталогу перестає бути питанням довіри до звіту адмінки
  • Карта сайту як індекс із підкарт по кілька тисяч адрес: файл перевіряється очима, швидко генерується й оновлюється частинами
  • Дати останньої зміни, які справді змінюються: дата, поставлена генератором наосліп, знецінює весь файл
  • Усі мовні гілки в карті — або окремий файл на кожну мову, щоб друга версія не лишалась поза списком
  • Чистка повторів: одна адреса — один запис, щоб обхід ішов на нові сторінки, а не на десяте повторення відомої
  • Канонічні адреси для фільтрів і сортувань — параметри перестають множити копії тієї самої категорії
  • Перелінковка з розрахунку на глибину: до картки з кінця каталогу має вести шлях у кілька кліків, а не лише рядок у карті сайту
  • Швидкість віддачі каталогу під навантаженням обходу — кеш категорій і час відповіді картки, поміряні на реальних глибоких адресах, а не на головній
  • Структуровані дані Product, Offer і хлібні крихти на картках: на вигляд сніпета це впливає, на позиції ні
  • Щомісячний зріз із п'яти цифр: адрес у карті, унікальних адрес, сторінок в індексі, строк появи нового товару, час відповіді
Коли ця послуга не підходить

Що не входить у роботу — щоб не було сюрпризів на здачі

  • Написання описів для тисяч карток — окрема робота з окремим бюджетом
  • Гарантія кількості сторінок в індексі: рішення ухвалює пошуковик, не підрядник
  • Наповнення каталогу й розширення асортименту
  • Реклама й закупівля трафіку на період, поки каталог доходить до індексу
  • Переписування движка: якщо CMS не вміє віддавати коректну карту, це задача розробки
Кому підходить

Ситуації, у яких ця послуга дає результат

Ситуація 1 з 4

Каталог росте швидше, ніж пошуковик його обходить

Щотижня додаються нові позиції, а в пошуку живе торішній зріз. Причина зазвичай не в бюджеті: бот ходить по колу на ті самі адреси, бо карта сайту віддає їх у кількаразовому повторі, а нові сторінки лежать без жодного внутрішнього посилання. Спершу міряємо, скільки обходу з'їдають повтори, і лише потім говоримо про решту.

Розберемо вашу ситуацію на безкоштовному аудиті
Робота над індексацією проти «поставимо модуль генерації карти»

Чим цей варіант відрізняється від «Коробковий модуль карти сайту»

Розмір каталогурахуємо двома методами й показуємо розбіжність між ними
Повториодин запис на адресу, шаблони дублювання закриваються правилами
Мовні версіїусі гілки в карті або окремий файл на мову, коди мов звірені
Перевірка результатучитаємо тіло відповіді й рахуємо записи
Що даліп'ять цифр щомісяця й розбір змін

Безкоштовний зріз стану індексації вашого каталогу

На каталозі в десятки тисяч позицій найважче питання просте: скільки з них узагалі доступні пошуковику. Відповідь можна отримати ззовні — і ми робимо це до розмови про гроші, бо саме ця цифра визначає обсяг робіт.

Що міряємо

  • Розмір каталогу двома методамиРахуємо по карті сайту й перехресно штатним пошуком, потім показуємо розбіжність. У магазині спорядження вона склала 0,4% — і саме така різниця вказує на приховану проблему.
  • Структура карти сайтуЧи розбита вона на підкарти, скільки адрес у кожній, чи не впирається файл у ліміти формату.
  • ПовториСкільки записів припадає на одну унікальну адресу. На великому каталозі це головний споживач обходу.
  • Швидкість віддачі каталогуЧас відповіді на картці й у категорії. Орієнтир із виміру: каталог на 54 302 товари віддає перший байт за 413,8 мс — розмір не зобов'язує сайт бути повільним.
  • Мовні гілкиЧи подвоюється каталог мовами, чи всі версії присутні в карті й чи коректно оголошені коди мов.
  • Дати останньої зміниЧи оновлюються вони насправді, чи застигли після останнього збою генерації.

Що ви отримуєте на руки

  • Розмір каталогу, порахований двома незалежними методами, з розбіжністю між ними.
  • Стан карти сайту: підкарти, адреси, повтори, дати.
  • Перелік того, що заважає боту дійти до глибини каталогу, у порядку впливу.
  • Розмова на 40 хвилин по документу.

Строк: 3–5 робочих днів

Чому це безкоштовно

Бо це вимірювана робота, і без цифр обидві сторони торгуються наосліп. Ми рахуємо ваш каталог самі, ззовні, і показуємо, як саме рахували, — метод перевіряється.

Що далі

Далі — кошторис по етапах із календарними датами. Попереджаємо чесно: карта сайту не гарантує індексації, і 55 тисяч адрес у ній не означають 55 тисяч сторінок в індексі.

Форма коротка: контакт і адреса сайту

Не знайшли свій випадок?

Опишіть, як це влаштовано у вас, — відповімо, чи підходить «Індексація великого каталогу» і що це означає у вашій ситуації. Без брифу й без дзвінка: одне питання, одна відповідь.

Працюємо офіційно

Договір, акт і рахунок — на кожен проєкт, а не тільки на великий. Без документів у вас немає ні прав на роботу, ні підстави провести витрати.

  • Договір, акт і гарантія 30 днів

    На кожен проєкт письмовий договір: обсяг, строки, сума, порядок приймання. Після здачі — акт і рахунок, а далі 30 календарних днів гарантії: помилки з нашої вини усуваємо безоплатно. Усне з дзвінка дублюємо письмово того ж дня — домовленість, якої немає в тексті, не рахується.

  • ФОП і безготівковий розрахунок

    Виконавець — зареєстрований ФОП. Оплата на рахунок із закривними документами, які бухгалтерія проведе як витрати. Курс для гривневої оплати фіксується договором, а не з’ясовується постфактум.

  • Права й доступи — ваші

    Код, дизайн і матеріали переходять до вас після повної оплати. Домен, хостинг, репозиторій, аналітику й рекламні кабінети оформлюємо на вас — щоб сайт не залежав від підрядника. NDA підписуємо на запит, після завершення свої доступи видаляємо самі.

  • Портал клієнта замість переписки

    На час роботи ви отримуєте доступ до порталу: договори, рахунки, акти й стан проєкту в одному місці. Документи формуються з даних угоди, тому реквізити й суми в них не розходяться, а про оплати й дедлайни нагадує система, а не пам’ять менеджера.

  • Замовники з Європи

    Серед робіт — проєкти для Норвегії, Болгарії та Іспанії: болгарський магазин трьома мовами з кур’єрською доставкою, іспанський з оплатою карткою й переказом, норвезький сайт клініки. Це видно в портфоліо, а не тільки в описі.

  • Цифри, які можна перевірити

    Кожен кейс у портфоліо — з посиланням на живий сайт і технічним виміром: швидкість відповіді, вага сторінки, обсяг каталогу, знайдені дефекти. Ці цифри можна зняти самому й звірити з нашими.

  • Спершу аудит, потім сума

    Прайсу на сайті немає навмисно: обсяг тієї самої роботи у двох клієнтів відрізняється в рази, і цифра «від» нічого не пояснює. Спершу безкоштовний розбір — рахуємо ваші сторінки, дублі й швидкість, — потім називаємо суму й строк і фіксуємо їх у договорі.

  • Кажемо «ні», коли не впевнені

    Якщо задача не наша, строк нереальний або послуга вам просто не потрібна — скажемо це першим листом, а не після передоплати. Гарантій позицій у пошуку не даємо: їх не дає ніхто, а обіцянка без механізму — це продаж, а не робота.

NDA підписуємо на запит. Після завершення співпраці наші доступи до ваших сервісів видаляємо самі й повідомляємо про це.

Що впливає на вартість

Чому дві однакові на вигляд задачі рахуються по-різному — і що саме ми міряємо на аудиті

  • Реальний розмір каталогуНе той, що в адмінці, а той, що видно ззовні. Різниця між 5 561 позицією і 54 302 — це різниця в кількості файлів карти, часі обходу й обсязі звірки, а не відсоток до тієї самої роботи.
  • Скільки повторів припадає на адресуПовтори не правляться поштучно: вони збиваються в шаблони, і на шаблон пишеться одне правило. Але спершу ці шаблони треба знайти, а це обхід усієї карти, а не вибірки з десяти адрес.
  • Стан генератора картиФайл будується за секунди — працюємо з наявним. Віддає порожнє тіло або збирається десятками секунд — спершу лагодимо сам генератор, і це окремий рядок кошторису.
  • Кількість мовних гілокКожна гілка подвоює перелік адрес і додає звірку: чи всі версії в карті, чи правильно оголошені коди мов. У магазині на 54 302 товари саме друга мова дає 110 096 адрес у файлі.
  • Швидкість віддачі під обходомКаталог, що відповідає за 413,8 мс, бот обходить так само спокійно, як маленький сайт. Каталог із відповіддю 840,5 мс доводиться спершу прискорювати, інакше обхід сам себе обмежить.
  • Доступ до Search ConsoleЄ доступ — бачимо, скільки сторінок реально в індексі, і працюємо по цифрі. Немає — працюємо по тому, що видно ззовні, і частина результату лишається неперевірюваною.
Кейси

Задачі та результат у цифрах — усі показники зняті нашим виміром

інтернет-магазин тактичного спорядження, каталог понад 50 тис. позицій

Задача
Підтвердити реальний розмір каталогу й перевірити, у якому вигляді він поданий пошуковику.
Рішення
Обхід індексного файлу карти сайту з вибірковою перевіркою підкарт — першої, шістнадцятої, тридцять першої та останньої; перехресний підрахунок штатним пошуком по 100 позицій на сторінку.
Результат
54 302 товари і 635 категорій. Карта зібрана з 32 товарних файлів: перевірені підкарти містять рівно по 3 500 адрес, остання — 104; разом 110 096 адрес на дві мови. Перехресна перевірка пошуком дала 54 501–54 600 позицій, розбіжність із картою 0,4%. Перша відповідь 413,8 мс, повне завантаження 511,1 мс, дев'ять типів структурованих даних. Знайдений дефект: коди мов у розмітці задані некоректно — дві гілки існують, а оголошені як одна мова. Вимір 31.07.2026.

інтернет-магазин садової техніки та запчастин, найбільша карта сайту у вибірці

Задача
Порахувати каталог запчастин, який не вміщується в один файл карти сайту.
Рішення
Пройшли підкарти фактично, сторінка за сторінкою, звірили оголошення карти в robots.txt і зняли час відповіді на найважчих сторінках.
Результат
55 321 товарна адреса — 18 підкарт по 3 000 і 1 321 у дев'ятнадцятій — плюс 3 868 категорійних: щонайменше 59 189 адрес. Карта явно оголошена в robots.txt, розмітка з шести типів структурованих даних. Перша відповідь 840,5 мс при 454,5 КБ розмітки — найповільніший результат партії й перша точка роботи. Окремо видно вік стека: PHP 7.3.33, без підтримки з грудня 2021 року. Вимір 31.07.2026.

інтернет-магазин професійної косметики, каталог понад 5 тис. позицій

Задача
З'ясувати, чому каталог такого розміру майже не представлений у пошуку.
Рішення
Підрахунок каталогу штатним пошуком CMS, перевірка тіла відповіді /sitemap.xml і складу лічильників на головній.
Результат
5 561 товар у живому каталозі — 55 сторінок пошуку по 100 позицій і 61 на останній. При цьому /sitemap.xml віддає код 200 з тілом у нуль байтів: списку адрес пошуковик не отримує взагалі. Одна мовна версія без мовної розмітки, жодного лічильника аналітики на головній, перша відповідь 801,2 мс при 153,8 КБ розмітки. Вимір 31.07.2026.
Що потрібно від вас

Без цього не почнемо — краще підготувати заздалегідь

  1. Адресу сайту й адресу карти сайту — цього достатньо, щоб зробити перший зріз без жодних доступів.
  2. Доступ до Search Console: реальної кількості проіндексованих сторінок без нього не бачить ніхто, включно з нами.
  3. Доступ до CMS або до вашого розробника — щоб міняти генерацію карти, дати оновлення й канонічні адреси.
  4. Розуміння, як часто оновлюється каталог і скільки позицій додається за тиждень: від цього залежить періодичність перегенерації.
  5. Рішення, що робити з варіантами товару — окремі адреси на розмір і колір чи параметри однієї картки. Це рішення бізнесу, не технічне.
  6. Одну людину з вашого боку з правом погодити зміни в структурі адрес.

Якщо чогось із цього немає — скажіть, підкажемо, як зібрати або зробимо самі окремою задачею.

Часті питання

Те, що питають найчастіше — з конкретними відповідями

як ви рахуєте розмір каталогу — з моїх слів?

Ні, двома незалежними методами. Перший — обхід карти сайту з підрахунком адрес у кожній підкарті. Другий — штатний пошук CMS із порожнім запитом і максимальною кількістю позицій на сторінку. Потім показуємо розбіжність. У магазині тактичного спорядження карта дала 54 302 товари, пошук — 54 501–54 600 позицій: розбіжність 0,4%. Цікава саме ця різниця, бо вона показує, скільки товарів живуть у каталозі, але не потрапили в список для бота.

великий каталог обов'язково повільний?

Ні. Каталог на 54 302 товари віддає перший байт за 413,8 мс і повний HTML за 511,1 мс. Каталог на 5 561 позицію в тій самій вибірці — 801,2 мс. Тягне вниз шаблон, набір модулів і вік стека, а не кількість рядків у базі. У найповільнішого з поміряних каталогів під капотом PHP 7.3.33 — версія, яка лишилась без підтримки в грудні 2021 року.

скільки адрес класти в один файл карти?

Ліміт формату — 50 тисяч адрес на файл, але розбивати варто раніше. У виміряних каталогах підкарти зроблені по 3 000 і по 3 500 адрес, і це зручний розмір: файл швидко збирається, його можна відкрити й перерахувати очима, а при зміні частини каталогу перегенерувати доводиться лише потрібний шматок. Наша рекомендація — тримати підкарту в межах трьох-чотирьох тисяч адрес, навіть коли формат дозволяє вдесятеро більше.

усі товари потраплять в індекс?

Ні, і обіцяти таке було б неправдою. Карта сайту — це прохання просканувати, а не гарантія індексації, Google пише про це прямо. Картка без опису, без відмінності від сусідніх і без попиту може лишитись поза індексом при будь-якій технічній роботі. Наша частина: щоб кожна сторінка була досяжною, не дублювалась і швидко віддавалась. Рішення про індекс лишається за пошуковиком.

у нас sitemap відкривається — значить, усе гаразд?

Не значить. Перевіряти треба не код відповіді, а тіло. У магазині професійної косметики /sitemap.xml віддає код 200 і нуль байтів: браузер показує порожню сторінку, моніторинг рахує сайт справним, а бот не отримує жодної адреси з каталогу на 5 561 позицію. Це найдешевша поломка з усіх і найдорожча за наслідками, бо тримається місяцями непоміченою.

чи є сенс індексувати кожну позицію великого каталогу?

Не завжди. Коли адреси заведені на рівні розміру й кольору, число сторінок росте в рази без зростання попиту: сотня варіантів однієї моделі — це сотня майже однакових сторінок, які конкурують між собою. Часто правильніше тримати в індексі модель, а варіанти лишати параметрами картки. Рішення тут ухвалює бізнес, бо воно про асортимент; ми лише показуємо, у що воно обходиться в обході.

як часто перевіряти стан індексації?

На великому каталозі — щомісяця. Стан змінюється сам собою: додаються товари, зникають старі, після оновлення CMS ламається перегенерація карти. Тоді файл лишається на місці, а дати в ньому застигають, і зовні все виглядає нормально. Зріз із п'яти цифр раз на місяць займає небагато часу й ловить таке до того, як воно з'їсть квартал.

після чистки повторів кількість сторінок в індексі впаде?

Найімовірніше так, і це очікуваний хід. Коли одна картка доступна за трьома шляхами, в індексі жили три слабкі сторінки замість однієї сильної. Після чистки лишається одна: цифра «сторінок в індексі» зменшується, а обхід перестає витрачатись на повтори. Тому ми фіксуємо її до робіт і показуємо поруч із кількістю унікальних адрес — інакше нормальний хід подій читається як погіршення.

Надішліть адресу сайту й адресу карти сайту.

У відповідь — скільки позицій у каталозі за двома методами підрахунку, скільки адрес у карті, скільки з них повтори і що заважає боту дійти до глибини. Якщо каталог невеликий, скажемо про це першим листом і не продаватимемо зайвого.

Переглянути кейси
  • Відповідь протягом 2 годин
  • Без зобов’язань
  • Працюємо за договором

Прайса на сайті немає навмисно: обсяг тієї самої роботи у двох клієнтів відрізняється в рази, і цифра «від» у такому разі нічого не пояснює. Спершу безкоштовний аудит — рахуємо ваші сторінки, дублі й швидкість, — потім називаємо суму й строк і фіксуємо їх у договорі.