Индексация большого каталога интернет-магазина – это работа над тем, чтобы каждая из десятков тысяч страниц была доступна боту, не дублировалась и отдавалась быстро. Начинается она не с карты сайта, а с подсчета: сколько позиций в каталоге на самом деле и сколько поисковик вообще получает списком. Эти два числа редко совпадают. В магазине снаряжения, который мы меряли, расхождение между картой сайта и штатным поиском составило 0,4% — и именно такие проценты показывают, где каталог протекает.
количества страниц в индексе: это решение поисковика
Чего не обещаем
бесплатный срез индексации, 3–5 рабочих дней
Перед сметой
Этапы работы
Прозрачные этапы с согласованием на каждом шагу
Общий срок:15–45 дней
1
Срез состояния индексации
3–5 рабочих дней
Считаем каталог двумя методами, разбираем карту по подкартам, смотрим повторы, языковые ветви, даты обновления и время ответа. Все с датой замера – дальше будет с чем сравнивать.
2
Сверка с тем, что видит поисковик
2–4 рабочих дня
Данные Search Console рядом с нашим внешним подсчетом. Здесь становится видно главное: сколько адресов вы предлагаете боту и сколько из них действительно дошли до индекса.
3
Перестройка карты сайта
3–8 рабочих дней
Индексный файл, подкарты разумного размера, рабочие даты последнего изменения, все языковые ветви, объявления карты в robots.txt. Одна запись по адресу, без исключений.
4
Чистка повторов и каноникализация
4–12 рабочих дней
Шаблоны дублирования – разные пути категорий, параметры фильтров, языковые префиксы – закрываются правилами. Предупреждаем заранее: количество страниц в индексе будет некоторое время падать, и это ожидаемо.
5
Достижимость глубины и скорость
3–10 рабочих дней
Перелинковка к глубоким узлам, кэш категорий, отдача карты под обходом. Меряем на реальных адресах с конца каталога, а не на главном, потому что главная скорая почти всегда.
6
Ежемесячный срез
ежемесячно, от запуска
Пять цифр раз в месяц: адреса в карте, уникальные адреса, страницы в индексе, срок появления нового товара, время ответа. Ловит сломанную перегенерацию до того, как она съест квартал.
Технологии и интеграции
На чём строим и с чем это соединяется
Стек
sitemap-индекс по подкартам: лимит формата — 50 000 адресов на файл, но режем раньше, по 3 000–3 500
lastmod: работает, только пока даты действительно меняются — застыла дата хуже ее отсутствия
обход карты скриптом: считает адреса фактически; на десятках тысяч адресов ведется медленно, чтобы не класть сайт
штатный поиск CMS как второй метод: дает цифру там, где поиск отдает полную выдачу, и молчит там, где нет
Search Console: единственный источник количества проиндексированных; данные с задержкой и ограничением выгрузки
Screaming Frog: показывает глубину кликов; не видит страниц, на которые нет ссылок
структурированные данные Product и Offer: меняют облик снипета, а не позиции
nginx и кэш категорий: держат отдачу под обходом, но прячут медленные запросы, а не лечат их
Интеграции
Google Search Console
Bing Webmaster Tools
Google Merchant Center
GA4
Cloudflare
Что входит
Полный перечень работ и того, что вы получаете на выходе
Подсчет каталога двумя независимыми методами – обходом карты сайта и штатным поиском CMS – с фиксацией расхождения: размер каталога перестает быть вопросом доверия к отчету админки
Карта сайта как индекс с подкарт по несколько тысяч адресов: файл проверяется глазами, быстро генерируется и обновляется по частям
Даты последнего изменения, действительно меняющиеся: дата, поставленная генератором вслепую, обесценивает весь файл
Все языковые ветви в карте или отдельный файл на каждый язык, чтобы вторая версия не оставалась вне списка
Чистка повторов: один адрес — одна запись, чтобы обход шел на новые страницы, а не на десятое повторение известной
Канонические адреса для фильтров и сортировок — параметры перестают умножать копии той же категории
Перелинковка в расчете на глубину: к карте с конца каталога должна вести путь в несколько кликов, а не только строка в карте сайта
Скорость отдачи каталога под нагрузкой обхода – кэш категорий и время ответа карты, умеренные на реальных глубоких адресах, а не на главном
Структурированные данные Product, Offer и хлебные крошки на карточках: с виду снипета это влияет, на позиции нет
Ежемесячный срез из пяти цифр: адресов в карте, уникальных адресов, страниц в индексе, срок появления нового товара, время ответа
Когда эта услуга не подходит
Что не входит в работу — чтобы не было сюрпризов на сдаче
Написание описаний для тысяч карт — отдельная работа с отдельным бюджетом
Гарантия количества страниц в индексе: решение принимает поисковик, не подрядчик
Наполнение каталога и расширение ассортимента
Реклама и закупка трафика на период, пока каталог доходит до индекса
Переписка движка: если CMS не умеет отдавать корректную карту, это задача разработки
Кому подходит
Ситуации, в которых эта услуга даёт результат
Сценарий 1 из 4
Каталог растет быстрее, чем поисковик его обходит.
Еженедельно прибавляются новые позиции, а в поиске живет прошлогодний срез. Причина обычно не в бюджете: бот ходит по кругу на те же адреса, потому что карта сайта отдает их в многократном повторе, а новые страницы лежат без всякой внутренней ссылки. Сначала меряем, сколько обхода съедают повторы, и только потом говорим об остальных.
Разберём вашу ситуацию на бесплатном аудите
Сценарий 2 из 4
Десятки тысяч позиций и один файл карты на все
Формат позволяет 50 тысяч адресов в файле, но файл на грани лимита неудобен всем: долго генерируется, тяжело проверяется, не обновляется по частям. В самом большом из умеренных нами каталогов карта собрана из 19 подкарт - 18 по 3 000 адресов и один на 1 321. Такие файлы читаются глазами и перегенерируются кусками.
Сценарий 3 из 4
Каталог удвоен языками
Две языковые ветви – это не два каталога в работе, а двойной перечень адресов и отдельная сверка. В магазине снаряжения на 54 302 товара карта держит 110 096 адресов именно через второй язык. Там же мы обнаружили, что коды языков в разметке заданы некорректно: обе ветви существуют, а поисковику они объявлены как один язык.
Сценарий 4 из 4
Карта сайта формально есть, а списка адресов бот не получает
Состояние, которое мы видели извне не раз: /sitemap.xml отдает код 200 с пустым телом. Проверка "адрес открывается" его не ловит - нужно смотреть тело ответа. В магазине профессиональной косметики так стоят 5 561 позиция: каталог жив, файл пуст, и о товарах бот не узнает ниоткуда.
Работа над индексацией против «поставим модуль генерации карты»
Чем этот вариант отличается от альтернативы
Коробочный модуль карты сайтаНаш подход
Размер каталогаберется из отчета админки: сколько в базе, столько и в файлесчитаем двумя методами и показываем расхождение между ними
Повторив файл идут все пути категорий, поэтому товар попадает в него по несколько разодна запись в адрес, шаблоны дублирования закрываются правилами
Языковые версиичасто только тот язык, который стоит по умолчаниювсе ветви в карте или отдельный файл на язык, коды языков сверены
Проверка результатасмотрят код ответа: 200 с пустым телом считается рабочей картойчитаем тело ответа и считаем записи
Что дальшефайл живет, пока не сломается генератор – и об этом никто не узнаетпять цифр ежемесячно и разбор изменений
Бесплатный срез состояния индексации вашего каталога
На каталоге в десятки тысяч позиций самый трудный вопрос простой: сколько из них вообще доступны поисковику. Ответ можно получить извне – и мы делаем это к разговору о деньгах, потому что именно эта цифра определяет объем работ.
Что мы измеряем
Размер каталога двумя методамиСчитаем по карте сайта и перекрестно штатным поиском, затем показываем расхождение. В магазине снаряжения она составила 0,4% и именно такая разница указывает на скрытую проблему.
Структура карты сайтаРазбита ли она на подкарты, сколько адресов в каждой, не упирается ли файл в лимиты формата.
ПовториСколько записей приходится на один уникальный адрес. На большом каталоге это главный потребитель обхода.
Скорость отдачи каталогаВремя ответа на карточке и в категории. Ориентир по измерению: каталог на 54 302 товара отдает первый байт за 413,8 мс – размер не обязывает сайт быть медленным.
Языковые ветвиУдваивается каталог языков, все версии присутствуют в карте и корректно ли объявлены коды языков.
Дать последней сменыОбновляются ли они на самом деле, застыли ли после последнего сбоя генерации.
Что вы получаете
Размер каталога, сосчитанный двумя независимыми методами, с расхождением между ними.
Состояние карты сайта: подкарты, адреса, повторы, даты.
Перечень мешающего боту дойти до глубины каталога в порядке воздействия.
Разговор на 40 минут по документу.
Срок: 3–5 рабочих дней
Почему это бесплатно
Потому что это измеряемая работа, и без цифр обе стороны торгуются вслепую. Мы считаем ваш каталог сами, извне, и показываем, как именно считали, – метод проверяется.
Что дальше
Далее – смета по этапам с календарными датами. Предупреждаем честно: карта сайта не гарантирует индексацию, и 55 тысяч адресов в ней не означают 55 тысяч страниц в индексе.
Короткая форма: контакт и адрес сайта
Не нашли свой случай?
Опишите, как это устроено у вас, — ответим, подходит ли «Индексация большого каталога» и что это значит в вашей ситуации. Без брифа и без звонка: один вопрос, один ответ.
Договор, акт и гарантия 30 дней
На каждый проект письменный договор: объём, сроки, сумма, порядок приёмки. После сдачи — акт и счёт, затем 30 календарных дней гарантии.
ФОП и безналичный расчёт
Исполнитель — зарегистрированный ФОП. Оплата на счёт с закрывающими документами.
Права и доступы — ваши
Код, дизайн и материалы переходят к вам после полной оплаты. Домен, хостинг, репозиторий оформляем на вас.
Портал клиента вместо переписки
Во время работы вы получаете доступ к порталу: договоры, счета, акты и статус проекта в одном месте.
Заказчики из Европы
Среди работ — проекты для Норвегии, Болгарии, Молдовы и Испании.
Цифры, которые можно проверить
Каждый кейс в портфолио — со ссылкой на живой сайт и техническим замером.
Сначала аудит, потом сумма
Прайса на сайте нет намеренно: объём одной и той же работы у двух клиентов отличается кратно.
Говорим «нет», когда не уверены
Если задача не наша или срок нереальный — скажем сразу.
Что влияет на стоимость
Почему две одинаковые на вид задачи считаются по-разному
Реальный размер каталогаНе тот, что в админке, а видный извне. Разница между 5561 позицией и 54302 — это разница в количестве файлов карты, времени обхода и объеме сверки, а не процент до той же работы.
Сколько повторов приходится на адресПовторы не правятся поштучно: они сбиваются в шаблоны и на шаблон пишется одно правило. Но сначала эти шаблоны нужно найти, а это обход всей карты, а не выборки из десяти адресов.
Состояние генератора картыФайл строится за секунды – работаем с имеющимся. Отдает пустое тело или собирается десятками секунд — сначала чиним сам генератор, и это отдельная строка сметы.
Количество речевых ветокКаждая ветвь удваивает список адресов и добавляет сверку: все ли версии в карте или правильно объявлены коды языков. В магазине на 54 302 товара именно второй язык дает 110 096 адресов в файле.
Скорость отдачи под обходомКаталог, отвечающий за 413,8 мс, бот обходит так же спокойно, как маленький сайт. Каталог с ответом 840,5 мс приходится сперва ускорять, иначе обход сам себя ограничит.
Доступ к Search ConsoleЕсть доступ – видим, сколько страниц реально в индексе, и работаем по цифре. Нет – работаем по тому, что видно извне, и часть результата остается непроверяемой.
Кейсы
Задачи и результат в цифрах — все показатели сняты нашим замером
интернет-магазин тактического снаряжения, каталог более 50 тыс. позиций
Задача
Подтвердить реальный размер каталога и проверить, в каком виде он представлен поисковику.
Решение
Обход индексного файла карты сайта с выборочной проверкой подкарт – первой, шестнадцатой, тридцать первой и последней; перекрестный подсчет штатным поиском по 100 позиций на страницу.
Результат
54 302 товара и 635 категорий. Карта собрана из 32 товарных файлов: проверенные подкарты содержат ровно по 3 500 адресов, последняя – 104; вместе 110 096 адресов на два языка. Перекрестная проверка поиском дала 54501–54600 позиций, расхождение с картой 0,4%. Первый ответ 413,8 мс, полная загрузка 511,1 мс, девять типов структурированных данных. Найден дефект: коды языков в разметке заданы некорректно - две ветви существуют, а объявлены как один язык. Измерение 31.07.2026.
интернет-магазин садовой техники и запчастей, самая большая карта сайта в выборке
Задача
Подсчитать каталог запчастей, который не помещается в один файл карты сайта.
Решение
Прошли подкарты фактически, страница за страницей, сверили объявление карты в robots.txt и сняли время ответа на самых трудных страницах.
Результат
55 321 товарный адрес — 18 подкарт по 3 000 и 1 321 в девятнадцатом — плюс 3 868 категорийных: не менее 59 189 адресов. Карта очевидно объявлена в robots.txt, разметка из шести типов структурированных данных. Первый ответ 840,5 мс при 454,5 КБ разметки – самый медленный результат партии и первая точка работы. Отдельно виден возраст стека: PHP 7.3.33, без поддержки с декабря 2021 года. Измерение 31.07.2026.
интернет-магазин профессиональной косметики, каталог более 5 тыс. позиций
Задача
Выяснить, почему каталог такого размера почти не представлен в поиске.
Решение
Подсчет каталога штатным поиском CMS, проверка тела ответа /sitemap.xml и состав счетчиков на главной.
Результат
5 561 товар в живом каталоге — 55 страниц поиска по 100 позиций и 61 на последний. При этом /sitemap.xml отдает код 200 с телом в ноль байтов: список адресов поисковик не получает вообще. Одна речевая версия без речевой разметки, ни одного счетчика аналитики на главной, первый ответ 801,2 мс при 153,8 КБ разметки. Измерение 31.07.2026.
Что нужно от вас
Без этого не начнём — лучше подготовить заранее
1Адрес сайта и адрес карты сайта этого достаточно, чтобы сделать первый срез без каких-либо доступов.
2Доступ к Search Console: реального количества проиндексированных страниц без него не видит никто, включая нас.
3Доступ к CMS или к вашему разработчику – чтобы менять генерацию карты, дать обновления и канонические адреса.
4Понимание, как часто обновляется каталог и сколько позиций добавляется в неделю: от этого зависит периодичность перегенерации.
5Решение, что делать с вариантами товара – отдельные адреса на размер и цвет или параметры одной карты. Это решение бизнеса, не техническое.
6Один человек с вашей стороны с правом согласовать изменения в структуре адресов.
Если чего-то из этого нет — скажите, подскажем, как собрать или сделаем сами отдельной задачей.
Частые вопросы
Что спрашивают чаще всего — с конкретными ответами
Как вы считаете размер каталога – по моим словам?
Нет, двумя независимыми методами. Первый – обход карты сайта с подсчетом адресов в каждой подкарте. Второй – штатный поиск CMS с пустым запросом и максимальным количеством позиций на страницу. Затем показываем расхождение. В магазине тактического снаряжения карта дала 54 302 товара, поиск - 54 501-54 600 позиций: расхождение 0,4%. Интересна именно эта разница, потому что она показывает, сколько товаров живет в каталоге, но не попали в список для бота.
Большой каталог обязательно медленный?
Нет. Каталог на 54 302 товара отдает первый байт за 413,8 мс и полный HTML за 511,1 мс. Каталог на 5 561 позицию в той же выборке — 801,2 мс. Тянет вниз шаблон, набор модулей и возраст стека, а не количество строк в базе. У самого медленного из умеренных каталогов под капотом PHP 7.3.33 – версия, оставшаяся без поддержки в декабре 2021 года.
Сколько адресов класть в один файл карты?
Лимит формата – 50 тысяч адресов на файл, но разбивать стоит раньше. В измеренных каталогах подкарты сделаны по 3000 и по 3500 адресов, и это удобный размер: файл быстро собирается, его можно открыть и пересчитать глазами, а при изменении части каталога перегенерировать приходится только нужный кусок. Наша рекомендация — держать подкарту в пределах трех-четырех тысяч адресов, даже если формат позволяет в десять раз больше.
Все товары попадут в индекс?
Нет, и обещать такое было бы неправдой. Карта сайта – это просьба просканировать, а не гарантия индексации, Google пишет об этом прямо. Карта без описания, без отличия от соседних и без спроса может остаться вне индекса при любой технической работе. Наша часть: чтобы каждая страница была доступна, не дублировалась и быстро отдавалась. Решение об индексе остается за поисковиком.
У нас sitemap открывается – значит, все хорошо?
Не значит. Проверять нужно не код ответа, а тело. В магазине профессиональной косметики /sitemap.xml отдает код 200 и ноль байтов: браузер показывает пустую страницу, мониторинг считает сайт исправным, а бот не получает ни одного адреса из каталога на 5561 позицию. Это самая дешевая из всех поломка и самая дорогая по результатам, потому что держится месяцами незамеченной.
Есть ли смысл индексировать каждую позицию большого каталога?
Не всегда. Когда адреса заведены на уровне размера и цвета, число страниц растет в разы без роста спроса: сотня вариантов одной модели – это сотня почти одинаковых страниц, конкурирующих между собой. Часто правильнее держать в индексе модель, а варианты оставлять параметрами карты. Решение здесь принимает бизнес, потому что оно об ассортименте; мы лишь показываем, во что оно обходится в обходе.
Как часто проверять состояние индексации?
На большом каталоге – ежемесячно. Состояние меняется само собой: добавляются товары, исчезают старые, после обновления CMS ломается перегенерация карты. Тогда файл остается на месте, а даты в нем застывают, и снаружи все смотрится нормально. Срез из пяти цифр раз в месяц занимает немного времени и ловит такое до того, как оно съест квартал.
После чистки повторов количество страниц в индексе упадет?
Скорее всего да, и это ожидаемый ход. Когда одна карта доступна по трем путям, в индексе жили три слабые страницы вместо одной сильной. После чистки остается одна: цифра «страниц в индексе» уменьшается, а обход перестает тратиться на повторы. Поэтому мы фиксируем ее к работам и показываем рядом с количеством уникальных адресов, иначе нормальный ход событий читается как ухудшение.
В ответ – сколько позиций в каталоге по двум методам подсчета, сколько адресов в карте, сколько из них повторы и что мешает боту дойти до глубины. Если каталог невелик, скажем об этом первым письмом и не будем продавать лишнего.
Прайса на сайте нет намеренно: объём той же работы у двух клиентов отличается в разы, и цифра «от» в этом случае ничего не объясняет. Сначала бесплатный аудит — считаем ваши страницы, дубли и скорость, — потом называем сумму и срок и фиксируем их в договоре.