Устранение дублей страниц на сайте: когда тот же товар живет по десятку адресов
Устранение дублей страниц на сайте начинается не с правок, а с двух чисел: сколько записей в вашей карте сайта и сколько среди них действительно разных адресов. Разница между этими числами и есть размер проблемы – дальше она закрывается каноническими ссылками, редиректами и правилами обработки параметров. В измеренном нами магазине садового инструмента эти два числа выглядели как 33493 и 8690. То есть бот почти вчетверо обходит то же, а новые товары стоят в очереди. Сколько таких повторов у вас – считаем бесплатно.
33 493 записей в карте сайта на 8 690 уникальных адресов
Наш замер
31.07.2026
Самый маленький каталог с дублями
271 запись на 116 адресов при 81 товарной странице
Эталон чистоты в выборке
13 590 адресов и ровно один дубликат
Дата измерений
31.07.2026, внешнее техническое измерение
Показатели сняты нашим замером на живых сайтах соответствующего масштаба.
после бесплатного аудита
Стоимость
30
Гарантия
дней после подписания акта
33 493
Худший случай в выборке
записей в карте сайта на 8 690 уникальных адресов
271
Самый маленький каталог с дублями
запись на 116 адресов при 81 товарной странице
13 590
Эталон чистоты в выборке
адресов и ровно один дубликат
31.07.2026,
Дата измерений
внешнее техническое измерение
7–20
Срок работ
рабочих дней
2–3
Бесплатный подсчет
рабочих дня, документ остается у вас
прироста трафика и количества страниц в индексе
Чего не обещаем
Кому подходит
Ситуации, в которых эта услуга даёт результат
Сценарий 1 из 4
Каталог пополняется, а новых товаров долго не видно в поиске
Бот приходит с ограниченным ресурсом обхода. Если каждая карта расположена в карте сайта по четыре раза, большая часть этого ресурса идет на повторное сканирование уже известного. В измеренном магазине садового инструмента на 8 690 реальных адресов приходилось 33 493 записи — новый товар в такой очереди ждет дольше, чем должен, и ни один бюджет на контент этого не ускоряет.
Разберём вашу ситуацию на бесплатном аудите
Сценарий 2 из 4
Товар расположен в трех категориях, и каждый путь дает свой адрес.
Самая распространенная механика из тех, что мы видели. Во втором измеренном магазине садового инструмента 4236 записей в карте дали 1300 уникальных адресов: одна карточка попадала туда под несколькими путями категорий. Для покупателя это удобно и ломать это удобство не нужно – ломать нужно то, что каждый путь отдает отдельный URL.
Сценарий 3 из 4
Сайт двуязычный, и непонятно, что из этого в индексе
Дубли между языковыми версиями – отдельный тип, и лечится он не canonical, а корректным hreflang: это не копии, а варианты одной страницы. Бывает и зеркальная беда. В измеренном магазине садового инструмента в карту сайта зашла только украиноязычная ветвь, хотя в разметке объявлены две — то есть половины сайта поисковик в списке адресов не видел вообще.
Сценарий 4 из 4
Каталог невелик, и кажется, что проблемы нет
Размер не спасает. В измеренном магазине натуральной косметики мы насчитали 271 запись в карте на 116 уникальных адресов при 81 товарной странице: отдельные карты повторены по два-четыре раза. При этом сайт отдает первый ответ за 126,3 мс – лучший показатель скорости в лоте. Быстрый сайт и чистый индекс оказались разными вещами.
Кейсы
Задачи и результат в цифрах — все показатели сняты нашим замером
официальный интернет-магазин садового инструмента, каталог около 8,6 тыс. карт.
Задача
Счесть масштаб дублирования перед чисткой индекса: к работам было известно лишь то, что карта сайта весит слишком много.
Решение
Полный обход sitemap.xml с раздельным подсчетом записей и уникальных адресов, раскладка уникальных на категорийные узлы и листовые страницы, проверка языковых ветвей в карте.
Результат
Карта весом 8,57 МБ: 33 493 записей на 8 690 уникальных адресов — 3,85 записей на одну страницу. Из 8 690 уникальных 81 адрес оказался категоричным узлом, 8 609 – листовыми страницами. Отдельно выяснилось, что в карту попала только украиноязычная ветвь, хотя в разметке объявлены две. Измерение 31.07.2026.
интернет-магазин официального продавца садового инструмента, каталог около 1,2 тыс. карт.
Задача
Выяснить, почему карта сайта весит более мегабайта при каталоге на тысячу с небольшим позиций.
Решение
Обход карты с подсчетом уникальных адресов и разбивкой по уровням вложенности; количество карточек сверили по артикулу производителя, стоящему в самом адресе.
Результат
1,18 МБ и 4 236 записей на 1 300 уникальных адресов – 3,3 записи в адрес: товар попадает в карту под несколькими путями категорий. Раскладка этих 1300: 1231 адрес первого уровня, 64 подкатегории и 5 служебных путей из index.php, которые двигатель клал в карту сам. Из 1 231 адреса 1 120 содержат артикул производителя – именно по этому и удалось посчитать каталог. Измерение 31.07.2026.
интернет-магазин натуральной косметики на продуктах пчеловодства, небольшой каталог
Задача
Проверить состояние индексации после замера скорости: сайт оказался самым быстрым в лоте, и нужно было понять, так ли чисто у него с адресами.
Решение
Подсчет записей и уникальных адресов на карте сайта, сверка с фактическим количеством товарных страниц, инвентаризация счетчиков аналитики.
Результат
271 запись на 116 уникальных адресов: отдельные товары продублированы по два-четыре раза. Из 116 адресов 91 – листовая страница, из них 10 информационных, то есть товарных 81. Первый ответ сервера 126,3 мс – лучший показатель в лоте. Отдельно обнаружили, что сайт считает мертвым счетчиком, а идентификатора GA4 в разметке нет: последствия чистки здесь просто нечем было бы померить. Измерение 31.07.2026.
Что входит
Полный перечень работ и того, что вы получаете на выходе
Полный обход карты сайта с раздельным подсчетом записей и уникальных адресов – размер проблемы вы получаете числом, а не оценкой на глаз
Классификация повторов по механике: пути категорий, параметры фильтров, речевые префиксы, пагинация, идентификаторы сессий – каждый тип далее лечится своим инструментом
Выбор одного основного адреса для каждого товара вместе с вами — чтобы продвигалась страница, нужная бизнесу, а не тот, который выберет поисковик самостоятельно
Канонические ссылки на каждом типе страницы, самопосылаемые там, где это правильно: сигнал о главной версии перестает быть случайным
301-редиректы из старых путей товара по основному адресу — лишние адреса перестают существовать, а не просто перестают рекомендоваться
Правила обработки параметров фильтра и сортировки, чтобы нажатие в каталоге не порождало новый адрес для индекса
Отдельная работа с языковыми ветвями: hreflang там, где страницы не дубли, а варианты для разных языков
Перегенерация карты сайта без повторов и повторный обход тем же методом — разница видна двумя числами до и после
Обновление robots.txt и директивы индексации под новую структуру адресов
Наблюдение в Search Console 30 дней после чистки с объяснением, почему количество страниц сначала падает
Когда эта услуга не подходит
Что не входит в работу — чтобы не было сюрпризов на сдаче
Написание уникальных текстов для страниц, остающихся после чистки
Работа с внешними сайтами, копирующими ваш контент
Переезд на другую CMS
Обещания по количеству страниц в индексе – этим распоряжается поисковик
Этапы работы
Прозрачные этапы с согласованием на каждом шагу
Общий срок:7–20 дней
1
Подсчет и классификация
2–3 рабочих дня
Обход карты сайта, два числа, коэффициент дублирования. Далее — раскладка повторов по механике и список наиболее часто повторяющихся адресов. На выходе документ, из которого видно, что нужно лечить.
2
Решения по основным адресам
1–3 рабочих дня
Разбираем вместе с вами, какой путь считается основным для каждого раздела. Это не технический вопрос: от него зависит, в какой категории товар будет продвигаться дальше. Фиксируем в письменном виде, чтобы потом не перерабатывать.
3
Канонические ссылки и редиректы
2–6 рабочих дней
Самоссылающийся canonical на всех типах страниц, 301 из старых путей товара по основному адресу, отдельно hreflang для языковых версий. Каждая смена выезжает порциями с проверкой, чтобы не собрать цепочку редиректов.
4
Параметры, пагинация, карта сайта
1–4 рабочих дня
Правила для фильтров и сортировки, обработка страниц пагинации, перегенерация карты сайта без повторов, обновление robots.txt под новую структуру.
5
Повторный обход и наблюдение
1–4 рабочих дня
Тот же метод подсчета, те же два числа — сравнение до и после. Далее 30 дней смотрим отчет об индексации в Search Console и объясняем динамику, включая ожидаемое падение количества адресов.
Бесплатный подсчет дублей в вашей карте сайта
Дубли не видно с административной панели – они видны со стороны поисковика. Мы берем вашу карту сайта, считаем в ней записи и уникальные адреса по отдельности, и разница между этими двумя числами показывает размер проблемы. Этот подсчет ничего не стоит.
Что мы измеряем
Записи против уникальных адресовСколько строк в вашей карте сайта и сколько из них действительно разные страницы. Измеренные ориентиры выборки: от одного дубликата на 13 590 адресов до 3,85 записей на каждый адрес.
Механика порождениеИз-за возникающих повторов именно у вас: путь категории в адресе, параметры фильтра, языковые префиксы, пагинация, идентификаторы сессий.
Худшие повторителиКонкретные адреса, встречающиеся в карте чаще всего. Обычно это несколько десятков карт, разложенных по максимальному количеству категорий.
Состояние canonicalЕсть ли каноническая ссылка на каждом типе страницы, самопосылающая она или ведет куда-то еще, и согласована ли с тем, что объявлено в карте сайта.
Дубли между языковыми версиямиПопадают ли в индекс обе версии с одинаковыми метатегами — и не произошло наоборот. В измеренном магазине садового инструмента в карту зашла только одна языковая ветвь из двух объявленных.
Товар в нескольких категорияхСколько карт доступны более чем с одного пути. В измеренном каталоге на 1300 адресов именно это давало 4236 записей в карте.
Что вы получаете
Два числа: записей в карте сайта и уникальных адресов плюс коэффициент дублирования.
Разбор, откуда берутся повторы именно у вас с примерами конкретных адресов.
План чистки: что делается настройкой CMS, что редиректами, каноническими ссылками.
Разговор на 30 минут по документу.
Срок: 2–3 рабочих дня
Почему это бесплатно
Потому что подсчет автоматизирован и занимает у нас час-два. А без него невозможно сказать, это работа на три дня или три недели: механика дублирования в каждой CMS своя.
Что дальше
После подсчета мы называем перечень работ и срок. Предупреждаем сразу: после чистки количество страниц в индексе сначала падает — это ожидаемый ход событий и о нем лучше знать до старта, а не после.
Короткая форма: контакт и адрес сайта
Договор, акт и гарантия 30 дней
На каждый проект письменный договор: объём, сроки, сумма, порядок приёмки. После сдачи — акт и счёт, затем 30 календарных дней гарантии.
ФОП и безналичный расчёт
Исполнитель — зарегистрированный ФОП. Оплата на счёт с закрывающими документами.
Права и доступы — ваши
Код, дизайн и материалы переходят к вам после полной оплаты. Домен, хостинг, репозиторий оформляем на вас.
Портал клиента вместо переписки
Во время работы вы получаете доступ к порталу: договоры, счета, акты и статус проекта в одном месте.
Заказчики из Европы
Среди работ — проекты для Норвегии, Болгарии, Молдовы и Испании.
Цифры, которые можно проверить
Каждый кейс в портфолио — со ссылкой на живой сайт и техническим замером.
Сначала аудит, потом сумма
Прайса на сайте нет намеренно: объём одной и той же работы у двух клиентов отличается кратно.
Говорим «нет», когда не уверены
Если задача не наша или срок нереальный — скажем сразу.
Не нашли свой случай?
Опишите, как это устроено у вас, — ответим, подходит ли «Исправление дублей URL» и что это значит в вашей ситуации. Без брифа и без звонка: один вопрос, один ответ.
Что влияет на стоимость
Почему две одинаковые на вид задачи считаются по-разному
Сколько дублей на самом делеОдин дубликат на 13 590 адресов и 3,85 записи на каждый адрес – это разные недели работы. Первое число мы видели в оптовом магазине белья, второе – в магазине садового инструмента, и между ними помещается вся вилка объема.
Сколько механик работает одновременноОдин сайт плодит адреса только путями категорий. Другой – путями, параметрами фильтра, языковыми префиксами и пагинацией вместе. Каждая механика закрывается отдельно и проверяется повторным обходом.
Умеет ли CMS не порождать лишний адресКогда двигатель умеет отдавать товар по одному адресу, вопрос закрывается настройкой через час. Если не умеет, приходится писать правила на уровне сервера и дальше их поддерживать при каждом обновлении.
Состояние канонических ссылок сейчасПусто – ставим с нуля по одному правилу, это предсказуемо. Худший случай, когда canonical есть, но ведет не туда: сначала нужно понять логику, по которой его проставляли, и только потом переписывать.
Количество речевых ветокКаждая языковая версия удваивает количество проверок и добавляет работу по hreflang. Дубли между языками лечатся иначе, чем дубли внутри одного языка, поэтому это не тот же объем умножен на два.
Кто решает, какой адрес основнойТехническая часть редко бывает узким местом. Дольше всего идет ответ бизнеса, в каком разделе товар считается основным — и если его дают неделями, календарь растягивается без строки кода.
Технологии и интеграции
На чём строим и с чем это соединяется
Стек
Обход sitemap.xml с подсчетом уникальных адресов показывает только то, что вы сами объявили; дублей вне карты он не видит
Screaming Frog – обход по внутренним ссылкам. На десятках тысяч адресов уходит часами и упирается в память
Search Console – единственное место, где видно, какие дубли действительно в индексе. Данные с задержкой и выборкой
rel=canonical — подсказка, а не команда: поисковик имеет право ее проигнорировать
301-редирект – решение окончательное. Через несколько чисток цепочки редиректив становятся отдельной проблемой
Правила обработки параметров URL – снимают фильтры и сортировку с индекса, но не там, где параметр меняет содержимое по существу
nginx/.htaccess — правило работает вне CMS; ошибка здесь кладет сайт, поэтому изменения выезжают отдельно и с откатом.
OpenCart SEO URL, WordPress permalinks – самое чистое, когда лишний адрес просто не порождается; двигатель умеет это не везде
Интеграции
Google Search Console
Bing Webmaster Tools
GA4
Cloudflare
Чистка по подсчету против закрытия дублей вслепую
Чем этот вариант отличается от альтернативы
Массовый noindex и отключенная карта сайтаНаш подход
С чего начинается работасписок рекомендаций по чужому аудиту без подсчетадва числа: записей в карте сайта и уникальных адресов среди них
Что делается с лишним адресомnoindex на все, что внешне похоже на дубльодна основная, остальная — canonical или 301 в зависимости от типа
Куда девается вес страницытеряется вместе с исключенной страницейсобирается по одному основному адресу
Вернутся ли повторывозвращаются со следующим товаром, положенным в две категориимеханика порождение закрыта в двигателе и на сервере
Что видно в Search Consoleпадение, о котором никто не предупредил, и паника на ровном местепадение количества адресов, объясненное до начала работ
Что нужно от вас
Без этого не начнём — лучше подготовить заранее
1Адрес карты сайта – с нее начинается подсчет. Если карты вообще нет, это первая строка работ, а не повод отказываться.
2Доступ к Search Console. Без него видны дубли в карте, но не видно, какие из них действительно попали в индекс.
3Доступ к админке CMS – часть правил задается в настройках движителя, а не в файле на сервере.
4Доступ к конфигурации сервера или контакту разработчика, который имеет право ее менять.
5Решение, какой адрес товара считается основным, если он лежит в нескольких категориях. Это решение бизнеса: оно определяет, в каком разделе товар продвигается дальше.
6Одного человека с вашей стороны, который может ответить на такие вопросы за день, а не через две недели.
Если чего-то из этого нет — скажите, подскажем, как собрать или сделаем сами отдельной задачей.
Частые вопросы
Что спрашивают чаще всего — с конкретными ответами
Чем дубли реально вредят — ведь я не теряю страниц?
Страниц не теряете, теряете две другие вещи. Первая – ресурс обхода: бот приходит с ограниченным лимитом и тратит его на повторное сканирование того же. В измеренном магазине садового инструмента на 8690 реальных адресов приходилось 33493 записи в карте, то есть большая часть обхода шла вхолостую, а новые товары ждали своей очереди. Второй вес: ссылки и поведенческие сигналы разделяются между копиями, и вместо одной сильной страницы у вас три слабых, которые еще и конкурируют за тот же запрос. Поисковик в такой ситуации сам выбирает, что показать, и не всегда тот адрес, который вы продвигали.
Как понять, есть ли дубли именно у меня, никого не нанимая?
Откройте свою карту сайта и сосчитайте в ней два числа отдельно: сколько всего записей и сколько среди них разных адресов. Если первое заметно больше второго — дубли есть, и коэффициент дублирования вы только что посчитали. Ориентиры из наших замеров: 13 590 адресов и ровно один дубликат в оптовом магазине белья – это чисто; 4236 записей на 1300 адресов в магазине садового инструмента — это уже механика, которая работает каждый день. Тот же подсчет мы делаем бесплатно и добавляем к нему разбор, откуда берутся повторы.
Почему после чистки количество страниц в индексе падает?
Ибо вы убираете лишние адреса, и они действительно исчезают: вместо десяти адресов одного товара остается один. Это ожидаемый ход событий, а не сбой. Проговариваем его до начала работ именно потому, что на графике в Search Console падение выглядит одинаково и когда все сделано правильно и когда сайт взломали. Разница в том, что после чистки становится меньше адресов, а не товаров, и это видно порядочно — мы показываем, какие адреса исчезли.
Canonical достаточно, нужны ли редиректы?
Зависит от того, должны ли лишние адреса оставаться доступными человеку. Canonical – подсказка: поисковик имеет право ее проигнорировать, особенно если содержимое страниц расходится. 301 – решение, после которого адреса просто нет. На практике фильтры и сортировка закрываются канонической ссылкой, старые пути товара – редиректом. И отдельный совет: не закрывайте дубли из-за robots.txt. Запрет обхода не убирает адрес из индекса, он лишь лишает бота возможности увидеть ваш canonical – дубль после этого остается навсегда.
А если товар действительно лежит в трех категориях — это удобно покупателю?
Удобно, и ломать это удобство не нужно. Ломать надо то, что каждый путь отдает отдельный адрес. Вариантов два: либо пути вообще не порождают отдельных URL – это настройка движителя и самый чистый способ, либо каждый дополнительный путь отдает canonical на основной адрес. Какой из адресов основной, решает бизнес: от этого зависит, в каком разделе товар продвигается. Мы показываем последствия обоих вариантов, выбор остается за вами.
Сколько это длится и растягивает срок?
7–20 рабочих дней. Подсчет и классификация 2–3 дня, решения по основным адресам 1–3, каноникалы и редиректы 2–6, параметры и карта сайта 1–4, повторный обход и наблюдение 1–4. Техническая часть редко бывает узким местом. Дольше идет ответ на вопрос, какой адрес считать основным для каждого раздела: если его дают за день, укладываемся в нижний предел, если собирают совещание — в верхний.
Можно просто выключить карту сайта, чтобы дубли туда не попадали?
Это лечение зеркала вместо лица. Дубли существуют не потому, что они в карте, а потому, что сайт отдает тот же товар по разным адресам – бот дойдет до них внутренними ссылками и без карты. Карта только делает проблему видимой, и на этом этапе в этом вся ее польза. Кстати, она показывает еще и то, что CMS считает страницей: в одном из измеренных магазинов двигатель сам положил в карту пять служебных путей с index.php рядом с 1231 адресом первого уровня.
Трафик после чистки вырастет?
Такого обещания не будет. Механизм работает иначе: чистка не добавляет новых посетителей, она перестает распылять имеющихся и освобождает ресурс обхода под страницы, которых поисковик еще не видел. Google описывает каноникализацию как способ указать основную версию среди дубликатов и отдельно предупреждает, что иначе выберет ее самостоятельно — прогноза прироста трафика из этой документации не следует. На малом сайте эффект вообще близок к нулю, и мы говорим об этом к работам, а не после.
Отправьте адрес карты сайта — посчитаем дубли и покажем, откуда они берутся.
Ответ: два числа, коэффициент дублирования, разбор механики с примерами конкретных адресов и план чистки. Если повторов у вас почти нет, услышите это первым письмом.
Из измеренных кейсовКарта весом 8,57 МБ: 33 493 записей на 8 690 уникальных адресов
Прайса на сайте нет намеренно: объём той же работы у двух клиентов отличается в разы, и цифра «от» в этом случае ничего не объясняет. Сначала бесплатный аудит — считаем ваши страницы, дубли и скорость, — потом называем сумму и срок и фиксируем их в договоре.