Почати проект
+247%+185%📈📊
  • Технічне SEO · sitemap.xml

Карта сайту і robots.txt: щоб пошуковик знав, що у вас є

Налаштування sitemap.xml і robots.txt — це два файли, які вирішують, що пошуковик узагалі побачить на вашому сайті. Карта перелічує адреси, які ви просите обійти; robots.txt каже, куди ходити не треба, і де ця карта лежить. Роботу починаємо з виміру: відкриваємо обидві адреси й дивимось код відповіді, розмір тіла, кількість записів. Найчастіша знахідка у власній вибірці — код 200 при тілі на нуль байтів. Файл наче є, адрес у ньому нуль.

Подивитись, як це працює
Вартість
після безкоштовного аудиту
Гарантія
30 днів після підписання акта
Що робимо
перевірка двох файлів, перегенерація карти, правила обходу, подання в Search Console
після безкоштовного аудиту
Вартість
30
Гарантія

днів після підписання акта

перевірка двох файлів, перегенерація карти, правила обходу, подання в Search Console
Що робимо
2–10
Строк

робочих днів залежно від розміру каталогу

13 590
Найчистіша карта у власному вимірі

адрес і один дублікат на весь каталог

/sitemap.xml віддає 200 з тілом на нуль байтів
Найчастіший дефект вибірки
безкоштовна перевірка, 1–2 робочих дні, без доступів
Перед кошторисом
індексації: карта повідомляє про сторінки, рішення лишається за пошуковиком
Чого не обіцяємо
Що входить

Повний перелік робіт і того, що ви отримуєте на виході

  • Перегенеруємо карту з усіма типами сторінок і всіма мовними версіями — пошуковик отримує повний список, а не його частину.
  • Розіб'ємо карту на індекс із підкарт, якщо адрес багато: у звіті обходу видно, яка саме частина каталогу випала.
  • Приберемо з карти службові, порожні й закриті від індексації сторінки — обхід витрачається на товари, а не на кошик.
  • Полагодимо дати останньої зміни, щоб вони справді оновлювались і підказували, що переглянути після правок каталогу.
  • Перенесемо карту на стандартну адресу, якщо вона лежить збоку: її знайде бот, аудит-інструмент і ваш наступний підрядник.
  • Перепишемо robots.txt із явним рядком Sitemap — без закоментованих шаблонів від попереднього генератора.
  • Закриємо службові розділи, прогнавши кожне правило по списку важливих адрес, щоб разом із кабінетом не зникла категорія.
  • Подамо карту в Search Console і Bing Webmaster Tools і дочекаємось, поки вона прочитається без помилок формату.
  • Пройдемо карту скриптом після впровадження й покажемо два числа: записів і унікальних адрес. Збіглися — карта чиста.
Коли ця послуга не підходить

Що не входить у роботу — щоб не було сюрпризів на здачі

  • Створення сторінок, яких на сайті немає.
  • Гарантія індексації: карта повідомляє про сторінки, рішення за пошуковиком.
  • Робота з чужими сайтами й каталогами посилань.
  • Прибирання дублів як окрема робота — тут ми лише не тягнемо їх у карту.
Кому підходить

Ситуації, у яких ця послуга дає результат

Ситуація 1 з 5

Каталог виріс, а в пошуку видно стару його частину

Класична ситуація великого каталогу: нові розділи є на сайті, але бот доходить до них по внутрішніх посиланнях місяцями. Карта — прямий список адрес, які ви просите обійти. В оптовому каталозі білизни, який ми міряли, це 13 428 сторінок товарів і 161 категорія; без карти глибокі позиції такого каталогу бот шукав би сам і довго.

Розберемо вашу ситуацію на безкоштовному аудиті

Безкоштовна перевірка карти сайту й robots.txt

Найдешевша перевірка з усіх можливих і часто найрезультативніша. Ми відкриваємо стандартні адреси карти сайту й robots.txt і дивимось, що вони віддають насправді. Доступи не потрібні: усе видно ззовні.

Що міряємо

  • Що віддає /sitemap.xmlКод відповіді, розмір тіла, кількість записів. Ми регулярно бачимо 200 із тілом на нуль байтів: формально файл є, фактично карти немає.
  • Чи оголошена карта в robots.txtРядок Sitemap. У вибірці траплялися закоментований шаблон, посилання на файл із 404 і повна відсутність директиви при робочій карті.
  • Повнота картиСкільки в ній адрес і чи збігається це з фактичним каталогом. Звіряємо перехресно штатним пошуком сайту.
  • Записи проти унікальних адресДва числа рахуємо окремо. Різниця між ними — це дублі, які їдять обхід; на чужих вимірах ми бачили до 3,9 запису на одну адресу.
  • Мовні версії в картіЧи всі оголошені гілки туди потрапили. Знаходили карти, де всі адреси вели на одну мову з двох оголошених у розмітці.
  • Структура індексу й лімітиЧи розбита карта на підкарти й чи не перевищені 50 000 адрес і 50 МБ на файл.
  • Правила обходуЩо саме закриває ваш robots.txt і чи не закриває він випадково потрібне — разом зі службовими розділами часто зачиняють щось корисне.
  • Час віддачі картиЗа скільки секунд файл доходить до клієнта. В одному виміряному магазині інструменту карта генерувалася 34,2 секунди — бот може не дочекатися.

Що ви отримуєте на руки

  • Точні цифри: код відповіді, розмір, кількість записів і унікальних адрес у вашій карті.
  • Перелік того, що в карті зайве і чого в ній бракує.
  • Готовий текст правил для robots.txt під ваш сайт.
  • Коротка розмова, де проходимо знахідки по пунктах.

Строк: 1–2 робочих дні

Чому це безкоштовно

Перевірка займає у нас менше години, а результат часто виявляється несподіваним для власника: файл наче є, а пошуковику з нього нічого не дістається. Брати за це гроші було б дивно.

Що далі

Якщо все справне — так і скажемо, і на цьому зупинимось. Якщо ні — назвемо перелік робіт зі строком і сумою; часто це один-два дні.

Форма коротка: контакт і адреса сайту

Працюємо офіційно

Договір, акт і рахунок — на кожен проєкт, а не тільки на великий. Без документів у вас немає ні прав на роботу, ні підстави провести витрати.

  • Договір, акт і гарантія 30 днів

    На кожен проєкт письмовий договір: обсяг, строки, сума, порядок приймання. Після здачі — акт і рахунок, а далі 30 календарних днів гарантії: помилки з нашої вини усуваємо безоплатно. Усне з дзвінка дублюємо письмово того ж дня — домовленість, якої немає в тексті, не рахується.

  • ФОП і безготівковий розрахунок

    Виконавець — зареєстрований ФОП. Оплата на рахунок із закривними документами, які бухгалтерія проведе як витрати. Курс для гривневої оплати фіксується договором, а не з’ясовується постфактум.

  • Права й доступи — ваші

    Код, дизайн і матеріали переходять до вас після повної оплати. Домен, хостинг, репозиторій, аналітику й рекламні кабінети оформлюємо на вас — щоб сайт не залежав від підрядника. NDA підписуємо на запит, після завершення свої доступи видаляємо самі.

  • Портал клієнта замість переписки

    На час роботи ви отримуєте доступ до порталу: договори, рахунки, акти й стан проєкту в одному місці. Документи формуються з даних угоди, тому реквізити й суми в них не розходяться, а про оплати й дедлайни нагадує система, а не пам’ять менеджера.

  • Замовники з Європи

    Серед робіт — проєкти для Норвегії, Болгарії та Іспанії: болгарський магазин трьома мовами з кур’єрською доставкою, іспанський з оплатою карткою й переказом, норвезький сайт клініки. Це видно в портфоліо, а не тільки в описі.

  • Цифри, які можна перевірити

    Кожен кейс у портфоліо — з посиланням на живий сайт і технічним виміром: швидкість відповіді, вага сторінки, обсяг каталогу, знайдені дефекти. Ці цифри можна зняти самому й звірити з нашими.

  • Спершу аудит, потім сума

    Прайсу на сайті немає навмисно: обсяг тієї самої роботи у двох клієнтів відрізняється в рази, і цифра «від» нічого не пояснює. Спершу безкоштовний розбір — рахуємо ваші сторінки, дублі й швидкість, — потім називаємо суму й строк і фіксуємо їх у договорі.

  • Кажемо «ні», коли не впевнені

    Якщо задача не наша, строк нереальний або послуга вам просто не потрібна — скажемо це першим листом, а не після передоплати. Гарантій позицій у пошуку не даємо: їх не дає ніхто, а обіцянка без механізму — це продаж, а не робота.

NDA підписуємо на запит. Після завершення співпраці наші доступи до ваших сервісів видаляємо самі й повідомляємо про це.

Що впливає на вартість

Чому дві однакові на вигляд задачі рахуються по-різному — і що саме ми міряємо на аудиті

  • Розмір каталогуСотня сторінок — це одна карта й один прохід. Кілька тисяч — індекс із підкарт, і кожну треба звірити з фактичним каталогом. Крайні точки нашої вибірки: 123 адреси в нішевому магазині проти 13 590 в оптовому.
  • Хто генерує картуШтатний модуль CMS налаштовується за кілька годин. Самописний генератор або зовнішній сервіс спершу вимагає розібратися, звідки береться кожен запис і чому їх більше, ніж товарів.
  • Мовні версіїОдна мова — один список. Дві й більше — у карту мають потрапити всі гілки, і кожну звіряємо з розміткою hreflang. Інакше половина сайту лишається неоголошеною.
  • Стан robots.txtФайл на п'ять рядків правиться за один захід. Файл, який дописували роками, розбираємо по рядку: у ньому зазвичай є і потрібні заборони, і давно зайві.
  • Куди подаватиПідтверджена Search Console — подаємо того ж дня. Непідтверджена — спершу підтвердження прав на домен, а швидкість тут залежить від того, хто у вас тримає DNS.
Кейси

Задачі та результат у цифрах — усі показники зняті нашим виміром

оптовий магазин нижньої білизни, каталог понад 13 тис. позицій

Задача
Розібратися, чому аудит-інструменти не бачать карту сайту, хоча вона існує.
Рішення
Перевірили обидві стандартні адреси, прочитали robots.txt, знайшли робочу карту на власному шляху й звірили її повноту з каталогом.
Результат
Стандартна адреса віддає 200 з порожнім тілом, друга повертає рядок про вимкнений генератор — тобто дві адреси, куди першими йдуть краулери, віддають сміття. Робоча карта на нестандартному шляху містить 13 428 сторінок товарів і 161 категорію, разом 13 590 адрес із єдиним дублікатом на весь обсяг. Врятована вона лише тим, що шлях оголошений у robots.txt. Вимір 31.07.2026.

нішевий магазин стоматологічних матеріалів із контентною частиною

Задача
Перевірити стан індексації невеликого каталогу перед розширенням.
Рішення
Обійшли індексний файл карти з перерахунком записів по кожній підкарті й звіркою з фактичним каталогом.
Результат
Коректний індекс із чотирьох файлів: 1 головна + 21 категорія + 96 товарів + 5 інформаційних = 123 адреси, нуль дублікатів. Карта тут виявилась найздоровішою частиною сайту — знайшлось інше: жодного лічильника аналітики в коді й жодного блоку структурованих даних. Вимір 31.07.2026.

B2B-каталог запчастин для промислових швейних машин

Задача
Перевірити, чому каталог із повною картою сайту слабко представлений у пошуку.
Рішення
Перерахували адреси в карті, перевірили мовні версії, прочитали robots.txt і те, що підключено в коді.
Результат
Карта чиста: 1 992 адреси без жодного дубліката — 1 848 карток товару і 138 категорій, hreflang на дві мови коректний. Але в robots.txt немає директиви Sitemap узагалі, на каталозі з 1 848 позицій нуль структурованих даних, а в коді досі підключена система аналітики, яку Google вимкнув 1 липня 2023 року. Вимір 31.07.2026.

Не знайшли свій випадок?

Опишіть, як це влаштовано у вас, — відповімо, чи підходить «Карта сайту і robots.txt» і що це означає у вашій ситуації. Без брифу й без дзвінка: одне питання, одна відповідь.

Як проходить робота

Прозорі етапи з погодженням на кожному кроці

Загальний строк:2–10 днів

  1. Вимір поточного стану

    1–2 робочих дні

    Відкриваємо стандартні адреси карти й robots.txt, знімаємо код відповіді, розмір тіла й кількість записів, окремо рахуємо унікальні адреси. Це та сама безкоштовна перевірка: якщо все справне, далі йти немає потреби.

  2. Перелік того, що має бути в індексі

    1 робочий день

    Звіряємо каталог із картою: чого бракує, що зайве. Ви називаєте розділи, які свідомо не мають бути в пошуку — кабінет, кошик, оформлення, внутрішній пошук.

  3. Перегенерація карти

    1–3 робочих дні

    Налаштовуємо генератор під цей перелік, розбиваємо на підкарти окремо для товарів, категорій та інформаційних сторінок, ставимо коректні дати зміни. Якщо карта лежала збоку — переносимо на стандартну адресу.

  4. Правила обходу

    1 робочий день

    Переписуємо robots.txt: явний рядок Sitemap, службові розділи закриті, під заборону не потрапило нічого корисного. Перед заливанням проганяємо новий файл по списку важливих адрес.

  5. Подання й читання звіту

    1 робочий день

    Карта подається в Search Console і Bing Webmaster Tools. Помилки формату видно за кілька годин, а не за тижні, тому цей етап закривається швидко або не закривається взагалі, поки карта не читається чисто.

  6. Контрольний обхід і передача

    1–2 робочих дні

    Проходимо карту скриптом ще раз: записів стільки ж, скільки унікальних адрес, час віддачі зафіксований. Віддаємо цифри до і після й короткий текст про те, що змінилося.

Технології та інтеграції

На чому будуємо і з чим це з’єднується

Стек

  • sitemap.xml — формат, який читають і Google, і Bing; обмеження: 50 000 адрес і 50 МБ на файл у нестисненому вигляді
  • sitemap-індекс — розбиває каталог на підкарти; обмеження: індекс не може посилатися на інший індекс
  • robots.txt — єдиний спосіб сказати боту, де лежить карта; обмеження: Disallow забороняє обхід, а не показ у видачі
  • Search Console — єдине місце, де видно реальні помилки обходу; обмеження: доступ дає власник сайту, не ми
  • Bing Webmaster Tools — друга точка контролю; обмеження: до українського трафіку додає небагато
  • штатні генератори карт OpenCart і WordPress — швидко й дешево; обмеження: тягнуть у карту службові й закриті сторінки
  • власний скрипт обходу з підрахунком записів і унікальних адрес — ловить дублі, яких не видно очима
  • nginx — окреме правило віддачі карти й gzip; обмеження: кеш може віддавати стару карту після перегенерації

Інтеграції

  • Google Search Console
  • Bing Webmaster Tools
  • Google Merchant Center
  • Cloudflare
Карта від коробкового модуля проти карти, зібраної під ваш каталог

Чим цей варіант відрізняється від «Карта «як згенерував модуль»»

Що потрапляє в картулише те, що має бути в індексі: службові, порожні й закриті сторінки не тягнемо
Дублірахуємо записи й унікальні адреси окремо, різниця має бути нульовою
Мовні версіїусі оголошені гілки, звірені з розміткою hreflang
Розмір і швидкість віддачііндекс із підкарт, кожна віддається за частки секунди
Оголошення в robots.txtявний рядок Sitemap, перевірений на код відповіді
Що потрібно від вас

Без цього не почнемо — краще підготувати заздалегідь

  1. Адресу сайту — перевірка починається без жодних доступів.
  2. Доступ до Search Console, щоб подати карту й побачити помилки обходу вашими очима, а не нашими здогадами.
  3. Доступ до CMS або хостингу, щоб замінити файл і налаштувати генератор.
  4. Перелік розділів, які свідомо не мають бути в індексі: кабінет, кошик, оформлення, службові сторінки.
  5. Одну людину з вашого боку, яка підтвердить цей перелік — інакше правила обходу пишуться навмання.

Якщо чогось із цього немає — скажіть, підкажемо, як зібрати або зробимо самі окремою задачею.

Часті питання

Те, що питають найчастіше — з конкретними відповідями

у мене /sitemap.xml відкривається — значить, усе гаразд?

Не обов'язково. Найпоширеніший дефект нашої вибірки виглядає саме так: адреса віддає код 200, а тіло відповіді — нуль байтів. Браузер показує порожню сторінку, власник бачить, що «файл є», пошуковик не отримує жодної адреси. Шість сайтів, які ми міряли, віддавали карту саме в такому стані. Дивитись треба на розмір тіла й кількість записів, а не на код відповіді.

чи потрібен sitemap, якщо на сайті і так усе перелінковано?

На великому каталозі потрібен. Карта — прямий список того, що ви вважаєте вартим обходу, з датами змін; без неї бот залежить від того, наскільки глибоко дійде по посиланнях, а глибокі сторінки каталогу він може не дістати місяцями. Для маленького сайту з хорошою перелінковкою Google прямо пише, що карта може бути не потрібна, і ми з цим не сперечаємось.

карта лежить на нестандартній адресі — це проблема?

Працює, якщо адреса явно оголошена в robots.txt. Один із виміряних оптових каталогів урятований саме цим: стандартні адреси віддавали сміття, а робоча карта лежала на власному шляху й була прописана в robots. Але для аудит-інструментів і для людини це пастка, тому карту ми переносимо на стандартну адресу. Ще одна деталь того самого рівня: адреси всередині карти мають бути на тому самому хості й протоколі, що й сама карта, — карту з піддомену або зі старого http бот просто не зарахує.

скільки адрес можна класти в один файл?

Ліміти формату — 50 тисяч адрес і 50 МБ у нестисненому вигляді. На практиці розбивати варто раніше: у виміряному магазині інструменту карта одним файлом генерувалася 34,2 секунди, і бот має шанси не дочекатися. Наша рекомендація — окрема підкарта під кожен тип сторінок: товари, категорії, інформаційні. Тоді у звіті обходу видно, яка саме частина каталогу випала, а не «щось не так із картою». У магазині стоматологічних матеріалів так і зроблено: індекс із чотирьох файлів, 1 + 21 + 96 + 5 = 123 адреси.

що краще закрити в robots.txt?

Службові розділи, яким нічого робити в пошуку: кошик, оформлення, кабінет, внутрішній пошук, адмінка. Обережно з фільтрами й параметрами — заборона в robots не прибирає сторінку з індексу, вона лише забороняє обхід, і сторінка може лишитись у видачі без опису. Для прибирання з видачі працює інша механіка, і ми не станемо вдавати, що robots це вміє.

карта подана, а сторінок в індексі менше — чому?

Бо карта не зобов'язує пошуковик індексувати. Це повідомлення «ось що в нас є», а не команда, і Google це прямо документує. Картка товару без опису, без унікального тексту й без попиту може лишитись поза індексом, скільки її не подавай. Реальну кількість проіндексованих сторінок видно тільки у вашій Search Console — 13 тисяч адрес у карті не означають 13 тисяч сторінок в індексі.

після чистки карти сторінок в індексі стало менше — ми зробили гірше?

Ні, це очікуваний хід подій. Коли з карти зникають дублі й службові адреси, лічильник індексу спершу падає — просто тому, що зайве перестає туди потрапляти. Вага не втрачається, вона перестає розпорошуватись між кількома адресами одного товару. Кажемо про це заздалегідь, бо без пояснення падіння в звіті виглядає як аварія.

як швидко це робиться і що потрібно від нас?

Безкоштовна перевірка — 1–2 дні й лише адреса сайту. Далі від двох днів, якщо треба перегенерувати карту й поправити robots; до десяти, якщо доводиться розбивати карту на підкарти, чистити її від службових адрес і зводити з мовними версіями. Від вас — доступ до CMS чи хостингу, доступ до Search Console і перелік розділів, які не мають бути в пошуку.

Надішліть адресу сайту — перевірку карти й robots.txt почнемо без доступів.

У відповідь: код відповіді, розмір і кількість адрес у вашій карті, перелік зайвого й того, чого бракує, і готовий текст правил обходу. Якщо обидва файли справні, так і напишемо — це теж нормальна відповідь.

Переглянути кейси
  • Відповідь протягом 2 годин
  • Без зобов’язань
  • Працюємо за договором

Прайса на сайті немає навмисно: обсяг тієї самої роботи у двох клієнтів відрізняється в рази, і цифра «від» у такому разі нічого не пояснює. Спершу безкоштовний аудит — рахуємо ваші сторінки, дублі й швидкість, — потім називаємо суму й строк і фіксуємо їх у договорі.