Поиск и исправление битых ссылок на сайте: проверка того, что ведут в никуда

Бесплатный обход сайта с поиском битых ссылок

Это самая простая проверка из возможных: пройти все ссылки и посмотреть, какие из них не ведут никуда. Мы делаем ее сами и бесплатно, потому что результат обычно решает, есть ли здесь работа вообще. Доступы не нужны – обход начинается с адреса сайта.

Что мы измеряем

• Внутренние ссылки, ведущие в никудаПолный обход сайта с фиксацией кода ответа для каждой ссылки и со списком страниц, по которым на него ведут.
• Адреса, объявленные в служебных файлахСамая частая находка: robots.txt ссылается на карту сайта, а по этому адресу – ошибка. Мы встречали это не раз в пределах одной выборки.
• Поведение несуществующего адресаОтдает ли сайт настоящую ошибку или показывает страницу с кодом успеха — второй случай портит индекс тихо и долго.
• Пустые страницыАдреса, соответствующие успеху, но не содержащие контента. Формально живые, практически бесполезные – мы находили разделы меню с одним только названием.
• Внешние ссылкиСсылки на чужие ресурсы, которые перестали существовать. Это вопрос доверия посетителя, а не индекса.
• Страницы-заглушкиТексты по умолчанию, оставшиеся от шаблона: описания типа «описание условий доставки» на живом сайте.

Почему две одинаковые на вид задачи считаются по-разному

• Сколько битых адресов на самом делеЭто единственная цифра, от которой здесь все считается, и ее невозможно назвать до обхода. Десяток адресов – работа на один вечер. Несколько тысяч — отдельный этап на сортировку списка и решение по каждой группе.
• Откуда они берутсяТысяча битых адресов от одного неудачного правила в шаблоне лечится правкой этого правила. Тысяча битых адресов, рассыпанных по текстам за десять лет, лечится только руками — и это разные по объему работы при одинаковой цифре в отчете.
• Где живут ссылкиМеню, футер и шаблон карты – это несколько мест в коде. Ссылка внутри описаний товаров, статей блога и баннеров – это столько правок, сколько записей в базе; здесь иногда дешевле поставить переход, чем трогать контент.
• Кто решает судьбу каждого адресаЕсли у вас есть человек, который через час скажет «этот товар заменили на этот, а эту акцию просто убрали», этап решений занимает день. Если такого человека нет, мы предлагаем варианты и ждем согласования – и это самая длинная часть работы, а не техническая.
• Доступ к серверуПостоянные переходы относятся к конфигурации сервера. Без доступа туда остается вариант через модуль CMS: он работает, но на сотнях правил заметно более медленный и имеет привычку взлетать при обновлении платформы.
• Темп изменений на сайтеКаталог, где еженедельно исчезают позиции, рождает битые адреса непрерывно. Здесь разовая чистка дает краткий эффект, а смысл имеет регулярный обход – и это уже не проект, а ежеквартальная проверка.

Полный перечень работ и того, что вы получаете на выходе

• Полный обход сайта с фиксацией кода ответа для каждой внутренней ссылки – чтобы список был посчитан, а не оценен на глаз
• Отдельная проверка адресов, объявленных в robots.txt и в служебных файлах: это несколько строчек, и именно они чаще всего ведут в никуда
• Запрос заведомо несуществующего адреса со случайным суффиксом — так видно, отдает ли сайт настоящую ошибку, или показывает страницу «ничего не найдено» с кодом успеха
• Поиск страниц, которые отвечают успешно и не содержат содержимого — формально живых, фактически бесполезных для пришедших на них
• Обнаружение оставшихся от шаблона текстов-заглушек с дословным перечнем: что именно и на каком адресе видит посетитель
• Решения по каждому адресу списком к началу работ: переход на аналог, правка ссылки или сознательная ошибка - выбор за вами, оформление за нами
• Правка внутренних ссылок в меню, текстах, карточках и футере – чтобы биение не возвращалось после первой же публикации
• Постоянные переходы на уровне сервера для адресов, которые следует сохранить, с проверкой, что не образовались цепочки с двух-трех скачков
• Страница ошибки, с которой есть куда пойти: поиск по сайту и ссылка на главные разделы, при этом код ответа остается кодом ошибки
• Событие в аналитике на показ страницы ошибки – иначе следующую партию битых адресов снова придется искать полным обходом
• Повторный обход после исправлений с подтверждением, что список пуст, и со списком того, что оставили ошибкой сознательно

Прозрачные этапы с согласованием на каждом шагу

Общий срок:3–12 дней

1. 1

   Обход и подсчет

   1–3 рабочих дня

   Проходим все внутренние ссылки, фиксируем код ответа каждого и страницу, по которой на него ведут. Отдельно собираем переставшие существовать внешние ссылки. На выходе – таблица, а не впечатление.

2. 2

   Служебные файлы и поведение несуществующего адреса

   1 рабочий день

   Проверяем адреса, объявленные в robots.txt, стандартные адреса карты сайта и реакцию на заведомо несуществующий адрес со случайным суффиксом. Здесь же отлавливаем страницы с кодом успеха и пустым содержимым.

3. 3

   Решения по каждому адресу

   1–2 рабочих дня

   Проходим список вместе с вами: что переводим на аналог, где правим ссылку, оставляем ошибкой сознательно. Группируем однотипные случаи, чтобы не обсуждать тысячу строк поштучно.

4. 4

   Правки: ссылки, переходы, страница ошибки

   2–5 рабочих дней

   Обновляем внутренние ссылки, ставим постоянные переходы на уровне сервера, совершаем страницу ошибки с поиском и выходами в главные разделы. Проверяем, что правило не породило цепочку из двух-трех переходов.

5. 5

   Контрольный обход и передача

   1 рабочий день

   Повторный прогон тем же инструментом: список должен быть пустым, кроме того, что оставили сознательно. Ставим событие на показ страницы ошибки и объясняем, как читать отчет индексации без нас.

На чём строим и с чем это соединяется

Без этого не начнём — лучше подготовить заранее

1. 1Адрес сайта – обход начинается без доступов, и бесплатная часть работы требует ровно этого.
2. 2Доступ к CMS или шаблонам, чтобы править внутренние ссылки в меню, футере и карточках.
3. 3Доступ к серверу или панели хостинга для постоянных переходов и страницы ошибки.
4. 4Решения по адресам, которые были и исчезли: вести аналог или честно оставить ошибкой. Это ваше решение, мы только показываем последствия каждого варианта.
5. 5Одного человека с вашей стороны, который помнит историю сайта: на что заменяли и какие разделы закрыли намеренно.

Если чего-то из этого нет — скажите, подскажем, как собрать или сделаем сами отдельной задачей.

Что обычно берут вместе с этой задачей

• Редиректы после переезда сайта — подробнее
• Карта сайта и robots.txt
• Журналы сервера
• SEO-сопровождение миграции сайта — подробнее
• Внутренняя перелинковка — сроки и условия