Биті посилання і сторінки 404: перевірка того, що ведуть у нікуди

Безкоштовний обхід сайту з пошуком битих посилань

Це найпростіша перевірка з можливих: пройти всі посилання й подивитись, які з них не ведуть нікуди. Ми робимо її самі й безкоштовно, бо результат зазвичай вирішує, чи є тут робота взагалі. Доступи не потрібні — обхід починається з адреси сайту.

Що міряємо

• Внутрішні посилання, що ведуть у нікудиПовний обхід сайту з фіксацією коду відповіді для кожного посилання і зі списком сторінок, з яких на нього ведуть.
• Адреси, оголошені у службових файлахНайчастіша знахідка: robots.txt посилається на карту сайту, а за цією адресою — помилка. Ми зустрічали це неодноразово в межах однієї вибірки.
• Поведінка неіснуючої адресиЧи віддає сайт справжню помилку, чи показує сторінку з кодом успіху — другий випадок псує індекс тихо й довго.
• Порожні сторінкиАдреси, які відповідають успіхом, але не містять контенту. Формально живі, фактично марні — ми знаходили розділи меню з самим лише заголовком.
• Зовнішні посиланняПосилання на чужі ресурси, які перестали існувати. Це питання довіри відвідувача, а не індексу.
• Сторінки-заглушкиТексти за замовчуванням, які лишились від шаблону: описи на кшталт «опис умов доставки» на живому сайті.

Чому дві однакові на вигляд задачі рахуються по-різному — і що саме ми міряємо на аудиті

• Скільки битих адрес насправдіЦе єдина цифра, від якої тут усе рахується, і саме її неможливо назвати до обходу. Десяток адрес — робота на один вечір. Кілька тисяч — окремий етап на сортування списку й на рішення по кожній групі.
• Звідки вони берутьсяТисяча битих адрес від одного невдалого правила в шаблоні лікується правкою цього правила. Тисяча битих адрес, розсипаних по текстах за десять років, лікується тільки руками — і це різні за обсягом роботи при однаковій цифрі в звіті.
• Де живуть посиланняМеню, футер і шаблон картки — це кілька місць у коді. Посилання всередині описів товарів, статей блогу і банерів — це стільки правок, скільки записів у базі; тут іноді дешевше поставити перехід, ніж чіпати контент.
• Хто вирішує долю кожної адресиЯкщо у вас є людина, яка за годину скаже «цей товар замінили на цей, а цю акцію просто прибрали», етап рішень займає день. Якщо такої людини немає, ми пропонуємо варіанти й чекаємо погодження — і це найдовша частина роботи, а не технічна.
• Доступ до сервераПостійні переходи ставляться в конфігурації сервера. Без доступу туди лишається варіант через модуль CMS: він працює, але на сотнях правил помітно повільніший і має звичку злітати при оновленні платформи.
• Темп змін на сайтіКаталог, де щотижня зникають позиції, породжує биті адреси безперервно. Тут разова чистка дає короткий ефект, а сенс має регулярний обхід — і це вже не проєкт, а щоквартальна перевірка.

Повний перелік робіт і того, що ви отримуєте на виході

• Повний обхід сайту з фіксацією коду відповіді для кожного внутрішнього посилання — щоб список був порахований, а не оцінений на око
• Окрема перевірка адрес, оголошених у robots.txt і в службових файлах: це кілька рядків, і саме вони найчастіше ведуть у нікуди
• Запит завідомо неіснуючої адреси з випадковим суфіксом — так видно, чи віддає сайт справжню помилку, чи показує сторінку «нічого не знайдено» з кодом успіху
• Пошук сторінок, які відповідають успішно й не містять вмісту — формально живих, фактично марних для того, хто на них прийшов
• Виявлення текстів-заглушок, що лишились від шаблону, з дослівним переліком: що саме й на якій адресі бачить відвідувач
• Рішення по кожній адресі списком до початку робіт: перехід на аналог, правка посилання або свідома помилка — вибір за вами, оформлення за нами
• Правка внутрішніх посилань у меню, текстах, картках і футері — щоб биття не поверталось після першої ж публікації
• Постійні переходи на рівні сервера для адрес, які варто зберегти, з перевіркою, що не утворились ланцюжки з двох-трьох стрибків
• Сторінка помилки, з якої є куди піти: пошук по сайту й посилання на головні розділи, при цьому код відповіді лишається кодом помилки
• Подія в аналітиці на показ сторінки помилки — інакше наступну партію битих адрес знову доведеться шукати повним обходом
• Повторний обхід після виправлень із підтвердженням, що список порожній, і з переліком того, що лишили помилкою свідомо

Прозорі етапи з погодженням на кожному кроці

Загальний строк:3–12 днів

1. 1

   Обхід і підрахунок

   1–3 робочих дні

   Проходимо всі внутрішні посилання, фіксуємо код відповіді кожного і сторінку, з якої на нього ведуть. Окремо збираємо зовнішні посилання, що перестали існувати. На виході — таблиця, а не враження.

2. 2

   Службові файли й поведінка неіснуючої адреси

   1 робочий день

   Перевіряємо адреси, оголошені в robots.txt, стандартні адреси карти сайту й реакцію на завідомо неіснуючу адресу з випадковим суфіксом. Тут же відловлюємо сторінки з кодом успіху й порожнім вмістом.

3. 3

   Рішення по кожній адресі

   1–2 робочих дні

   Проходимо список разом із вами: що переводимо на аналог, де правимо саме посилання, що лишаємо помилкою свідомо. Групуємо однотипні випадки, щоб не обговорювати тисячу рядків поштучно.

4. 4

   Правки: посилання, переходи, сторінка помилки

   2–5 робочих днів

   Оновлюємо внутрішні посилання, ставимо постійні переходи на рівні сервера, робимо сторінку помилки з пошуком і виходами в головні розділи. Перевіряємо, що правило не породило ланцюжок із двох-трьох переходів.

5. 5

   Контрольний обхід і передача

   1 робочий день

   Повторний прогін тим самим інструментом: список має бути порожнім, крім того, що лишили свідомо. Ставимо подію на показ сторінки помилки й пояснюємо, як читати звіт індексації далі без нас.

На чому будуємо і з чим це з’єднується

Без цього не почнемо — краще підготувати заздалегідь

1. 1Адресу сайту — обхід починається без доступів, і безкоштовна частина роботи вимагає рівно цього.
2. 2Доступ до CMS або до шаблонів, щоб правити внутрішні посилання в меню, футері й картках.
3. 3Доступ до сервера чи панелі хостингу для постійних переходів і для сторінки помилки.
4. 4Рішення щодо адрес, які були й зникли: вести на аналог чи чесно лишити помилкою. Це ваше рішення, ми лише показуємо наслідки кожного варіанта.
5. 5Одну людину з вашого боку, яка пам'ятає історію сайту: що на що замінювали і які розділи закрили навмисно.

Якщо чогось із цього немає — скажіть, підкажемо, як зібрати або зробимо самі окремою задачею.

Що зазвичай беруть разом із цією задачею

• після зміни структури впав трафік
• Карта сайту і robots.txt
• аналіз журналів доступу сайту
• Переїзд сайту без втрати пошукового трафіку — терміни та умови
• внутрішня перелінковка сайту