Перевірка robots.txt і sitemap
Що закрито від індексації, чи знайдеться sitemap і скільки в ньому URL.
Що перевіряється
- чи доступний robots.txt і чи не закриває він сайт цілком
- чи оголошено sitemap і чи він відкривається
- скільки URL у sitemap, чи є серед них http:// і дублі
Найдорожча помилка — Disallow: /, який забули прибрати після переїзду з тестового сервера. Вона коштує всього трафіку.