llms.txt: що це таке і чи варто його робити

Ідея проста: покласти в корінь сайту файл, який коротко пояснює мовній моделі, що це за сайт і які сторінки на ньому головні. Пропозиція опублікована у 2024 році і відтоді обговорюється в галузі.

Чим він відрізняється від robots.txt?

robots.txt каже, куди не можна ходити. llms.txt каже, що варто прочитати першим. Перший — заборона, другий — путівник.

Формат теж інший: не директиви, а звичайний Markdown із заголовком, коротким описом і списком посилань за розділами.

Як він виглядає?

# Назва сайту

> Одне речення про те, чим ви займаєтесь.

## Послуги

- [Розробка інтернет-магазинів](https://site.ua/eshop): під ключ, від 3 тижнів
- [Технічний аудит](https://site.ua/audyt): пошук проблем індексації

## Блог

- [Чому Prom не приймає фід](https://site.ua/blog/feed): сім типових причин

Кладеться в корінь: /llms.txt.

Чи працює це насправді?

Чесна відповідь: стандартом він не став, і жоден великий постачальник моделей офіційно не оголосив його підтримку. Тобто гарантій немає жодних.

Аргумент на користь: він коштує десять хвилин і не шкодить. Аргумент проти: ці ж десять хвилин, витрачені на дати, авторство й розмітку на самих сторінках, дадуть більше з набагато вищою ймовірністю.

Кому це справді має сенс робити?

• Документація й довідники — там структура складна, і путівник допомагає навіть людині;
• Сайти з великою кількістю схожих сторінок, де без підказки незрозуміло, яка головна;
• Ті, хто вже зробив базове — розмітку, дати, структуру — і шукає, що ще.

Кому не варто витрачати час: сайтам на десять сторінок і тим, у кого ще немає дат публікації в розмітці. Спершу базове.

Що писати в описах?

Не назву сторінки вдруге. Опис має додавати те, чого немає в заголовку: для кого, що всередині, чим відрізняється від сусіднього розділу.

• Погано: «Технічний аудит — сторінка про технічний аудит»;
• Добре: «Технічний аудит: пошук проблем індексації, термін 5 днів, звіт зі списком URL».

Як зробити швидко?

1. Згенеруйте чернетку — інструмент бере ваш sitemap, завантажує сторінки й групує їх за розділами, підставляючи заголовки й описи.
2. Перегляньте результат очима: автоматика бере meta description, а він у половині випадків написаний під пошук, а не під пояснення.
3. Перепишіть опис сайту в другому рядку — його автоматично не вигадаєш.
4. Покладіть файл у корінь і поверніться до нього, коли структура сайту зміниться.

І не забудьте, що AI-краулери мають бути відкриті в robots.txt: llms.txt на сайті, закритому для GPTBot, не прочитає ніхто.