Команда бачить пораду "додайте llms.txt", публікує файл і чекає, що сайт почнуть частіше цитувати ChatGPT чи AI Overviews. Зазвичай так не працює. Правильна назва файлу - llms.txt, а не llm.txt, і його роль набагато скромніша: це Markdown-файл у корені сайту, який дає LLM та AI-агентам коротку карту найважливішого контенту. Що це за сайт, які сторінки тут головні, куди йти по документацію, тарифи, FAQ або політики.
Для документації, SaaS і великих інформаційних сайтів у цьому є практична користь. Для ранжування саме по собі - ні. У цьому матеріалі розберемо, що саме описує специфікація, коли llms.txt має сенс, як його правильно оформити і яких очікувань від нього краще не мати. Якщо потрібна базова рамка про AI-пошук, спершу корисно прочитати матеріал що таке AI-видимість і чому бізнесу вже недостатньо SEO.
Що таке llms.txt
На llmstxt.org llms.txt описаний як пропозиція стандартизувати файл /llms.txt, який допомагає LLM використовувати сайт під час inference, тобто в момент, коли користувач уже ставить запит моделі. Специфікацію опублікував Jeremy Howard 3 вересня 2024 року.
Уявімо звичайний сайт продукту. Для людини там усе нормально: меню, блоки з перевагами, форми, футер, перелінковка. Для агента, який має за кілька секунд зрозуміти, де документація, а де сторінка тарифів, усе складніше. HTML шумить: навігація, службові елементи, JavaScript, повтори одних і тих самих шматків інтерфейсу. У специфікації саме це і проговорено: моделям потрібне коротке, зрозуміле джерело з фоном і посиланнями на важливі сторінки (llmstxt.org).
Тому llms.txt ближчий до curated index, ніж до ще одного sitemap. Це коротка карта сайту для AI-інструментів: Cursor, агента у браузері, чат-бота з вебпошуком або внутрішнього асистента, якому потрібно швидко зрозуміти структуру ресурсу.
Чому про нього заговорили саме зараз
Тема виросла не з теорії.
Файл уже потрапив у практику реальних документаційних сайтів. Наприклад, X Developer Docs публікує і llms.txt, і llms-full.txt, а також Markdown-версії окремих сторінок через суфікс .md.
Chrome Lighthouse уже має окремий audit для llms.txt. Але це не ознака "нового must-have". Навпаки: документація Chrome прямо каже, що якщо llms.txt повертає 404, аудит позначається як Not Applicable, бо на поточний момент файл опційний.
І ще одна причина вже ближча до бізнесу: ринок шукає простий спосіб зробити сайт зрозумілішим для AI. Саме тут і починаються перебільшення. llms.txt справді може зменшити хаос для агента, але він не замінює ні якісний контент, ні технічне SEO, ні зовнішні згадки про бренд.
Кому llms.txt справді корисний
Найкраще llms.txt працює там, де сайт має багато сторінок і де AI-інструменту легко збитися з маршруту вже на старті.
| Тип сайту | Де є практична користь |
|---|---|
| Developer docs, API, SDK | Дає агенту короткий індекс документації та посилання на головні розділи |
| SaaS або сервісний сайт | Показує канонічні сторінки про продукт, тарифи, безпеку, FAQ, інтеграції |
| E-commerce | Допомагає звести в один файл політики, категорії, довідку про доставку й повернення |
| Освітній або контентний проєкт | Дає короткий шлях до ключових матеріалів без потреби сканувати весь архів |
| Корпоративний сайт | Допомагає агенту швидко знайти сторінки про компанію, послуги, кейси й контакти |
Якщо у вас docs-сайт або складний SaaS, користь майже пряма: агент швидше дістається до потрібних точок входу. Якщо це маленький сайт-візитка на 3-5 сторінок, ефект буде скромніший. Там і без окремого індексу часто все зрозуміло.
Що llms.txt не робить
Саме тут зазвичай і псуються очікування.
llms.txtне замінюєrobots.txtі не керує доступом ботів.llms.txtне замінюєsitemap.xmlі не є повним списком індексованих URL.llms.txtне гарантує, що ChatGPT, Gemini, Claude або Google AI Overviews почнуть цитувати сайт.llms.txtне виправляє слабкий контент, погану інформаційну архітектуру або блокування краулерів.llms.txtне є сигналом ранжування, який публічно підтвердили як обов'язковий Google чи OpenAI.
Це краще проговорити в команді до публікації файлу. Інакше від llms.txt починають чекати того, чого він технічно дати не може.
Позиція Google тут доволі пряма. У Google Search Central сказано, що для появи в AI Overviews і AI Mode немає додаткових технічних вимог, а також не потрібно створювати нові machine-readable AI text files або спеціальну schema.org-розмітку. Звідси і практичний висновок: llms.txt - корисне доповнення для discoverability та зручності агентів, але не обов'язкова умова для видимості в Google AI.
Чим llms.txt відрізняється від robots.txt і sitemap.xml
Їх часто згадують поруч, але задачі в них різні.
| Файл | Основна роль | Чого від нього не варто очікувати |
|---|---|---|
robots.txt | Показує, який доступ для автоматизованих систем вважається дозволеним або небажаним | Не пояснює зміст сайту |
sitemap.xml | Дає пошуковикам список URL для обходу й індексації | Не є curated guide для LLM |
llms.txt | Дає LLM короткий контекст і список найважливіших сторінок | Не є інструментом контролю crawl або повною картою всіх URL |
На llmstxt.org це сформульовано прямо: llms.txt створений, щоб співіснувати з наявними стандартами, а не замінювати їх.
Якою має бути правильна структура
Тут усе простіше, ніж здається. Специфікація пропонує короткий Markdown-файл, і обов'язковою є лише одна частина - H1 з назвою сайту або проєкту.
Що має бути у файлі:
# Назва сайту- єдина обов'язкова секція.- Короткий blockquote з описом - рекомендовано.
- За потреби кілька абзаців без заголовків - щоб пояснити, як читати файл.
- Один або кілька
H2-розділів. - Усередині кожного
H2- список посилань у форматі Markdown з коротким описом.
У специфікації також є важливий нюанс: секція ## Optional має спеціальне значення. Посилання в ній можна пропустити, якщо агенту потрібен коротший контекст (llmstxt.org).
Мінімальний шаблон може виглядати так:
# Example Site
> Короткий опис сайту та того, для чого він існує.
Тут можна коротко пояснити, які сторінки є канонічними і де шукати головні відповіді.
## Core pages
- [About](https://example.com/about): Хто ми і що робимо.
- [Product](https://example.com/product): Опис продукту й основних сценаріїв.
- [Pricing](https://example.com/pricing): Тарифи, пакети та умови.
## Documentation
- [Quick start](https://example.com/docs/quick-start.md): Найкоротший шлях до старту.
- [API reference](https://example.com/docs/api.md): Технічна документація API.
## Optional
- [Blog](https://example.com/blog): Додаткові матеріали й аналітика.
Які сторінки варто додавати
Найчастіше помиляються в одному місці: намагаються перетворити llms.txt на звалище всіх URL сайту. У цей момент файл втрачає сенс.
Краще додавати лише ті сторінки, які справді відповідають на ключові запитання про бізнес або продукт:
- сторінки продукту чи послуг;
- документацію, quick start, API reference;
- тарифи, умови оплати, SLA;
- FAQ, підтримку, довідкові матеріали;
- сторінки про компанію, контакти, безпеку, політики;
- кілька справді сильних evergreen-матеріалів, якщо блог є частиною експертної репутації.
Для блогу теж потрібен відбір. Не тягніть у llms.txt увесь архів. Краще лишити 3-10 матеріалів, після яких агент справді краще розуміє тему. Наприклад, для теми AI-видимості доречними будуть статті як аналізувати джерела, на які спирається ШІ, як структуровані дані впливають на AI-видимість і які сторінки сайту найчастіше потрапляють у відповіді ШІ.
Markdown-версії сторінок і llms-full.txt
Це одна з найпрактичніших частин специфікації, про яку часто забувають. На llmstxt.org пропонується, щоб сторінки, корисні для LLM, мали чисту Markdown-версію на тому самому URL із суфіксом .md. Якщо URL закінчується не назвою файлу, а шляхом, специфікація пропонує варіант index.html.md.
На практиці це зручно: агенту простіше читати чистий Markdown, ніж пробиратися крізь повний HTML із меню, банерами й службовими елементами.
Окремо варто розрізняти llms.txt і llms-full.txt.
llms.txt- це короткий індекс і навігація.llms-full.txt- це повний зведений контекст, якщо сайт справді хоче віддати агенту багато документації одним файлом.
У X Developer Docs це зроблено саме так: короткий llms.txt для навігації, окремі розділові llms.txt для піддерев документації і llms-full.txt для глибокого контексту. Для SaaS-документації це сильний патерн. Для невеликого корпоративного сайту він часто зайвий.
Як створити llms.txt без хаосу
Перший імпульс тут зазвичай такий: сісти й руками накидати 20-30 посилань. Краще не поспішати. Спочатку відбір, потім файл.
- Проведіть короткий аудит контенту. Визначте 10-30 сторінок, які реально пояснюють сайт.
- Вирішіть, які з них канонічні. Якщо є дві схожі сторінки, лишіть одну сильнішу.
- Напишіть короткий summary для початку файлу. Без маркетингової води, тільки суть.
- Розбийте посилання на зрозумілі секції:
Core pages,Product,Docs,Policies,Optional. - До кожного URL додайте короткий опис. Добрий опис підказує, навіщо відкривати саме цю сторінку.
- Якщо сайт має цінну документацію, підготуйте
.md-версії сторінок. - Опублікуйте файл у корені сайту за адресою
https://domain.com/llms.txtі перевірте, що він віддає200 OK.
Корисне правило: якщо опис сторінки не допомагає людині зрозуміти, навіщо цей URL, агенту він теж навряд чи допоможе.
Типові помилки
Сам файл простий. Проблеми майже завжди не технічні, а редакторські.
- Публікують
llm.txt,ai.txtабоLLMS.txtзамістьllms.txt. - Додають усі URL сайту без відбору.
- Пишуть рекламний текст замість конкретного summary.
- Вставляють посилання на сторінки, які застаріли, дублюються або закриті для користувача.
- Не оновлюють файл після змін у тарифах, документації чи структурі сайту.
- Очікують миттєвого росту трафіку лише через факт наявності файлу.
- Змішують призначення
llms.txtіз правилами доступу, які насправді мають жити вrobots.txt.
Окрема помилка - не узгодити llms.txt з реальною архітектурою сайту. Якщо у файлі написано, що канонічна сторінка одна, а агент потрапляє на іншу через редиректи, noindex або блокування в CDN, користі буде мало.
Як перевірити, що llms.txt зроблений добре
Перший тест банальний, але багато файлів валяться вже тут: чи відкривається https://domain.com/llms.txt без авторизації і чи віддає він нормальний 200 OK. Далі вже має сенс дивитися на зміст.
| Що перевірити | Що вважається нормою |
|---|---|
| URL файлу | https://domain.com/llms.txt відкривається без авторизації |
| HTTP-відповідь | 200 OK, без ланцюжка дивних редиректів |
| Формат | Валідний Markdown, зрозумілий порядок секцій, немає битих посилань |
| Зміст | У файлі лише ключові сторінки, а не весь сайт |
| Очікування | Команда розуміє, що це допоміжний discovery-файл, а не гарантований SEO-фактор |
Як додаткова перевірка підійде Lighthouse audit для llms.txt. Але тут важливо не підмінити логіку чекбоксом. Chrome сам вважає файл опційним. Отже, сайт без llms.txt не є "зламаним", а сайт із llms.txt не стає автоматично видимим у всіх AI-відповідях.
Ще одна практична перевірка - відкрити llms.txt у реальному AI-інструменті й подивитися, чи зміг він коректно зорієнтуватися в структурі сайту. Якщо відповідь досі спирається на випадкові сторінки, проблема, швидше за все, не у відсутності файла, а у слабкій контентній архітектурі або зовнішніх сигналах.
Висновок
llms.txt варто робити не тому, що "так треба для AI SEO", а тому, що це недорогий спосіб дати агентам коротку, контрольовану карту сайту. Найбільше сенсу він має для документації, SaaS, knowledge base і сайтів, де без контексту легко піти не туди вже на першому кроці.
Чесна рамка проста: llms.txt не замінює SEO, не підміняє robots.txt, не скасовує потребу в хорошому контенті й не гарантує появу в AI Overviews чи ChatGPT Search. Він просто робить сайт зрозумілішим для тих інструментів, які цей файл читають. А далі вже працює вся решта: структура сайту, текстовий контент, відкритий crawl і зрозумілі джерела бренду в мережі.
