Что такое llms.txt? Спецификация, скептики и стоит ли с этим возиться

Мало какие файлы имеют такой большой разрыв между тем, как часто их рекламируют, и тем, как часто их читают. Индустрия генераторов теперь продвигает llms.txt как рычаг для AI-SEO ранжирования; в то же время самый цитируемый авторитет в области поиска говорит, что краулеры даже не запрашивают этот файл. Оба этих факта стоит понимать точно, потому что правильный подход — потратить десять минут, не ожидая многого — имеет смысл только тогда, когда вы осознаете оба аспекта.

Согласно llmstxt.org: UTF-8 markdown-файл, размещенный в корневом каталоге /llms.txt, структурированный в следующем порядке —

• Заголовок H1 с названием проекта или сайта. Единственный обязательный элемент.
• Цитата с кратким резюме в одну строку.
• Опционально, короткий markdown в свободной форме с контекстом, который модель должна знать перед переходом по ссылкам.
• Ноль или более разделов, разделенных H2 — каждый представляет собой markdown-список ссылок [name](https://url), при необходимости с двоеточием и коротким примечанием.
• Опциональный раздел с названием "Optional" — единственная часть файла, которую AI с ограниченным контекстом может пропустить; здесь размещаются второстепенные материалы.

Идея заключается в экономии токенов: вместо того чтобы AI-система сканировала и обрезала ваш сайт случайным образом, вы предоставляете ей десять хорошо подобранных ссылок с одной строкой контекста для каждой. Некоторые проекты также публикуют расширенную версию (обычно llms-full.txt) с полным содержимым страниц, хотя этот вариант является скорее конвенцией реализации, чем частью самой спецификации.

Честная инвентаризация: экосистема самого предложения приняла его — FastHTML, nbdev и проекты Answer.AI публикуют его, каталоги сообществ индексируют сайты, которые его используют, а платформы документации добавили поддержку в один клик, поэтому файл часто встречается в документации инструментов для разработчиков. Некоторые агенты кодинга и инструменты для ответов будут извлекать его, когда их направляют на сайт. Чего не произошло, согласно наблюдениям Мюллера по логам сервера, так это регулярного сканирования основными AI-сервисами — OpenAI, Anthropic и Google ничего не объявляли, а анализ логов продолжает показывать, что крупные краулеры не запрашивают этот файл. Если ваша причина для публикации — "ChatGPT наконец-то нас поймет", то доказательств этому нет.

Сравнение Mueller с мета-тегом keywords — это самая острая версия возражения: llms.txt — это контент, заявленный самостоятельно — «это то, что владелец сайта утверждает о своем ресурсе», — а сигналы, заявленные самостоятельно, умирают, потому что их легко подделать. «В таком случае, почему бы просто не проверить сайт напрямую?» Краулеру, который может прочитать ваши реальные страницы, не нужен ваш пресс-релиз о них. Эта логика убила тег keywords, и ничто в llms.txt структурно не защищено от нее.

• Затраты действительно ничтожны. Один статический файл, никакого этапа сборки, никакого риска. Асимметричные ставки с околонулевым риском не требуют высокой уверенности.
• Некоторые потребители существуют уже сегодня. Инструменты для разработчиков, агенты, работающие с документацией, и поисковые системы с ответами, которые принимают подсказки от сайта, действительно читают его — это нишевый, но реальный сегмент, наиболее ценный для продуктов, покупателями которых являются разработчики.
• Курирование — это и есть настоящая ценность. Выбор десяти страниц, которые лучше всего объясняют ваш продукт, и написание одной честной строки о каждой из них — это работа по позиционированию, которую стоит проделать независимо от того, будет ли робот когда-либо получать этот результат.
• Ценность опции. Если крупная поисковая система когда-нибудь объявит о поддержке, сайты с чистыми файлами будут готовы; все остальные бросятся догонять.

Курируйте, а не сваливайте всё в кучу: карта сайта, вываленная в markdown, противоречит всей идее. Десять-двадцать ссылок, каждая с примечанием о том, что читатель узнает там — не маркетинговый текст, а контекст для модели. Поместите списки изменений, юридические страницы и архивы в раздел Optional. Поддерживайте его в актуальном состоянии так же, как вы поддерживаете свою карту сайта, и отдавайте его как обычный UTF-8 markdown в корневом каталоге. Наш бесплатный генератор llms.txt создает файл, точно соответствующий спецификации, прямо в браузере — ничего не сохраняется, регистрация не требуется — с тем же честным предостережением, которое содержит этот пост.

Если у вас есть один час на работу с видимостью в AI, llms.txt — это последние десять минут, а не первые пятьдесят. Измеримые рычаги в порядке убывания: разрешен ли доступ AI-краулерам (robots.txt), отдают ли ваши страницы читаемый текст без выполнения JavaScript, публикуете ли вы заголовки, описания и структурированные данные, и как выглядит ваш профиль авторитетности — бесплатная десятисекундная проверка охватывает все четыре пункта. Помимо технической базы, на рекомендации AI влияет то, что другие доверенные страницы говорят о вас — это уровень охвата и цитирования, который мы описываем в руководстве по инструментам AI-видимости, и, для справки, уровень, на котором работает наш собственный сервис Stork Wire. Файлы, заявленные самостоятельно, — это вежливость. Сторонние доказательства — это сигнал ранжирования как для поисковых систем, так и для систем с ответами.