Что такое llms.txt и зачем он нужен?
Файл llms.txt — это стандарт, предложенный Джереми Говардом (Jeremy Howard), который помогает большим языковым моделям (LLM) ориентироваться в структуре вашего проекта. Файл размещается в корне сайта и содержит карту ключевых ресурсов в формате Markdown.
В отличие от robots.txt, который управляет доступом краулеров, llms.txt передаёт AI-агентам семантический контекст: что это за проект, какие документы важны и где их найти. Это особенно полезно для RAG-систем, AI-IDE (Cursor, Copilot) и чат-ботов с поиском.
Структура файла по стандарту
Спецификация определяет строгий порядок секций:
- H1 заголовок — название проекта или сайта (обязательный)
- Blockquote — краткое описание с ключевой информацией
- Заметки — дополнительные параграфы и списки (но не заголовки)
- H2-секции — именованные разделы со списками ссылок в формате
- [Название](url): Описание - ## Optional — специальная секция с вторичными ресурсами, которые можно пропустить при ограниченном контексте
Где разместить файл?
По стандарту, файл должен быть доступен в корне сайта: /llms.txt. Формат — обычный Markdown. Дополнительно рекомендуется создать расширенную версию llms-full.txt, содержащую полный контент всех страниц inline — для RAG-систем, которым нужен максимальный контекст.
Связанные инструменты
- Генератор llms-full.txt — расширенная версия с полным контентом страниц для RAG-систем.
- Генератор ai.txt — управление доступом AI-парсеров к контенту сайта.
- Генератор robots.txt — настройка индексации сайта в Google и Яндекс.
Частые вопросы (FAQ)
Чем llms.txt отличается от llms-full.txt?
llms.txt — это краткая карта ссылок: заголовки, описания и URL. Файл llms-full.txt содержит полный текст каждой страницы inline — это даёт LLM-агентам максимум контекста без необходимости переходить по ссылкам. Используйте оба: первый для навигации, второй для глубокого анализа.
Обязательно ли использовать llms.txt?
Нет, это не RFC-стандарт, а community-driven спецификация. Однако ведущие AI-IDE (Cursor, Windsurf), RAG-системы и AI-поисковики (Perplexity, ChatGPT с поиском) всё чаще обращаются к этому файлу при анализе документации.
Что такое секция Optional?
Секция ## Optional имеет специальное значение по стандарту. Ссылки из неё можно пропустить, если LLM-агенту не хватает контекстного окна. Используйте её для вторичных ресурсов: справочников зависимостей, подробных API-спецификаций или дополнительных примеров.