Для чего нужен ai.txt?
Файл ai.txt был предложен как инициатива для управления правами использования контента сайта при обучении моделей искусственного интеллекта. С ростом популярности систем генеративного ИИ (LLM), многие вебмастера захотели запретить компаниям вроде OpenAI, Anthropic и Google парсить их сайты для обучения нейросетей без разрешения.
Хотя большинство ботов соблюдают директивы в robots.txt, появление отдельного стандарта ai.txt позволяет более гибко и явно декларировать политику использования контента именно в контексте машинного обучения (включая Fine-tuning и сбор датасетов).
Как правильно разместить?
Файл следует разместить в корне вашего сайта, чтобы он был доступен по адресу: https://ваша-домен.ru/ai.txt. Рекомендуется также продублировать запреты в классический robots.txt для надежности.
Связанные инструменты
- Генератор llms.txt — создайте файл для передачи семантического контекста и инструкций нейросетям (LLM SEO).
- Генератор robots.txt — настройка индексации сайта в классических поисковых системах.
Частые вопросы (FAQ)
Соблюдают ли компании правила из ai.txt?
На данный момент ai.txt является рекомендательным стандартом. Крупные игроки индустрии, как правило, соблюдают явно прописанные запреты (особенно через стандартный файл robots), однако стопроцентной гарантии блокировки недобросовестных парсеров этот файл не дает.
Какие боты самые активные?
Наиболее часто сайты сканируют GPTBot (от OpenAI), ClaudeBot (от Anthropic), Applebot (от Apple) и CCBot (краулер базы Common Crawl, которая используется для тренировки многих open-source моделей).