0
Как правильно настроить robots.txt для Next.js сайта?
Перешли на Next.js 14, и не понимаю как генерить robots.txt. Раньше на WordPress всё само делалось через плагин. Нужно ли закрывать /api/ от индексации? А что с _next/static/?
Перешли на Next.js 14, и не понимаю как генерить robots.txt. Раньше на WordPress всё само делалось через плагин. Нужно ли закрывать /api/ от индексации? А что с _next/static/?
В Next.js 14+ можно создать файл app/robots.ts который экспортирует объект с правилами. Закрывать /api/ — да, обязательно. _next/static/ не нужно, Googlebot и так не индексирует ресурсы. Примерно так:
export default function robots() {
return { rules: { userAgent: "*", disallow: "/api/" }, sitemap: "https://site.ru/sitemap.xml" }
}