Владельцы сайтов давно оказались перед неприятным выбором: разрешить использование контента для обучения ИИ-моделей или рискнуть потерять видимость в поиске. Причина в так называемых смешанных краулерах — один и тот же бот обслуживает и поисковый индекс, и обучение моделей. Отказываешь одному — отказываешь и второму.
Cloudflare анонсировала новую настройку Disallow AI Training, которая позволяет оставаться в поиске, но запретить тому же краулеру обучаться на вашем контенте. Apple, Google и Microsoft либо уже соблюдают эту настройку, либо взяли на себя обязательства сделать это в обозначенные сроки.
Смешанные краулеры были самой сложной частью вопроса. Следующая на очереди — ИИ-сводки (AI Summaries). Простое «да» или «нет» на весь сайт здесь слишком грубо: важно не только, появляется ли контент в сводке, но и в каком объёме. Опция отказа от ИИ-сводок уже входит в требования, которые Cloudflare предъявляет операторам смешанных краулеров. К началу следующего года компания планирует дать владельцам сайтов контроль над тем, какая доля их контента попадает в сводки — настраиваемый один раз в Cloudflare, а не отдельно у каждого оператора.
Почему недостаточно просто спросить
Большинство владельцев сайтов хотят, чтобы их находили: люди, агенты и (хорошие) боты. Но значительная часть открытого интернета финансируется за счёт рекламы, подписок или прямых отношений с посетителями, а такие модели работают только тогда, когда кто-то действительно приходит на сайт.
Поиск почти все считают полезным: менее 1% сайтов в Cloudflare решают блокировать поисковых ботов. С обучением картина иная: 17% сайтов включают тот или иной механизм блокировки обучения. Именно поэтому понадобились более гранулярные настройки вместо универсального «Block AI».
Одной директивы robots.txt для решения проблемы недостаточно. Опубликовать её может кто угодно, но она не позволяет определить, кто именно сканирует, с какой целью и не остановит краулер, который её игнорирует.
Это под силу сети: Cloudflare публикует предпочтение, идентифицирует краулера, классифицирует цель сканирования и блокирует тех, кто игнорирует правила, а затем отчитывается о поведении каждого оператора в Radar.
Но блокировка лишь удаляет краулера — она не меняет его поведение. Лучший исход — операторы, которые вообще не заставляют вас выбирать. Поэтому с июля Cloudflare ведёт с ними прямые переговоры. Реакция обнадёживает: почти все согласились, что у владельцев сайтов должен быть контроль и прозрачность в вопросе использования их контента, а также гарантии, что их выбор будет уважаться. Чтобы помочь владельцам сайтов в этом разобраться, введено обозначение Accountable.
Статус Accountable признаёт как уже доступные сегодня возможности, так и конкретные обязательства их реализовать. Чтобы получить его, оператор бота должен соответствовать требованиям или обязаться их выполнить:
- механизм отказа от обучения ИИ через robots.txt или аналогичный стандарт;
- механизм отказа от ИИ-сводок — напрямую у оператора, а с следующего года и через Cloudflare;
- прозрачность на уровне URL: какие страницы были доступны для обучения, плюс метрики о появлении контента в поиске;
- гарантия, что отказ от обучения не повлияет на традиционные результаты поиска.
Apple, Google и Microsoft демонстрируют соответствие этим критериям. Каждая из компаний сочетает уже работающие возможности с обязательствами по срокам для тех, что ещё в разработке.
Новые настройки безопасности
Cloudflare классифицирует ботов по поведению, и один бот может проявлять несколько типов поведения. В качестве управляемых доступны три:
Search — сканирование для построения поискового индекса; Training — сканирование для обучения или дообучения модели; Agent — агенты, действующие по поручению человека: чат-боты, браузерные агенты.
Смешанный краулер — это один бот, выполняющий и поиск, и обучение. Без настроек такая комбинация создаёт описанный выше компромисс: нельзя отказать в одном использовании, не отказав в другом.
Чтобы не блокировать ответственные смешанные краулеры (те, что не навязывают этот компромисс), вводится новая настройка Disallow AI Training. Она названа в честь директивы Disallow, которую публикует в вашем robots.txt.
Настройка «Block» теперь означает другое
Раньше Block и «Block on pages with ads» не применялись к смешанным краулерам, поскольку их блокировка могла задеть видимость в поиске. Теперь, с появлением Disallow AI Training, Block и «Block on pages with ads» применяются ко всем обучающим краулерам, включая смешанные.
Настройки Training, Search и Agent применяются на уровне домена. С добавлением Disallow AI Training доступны следующие варианты:
Allow — все краулеры допускаются, если не заблокированы другой настройкой или правилом WAF; Disallow AI Training — Bot Preference Sync публикует соответствующее предпочтение в robots.txt. Ответственные смешанные краулеры остаются допущенными для поиска. Все прочие обучающие краулеры блокируются, включая чисто обучающих ботов Amazon, Anthropic, Meta и OpenAI — их блокировка не влияет на поиск. Настройка доступна только для Training, не для Search или Agent; Block on pages with ads — краулеры, включая смешанные, блокируются только на страницах, где обнаружена реклама; Block — все краулеры, включая смешанные, блокируются.
Disallow AI Training работает через публикацию предпочтения в robots.txt. Предпочтение «только на страницах с рекламой» так выразить нельзя: Cloudflare умеет определять страницы с рекламой, но этот список слишком велик и меняется слишком часто, чтобы перечислять его в robots.txt. Поэтому варианта Disallow AI Training on pages with ads не существует.
Агенты не создают того же компромисса с видимостью в поиске, что и смешанные краулеры, а в интернете пока нет устоявшейся директивы для выражения предпочтений Disallow в отношении агентов. Пока настройка Disallow для Agent не включена. По мере созревания стандартов вроде ai-prefs этот подход будет пересмотрен.
Что меняется 15 сентября
В Bot Management и AI Crawl Control вносятся следующие изменения:
Block и Block on pages with ads теперь применяются к смешанным краулерам, включая Applebot, Bingbot и Googlebot, поэтому любая из этих настроек затрагивает и поиск, и обучение. Чтобы остановить обучение и сохранить поиск, используйте Disallow AI Training; «Block AI Bots» устаревает в пользу более гранулярных настроек Search, Training и Agent; Managed Robots.txt устаревает в пользу Bot Preference Sync. Клиенты, включившие Managed Robots.txt, будут перенесены на новую систему; Disallow AI Training станет частью рекомендуемой конфигурации для некоторых новых доменов; Настройки существующих клиентов будут перенесены на новые контролы.
Что нужно сделать
Почти во всех случаях — ничего. Текущие настройки переносятся автоматически.
Если вы хотите полностью избавиться от смешанных краулеров, теперь придётся сказать об этом явно. Выберите Block — это остановит Applebot, Bingbot и Googlebot на вашем сайте, включая поиск.
Существующие домены, не использовавшие контролы Search/Training/Agent
Владельцы сайтов, никогда не настраивавшие гранулярные контролы, будут перенесены на новые настройки исходя из их прежней настройки Block AI Bots:
Disabled (не выбрано) → Search: Allow, Training: Allow, Agent: Allow; Block → Search: Allow, Training: Disallow AI Training, Agent: Block on pages with ads; Block on pages with ads → Search: Allow, Training: Disallow AI Training, Agent: Block on pages with ads.
Существующие домены, ранее настроившие контролы Search/Training/Agent
Для доменов, ранее настроивших гранулярные контролы, будет сохранён практический эффект их выбора в рамках новых определений. Прежние варианты Training Block или Block on pages with ads переносятся в Disallow AI Training.
По Search: Allow остаётся Allow, Block остаётся Block, Block on pages with ads остаётся Block on pages with ads. По Training: Allow остаётся Allow, а Block и Block on pages with ads переходят в Disallow AI Training. По Agent: Allow остаётся Allow, Block остаётся Block, Block on pages with ads остаётся Block on pages with ads.
Рекомендации для новых доменов
С 15 сентября клиентам, подключающим новый домен, будет предложена одна из двух предустановленных конфигураций — в зависимости от того, зарабатывает ли сайт на рекламе. Рекламная выручка зависит от того, что человек реально увидел страницу. Обучение заменяет этот визит ответом, а агенты забирают страницу, когда смотреть на рекламу некому. Поэтому пресеты для сайтов с рекламой строже. Любую из настроек можно изменить при онбординге или в любой момент после него.
Для сайта без рекламной монетизации: Preference Sync — Enabled, Search — Allow, Training — Allow, Agent — Allow. Для сайта с рекламной монетизацией: Preference Sync — Enabled, Search — Allow, Training — Disallow AI Training, Agent — Block on pages with ads.
Что это значит для конкретных смешанных краулеров
Applebot, Bingbot и Googlebot — ответственные (Accountable). Apple, Google и Microsoft привержены одним и тем же принципам выбора для издателей и прозрачности. При Disallow AI Training они могут продолжать сканировать ваш сайт для поиска. Выбор Block останавливает их полностью.
Cloudflare также относит к ответственным соответствующие краулеры Amazon, Anthropic, Meta и OpenAI. Эти организации разделяют поисковых и обучающих ботов, поэтому Cloudflare может блокировать обучающего, не затрагивая поиск.
Applebot
Applebot позволяет владельцам сайтов отказаться от обучения, добавив правило Disallow в robots.txt для «Applebot-Extended». Предпочтения по ИИ-сводкам сейчас можно выразить директивой nosnippet в HTML страницы. Контент также можно помечать как платный, чтобы исключить его из генеративной выдачи. Applebot пока не предоставляет инструмент проверки на уровне URL, однако компания поделилась деталями решения, которое готовится к следующему году. Apple также заявила, что запрет обучения не влияет на позиции в поиске.
Googlebot
Googlebot позволяет отказаться от обучения, добавив Disallow в robots.txt для «Google-Extended», а в панели вебмастера есть переключатель для исключения контента из генеративных результатов поиска. Googlebot также предоставляет метрики и отчёты по результатам поиска и ИИ-сводкам. Google рассказала о существующих и недавно запущенных контролах, а также о том, над чем работает: дополнительные инструменты прозрачности на уровне URL для Google-Extended, которые ожидаются в ближайшие недели. Компания также заявила, что запрет Google-Extended не влияет на позиции в поиске.
Bingbot
Bingbot даёт гранулярные контролы и прозрачность в Webmaster Tools. Предпочтения по обучению ИИ сейчас можно выразить через метатег NOARCHIVE. Microsoft расширяет эти возможности и строит механизм соблюдения предпочтения «no training» в robots.txt на уровне домена/сайта, нацеленный на начало 2027 года. Клиентам Cloudflare, желающим отказаться от обучения в Bing уже сегодня, помимо тега NOARCHIVE доступны инструменты Block URLs или Content Removal. Microsoft также заявила, что использование NOARCHIVE не повлияет на позиции в поиске.
До запуска этой поддержки выбор Disallow AI Training не будет автоматически передавать предпочтение «no training» в Bing через robots.txt. Это то же практическое поведение, что и у прежней настройки Training Block, которая не применялась к смешанным краулерам вроде Bingbot.
Что дальше
Cloudflare продолжит взаимодействовать со всеми операторами ИИ-краулеров по мере развития этих возможностей. Cloudflare Radar публично отслеживает контролы, прозрачность и отчётность ответственных операторов.
Чтобы интернет становился лучше, нужна воля обеих сторон: краулерам — доступ к открытому вебу, а людям, создающим этот веб, — реальный контроль над использованием их работы. Сегодняшний анонс — конкретный шаг к этому балансу. Прогресс требует совместной работы инфраструктурных провайдеров, создателей контента, технологических компаний и организаций по стандартам вроде IETF, чтобы превратить эти принципы в открытые, совместимые стандарты.
