Трафик падает на 60%: как подготовить сайт к ИИ-поиску

Если вы ведёте блог, документацию или медиа, вы уже заметили: люди реже доходят до сайта из поиска. По данным Chartbeat, с декабря 2024 по декабрь 2025 года переходы из Google упали в среднем на 34%, а у небольших сайтов (до 10 тысяч просмотров в день) — на 60%. Причина простая: пользователь спрашивает ChatGPT, Perplexity или Gemini и получает ответ, не открывая ни одной вкладки.

Это не повод бросать контент. Это повод изменить, для кого вы его делаете — не только для человека, но и для модели, которая будет его читать вместо человека. Ниже — практический разбор, что происходит с трафиком и какие шаги можно сделать уже сейчас, чтобы сайт остался видимым и цитируемым.

Почему старая схема больше не работает

Раньше формула была простая: полезный контент — переходы — аудитория — деньги. ИИ-ответы в выдаче ломают именно средний шаг. Pew Research Center выяснил, что на страницах с AI summary в Google пользователи кликали по обычной выдаче почти в два раза реже — 8% против 15%. Ссылки внутри самого AI summary тоже не спасают: по ним переходят лишь в 1% случаев.

При этом трафика к моделям сайт отдаёт много, а получает мало. Cloudflare сравнила количество HTML-запросов от разных сервисов с количеством реальных переходов на сайт. У Google в середине 2025 года было примерно 18 запросов на один переход (данные Reuters). У OpenAI соотношение — около 1500 запросов на переход. У Anthropic, по отдельному разбору Cloudflare, разрыв был самым резким: около 70 900 HTML-запросов на один реферальный переход.

Важно понимать, что не все эти запросы делают одно и то же:

• Поисковый бот индексирует страницы для классической выдачи.
• ИИ-краулер собирает данные для поиска, обучения модели или обновления собственного индекса.
• RAG-система (retrieval-augmented generation — генерация ответа с подмешиванием найденных фрагментов) достаёт конкретные куски текста под запрос пользователя.
• ИИ-агент может зайти на сайт, нажать кнопку, заполнить форму или вызвать API.

У каждого из них свои ожидания от контента и свои риски для владельца сайта. Именно поэтому Cloudflare начала давать инструменты для управления такими обращениями — можно ограничивать краулеров, блокировать их или пускать за плату по модели pay-per-crawl. Но это решает вопрос доступа, а не вопрос доверия к тому, что модель потом скажет от имени вашего источника.

Когда цитата важнее ссылки

Проблема глубже трафика. В 2024 году Forbes обвинил Perplexity Pages в том, что сервис пересказывал журналистские материалы, не объясняя явно, откуда взята информация. Позже The New York Times подала иск против Perplexity — за незаконное копирование материалов газеты и генерацию выдуманного контента, ложно связанного с брендом издания. Похожие претензии выдвигали Britannica и Merriam-Webster: их называли рядом со сгенерированным текстом так, будто он прошёл ту же редакционную проверку.

Для читателя это выглядит как знакомая, проверенная ссылка. На деле граница между оригиналом и интерпретацией модели стёрлась. Раньше человек сам решал, чему верить, видя контекст и детали источника. Теперь между ним и первоисточником стоит уверенный пересказ, который звучит правдоподобно, даже если содержит ошибку, которой не было в оригинале.

Отсюда практический вывод для владельца сайта: если модель всё равно перескажет ваш контент, стоит сделать так, чтобы пересказ был точным и явно указывал на источник.

Как подготовить сайт к тому, что его будут читать модели

Первый практический шаг — сделать сайт понятным не только человеку, но и краулеру или LLM. В 2024 году Джереми Ховард из Answer.AI предложил для этого формат llms.txt — Markdown-файл в корне сайта, который подсказывает модели, где искать важную информацию.

Это не замена sitemap.xml и не SEO-трюк, а карта для модели: список ключевых разделов, документации и подробных версий страниц. Пример структуры:

# Example Product Docs

> Документация Example Product: API, SDK, интеграции и changelog.

## Основные разделы

- [Quickstart](https://example.com/docs/quickstart.md): быстрый запуск и первый запрос к API
- [API Reference](https://example.com/docs/api.md): методы, параметры, ошибки и лимиты
- [Authentication](https://example.com/docs/auth.md): токены, ключи доступа и обновление сессий
- [Changelog](https://example.com/changelog.md): изменения по версиям продукта

## Дополнительный контекст

- [Architecture](https://example.com/docs/architecture.md): как устроена система
- [Known limitations](https://example.com/docs/limitations.md): ограничения и частые проблемы
- [Full docs](https://example.com/llms-full.txt): полная Markdown-версия документации

Что стоит сделать на практике:

1. Создайте файл `/llms.txt` в корне домена. Начните с краткого описания проекта в одном-двух предложениях — это то, что модель прочитает первым.
2. Сгруппируйте ссылки по смыслу, а не по разделам меню сайта. Модели важнее логика «что это» и «зачем это нужно», чем визуальная структура навигации.
3. Добавьте `llms-full.txt` с полной Markdown-версией документации или ключевых статей — для случаев, когда модели нужен весь контекст целиком, а не фрагмент.
4. Пишите пояснения к каждой ссылке. Не просто название страницы, а короткое описание, что там искать — это снижает риск, что модель домыслит содержание.
5. Держите Markdown-версии актуальными одновременно с HTML — расхождение между версиями быстрее всего убивает доверие к источнику.
6. Настройте политику для ИИ-краулеров отдельно от обычных ботов — через robots.txt или инструменты вроде Cloudflare, если хотите ограничивать или монетизировать доступ.

Где это ломается

llms.txt пока не стандарт, который поддерживают все крупные модели одинаково — это соглашение, предложенное сообществом, а не протокол с гарантированным исполнением. Модель может его прочитать, а может просканировать сайт по-своему через собственный краулер.

Разграничить краулер, RAG-систему и агента на уровне логов сайта сложно — все они приходят под разными user-agent, и не все честно себя идентифицируют. Блокировка одного краулера не защищает от того, что данные попадут в модель через посредника — например, через агрегатор или другой сервис, который уже получил доступ.

И главное: даже идеальный llms.txt не гарантирует, что модель процитирует вас точно. Он снижает вероятность искажения, но ответственность за финальный пересказ всё равно остаётся у модели, а не у владельца контента.

Что попробовать дальше

Начните с малого: добавьте llms.txt для одного раздела — документации или базы знаний, — и проверьте через логи сервера, обращаются ли к нему ИИ-краулеры. Затем сравните, как модели вроде ChatGPT или Perplexity пересказывают ваш контент до и после — ищите по цитатам и фактическим неточностям. Если увидите расхождения, это сигнал добавить более явные пояснения прямо в текст, а не только в служебный файл.

FAQ

Что такое llms.txt и обязателен ли он для всех сайтов

Это Markdown-файл в корне сайта, который помогает языковым моделям находить ключевые разделы и документацию. Формально он не обязателен, но полезен там, где важна точность цитирования — документация, база знаний, новостной контент.

Чем ИИ-краулер отличается от обычного поискового бота

Поисковый бот индексирует страницы для классической выдачи с рейтингом и ссылками. ИИ-краулер собирает данные для обучения модели или обновления её собственного индекса, часто без намерения вернуть сайту трафик.

Можно ли заблокировать ИИ-краулеров и не потерять видимость в ChatGPT или Perplexity

Можно, но это компромисс. Полная блокировка снижает риск бесконтрольного копирования контента, но и уменьшает шанс, что модель вообще будет знать о вашем источнике и сможет его процитировать.

Что делать, если модель уже неточно пересказывает мой контент

Проверьте, есть ли расхождения между HTML- и Markdown-версией страницы, добавьте более явные факты и цифры прямо в текст, а не только в метаданные — модели чаще опираются на явно сформулированные утверждения, а не на подразумеваемый контекст.

Заменяет ли llms.txt классическое SEO

Нет. Это дополнение, а не замена. Sitemap.xml и SEO-оптимизация всё ещё нужны для поисковых систем, llms.txt решает отдельную задачу — помогает языковым моделям точнее ориентироваться в контенте сайта.

Источники

• Habr AI: ИИ съел выдачу и сломал старые правила доверия