SEO для крупного бизнеса: что видят AI-боты

Перед тем как писать про SEO для крупного бизнеса, я захотел посмотреть на сайты крупнейших компаний Украины так, как их видит ChatGPT. 24 октября 2026 года я отправил на сайты 50 больших брендов те же запросы, что отправляют AI-боты: сначала robots.txt, потом главная страница, один раз от имени обычного браузера и по разу от имени каждого бота. Запросы шли с украинского адреса.

В robots.txt почти никто AI-ботов не закрывает. Один сайт из 42, и то против одного бота. Зато у пяти брендов защита сайта отвечает AI-ботам отказом, когда Googlebot с того же адреса спокойно проходит. Это решение приняли не в отделе маркетинга, а в настройках защиты, которые SEO-специалист обычно даже не открывает.

Вот и вся разница между SEO для небольшого сайта и для крупного бизнеса. На большом сайте то, что решает видимость, лежит в чужом отделе. Агентство для крупного бизнеса нужно ровно для того, чтобы это найти и довести исправление до конца.

Коротко

• Доступ AI-ботов решается не в robots.txt. В robots закрыт 1 сайт из 42 (EVA, и только для одного бота CCBot). Но 5 из 40 главных отказывают AI-ботам по имени, пропуская Googlebot: Сильпо, Kernel, SOCAR, Подорожник и MAKEUP.
• Три бренда пускают «живых» AI-агентов, но закрыты от обучающих ботов. У Сильпо, Kernel и SOCAR GPTBot и ClaudeBot получают 403, а ChatGPT-User, Claude-User и Perplexity-User проходят. Robots.txt у всех троих открыт.
• У четырёх главных без JavaScript почти нет текста. ДТЭК, Ощадбанк и Укргазбанк отдают по 7 слов, Дарница 46. AI-боты не выполняют JavaScript, поэтому видят ровно это.
• У американских гигантов то же самое, только масштабнее. В первой сотне Fortune 500 robots.txt закрывает AI-ботов у 2 компаний из 79, а защита на входе отвечает им иначе у 18 из 73.
• Первый вопрос любому агентству: кто у нас отвечает за защиту сайта и CDN, и как вы будете с этим человеком работать?

Что такое enterprise SEO и при чём тут размер бизнеса

Дело не в размере бюджета. Я видел проекты за $1 000 в месяц с проблемами крупного бизнеса и проекты за $10 000 без них.

Дело в том, сколько людей могут сломать видимость сайта в поиске и даже не узнать об этом. На сайте из 50 страниц маркетолог сам пишет title и сам публикует страницу. На сайте из 80 тысяч адресов на трёх языках title берётся из шаблона, которым владеет продуктовая команда. Страницу собирает фреймворк, за который отвечают разработчики. Правила CDN принадлежат службе безопасности, а юристы могут запретить блок с вопросами и ответами. Каждый из них влияет на выдачу, и никто из них не подчиняется SEO-специалисту.

Я различаю четыре признака. Если у проекта есть два из них, это уже enterprise:

Последняя строка и объясняет, почему такая работа дорогая. Аудит — простая часть. Сложная часть — провести исправление через чужой спринт.

Что видят AI-боты на сайтах крупнейших компаний Украины

Опишу замер подробно: это самое полезное в статье, и его можно повторить на своём сайте за вечер.

Я взял 50 крупных украинских брендов из разных отраслей: ритейл и электроника, банки, связь, логистика, агро, фарма, сети АЗС. Для главного сайта каждой компании я:

• прочитал robots.txt и проверил по нему 11 AI-ботов: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider и meta-externalagent;
• запросил главную страницу от имени Chrome, потом от имени 7 AI-ботов и Googlebot, с одного адреса, с паузой в полторы секунды;
• посчитал, сколько текста главная отдаёт до запуска JavaScript, и проверил в этом исходном HTML базовые вещи: один H1, микроразметку, hreflang, canonical;
• проверил, есть ли файл /llms.txt.

Тот же скрипт я прогнал по первой сотне Fortune 500, по 33 SEO-агентствам из американской выдачи и по нашему сайту.

Одна оговорка, без которой цифры читать нельзя. Мои запросы шли с именами ботов, но не с IP-адресов OpenAI или Anthropic. Хорошая защита проверяет, настоящий ли бот, и режет подделку. Это правильная безопасность, а не запрет AI. Поэтому я отдельно считаю случаи, когда Googlebot с того же адреса прошёл, а AI-боты нет. Это уже правило против AI-ботов по имени. Окончательно всё проверяется по логам сервера, и логи — первое, что агентство должно попросить у крупного клиента.

Решает защита сайта, а не SEO

Пять брендов, у которых Googlebot проходит, а AI-боты получают отказ:

Robots.txt у всех пяти открыт. В Сильпо, Kernel и SOCAR видна одна и та же картина: закрыты боты, которые собирают тексты для обучения моделей, а открыты агенты, которые заходят на страницу по запросу живого пользователя. Так выглядит включённый в CDN переключатель «блокировать AI-ботов». С 1 июля 2025 года Cloudflare включает такую блокировку по умолчанию для новых доменов, об этом тогда писал MIT Technology Review.

Плохо ли это? Не обязательно. Закрыть обучение и оставить поиск — разумная середина. Плохо, когда об этом никто не знает. Ahrefs в мае 2025 года проверил около 140 миллионов сайтов и нашёл блок GPTBot в robots.txt у 5,89 % из них. Хорошее исследование, но авторы прямо пишут, что фаерволы и блокировки по IP не измеряли. А крупные компании решают именно там.

В Fortune 100 этот слой ещё заметнее. По заголовкам ответов видно, кто принял решение: IBM, Nike и American Express стоят за Akamai, Lockheed Martin — за Amazon CloudFront, Berkshire Hathaway — за Sucuri. На Lockheed Martin наш Googlebot прошёл, а GPTBot и ChatGPT-User получили отказ. Ни одной строчки об этом в robots.txt нет, а robots.txt — первый файл, который открывает любой SEO-аудит.

Пустые главные: что бот читает без JavaScript

В декабре 2024 года Vercel разобрал трафик своей сети и написал, что ни один крупный AI-краулер не выполняет JavaScript. Исключение — Gemini, потому что он ходит через инфраструктуру Googlebot. Google отрисует ваше React-приложение. ChatGPT прочитает только то, что сервер отдал до запуска скриптов.

В Fortune 100 таких главных девять, у Comcast, Broadcom и Deere по 4 слова. Главная — не та страница, которую AI цитирует чаще всего, так что паниковать из-за этой таблицы не надо. Но главная обычно собрана на том же фреймворке, что и остальной сайт. Если она уходит пустой, следующими я бы проверил карточки услуг, тарифы и страницы поддержки: их AI и цитирует.

С H1 картина похожая. У 16 из 40 украинских главных его нет в исходном HTML, среди них Rozetka, АЛЛО, Prom.ua, ПриватБанк, Киевстар, Vodafone и Укрпочта. Часть сайтов добавляет заголовок уже в браузере. Для Google это нормально, для ботов, которые не рендерят страницу, заголовка нет.

llms.txt: украинцы впереди американцев

Файл /llms.txt нашёлся у 11 из 50 украинских брендов: Rozetka, Эпицентр, monobank, ПриватБанк, АТБ, Сильпо, EVA, MOYO, Intertop, Райффайзен и Dnipro-M. В Fortune 100 тоже 11, но из ста. Сам по себе llms.txt трафика не приносит, зато показывает, что кто-то в компании уже думает об AI-поиске. Забавно, что у Сильпо llms.txt есть, а GPTBot на главную не пускают. Хорошая иллюстрация к тому, что сайтом крупной компании управляет больше одного отдела.

Агентства делают у себя то, что продают

Этого я не ожидал. 33 агентства аккуратнее и американских гигантов, и украинских брендов по всем базовым проверкам: у 25 из 28 ровно один H1, у 23 разметка организации, у 15 из 33 есть llms.txt, и ни одно не закрывает AI-ботов в robots.txt.

Нанимать их только за это не стоит: чистый сайт на 300 страниц мало говорит о работе с 80 тысячами. Но он хорошо показывает разрыв, который агентство для крупного бизнеса должно закрыть. То, что легко держать в порядке на маленьком сайте, трудно удержать на большом, потому что шаблоны трогают десять человек.

Наш seoquick.com.ua я прогнал тем же скриптом. Все десять ботов получили ответ 200, robots.txt открыт, llms.txt есть, один H1, разметка организации, hreflang на три языка и 1 695 слов до JavaScript. Починить свой сайт было недорого. В этом и смысл.

Проверить ваш сайт так же?

Пришлите домен. Я прогоню те же проверки по ключевым шаблонам и скажу, каких AI-ботов вы пускаете, каких нет и в каком отделе это решили. Вы получите сырые результаты, а не презентацию.

Бесплатно и ни к чему не обязывает.

Записаться на звонок

Как повторить проверку самому

Для первого взгляда агентство не нужно. Три команды в терминале покажут большую часть того, что нашёл мой скрипт. Замените домен на свой.

Первая: упоминает ли robots.txt AI-ботов вообще.

curl -s https://www.example.com/robots.txt | grep -i -E "gptbot|oai-searchbot|chatgpt-user|claudebot|perplexitybot|google-extended|ccbot"

Вторая: отвечает ли защита AI-боту так же, как браузеру. Сравните коды ответа.

for ua in "Mozilla/5.0 Chrome/130" \
  "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
  "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)" \
  "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)"; do
  curl -s -o /dev/null -w "%{http_code}  $ua\n" -A "$ua" https://www.example.com/
done

Третья: сколько текста на странице до JavaScript.

curl -s -A "Mozilla/5.0 Chrome/130" https://www.example.com/ \
  | sed -e 's/<script[^>]*>.*<\/script>//g' -e 's/<[^>]*>/ /g' | wc -w

Последняя команда грубая и считает часть меню и подвала. Но если на странице, которая в браузере выглядит полной, выходит меньше 100 слов, вы видите то же, что AI-бот. Прогоните её на главной, на шаблоне категории или товара и на статье из справки. Если три числа сильно отличаются, первая задача для разработчиков у вас уже есть.

Чего эти команды не покажут: что получают настоящие боты со своих настоящих адресов. Для этого нужны логи сервера или CDN, отфильтрованные по User-Agent и проверенные по IP. Это первое, что стоит попросить у своих разработчиков, и первое, что агентство должно попросить у вас.

Какими инструментами я это делаю (с раскрытием)

SEOquick — партнёр SE Ranking и Semrush, ссылки в этом разделе реферальные: если вы оформите подписку по ним, мы получим комиссию, для вас цена не меняется. Мы платим за оба сервиса и пользуемся обоими каждый день, поэтому вот что каждый делает в такой работе.

Для большого проекта, скорее всего, пригодятся оба: один как ежедневный рабочий инструмент, второй как второе мнение по цифрам. Мы сравнили их на 26 реальных сайтах с данными Search Console в статье SE Ranking или Semrush. Ни один не заменит ваши логи и Search Console, но оба намного лучше догадок.

Что агентство должно сделать за первые 90 дней

Когда я читаю предложение любого агентства, нашего тоже, я ищу работы именно в этом порядке. Если план начинается с контент-календаря, агентство продаёт проект для маленького сайта по цене крупного.

Недели 1–3: логи, а не краулер

Краулер вроде Screaming Frog показывает, куда может дойти краулер. Логи сервера показывают, что на самом деле запрашивали Googlebot, GPTBot и ClaudeBot, как часто и что получили в ответ. На большом сайте это очень разные списки. Vercel насчитал около 35 % ответов 404 у запросов ChatGPT и Claude в своей сети против 8 % у Googlebot. AI-боты тратят визиты на мёртвые адреса, и только логи показывают, на какие.

Спросите агентство, кто получит доступ к логам, в каком виде и сколько времени у вас в компании занимает такая выгрузка. Если агентство ни разу не просило логи у службы безопасности, вы узнаете это на второй неделе.

Недели 2–4: карта того, кто владеет входом на сайт

Фаервол, CDN, защита от ботов, лимиты запросов, гео-правила. Нужно записать каждый слой между запросом и страницей, кто им владеет и что он делает с Googlebot, Bingbot и AI-ботами. А потом договориться о политике осознанно: каких AI-ботов пускаем, каких нет и почему.

Второй месяц: что отдаёт сервер

Текст, title, H1, микроразметка и внутренние ссылки должны приходить с сервера на тех шаблонах, которые важны. Это работа разработчиков, поэтому в агентстве нужен человек, который напишет задачу на языке ваших программистов и проверит её на тестовой версии сайта, а не просто пришлёт PDF.

Второй–третий месяц: по одному рынку за раз

hreflang, языковые папки, какая версия должна ранжироваться в какой стране. У 26 из 40 украинских главных есть hreflang: у нас почти все крупные сайты двуязычные, а часто и трёхъязычные. Прежде чем предлагать новое, агентство должно показать страницы, которые ранжируются не на том языке или не в той стране.

Третий месяц: шаблоны, а не страницы

На большом сайте никто не оптимизирует 40 тысяч карточек товара. Оптимизируют один шаблон и данные, которые его заполняют. Я разбирал, как Wise построил программные страницы и как устроены обзоры на Rtings.com. В обоих случаях решающей была модель данных, а не тексты.

Всё время: авторитет, потому что текст больше не дефицит

Это моё личное убеждение. В LinkedIn я недавно писал (перевожу): «если хороший контент доступен каждому, главным активом становятся ссылки и упоминания». Для крупного бренда это значит регулярный digital PR, а не пакет ссылок. На одном из моих проектов мы выпускали 12 пресс-релизов в неделю. По моему расчёту, публикации заменили ссылки и медиа примерно на $3,7 млн в год. Удачный релиз приносил больше 55 ссылок и упоминаний, слабый — всё равно 5–10.

И про поведение пользователей, потому что AI учится и на нём. В статье про GEO я писал: «GEO — это не попытка обмануть AI. Это доказательство для AI, что люди выбирают вас.» На сайте американского клиента из ниши похудения мы переписали title и H1 под людей, и «всего за один месяц трафик подскочил со 100k до 200k».

Красные флаги в предложении агентства

• Главный результат — количество ключевых слов. «Продвинем 500 запросов» ничего не значит на сайте, где один шаблон отвечает за 40 тысяч из них.
• Ни слова про логи. План для крупного сайта, построенный только на краулере, — это догадки о том, что делают боты.
• Тексты раньше технического доступа. Тридцать новых статей в месяц на сайте, где карточки товаров уходят AI-ботам пустыми, — деньги не на том этаже здания.
• AI-видимость отдельной допродажей. Если GEO — строчка в конце сметы, агентство не связало его с рендерингом, защитой и микроразметкой, а именно там он и происходит.
• Отчёт в позициях, а не в страницах и деньгах. Позиции по 500 запросам скачут каждый день. Руководству важно, какие шаблоны выросли или просели и сколько это стоило.
• Не назван человек, который будет говорить с разработкой. Если каждая правка уходит PDF-файлом в отдел маркетинга, там она и останется.

Сколько стоит SEO для крупного бизнеса

Украинские агентства цены на такую работу почти не публикуют, а американские — немногие. Вот что удалось найти у американских агентств на их же страницах или в подборках, которые стоят в выдаче Google США по запросу «enterprise seo agency»:

AI-обзор Google по этому запросу называет типичную вилку $7 000–25 000+ в месяц. Почему iPullRank в одном месте стоит $15 000, а в другом $50 000? Скорее всего, одна цифра — программа, а другая — минимальный контракт, и авторы подборок переписывают ту, что нашли первой. Поэтому цену стоит брать письменно у самого агентства.

В Украине та же работа стоит дешевле, но порядок цифр определяет не страна, а состав команды. Если нужен один SEO-специалист с аудитом раз в квартал, это одна сумма. Если нужны SEO, разработчик, контент, PR и видео в одной команде, которая сама проводит правки через ваших программистов, — совсем другая. Мы считаем такие проекты под задачу и собираем команду под клиента.

Кто пишет подборки «лучших агентств»

Я прочитал 13 подборок «лучших enterprise SEO-агентств» с первых страниц американского Google. 11 из них написали сами SEO-агентства. Все 11 включили в список себя, 9 поставили себя первыми. Две подборки — от украинских агентств, и обе на первом месте в собственном списке. О том, что автор есть в своём же рейтинге, честно пишут только 4 из 11.

Интереснее другое. Над всеми подборками Google показывает AI-обзор со своей таблицей агентств: WebFX, ResultFirst, SEO Brand, Loopex Digital и Workshop Digital. Из тех, кого подборки называют чаще всего (iPullRank, Graphite, Seer Interactive, Siege Media), в таблицу не попал никто. Источники под обзором — в основном страницы услуг агентств, где прямо написано, что агентство делает, для кого и на каком масштабе.

Чтобы проверить, не случайность ли это, я выгрузил данные по этим агентствам из модуля AI Search в SE Ranking: как часто сайт агентства цитируют как источник в AI-ответах (AI Overviews, AI Mode, ChatGPT, Perplexity и Gemini, США) и как часто упоминают бренд. Срез за октябрь 2026 года.

WebFX цитируют больше, чем всех остальных вместе, и именно его AI-обзор называет первым. Graphite, которого хвалят 7 подборок из 13, процитирован 17 раз. Три агентства, которых нет ни в одной подборке, — ResultFirst, Workshop Digital и SEO Brand — попали в таблицу AI благодаря своим страницам услуг. Похвала коллег и цитирование в AI — две разные валюты.

AI выбрал не тех, кого хвалят коллеги, а тех, кто понятнее всего описал себя сам. Для вашего бизнеса вывод тот же: страница, которая просто и однозначно говорит, кто вы и что делаете, работает на AI-поиск сильнее любого рейтинга.

Что мы делали на большом масштабе

Я в SEO с 2008 года, SEOquick работает с 2012-го. Наши самые большие проекты совсем не похожи на ежемесячный отчёт по 20 запросам:

Логотипов из Fortune 100 у нас нет. Есть привычка, о которой эта статья: мы сначала меряем, потом пишем, сначала чиним свой сайт, а когда работе нужен разработчик, видеопродюсер или PR-автор, он в той же команде, что и SEO-специалист, а не во входящих чужого агентства.

Как выбрать: вопросы на первом созвоне

Подборки сходятся в критериях: опыт на масштабе (10 подборок из 13), кейсы (9), готовность к AI-поиску (7), отчётность до денег (7). Всё верно, и всё легко заявить. Эти вопросы подделать труднее:

• «Кто у нас отвечает за защиту сайта и CDN, и как вы будете с ним работать?» Если ответ «проверим robots.txt», ищите дальше.
• «Что видит GPTBot на трёх наших главных шаблонах?» Серьёзное агентство захочет проверить, а не угадывать.
• «Как правка попадёт в наш спринт?» Попросите пример задачи, которую агентство писало разработчикам другого клиента.
• «Какие из ваших цифр будут в договоре?» Если вы видели цену в подборке, попросите агентство её подтвердить.
• «Кто конкретно будет работать над нашим проектом и чем ещё он занят?» Имена, а не должности.
• «Чего вы не будете делать в первые 90 дней?» Ответ покажет, есть у агентства план или только меню услуг.

Если у вас на руках уже есть предложение, я прочитаю его по этому списку. Это самое полезное, что я могу для вас сделать до того, как вы что-то подпишете.

Вопросы

Нужно ли закрывать сайт от AI-ботов?

Это решение бизнеса, а не настройка по умолчанию. Закрыть обучающих ботов вроде GPTBot и пустить агентов, которые открывают страницу по запросу живого человека (ChatGPT-User, Claude-User, Perplexity-User), — разумная середина. Так сегодня и делают Сильпо, Kernel и SOCAR. Неразумно не знать, что у вас настроено. Проверяйте защиту на входе, а не только robots.txt.

Агентство или своя команда?

Крупной компании обычно нужны оба. Свой специалист отвечает за приоритеты и внутренние согласования. Агентство приносит людей, которых компания не стала бы держать в штате: анализ логов, JavaScript SEO, международное продвижение, digital PR.

Сколько ждать результата?

Технические правки на шаблонах дают эффект за один-три месяца после выкатки, а выкатка в крупной компании сама по себе занимает от недели до квартала. Поэтому первые 90 дней — это в основном доступы, логи и первые задачи в спринте.

Читайте также

• Как выбрать SEO-агентство
• Сколько стоит SEO-продвижение
• Лучшие B2B SEO-агентства
• Договор с SEO-агентством
• Кейс digital PR
• Как Wise.com построил программное SEO
• GEO и видимость в AI
• Технический аудит сайта

Скрипты и сырые результаты замера — наши, от 24 октября 2026 года; цены — со страниц агентств и из перечисленных подборок на ту же дату. Если прогоните проверку на своём сайте и увидите что-то странное, напишите мне. Я такое собираю.