Многие до сих пор считают «ИИ-поиск» чем-то единым, полагая, что если бренд упоминается в ChatGPT, то он будет виден повсеместно. Чтобы проверить это предположение, я разработал инструмент для обращения к API-интерфейсам ChatGPT, Claude, Gemini и Perplexity, тестируя 16 SaaS-брендов со статистическим контролем. Вот что я обнаружил.
Главный вывод
53% попарных сравнений между поставщиками показали статистически значимые различия. Видимость брендов в ИИ действительно фрагментирована. Эти системы дают пользователям совершенно разные ответы на одни и те же запросы.
Данные
Уровень упоминания = процент ответов, в которых упоминается бренд. Каждая ячейка = 240 ответов.
Лидеры категорий, как правило, появляются повсюду:
| Бренд | ChatGPT | Claude | Gemini | Perplexity | Разница |
|---|---|---|---|---|---|
| HubSpot | 86% | 93% | 97% | 99% | 13 п.п. |
| Asana | 88% | 89% | 95% | 91% | 7 п.п. |
| Mailchimp | 91% | 70% | 63% | 81% | 28 п.п. |
| Canva | 65% | 57% | 71% | 85% | 28 п.п. |
Однако бренды среднего сегмента и новые игроки получают совершенно разное отношение в зависимости от того, к какому ИИ вы обращаетесь:
| Бренд | ChatGPT | Claude | Gemini | Perplexity | Разница |
|---|---|---|---|---|---|
| Adobe CC | 39% | 14% | 44% | 2% | 42 п.п. |
| ConvertKit | 54% | 18% | 16% | 12% | 42 п.п. |
| Klaviyo | 32% | 65% | 62% | 67% | 35 п.п. |
| ClickUp | 85% | 59% | 85% | 78% | 26 п.п. |
| Sketch | 47% | 40% | 36% | 27% | 21 п.п. |
Намерение запроса определяет фрагментацию
Не все запросы приводят к одинаковой фрагментации. Запросы с намерением смены продукта («Я хочу уйти от X, что мне использовать?») показали самую высокую медианную фрагментацию — 56% разброса между провайдерами, по сравнению с всего 6% для запросов для новичков.
Именно в запросах с высоким намерением, находящихся в нижней части воронки продаж, эти провайдеры расходятся во мнениях больше всего.
Мои выводы
- Perplexity демонстрирует значительную предвзятость к поиску в реальном времени. Он присваивал самые высокие показатели упоминаемости брендам с сильным недавним присутствием в интернете (HubSpot 99%, Canva 85%), но почти полностью игнорировал Adobe CC (2%). Он сканирует актуальную информацию в сети, а не полагается на веса обучения, что объясняет расхождения.
- Claude оказался самым консервативным. У него самый низкий средний показатель упоминаемости среди всех брендов (63% против 70–71% у ChatGPT/Gemini). Он просто перечисляет меньше инструментов в каждом ответе.
- Усредненные показатели «видимости в ИИ» вводят в заблуждение. Если вы ConvertKit и проверяете только ChatGPT (54%), вы можете подумать, что у вас все хорошо. Однако вы почти невидимы в Claude (18%), Gemini (16%) и Perplexity (12%).
Методология
Использовалось 12 типов запросов для каждой отрасли. По 20 образцов на запрос для каждого провайдера с фиксированной выборкой. Применялись 95% доверительные интервалы Вильсона. Попарные сравнения проводились с использованием интервалов Ньюкомба и размеров эффекта Коэна (h). Различие фиксировалось только в том случае, если доверительный интервал не включал ноль, а размер эффекта превышал 0,2.
Интересно, замечают ли гео-специалисты аналогичную фрагментацию на уровне провайдеров в своих нишах? Я готов поделиться исходными CSV-файлами, если кто-то захочет провести собственный анализ.