Главная · Блог · Сплит-тест в чат-боте: какой текст приносит больше заявок

Сплит-тест в чат-боте: какой текст приносит больше заявок

· Команда ЧБТ · Сценарии, Аналитика

Споры «какое приветствие лучше» и «нужен ли подарок за телефон» можно вести неделями, а можно проверить за неделю на живых людях. В ЧБТ для этого есть «Случайная ветка»: бот сам делит поток между вариантами, а теги размечают, кто какой вариант видел. Разбираем, как собрать A/B-тест без программиста, что имеет смысл тестировать и как честно прочитать результат.

Что такое A/B-тест и зачем он боту

A/B-тест — это сравнение двух вариантов на случайно разделённых людях. Половина видит вариант А, половина — вариант Б, всё остальное одинаково. Если у Б больше заявок, значит, дело в разнице между вариантами, а не в погоде, дне недели или рекламе.

В боте это особенно удобно: каждый шаг сценария — это отдельное сообщение, и его легко подменить. Маленькие изменения часто дают заметную разницу: одна кнопка вместо трёх, подарок за телефон, вопрос о задаче до цены. Тест показывает это на цифрах, а не на ощущениях.

Как бот делит поток: «Случайная ветка»

В блоке «Действие» выберите «Случайная ветка». В поле «Выходы через запятую» перечислите названия веток, например a, b. У блока появятся выходы с этими названиями, и, как подсказывает редактор, клиент случайно пойдёт по одному из них.

  • Варианты выпадают с равной вероятностью: при двух выходах — примерно поровну, при трёх — по трети.
  • Выбор делается каждый раз, когда человек проходит через блок. Если клиент вернётся к этому шагу заново, ветка может выпасть другая. Поэтому ставьте «Случайную ветку» туда, где человек проходит один раз: в начало сценария или перед ключевым шагом.
  • Действие есть и в редакторе «Шаги», и на «Холсте».

Разметка веток тегами

Сама «Случайная ветка» ничего не запоминает — чтобы потом сравнить варианты, каждую ветку нужно пометить. Сразу после выхода поставьте «Действие» → «Добавить тег»:

  • в ветке a — тег тест-приветствие-а;
  • в ветке b — тег тест-приветствие-б.

На целевом шаге — там, где клиент оставил телефон, оплатил или записался, — поставьте «Условие» по тегу варианта и в каждой ветке свой тег результата: тест-приветствие-а-заявка и тест-приветствие-б-заявка. Тогда фильтр по одному тегу сразу отвечает на вопрос «сколько дошли до цели из варианта А».

Названия тегов делайте с датой или номером теста: через месяц вы запустите следующий тест, и старые метки не перемешаются с новыми.

Как посчитать результат

  1. Откройте «Контакты» и отфильтруйте по тегу тест-приветствие-а — это число людей, которые видели вариант А.
  2. Отфильтруйте по тест-приветствие-а-заявка — сколько из них дошли до цели.
  3. Повторите для варианта Б.
  4. Конверсия варианта — дошедшие до цели, делённые на всех, кто видел вариант.

Фильтр в «Контактах» работает по одному тегу, поэтому и нужен отдельный тег результата для каждого варианта. Контакты с тегом можно скачать в CSV, если хочется посчитать в таблице.

Пример: вариант А видели 212 человек, оставили телефон 23 — это 10,8 %. Вариант Б видели 205, оставили телефон 37 — 18 %. Разница почти вдвое, и на таких объёмах это уже не случайность.

Как читать воронку бота в целом, разобрано в статье про метрики чат-бота.

Что имеет смысл тестировать

  • Первое сообщение. Короткое «Здравствуйте! Чем помочь?» с кнопками против развёрнутого приветствия с выгодой. От первого экрана зависит, сколько людей вообще начнут разговор.
  • Момент вопроса о телефоне. Сразу или после подбора, расчёта, ответа на вопрос.
  • Причина оставить контакт. «Оставьте телефон» против «Пришлём расчёт в мессенджер» или подарка за контакт.
  • Число кнопок. Три варианта против шести. Больше выбора — не всегда лучше.
  • Цена сразу или после квалификации. Для дорогих услуг разница бывает большой в обе стороны.
  • Длина квиза. Пять вопросов против трёх перед результатом.

Тестируйте то, что стоит на пути к цели. Цвет смайлика в прощании на заявки не влияет — тратить на это неделю трафика жалко.

Сколько ждать и сколько людей нужно

Главная ошибка — остановить тест через день, когда у одного варианта 6 заявок, а у другого 3. На таких числах разница часто случайна. Ориентиры, которые работают на практике:

  • не меньше 100–200 человек в каждой ветке и хотя бы 20–30 целевых действий в сумме;
  • не меньше полной недели — у будней и выходных разная аудитория;
  • чем меньше разница между вариантами, тем больше людей нужно, чтобы её увидеть.

Если трафика мало — 20 новых диалогов в неделю, — проверяйте только крупные изменения, разница в которых может быть в разы. Мелкие правки на маленьком потоке честно не измерить.

Правила чистого теста

  • Одно изменение за раз. Если в варианте Б другой текст, другая кнопка и подарок, вы не узнаете, что сработало.
  • Одинаковое продолжение. После различающегося шага ветки должны сходиться в общий сценарий — тогда разница в конце объясняется только тестируемым шагом.
  • Не меняйте сценарий во время теста. Правка текста посреди недели обнуляет сравнение.
  • Не запускайте рекламу только на один вариант. Поток делит бот, а не вы — источники трафика должны попадать в обе ветки одинаково.
  • Записывайте гипотезу заранее. «Подарок за телефон поднимет долю контактов с 10 до 15 %». Так результат не подгоняется под ожидания.

Пример: тест приветствия в боте для записи

  1. Старт → «Действие» → «Случайная ветка», выходы a, b.
  2. Ветка a: тег т1-а → «Сообщение» «Здравствуйте! Запишем на приём за минуту» с кнопками услуг.
  3. Ветка b: тег т1-б → «Сообщение» «Здравствуйте! Свободные окна на этой неделе есть на вторник и четверг. Какая услуга нужна?» с теми же кнопками.
  4. Обе ветки сходятся в общий сценарий: выбор времени, «Сбор данных» с телефоном, затем «Условие» по тегу т1-а и теги т1-а-запись или т1-б-запись.
  5. Через две недели — «Контакты»: сравните число контактов с т1-а и т1-а-запись, затем с т1-б и т1-б-запись.

После теста оставьте победивший вариант, а «Случайную ветку» уберите: иначе половина людей продолжит видеть проигравший текст.

Частые ошибки

  • Забыли теги. Без меток после теста невозможно сказать, кто что видел.
  • Ветка на повторяющемся шаге. Если блок стоит в меню, куда человек возвращается, он увидит оба варианта — и сравнение потеряет смысл.
  • Подвели итоги рано. Дождитесь хотя бы недели и нескольких десятков целевых действий.
  • Тест не убрали. Нашли победителя — переключите всех на него.
  • Проверили только тест-чатом. «Проверить сценарий» показывает одну случайную ветку за проход — пройдите несколько раз, чтобы увидеть обе.

Идеи гипотез для разных бизнесов

  • Салон, клиника: показать свободные окна сразу или сначала спросить услугу.
  • Онлайн-школа: бесплатный урок за e-mail или сразу предложение курса со скидкой.
  • Интернет-магазин: каталог кнопками или квиз-подбор из трёх вопросов.
  • Услуги B2B: «Оставьте телефон» или «Опишите задачу — пришлём оценку».
  • Розыгрыши и акции: условие участия одним сообщением или пошагово.

Хорошая гипотеза звучит как «если …, то доля … вырастет, потому что …». «Потому что» помогает потом понять, почему вариант выиграл или проиграл, и придумать следующий тест.

Как оформить итоги

Итог каждого теста стоит записать в одну строку, чтобы через полгода не повторять уже проверенное: дата, гипотеза, сколько людей в каждой ветке, конверсия А и Б, решение. Например: «Октябрь. Подарок за телефон. А — 212 чел., 10,8 %; Б — 205 чел., 18 %. Оставили Б».

Даже проигравший тест полезен: он говорит, что этот рычаг не работает для вашей аудитории, и экономит время на следующих правках.

Ещё в блоге