Главная · Блог · Сплит-тест в чат-боте: какой текст приносит больше заявок
Сплит-тест в чат-боте: какой текст приносит больше заявок
Споры «какое приветствие лучше» и «нужен ли подарок за телефон» можно вести неделями, а можно проверить за неделю на живых людях. В ЧБТ для этого есть «Случайная ветка»: бот сам делит поток между вариантами, а теги размечают, кто какой вариант видел. Разбираем, как собрать A/B-тест без программиста, что имеет смысл тестировать и как честно прочитать результат.
Что такое A/B-тест и зачем он боту
A/B-тест — это сравнение двух вариантов на случайно разделённых людях. Половина видит вариант А, половина — вариант Б, всё остальное одинаково. Если у Б больше заявок, значит, дело в разнице между вариантами, а не в погоде, дне недели или рекламе.
В боте это особенно удобно: каждый шаг сценария — это отдельное сообщение, и его легко подменить. Маленькие изменения часто дают заметную разницу: одна кнопка вместо трёх, подарок за телефон, вопрос о задаче до цены. Тест показывает это на цифрах, а не на ощущениях.
Как бот делит поток: «Случайная ветка»
В блоке «Действие» выберите «Случайная ветка». В поле «Выходы через запятую» перечислите названия веток, например a, b. У блока появятся выходы с этими названиями, и, как подсказывает редактор, клиент случайно пойдёт по одному из них.
- Варианты выпадают с равной вероятностью: при двух выходах — примерно поровну, при трёх — по трети.
- Выбор делается каждый раз, когда человек проходит через блок. Если клиент вернётся к этому шагу заново, ветка может выпасть другая. Поэтому ставьте «Случайную ветку» туда, где человек проходит один раз: в начало сценария или перед ключевым шагом.
- Действие есть и в редакторе «Шаги», и на «Холсте».
Разметка веток тегами
Сама «Случайная ветка» ничего не запоминает — чтобы потом сравнить варианты, каждую ветку нужно пометить. Сразу после выхода поставьте «Действие» → «Добавить тег»:
- в ветке
a— тегтест-приветствие-а; - в ветке
b— тегтест-приветствие-б.
На целевом шаге — там, где клиент оставил телефон, оплатил или записался, — поставьте «Условие» по тегу варианта и в каждой ветке свой тег результата: тест-приветствие-а-заявка и тест-приветствие-б-заявка. Тогда фильтр по одному тегу сразу отвечает на вопрос «сколько дошли до цели из варианта А».
Названия тегов делайте с датой или номером теста: через месяц вы запустите следующий тест, и старые метки не перемешаются с новыми.
Как посчитать результат
- Откройте «Контакты» и отфильтруйте по тегу
тест-приветствие-а— это число людей, которые видели вариант А. - Отфильтруйте по
тест-приветствие-а-заявка— сколько из них дошли до цели. - Повторите для варианта Б.
- Конверсия варианта — дошедшие до цели, делённые на всех, кто видел вариант.
Фильтр в «Контактах» работает по одному тегу, поэтому и нужен отдельный тег результата для каждого варианта. Контакты с тегом можно скачать в CSV, если хочется посчитать в таблице.
Пример: вариант А видели 212 человек, оставили телефон 23 — это 10,8 %. Вариант Б видели 205, оставили телефон 37 — 18 %. Разница почти вдвое, и на таких объёмах это уже не случайность.
Как читать воронку бота в целом, разобрано в статье про метрики чат-бота.
Что имеет смысл тестировать
- Первое сообщение. Короткое «Здравствуйте! Чем помочь?» с кнопками против развёрнутого приветствия с выгодой. От первого экрана зависит, сколько людей вообще начнут разговор.
- Момент вопроса о телефоне. Сразу или после подбора, расчёта, ответа на вопрос.
- Причина оставить контакт. «Оставьте телефон» против «Пришлём расчёт в мессенджер» или подарка за контакт.
- Число кнопок. Три варианта против шести. Больше выбора — не всегда лучше.
- Цена сразу или после квалификации. Для дорогих услуг разница бывает большой в обе стороны.
- Длина квиза. Пять вопросов против трёх перед результатом.
Тестируйте то, что стоит на пути к цели. Цвет смайлика в прощании на заявки не влияет — тратить на это неделю трафика жалко.
Сколько ждать и сколько людей нужно
Главная ошибка — остановить тест через день, когда у одного варианта 6 заявок, а у другого 3. На таких числах разница часто случайна. Ориентиры, которые работают на практике:
- не меньше 100–200 человек в каждой ветке и хотя бы 20–30 целевых действий в сумме;
- не меньше полной недели — у будней и выходных разная аудитория;
- чем меньше разница между вариантами, тем больше людей нужно, чтобы её увидеть.
Если трафика мало — 20 новых диалогов в неделю, — проверяйте только крупные изменения, разница в которых может быть в разы. Мелкие правки на маленьком потоке честно не измерить.
Правила чистого теста
- Одно изменение за раз. Если в варианте Б другой текст, другая кнопка и подарок, вы не узнаете, что сработало.
- Одинаковое продолжение. После различающегося шага ветки должны сходиться в общий сценарий — тогда разница в конце объясняется только тестируемым шагом.
- Не меняйте сценарий во время теста. Правка текста посреди недели обнуляет сравнение.
- Не запускайте рекламу только на один вариант. Поток делит бот, а не вы — источники трафика должны попадать в обе ветки одинаково.
- Записывайте гипотезу заранее. «Подарок за телефон поднимет долю контактов с 10 до 15 %». Так результат не подгоняется под ожидания.
Пример: тест приветствия в боте для записи
- Старт → «Действие» → «Случайная ветка», выходы
a, b. - Ветка
a: тегт1-а→ «Сообщение» «Здравствуйте! Запишем на приём за минуту» с кнопками услуг. - Ветка
b: тегт1-б→ «Сообщение» «Здравствуйте! Свободные окна на этой неделе есть на вторник и четверг. Какая услуга нужна?» с теми же кнопками. - Обе ветки сходятся в общий сценарий: выбор времени, «Сбор данных» с телефоном, затем «Условие» по тегу
т1-аи тегит1-а-записьилит1-б-запись. - Через две недели — «Контакты»: сравните число контактов с
т1-аит1-а-запись, затем ст1-бит1-б-запись.
После теста оставьте победивший вариант, а «Случайную ветку» уберите: иначе половина людей продолжит видеть проигравший текст.
Частые ошибки
- Забыли теги. Без меток после теста невозможно сказать, кто что видел.
- Ветка на повторяющемся шаге. Если блок стоит в меню, куда человек возвращается, он увидит оба варианта — и сравнение потеряет смысл.
- Подвели итоги рано. Дождитесь хотя бы недели и нескольких десятков целевых действий.
- Тест не убрали. Нашли победителя — переключите всех на него.
- Проверили только тест-чатом. «Проверить сценарий» показывает одну случайную ветку за проход — пройдите несколько раз, чтобы увидеть обе.
Идеи гипотез для разных бизнесов
- Салон, клиника: показать свободные окна сразу или сначала спросить услугу.
- Онлайн-школа: бесплатный урок за e-mail или сразу предложение курса со скидкой.
- Интернет-магазин: каталог кнопками или квиз-подбор из трёх вопросов.
- Услуги B2B: «Оставьте телефон» или «Опишите задачу — пришлём оценку».
- Розыгрыши и акции: условие участия одним сообщением или пошагово.
Хорошая гипотеза звучит как «если …, то доля … вырастет, потому что …». «Потому что» помогает потом понять, почему вариант выиграл или проиграл, и придумать следующий тест.
Как оформить итоги
Итог каждого теста стоит записать в одну строку, чтобы через полгода не повторять уже проверенное: дата, гипотеза, сколько людей в каждой ветке, конверсия А и Б, решение. Например: «Октябрь. Подарок за телефон. А — 212 чел., 10,8 %; Б — 205 чел., 18 %. Оставили Б».
Даже проигравший тест полезен: он говорит, что этот рычаг не работает для вашей аудитории, и экономит время на следующих правках.
Метрики чат-ботаРедактор сценариевCRM и контактыСбор контактов в чат-боте