A/B тестирование
Метод сравнения двух вариантов (A и B) для определения более эффективного. В доставке применяется для тестирования дизайна меню, цен, промоакций и текстов уведомлений. Требует статистически значимой выборки.
Что можно проверять в доставке
A/B-тест делит трафик на две части и показывает им разные варианты, чтобы разница в результате объяснялась изменением, а не сезоном. В доставке осмысленно тестировать немногое: порог бесплатной доставки, состав допродажи в корзине, порядок категорий в меню, формулировку и глубину промокода, текст push-уведомления. Всё, что меняет операционку — время доставки, зоны, состав блюд, — тестировать так нельзя: там нельзя разделить аудиторию честно.
Почему большинство тестов бессмысленны
Две причины. Первая — размер выборки: чтобы увидеть разницу в конверсии на два процентных пункта, нужны тысячи наблюдений в каждой группе, а не двести. При меньшем объёме вы измеряете случайность. Вторая — метрика: тест на конверсию корзины, который поднял конверсию и уронил чек, выглядит победой и является проигрышем. Метрику надо выбирать до запуска и считать вклад, а не процент.
Как это устроено в Delever
В Delever видны заказы, средний чек и выручка в разрезе каналов, точек и датам — это измерительная база для сравнения. Инструменты, которые меняют: порог бесплатной доставки и тарифы по зонам, модификаторы и наборы в меню, промокоды с ограничениями, рассылки по сегментам. Практичный способ при небольшом потоке — последовательное сравнение: две недели один вариант, две недели другой, в сопоставимые периоды без акций.
Частые ошибки
Первая — останавливать тест, как только появилась разница: на малых числах она появляется и исчезает сама. Вторая — тестировать два изменения одновременно и не понимать, какое сработало. Третья — считать конверсию, а не вклад. Четвёртая — сравнивать несопоставимые периоды: неделю с акцией против недели без неё.
Частые вопросы
Сколько нужно заказов для теста?
Зависит от ожидаемой разницы: чем она меньше, тем больше выборка. Для заметных изменений — порядка нескольких сотен заказов в каждой группе, для тонких — тысячи. При малом потоке честнее последовательное сравнение периодов.
Что тестировать в первую очередь?
Порог бесплатной доставки и состав допродажи в корзине: они влияют на чек прямо и меняются настройкой, без изменений в кухне.
Можно ли тестировать цены?
Технически да, но осторожно: разная цена на одно блюдо для разных гостей воспринимается как несправедливость, если становится заметной. Безопаснее тестировать пороги, наборы и глубину скидки.