Как мы сделали платформу A/B тестов
Как мы сделали платформу A/B тестов для стриминга START.
Рубрика «Эксперименты».
A/B или сплит-тесты помогают проверить, как изменения в работе или дизайне сервиса влияют на пользователя и влияют ли вообще. Например, цвет кнопки: при тесте часть пользователей будет видеть, например, красную кнопку вместо привычной зеленой. Для тестирования отбираются небольшие группы пользователей с заданными характеристиками. Это помогает просчитать, приживутся ли изменения. Ведь чем сложнее и старше продукт, тем аккуратнее стоит быть с новшествами, чтобы не потерять аудиторию и деньги.
Evrone разработал такой сервис для онлайн-кинотеатра START. Он связан с сервисом, который собирает необходимые данные о пользователях и имеет удобный интерфейс, где аналитики могут сами задавать параметры, делать группы, начинать и заканчивать эксперименты в заданное время. Вот несколько коротких фактов о проекте:
- Сервис умеет отслеживать пересечения экспериментов, когда они нацелены на одну группу пользователей или проверяют одни и те же параметры. Это важно учитывать при анализе результатов.
- Есть функция увеличения выборки в рамках одного эксперимента. Это нужно для успешных гипотез, которые показали позитивные результаты на малых группах. Так можно распространить позитивный опыт на всех пользователей сервиса.
- Изначально планировалась простая статическая админка, когда страница обновляется после каждого изменения. Но из-за огромного количества параметров экспериментов пришлось разработать более сложную динамическую версию. Она сделана на React.
- Бэкенд проекта написан на Python, использован веб-фреймворк FastAPI. Для работы с базой и управления данными выбрали стандартный набор из SQLAlchemy и PostgreSQL.
Еще новости от компании Evrone
UseStdLibVars: используйте переменные стандартных библиотек. Go-разработчики часто пишут свои собственные переменные или константы, а затем используют их в коде, который обращается к стандартной библиотеке. Поэтому наш Go-разработчик Саша...
Ruby Russia’22: как мы сделали 12 докладов с нуля. Конференция — это прежде всего место, где полторы тысячи рубистов могут собраться и поговорить о своей работе. Но как создать живое общение в онлайне? В конце сентября состоится 14-я ежегодная...
Как прошел второй Evrone Fest. Для нас корпоратив не просто неформальное общение. Evrone — удалённая команда, которая собирается вместе всего раз в год. И для многих это единственный шанс увидеть реального человека, который прячется за буквами в мессенджере...
Лучшее из интервью создателя JSON Дугласа Крокфорда. Мы поговорили с соавтором JavaScript и создателем JSON Дугласом Крокфордом. В интервью Джейсон поделился своим видением настоящего и будущего JavaScript, своим подходом к код-ревью и советами...
Тогда мы идём к вам. Модель пользователя в Django по умолчанию включает в себя электронную почту, имя пользователя и пароль. Но нередко бывают ситуации, когда эту модель необходимо расширить или заменить. Например, вам не нужно имя пользователя...
Большая ложь о Python. В этом году PyConDE и PyData Berlin объединили усилия, чтобы провести самую крутую конференцию для разработчиков Python. PyConDE, немецкая конференция по языку Python, проводится с 2011 года. PyData Berlin — это одно...
Как читать штрихкоды с помощью браузера. На каждой упаковке, в чеках, и даже в рекламе — QR и штрихкоды сегодня повсюду. Распознать их с помощью мобильного телефона не составляет труда, а вот делать это с помощью веб-приложений значительно сложнее...
Советы против выгорания от топ-разработчиков. В старой шутке говорится, что если вам третий день не хочется работать, значит сегодня среда. Но если это повторяется каждую неделю, нужно что-то менять. Выгорание — популярная проблема увлечённых...
Интересные мысли создателя С++ из интервью Evrone. Бьёрн Страуструп (Bjarne Stroustrup) спроектировал и разработал C++. Он также написал ряд книг об этом языке и больше ста научных статей. В интервью Evrone он рассказал, что думает о разнице...
Подходы и практики написания кода разнятся от компании к компании и от команды к команде. В Evrone мы создали собственную подборку гайдлайнов, чтобы привести к общему стандарту корпоративные правила написания кода на Python. Здесь мы подробно описали...