Это руководство поможет вам понять все, что нужно для начала работы с A/B-тестами. Вы увидите способы запуска тестов, расстановки приоритетов гипотез, анализа результатов и лучшие инструменты для экспериментов с помощью A/B-тестирования.
Все курсы и материалы бесплатны.
Стоит однако отметить, что не нужно перегружать себя теорией. Важно гармонично совмещать теорию и практику. Материалы приведены на выбор, но не для того, чтобы вы изучили каждый досконально.
Рекомендую начать с курса по а/б тестированию, а уже затем (если понадобится и под конкретный запрос) изучить и другие материалы.
Все курсы и материалы бесплатны.
Стоит однако отметить, что не нужно перегружать себя теорией. Важно гармонично совмещать теорию и практику. Материалы приведены на выбор, но не для того, чтобы вы изучили каждый досконально.
Рекомендую начать с курса по а/б тестированию, а уже затем (если понадобится и под конкретный запрос) изучить и другие материалы.
Курсы
Курсы предлагают структурированный подход к изучению A/B-тестирования. Они позволяют получить фундаментальные знания, научиться использовать инструменты для проведения тестов.
Курсы на русском языке:
Курсы на английском языке:
Практика лучших компаний
Блоги и публикации от известных компаний представляют собой ценные источники информации о передовых практиках и инновационных подходах в A/B-тестировании. Они рассказывают о современных инструментах, методах анализа данных и особенностях проведения тестов, основанных на реальном опыте.
Примеры от компаний на русском языке:
- A/B тесты и как мы их готовим (Яндекс Практикум)
- Зачем нужна платформа А/Б, Как проходят эксперименты в Авито, Метрика в бакетах, Статистический критерий, видео (Авито)
- Как разрабатывать сотни A/B экспериментов (Циан)
- Как же мощно я провел A/B-тест, или почему не стоит сравнивать наблюдаемый аплифт с MDE (Lamoda)
- Как определить размер выборки для бутстрэпа старым дедовским способом (Lamoda)
- Как устроено A/B-тестирование в Авито, статья (Авито)
- Руководство по статистическим тестам (VK)
- Статистика в А/Б. Мифы и реальность (Авито)
- Проверка корректности А/Б тестов (X5 Ритейл Групп)
- Switchback-эксперименты в Ситимобил. Эпизод 1: Скрытая сила switchback
- Как в Учи. ру построили платформу для анализа A/B-тестов на ClickHouse (Учи. ру)
- Как у нас устроено A/Б-тестирование. Лекция Яндекса (Яндекс)
- Инфраструктура А/Б-экспериментов в большом Поиске. Доклад Яндекса (Яндекс)
- Как перестать беспокоиться и начать верить A/B-тестам (Badoo)
Практика компаний на английском языке:
- Метод последовательного тестирования в экспериментах A/B (Uber)
- Эксперименты в Airbnb (Airbnb)
- Фреймворк для дизайна экспериментов (Airbnb)
- Что такое А/Б тест (Netflix)
- Это все A/Bout-тестирование: экспериментальная платформа Netflix (Netflix)
- Как Netflix использует данные, опросы и A/B-тестирование для совершенствования своего алгоритма рекомендаций (Netflix)
- Увеличьте свои шансы с A/B тестами (Microsoft)
- Новая платформа для проведения экспериментов в Spotify и как мы ее используем (Spotify)
- А/Б тестирование и квантили (Spotify)
- Экспериментальный анализ в Lime (Lime Engineering)
Примеры проектов с кодом
Изучение готовых проектов по A/B-тестированию позволяет увидеть реальные примеры реализации тестовых сценариев и анализа результатов. Вы можете изучить код, методику и подходы, которые другие люди использовали в своих проектах, и применить их в своей работе.
Примеры А/Б тестирования с кодом и пояснением на английском:
- Подробный гайд по а/б тестированию внедрения новых технологий в игру с помощью Python
- А/Б-тестирование с помощью Python
- Гайд по А/Б тестированию с помощью Python в 3 частях: Part 1/3(AA-test), Part 2/3(AB-test), Part 3/3(relationship metrics).
- 11 примеров A/B-тестирования из реального бизнеса (Hubspot)
- A/B-тестирование: пошаговое руководство с использованием Python (DataArt)
- A/B-тестирование и как его реализовать на Python, используя всего несколько строк кода (Analytics Vidha)
- Пример а/б теста с Python (пользователь Google Colab)
- Пример а/б теста с Python (пользователь Kaggle)
Статистика
Знание статистики необходимо для A/B-тестирования, чтобы проводить корректные и надежные анализы результатов тестов, определять статистическую значимость различий между вариантами и делать обоснованные выводы на основе данных.
Статистика на английском языке:
- Статистическое мышление и анализ данных(MIT)
- 10 статистических ловушек А/Б тестирования (CXL)
- Введение в статистику (Stanford University)
- Статистика для экспериментов от Harvard University
- Вероятность и статистика в науке о данных с использованием Python (SanDiego University)
- Статистическое мышление для Data Scientist и аналитиков данных от (Columbia University)
Некоторые из этих курсов - на платформе "Coursera", даже если платформа пишет, что нужно оплатить 7дневный период, курсы можно получить бесплатно. Подробнее в посте и особенно в комментариях под постом я расписывала подробно.
Статистика на русском языке:
Дополнительные материалы
- Контролируемые онлайн-эксперименты и A/B-тесты (Ron Kohavi, Roger Longbotham)
- Блог с полезными статьями по тестированию
- Статьи по А/Б тестированию (XP2)
- Математика A/B-тестирования на примере кода Python
- Тестирование методов лечения: лучшие исследования для лучшего здравоохранения Imogen Evans, Hazel Thornton, Iain Chalmers, Paul Glasziou
- Гайд по А/Б тестированию (CXL)
- А/Б тесты для нематематиков, видео (Involta)
- А/Б тестирование в R (Elea McDonnell, доцент в LeBow College of Business at Drexel University)
- Краткое руководство по реализации А/Б тестов на Python
- Нежное введение в математику, лежащую в основе A/B-тестирования
А также в своем телеграм-канале Аналитика и Growth mind-set делюсь полезными материалами по аналитике данных, в том числе по А/Б тестированию.
