Expérimentation et tests A/B
Ce que rapporte une expérience en ligne trop petite, consultée trop souvent ou lue sur trop de métriques : un effet gonflé 2,4 fois, un taux de faux positifs de 19 % au lieu de 5 %, et un segment vainqueur dans près de la moitié des expériences où il ne s’est rien passé.
Connectez-vous pour passer les quiz, gagner des XP et débloquer les étapes en atteignant 90% de maîtrise.
La puissance et la malédiction du vainqueur
25 min · 100 XPPourquoi la taille d’échantillon se fixe avant le départ, ce que rapporte une expérience sous-dimensionnée quand elle atteint la significativité, et la raison pour laquelle diviser par deux l’effet visé quadruple le trafic nécessaire.
Ouvrir la leçon →Connectez-vous pour passer le quiz de 3 questions.
Le coup d’œil répété et le tableau de bord de métriques
30 min · 120 XPUn test sans aucun effet, consulté dix fois et arrêté quand il fait bonne figure, ressort significatif 19 % du temps ; la même arithmétique appliquée à vingt métriques indépendantes donne 64 %. Les deux, et que faire à la place.
Ouvrir la leçon →Connectez-vous pour passer le quiz de 3 questions.
Réduction de variance et lecture du résultat
30 min · 120 XPSe servir de ce que vous saviez déjà de chaque utilisateur pour diviser par deux le trafic nécessaire, pourquoi découper un résultat nul par segments trouve un vainqueur 46 % du temps, et comment transformer un effet mesuré en décision.
Ouvrir la leçon →Connectez-vous pour passer le quiz de 3 questions.