تست A/B بین کنترل و متغیر، تبادل ۵۰/۵۰ برقرار می‌کند. این تست یک اصطلاح جدید برای یک تکنیک قدیمی با نام آزمایش کنترل شده است.
A-B تست ها روش هایی هستند که بتوانیم روابط علیتی را بسنجیم، در درس های قبلی در خصوص روابط همبستگی و علیتی صحبت کرده ایم، در حالیکه این دو عنوان با یکدیگر معادل یکدیگر نیستند. به عنوان مثال در تابستان میان مصرف بستنی و آفتاب سوختگی همبستگی بالا وجود دارد درحالیکه که این دو مورد علت و معلول یکدیگر نیستند و علت گرما و افتاب در تابستان است.
آزمون های علیتی عموماً مطالعات آینده نگری هستند که از یک جامعه دو گروه به صورت رندوم انتخاب می شوند و مداخله موضوع مطالعه بر روی گروه ها انجام می شود و سپس نتایج میان دو گروه مقایسه می شوند.
چالش های اجرایی آزمون A/B:
• هزینه های بالای اجرایی (نیاز به منابع مالی و انسانی)
• زمان بر بودن اجرای طرح و پیگیری مداوم نتایج
مزایای انجام آزمون A-B در دنیای دیجیتال:
اجرای سریع آزمایش ها
ارزان بودن اجرای آزمایش ها
در دسترس بودن نمونه های آزمایش و نتایج آزمایش ها
تست A/B شامل موارد زیر می‌شود:
گروه کنترل (Control Group) یا گروه A: گروهی از مخاطبان که به‌صورت تصادفی نسخه‌ی قبلی را می‌بینند.
گروه تست یا متغیر (Variation Group) یا گروه B: گروهی که به‌صورت تصادفی نسخه‌ی تغییر یافته را می‌بینند.
متغیر (Variation): تغییر احتمالی یا فرضیه‌ای که به صورت امتحانی اعمال خواهد شد.
اندازه‌ی نمونه (Sample Size): تعداد افرادی که باید در هر گروه A و B باشند و این مقدار برای هر دو گروه باید یکسان است.
مراحل انجام آزمایش A/B
1- طراحی آزمایش
1. تشکیل فرض صفر و مقابل
2. مشخص کردن خطاها
3. مشخص کردن نوع تحلیل (مقایسه میانگین/نسبت)
4. مشخص کردن اندازه نمونه
2- جمع آوری و آماده سازی داده ها
1. تخصیص تصادفی
2. نمونه گیری
3. آماده سازی های مورد نیاز
3- مصور سازی
4- آزمون فرض
5- نتیجه گیری
تعیین اندازه نمونه
تعیین حجم نمونه بر اساس مقایسه نسبت گروه ها
تعیین حجم نمونه بر اساس مقایسه میانگین
مثال
طرح مسئله: بیایید تصور کنیم که شما در یک تیم تجارت الکترونیکی آنلاین با تیم محصول کار می کنید. طراح UXروی نسخه جدید صفحه محصول بسیار تلاش کرد، با این امید که منجر به نرخ تبدیل (Conversion Rate) بالاتری شود. مدیر محصول به شما گفته که نرخ تبدیل فعلی به طور متوسط حدود 13درصد در طول سال است و تیم از افزایش 2 درصدی خوشحال خواهد شد، به این معنی که اگر طرح جدید منجر به نرخ تبدیل 15درصدی شود، این طرح موفقیت آمیز تلقی می شود. شما به عنوان تحلیلگر داده چگونه موفقیت طرح جدید را اندازه گیری می کنید؟
راهکار: استفاده از آزمونA/B، نمایش همزمان طرح قدیم و جدید، برای دو گروه آزمایش و کنترل
1- فرض صفر:
2- مشخص کردن خطاها:
3- مشخص کردن نوع تحلیل: آزمون استقلال یا مقایسه نسبت ها (مقایسه میانگین/نسبت)
4- مشخص کردن اندازه نمونه در هر گروه:
