إعداد اختبار A/B وتحليل دورة واحدة للعيادات
عندما تكون لدى العيادة نسختان معقولتان من صفحة أو رحلة ولا يكفي الرأي للاختيار بينهما، يمكن لاختبار A/B واحد منضبط أن يدعم القرار. تحدد Care Journey الفرضية، وتتحقق من القياس، وتعد المقارنة، ثم تفسر دورة الاختبار وفق النتيجة المتفق عليها. تحصل العيادة على قرار يمكن الدفاع عنه: اعتماد النسخة الجديدة، أو الإبقاء على الحالية، أو مواصلة البحث.
حين تعجز الآراء وحدها عن الترجيح عملياً بين نسختين مقنعتين
قد يملك فريق العيادة نسختين مقنعتين لدعوة إلى اتخاذ إجراء، أو لطريقة عرض نموذج، أو لعنصر في الصفحة، من دون أساس يمكن الدفاع عنه لاختيار إحداهما. وتعرّف Google اختبار A/B بأنه مقارنة عشوائية ومتزامنة لنسخ على الصفحة نفسها قياساً إلى هدف محدد. (إرشادات Google Analytics لاختبار A/B) لذلك تبدأ الخدمة بصياغة الخلاف في صورة فرضية قابلة للاختبار؛ فالتفضيل الشخصي لا يكفي بحد ذاته لإثبات جدوى الاختيار.
اعتمد شجرة قرار للتجربة قبل تفسير ما تكشفه بيانات الزيارات
تمر التجربة بعدة شروط متتابعة قبل أن تصبح نتائجها قابلة للتفسير. أولها وجود قرار واحد يستحق الاختبار، ثم وجود تفسير معقول لكيفية تأثير التغيير ونتيجة أساسية يمكن قياسها. بعد ذلك، يجب تنفيذ الأصل والبديل من دون إفساد توزيع المستخدمين أو عملية القياس. ولا تُطرح قراءة النتائج إلا بعد استيفاء هذه الشروط جميعاً.
- صغ الفرضية حول السلوك الذي تتوقعه من المستخدم، لا حول التصميم الذي تفضله شخصياً.
- حدّد الحدث الأساسي أو النتيجة الأساسية قبل بدء المقارنة بين النسختين.
- تحقق من عرض الأصل والبديل على الجمهور المقصود الذي يستوفي شروط المشاركة في التجربة.
- تأكد من تسجيل حدث القياس بصورة متسقة، ومن إمكان تفسيره ضمن إعدادات منظومة التحليلات التي وقع عليها الاختيار.
- اتبع منهج التحليل الذي تستخدمه منصة التجارب، ولا تستبدله بعتبة عامة مبتكرة يُفترض أنها تصلح لكل اختبار.
- وثّق المؤشرات الرقابية المهمة حين يكون من الممكن أن يتحسن المقياس الأساسي بينما تتراجع نتيجة أخرى ذات أهمية.
لا تعتمد جميع منظومات التجارب المنهج الإحصائي نفسه في تحليل نتائجها. فالعرض الحالي لمنهجية Optimizely، مثلاً، يميز بين المقاربات ذات الأفق الثابت والمقاربات التسلسلية، ولا يطرح قاعدة واحدة لإيقاف كل تجربة. (عرض Optimizely للمناهج الإحصائية) لهذا تُحدَّد خطة التحليل ضمن إعداد الاختبار نفسه، ولا تؤجل إلى ما بعد ظهور النتائج.
أدر دورة الاختبار من الفرضية إلى قرار يمكن تبريره
- حدّد القرار المطلوب: اختر سؤالاً واحداً يتعلق بالتحويل، ينبغي أن تساعد التجربة على حسمه.
- اكتب الفرضية: اربط تغييراً واحداً محدوداً بسلوك أساسي قابل للقياس، وحدّد أي مؤشر رقابي مهم يجب متابعته معه.
- جهّز الأصل والبديل: احرص على أن يكون الفرق بينهما قابلاً للتفسير، وعلى صحة توزيع المستخدمين المؤهلين على كل نسخة.
- افحص جودة القياس: تحقق من الحدث الأساسي ومن تمييز النسخ قبل أن تفسّر بيانات الزيارات الفعلية إلى التجربة.
- نفّذ التجربة بالمنهج المختار: لا تضع من عندك مدة أو حجم عينة أو قاعدة إيقاف عامة يُفترض أن تناسب كل اختبار.
- صنّف نتيجة الدورة المكتملة: تأييد للبديل، أو إبقاء على الأصل، أو نتيجة غير حاسمة؛ ثم سجّل ما استند إليه هذا التصنيف من معطيات.
- حدّد الإجراء التالي: نفّذ فقط التغيير الذي تسنده النتائج، وأحِل مشكلات التشخيص أو رحلة الحجز التي لم تُحسم إلى الخدمة المختصة بمعالجتها.
تعد إرشادات تقييم الصحة الرقمية النتيجة غير الحاسمة سبباً صريحاً لمراجعة الفرضية أو النسخة البديلة، لا مبرراً لإعلان فائز على أي حال. (إرشادات GOV.UK لاختبار A/B في الصحة الرقمية) وتزداد أهمية هذا الحد في الرعاية الصحية، فقد تكون كلفة رواية مضللة عن نتائج التجربة أكبر من حرج الإقرار بأن المعطيات المتاحة لا تكفي بعد للحسم.
ما الذي تغطيه هذه الخدمة
- تغطي الخدمة إعداد اختبار A/B واحد متفق عليه وتحليل دورة واحدة وفق فرضية ونتيجة قابلة للقياس.
- برنامج CRO مستمر، وإعادة تصميم صفحات أخرى، واختبارات إضافية، والتنفيذ اللاحق نطاقات مستقلة.
- قد يدعم الاختبار قراراً أو تكون نتيجته غير حاسمة؛ ولا يُفترض منه ارتفاع محدد في التحويل أو الحجوزات أو الإيرادات.
أسئلة تسبق تنفيذ دورة واحدة لاختبار نسختين
تدور الأسئلة العملية حول الجاهزية، وسلامة القياس، وجودة القرار الذي سيُتخذ؛ وليس حول ضمان أن تفوز إحدى النسختين حتماً.
عندما يتحدد القرار، وتتوفر فرضية معقولة ونتيجة أساسية قابلة للقياس، وتُجهّز نسخة أصلية وأخرى بديلة بصورة سليمة، مع أدوات رصد يمكن التحقق من صحتها قبل البدء في تفسير النتائج.
لا؛ فقد تؤيد النتائج البديل، أو تقتضي الإبقاء على الأصل، أو تبقى غير حاسمة. وعدم الحسم نتيجة مشروعة تدعو إلى مراجعة الفرضية وما استندت إليه، بدلاً من فرض نسخة فائزة لا تسندها المعطيات.
لم تثبت الأبحاث المستخدمة في هذه الصفحة قاعدة عامة من هذا النوع. فتحديد حجم العينة والمدة يعتمد على الزيارات، والتغيير المتوقع في سلوك المستخدم، والمنهج الإحصائي الذي تعتمده منظومة التجارب المستخدمة.
توضح Google أن تنفيذ اختبارات A/B وإدارتها يتمان عبر أداة تجارب من طرف ثالث، ويمكن استخدام Analytics لتفسير النتائج عند تكامله مع تلك الأداة.
قد يتحسن مقياس أساسي بينما تتراجع نتيجة مهمة أخرى للمستخدم أو الخدمة، أو تظل مجهولة. ويساعد المؤشر الرقابي المرتبط بالتجربة على منع اختزال القرار بأكمله في تحسن مقياس واحد محدود الدلالة.
اختبر قرار تحويل واحداً مهماً
أخبر Care Journey بالنسختين أو الخيارين وبالقرار الذي يجب أن تدعمه النتيجة. سنراجع جاهزية الاختبار وجودة القياس ونحدد ما إذا كان تحليل دورة واحدة هو الخطوة المناسبة.