בדיקות A/B הן כלי נפוץ ומוכר כדי לבחון היבטים שונים של המוצר, ומכיוון שזה מאוד מפתה לבדוק כל דבר , אנחנו צריכים להיזהר ולהשתמש בו בחוכמה כדי לקבל תובנות מועילות למוצר, ובזה בעצם הכתבה הזו עוסקת.
איך ומתי להשתמש נכון בבדיקות A/B.
אז מתי כדאי להריץ בדיקות
פיצ’רים כמו חיפוש
להריץ בדיקות A/B על פיצ’רים שקשורים לחיפוש זה מתבקש מכיוון שאי אפשר לבחון את הפונקציונאליות כי התוצאות יכולות להיות אינסופיות.
חיפוש מערב כל כך הרבה מטריקות כך שקשה לגעת איך מה יושפע ואיך בלי להריץ בדיקות.
דוגמא טובה לכך היא תוצאות השאלה כמה גבוהה ג’ניפר אניסטון. אמנם התשובה המתבקשת היא מספר, אך יש עוד דרכים לספק עוד רבדים של מידע כשנותנים את התשובה לשאלה.
ניתן לקשר את התשובה לערך שלה בוויקיפדיה, ניתן להראות מפורסמים עם גובה דומה וכו’. לפני שמשיקים פיצ’ר כזה כדאי לבדוק אותו על מנת להבין איך הפיצ’ר משפיע על המדדים של החברה.
בפיצ’רים שמשפיעים על כמה מדדים חשוב מאוד לדייק את המדדים שאנחנו בוחנים כדי לקבל תשובה מובהקת.
תוקף להיפותזות שיש לנו
בדיקות יכולות לאשש או להפריך היפותזות שיש לנו בלי לעבוד קשה מדי להוציא את הפיצ’ר.
למשל: אנחנו מניחים שרוב האנשים לא בוחרים בדרכים הנוספות לדרך הראשית שהמפה מציעה להם, ולכן אנחנו יכולים להניח שפיצ’ר כזה הוא לא הכרחי. אם אחנו מתכוונים לבצע עיצוב מחדש של המפה אנחנו יכולים להניח שניתן לוותר על הפיצ’ר הזה, אבל…מה איכפת לנו לבדוק לפני שאנחנו מוותרים בלי לדעת איך זה משפיע.
אולי כדאי לנו להריץ בדיקות על…
UI
בכל הנוגע לעיצוב ממשק יש אלף אפשרויות לעצב כל דבר, וזה בלתי אפשרי להריץ בדיקות על כל שינוי קטן בעיצוב.
קל מאוד לבדוק כל דבר קטן בממשק אבל סדרת בדיקות כזו בעצם מעכבת אותנו מלעצב את הטוב ביותר שאנחנו יכולים ולדייק את העיצוב עד שהוא מעולה. הדרך הנכונה היא לעצב את הפיצ’ר הכי טוב שאנחנו יכולים, להוציא גרסה שלו, ולשפר עוד ועוד על פי תוצאות הבדיקה. צריך לקחת בחשבון שאמנם קל לבצע בדיקות אבל כל בדיקה דורשת קוד, וכדי להימנע מזה כדי לבחון פרוטוטייפ פשוט מול קבוצה קטנה של לקוחות כדי להבין אם בכל שווה “לרדוף” אחרי הפתרון הזה.
ממש לא כדאי לנו להריץ בדיקות על…
פונקציונאליות
להריץ בדיקות על פיצ’ר מסוים לחלק מהמשתמשים ואז “לכבות” אותו לחלק אחר של המשתמשים, זה משהו שלא כדאי לעשות. לספק למשתמשים פונקציונאליות “מקולקלת” עשויה לגרום לנו לאבד את המשתמשים.
מה הסיכוי שמשתמשים ירצו להשתמש בפיצ’ר מסוים אם הם כבר חוו אותו “כמקולקל”.