שלוש החלטות מוצר שהתקבלו ממספרים ולא מתחושה: מה למדנו מגרסה 3.5 של מאזן

ברוב האפליקציות הקטנות החלטות מתקבלות ככה: מישהו מציע, מישהו מסכים, בונים. במאזן ניסינו בגרסה הזאת לעשות משהו אחר. לכל שינוי, שאלה אחת: מה הנתונים אומרים? ולפעמים התשובה הפתיעה.

החלטה 1: להסיר פיצ׳ר שנראה מצוין

בעמוד הראשי היה כפתור "מה כדאי לי לאכול". הרעיון יפה: נשאר פער חלבון ומקום בתקציב הקלורי, והאפליקציה מציעה שניים או שלושה מאכלים מתוך מה שאתם באמת אוכלים. משתמשים התלוננו שההצעות מוזרות, אבל תלונה היא לא מדידה.

אז מדדנו. כל לחיצה על הכפתור נרשמת ממילא בטבלת השימוש בבינה מלאכותית של השרת, כי היא עולה כסף. השאילתה לקחה דקה: 40 משתמשים ניסו את הכפתור בשבועיים. 20 מהם לחצו פעם אחת ולא חזרו. 13 לחצו פעמיים. רק 7 השתמשו בו שלוש פעמים או יותר. פיצ׳ר שחצי מהמנסים נוטשים אחרי לחיצה אחת הוא לא פיצ׳ר, הוא רעש בעמוד הראשי. הוא הוסר, יחד עם 90 שורות קוד בשרת ומסך שלם באפליקציה.

הלקח: אם פיצ׳ר מפעיל שירות בתשלום, כבר יש לכם את הנתונים לענות אם הוא שווה משהו. צריך רק לשאול.

החלטה 2: להחליף מודל בינה מלאכותית, אבל רק אחרי מבחן

מאזן מזהה מאכלים בשלוש דרכים: צילום מנה, תיאור בטקסט חופשי ("חצי פיתה עם חומוס"), וצילום תווית תזונה. כל אחת מהן היא קריאה למודל שפה, וכל קריאה עולה. בדקנו את החשבון: כשני שלישים מההוצאה הם תיאורים בטקסט, המשימה הפשוטה מהשלוש.

הפיתוי היה לעבור למודל זול יותר ולקוות לטוב. במקום זה בנינו מבחן: 40 תיאורי מאכלים אמיתיים מהיומנים, שמשתמשים כבר אישרו את הערכים שלהם. לכל מודל שולחים את אותם 40, וסופרים בכמה מהם הוא מגיע לאותה תשובה שהמשתמש קיבל. שלושה מודלים נבדקו:

• המודל הגדול שרץ עד היום: 35 מתוך 40.
• המודל הקטן של אותו ספק: 28 מתוך 40. טעה בחומוס, בקוטג׳ ובחמוציות. נפסל.
• מודל קטן של ספק אחר, עם מצב "חשיבה" כבוי: 34 מתוך 40, בעשירית המחיר.

שלוש מתוך ארבע ה"טעויות" של המודל הזוכה היו על "קפה נמס": אבקה או כוס מוכנה? שאלה שגם בני אדם עונים עליה שונה. ההבדל האמיתי בין המודלים היה תשובה אחת מתוך 40, במחיר של אחד לעשר. המעבר בוצע לתיאורי טקסט בלבד. זיהוי מתמונה נשאר על המודל הגדול, כי לתמונות עדיין אין מבחן כזה, ומה שלא נמדד לא מחליפים.

פרט קטן שחסך הרבה: מודלים חדשים "חושבים" לפני שהם עונים, וזה מחויב כפלט. במבחן הראשון המודל הקטן הוציא 457 מילים של חשיבה על כל מאכל, ומחק את כל הפער במחיר. כיבוי החשיבה הוריד את זה ל-30. את הדבר הזה לא רואים בדף המחירים; רואים אותו רק כשמריצים.

החלטה 3: לשנות את היומן בגלל משתמש אחד שצדק

עד היום "היום אכלת" היה רשימה אחת ארוכה. משתמש שלח צילום מסך מאפליקציה אחרת ושאל למה אין חלוקה לארוחות. הוא צדק, ובגרסה 3.5 היומן מחולק לבוקר, צהריים, ערב וביניים, כל ארוחה בכרטיס עם פלוס משלה. הדבר שהיה חשוב לשמור: אף אחד לא נשאל "לאיזו ארוחה?". האפליקציה בוחרת לפי השעה, ומי שרוצה משנה בלחיצה אחת. גם עשרות אלפי הרשומות הישנות של המשתמשים הקיימים הסתדרו לבד לפי השעה שבה נרשמו, בלי שאיש נגע בהן.

לצד זה נכנסו דברים קטנים שביקשו: שמש וירח בכל מסך למעבר בין מצב בהיר לכהה, כפתור שמעדכן ערכים תזונתיים אחרי שמתקנים שם של מאכל שזוהה לא נכון, ותיקון לסדר המספרים במדדים שהתהפך בגלל כיוון הכתיבה בעברית. הרשימה המלאה, למי שמתעניין, בפוסט באתר של מאזן.

מה זה שווה לעסק שלכם

שלוש ההחלטות האלה חוזרות בכל מוצר שיש בו בינה מלאכותית: פיצ׳ר שנראה טוב ולא בשימוש, מודל שאפשר להוזיל אבל מפחדים, ובקשה של משתמש שקל לדחות. בשלושתן הפתרון היה אותו דבר: לספור לפני שמחליטים. הספירה לקחה פחות זמן מהדיון שהיה נחסך בלעדיה.

ואם אתם סופרים קלוריות: מאזן חינמית, בלי הרשמה, לאנדרואיד ולאייפון. הכול על האפליקציה ב-maazan.info.

שאלות ותשובות

איך יודעים אם פיצ׳ר באפליקציה באמת בשימוש?

סופרים. במאזן כל לחיצה על "מה כדאי לי לאכול" נרשמה כשורה בטבלה, ואחרי שבועיים השאלה "כמה אנשים חזרו ללחוץ פעם שנייה" קיבלה תשובה מספרית: חצי לא חזרו. זה מספיק כדי להסיר.

איך מחליפים מודל בינה מלאכותית בלי לפגוע באיכות?

בונים מבחן מנתונים אמיתיים לפני שמחליפים: 40 תיאורי מאכלים שמשתמשים כבר אישרו, ומריצים את שני המודלים על אותה רשימה באותו יום. מחליפים רק אם המספר קרוב, ומודדים שוב אחרי המעבר.

כמה עלה מודל הזיהוי החדש לעומת הישן?

עשירית המחיר לתיאור בטקסט, עם 34 תשובות נכונות מתוך 40 לעומת 35 במודל הגדול. ההבדל היחיד היה על "קפה נמס", מקרה שגם בני אדם חולקים עליו.

איפה מורידים את מאזן?

מאזן חינמית בלי הרשמה, ל-Android ול-iPhone, דרך maazan.info. הגרסה החדשה 3.5 כבר בחנויות.