הבינה מדברת, רואה ושומעת: לעבוד עם קול, תמונות ומסמכים, לא רק כתיבה.
הבינה המלאכותית של היום לא רק קוראת וכותבת, היא גם מדברת, שומעת ורואה. אפשר לדבר איתה בקול במקום להקליד, לצלם משהו ולשאול מה זה, או להעלות מסמך ולבקש שתסביר אותו.
זה פותח דלת למי שמעדיף לדבר על פני להקליד, או שרוצה עזרה עם מכתב שקיבל, תמונה של תרופה, או טופס לא מובן. מראים לה, והיא עוזרת להבין.
ברוכים הבאים לשיעור העשירי. עד עכשיו דיברנו עם ג'מיני בעיקר במילים, אבל היום אנחנו נותנים לו חושים נוספים ונצלול ליכולות המתקדמות שמעבר לטקסט. לג'מיני יש יכולת מולטי-מודלית, כלומר היכולת לקלוט ולהבין סוגים שונים של מידע בו זמנית, טקסט, תמונה וקול. הבינה המלאכותית הופכת להיות החושים הנוספים שלכם, היא רואה ושומעת את העולם יחד איתכם.
בואו נפרק את זה: הטקסט הוא השפה הכתובה שכבר הכרנו, הקול מאפשר תקשורת קולית טבעית, לשמוע ולהשמיע, והתמונה מאפשרת הבנה של צילומים, גרפים ומסמכים. השילוב ביניהם הופך את ג'מיני לעוזר הצמוד שלכם, ואתם רק צריכים לשתף אותו במידע שתרצו לחקור.
נתקלתם בבעיה בבית, רוצים לזהות צמח? במקום להקליד תיאור ארוך, פשוט צלמו ותשאלו. ג'מיני יודע לזהות נורה שנדלקה ברכב, להסביר למה עלה של פרח מצהיב, לתרגם שפה זרה משלטים, ואפילו לתמלל מתכון בכתב יד. הוא לא רק רואה את התמונה, הוא מבין את ההקשר שלה ועונה בהתאם. אפשר גם לצלם או להעלות תמונה ולבקש להפוך מידע חזותי לטקסט: לסכם נקודות מפתח מלוח מחיק אחרי פגישה, להסביר מגמות מגרף בעיתון, או לתכנן מסלול ממפה מצוירת. ולפעמים פשוט יותר לדבר מאשר להקליד: אפשר לשאול שאלות בזמן נהיגה, להכתיב רעיונות תוך כדי בישול, או להאזין לתשובות בזמן שאתם מסדרים את הבית.
זוכרים את נוסחת הקסם משיעור 3? היום אנחנו משדרגים אותה לגרסה 2. בשיעור 3 דיברנו על פורמט, כי עניין אותנו איך הטקסט ייראה. אבל בעולם הוויזואלי אנחנו מחליפים את המילה פורמט במילה משימה, כי כשאנחנו מעלים תמונה אנחנו לא רוצים רק עיצוב של מילים, אנחנו רוצים שג'מיני יבצע פעולה על מה שהוא רואה: שיזהה את סוג הצמח, שיפענח את התקלה או שיחלץ נתונים מגרף. ולזה מוסיפים רכיב רביעי, הקובץ, התמונה שצילמנו. עכשיו הנוסחה היא תפקיד, הקשר, משימה וקובץ.
הטוויסט האמיתי הוא פתרון בזמן אמת. כשאתם מנהלים שיחה עם ג'מיני דרך הטלפון, אתם יכולים להראות לו חיבור חשמלי ולשאול מה השלב הבא, לצלם כבל מנותק במחשב ולדעת לאן הוא הולך, או לצלם רשימת רכיבים בסופר ולבדוק אם יש בהם גלוטן. ברגע שאתם פותחים את המצלמה בנייד, אתם מחברים את העיניים שלכם למחשב שיודע הכל.
בואו נדגים מהטלפון. אני מעלה צילום של צמח שנמצא אצלי על השולחן: אני מקליק על הפלוס, בוחר במצלמה, מצלם, וכותב, אתה גנן מומחה (תפקיד), צילמתי את הצמח שלי והעלים נראים קצת יבשים (הקשר), זהה את הצמח ותן לי הנחיות טיפול מדויקות (משימה). ג'מיני מזהה שזה קלנצ'ו, מנתח שהצמח במצוקה, ונותן הנחיות טיפול לגבי תאורה, השקיה והסרת עלים. הוא הוציא את הסוג המדויק ונתן הנחיות אישיות.
עכשיו נפתור בעיה טכנית: קניתי מצלמת רשת ואני לא יודע לאן לחבר אותה בגב המחשב. אני מצלם את הגב, מעלה מהגלריה, וכותב, אתה טכנאי מחשבים, קניתי מצלמת רשת ואני לא יודע לאן הכבל שלה מתחבר, הסבר לי בשפה פשוטה לפי התמונה. ג'מיני מסתכל על התמונה, מבין אותה, ומסביר שהמצלמה דורשת חיבור USB, מזהה שבתמונה יש רק חיבורי תצוגה ומקלדת ישנים, ומסביר איפה לחפש את חיבורי ה-USB. בתור מישהו שלא מבין במחשבים, קיבלתי בדיוק את מה שהייתי צריך, בלי לחפש חוברת הדרכה.
ולסיום, בואו נדבר איתו בקול: אני לוחץ על כפתור הקול ואומר, היי ג'מיני, בנה לי רשימת קניות לשבוע הקרוב, קח בחשבון שיש לי שלושה ילדים ואנחנו רוצים ארוחות בריאות. הוא יוצר עבורי רשימה מסודרת עם קטגוריות, מכניס אותה ישירות לאפליקציית הפתקים בטלפון, וחוסך לי גם את הכתיבה. הכל כבר בפתק, מוכן לסופר, בזמן שהידיים שלי פנויות והבינה עובדת בשבילי.
בשיעור הזה ראינו שג'מיני מבין תמונות ושומע קול, מה שפותח עולם חדש של אפשרויות, ושדרגנו את הנוסחה משיעור 3 לתפקיד, הקשר, משימה וקובץ. בשיעור הבא נלמד להשתמש בכוחות האלה בבטחה: נדבר על פרטיות, איך להימנע מהונאות, ואיך לזהות תוכן מזויף שנוצר על ידי בינה מלאכותית. נתראה שם.
כן. בהרבה אפליקציות יש כפתור מיקרופון, מדברים והיא מבינה ועונה.
בהחלט. מצלמים מסמך, תווית או תמונה, והיא מסבירה מה רואים.
כן. מעלים קובץ או מצלמים, ומבקשים שתסביר, תסכם או תתרגם את מה שיש בו.
כן. מצלמים שלט, תווית או מכתב בשפה זרה, והיא מתרגמת ומסבירה.