כל כמה שבועות יוצא מודל חדש, ובכותרות הוא «מוביל בכל המדדים». חבר לעבודה כבר עבר אליו, ואתם תוהים אם גם אתם צריכים: לעבור, לשלם על עוד מנוי, ללמוד ממשק חדש.
המדדים שמתפרסמים בודקים משימות סטנדרטיות: פתרון בעיות, קוד, שאלות ידע. הם לא בודקים את המייל שאתם כותבים לספק, את הסיכום של ישיבת ההנהלה או את הטבלה שאתם בונים כל חודש. סוקר שהריץ לאחרונה את אותה משימה על ארבעה מודלים חדשים מצא שהמודל שדורג ראשון במדד הרלוונטי נתן בפועל את התוצר החלש ביותר, ושהפער בעלות בין המודלים היה עצום. זו בדיקה של אדם אחד על משימה אחת, אבל היא ממחישה עיקרון: הדרך היחידה לדעת איזה כלי טוב לכם היא לבדוק אותו על העבודה שלכם.
שווה לזכור גם את שאלת המחיר. כלי שנותן תוצאה טובה מעט יותר אבל עולה פי כמה, או שהמכסה שלו נגמרת באמצע יום עבודה, לא בהכרח שווה את המעבר.
שלבי העבודה
- בחרו משימה אמיתית שאתם עושים באופן קבוע ושהתוצאה שלה חשובה לכם.
- כתבו פרומפט אחד מלא, עם כל ההקשר, ושמרו אותו.
- הריצו את אותו פרומפט בדיוק, עם אותם קבצים, בשניים או שלושה כלים.
- השוו את התוצרים לפי מה שחשוב לכם: דיוק, טון, וכמה תיקונים כל אחד דורש.
- רק עכשיו הסתכלו על המחיר ועל המגבלות של כל כלי, והחליטו.
התוצאה: החלטה על כלי שמבוססת על התוצר שלכם, לא על טבלה שמישהו אחר בנה.
רוצים לתרגל? בחרו משימה אחת מהשבוע, הריצו אותה היום בשני כלים, ושמרו את שני התוצרים זה לצד זה.