AI מהימן: זיהוי ומניעת "הזיות" במודלי שפה

מודל שפה הוא מנוע הסתברותי, לא מאגר נתונים עובדתי. כשהוא מתבקש להשלים משפט, הוא לא מחפש את האמת אלא את הרצף המסתבר ביותר של מילים. זה אומר שאם לא תגדיר לו גבולות גזרה, הוא ימציא ציטוטים או פסקי דין שנשמעים משכנעים לחלוטין. הדרך להתמודד עם זה היא להפסיק לבקש מהמודל 'לדעת' ולהתחיל לבקש ממנו 'לצטט'. לדוגמה: במקום לשאול 'מה אומר החוק על X?', נסח פרומפט: 'בהתבסס על הטקסט המצורף בלבד, סכם את הסעיף הרלוונטי לחוק X. אם התשובה לא מופיעה בטקסט, אמור שאינך יודע'.

אל תסמוך על תשובה ראשונה. בהדרכה נלמד להוסיף צעד של 'ביקורת עצמית' בפרומפט. לדוגמה, נוסיף הוראה למודל: 'לאחר שסיפקת תשובה, בצע סבב בדיקה עצמית: האם כל טענה מבוססת על המקורות שסיפקתי? אם יש טענה ללא ביסוס, ציין זאת במפורש'. טכניקה זו מעלה את רמת הזהירות של המודל ומאלצת אותו לסמן 'דגלים אדומים' כאשר הוא מזהה שהוא פועל מתוך ניחוש ולא מתוך דאטה קיים.

הדרך היעילה ביותר למנוע הזיות היא לסגור את המודל בתוך 'ארגז חול' של מידע מהימן. נתרגל איך להזין למודל קבצי PDF, דוחות או מאגר נתונים רלוונטי לפני העבודה. במקום להסתמך על הידע הכללי של המודל (שעלול להיות מיושן), אנחנו מנחים אותו: 'ענה אך ורק על בסיס המסמכים המצורפים. אם המידע לא נמצא שם, ציין זאת'. זו הדרך להפוך את ה-AI מעוזר חכם לעוזר מוסמך ואמין.