אחזור עוזר; הוא אינו מבטיח תשובה נכונה
אחזור-מועשר (RAG) מספק מסמכים נבחרים למודל שפה לפני שהוא עונה. הוא יכול להפוך תשובה לרלוונטית יותר למידע של העסק, אך המערכת עדיין עשויה לאחזר את הקטע השגוי, לפספס חריג או לייצר טענה שהמקור אינו תומך בה.
התחילו עם משימה מוגדרת: לדוגמה, לסייע לצוות התמיכה למצוא מדיניות החזרות עדכנית. החליטו אילו מקורות הם סמכותיים, מי מתחזק אותם ומתי תשובה זקוקה לסקירה אנושית. הנחיה כללית “להשתמש במסמכים שלנו” אינה קריטריון קבלה.
הכינו ואחזרו ראיות שמישות
שמרו על כותרות, זהות המסמך, גרסה וקישורי מקור בעת חלוקת המסמכים לקטעים. השאירו חריגים יחד עם הכלל שהם מסייגים. השוו אחזור מבוסס מילות מפתח, וקטור ומשולב מול שאלות מייצגות במקום להניח ששיטה אחת או גודל קטע קבוע תמיד הטובים ביותר. בדקו אם הראיות הנדרשות מופיעות בתוצאות שאוחזרו בנפרד מהשאלה אם התגובה הסופית משתמשת בהן במדויק. ראו סקירת ארכיטקטורת ה-RAG של Microsoft.
החילו הרשאות לפני שהטקסט מגיע למודל
הגבילו את האחזור באמצעות ה-tenant של המשתמש המאומת והרשאות המסמכים. פרומפט שמורה למודל להסתיר חומר חסוי אינו גבול הרשאה. קישורי מקור, סיכומים שנוצרו, היסטוריית שיחה ותשובות שנשמרו במטמון זקוקים גם הם לבדיקות גישה. שינויי הרשאות ומחיקת מסמכים חייבים להתפשט לאינדקס ולכל אחסון נגזר.
לדוגמה ליישום, Azure AI Search מתעד סינון הרשאות בזמן שאילתה. יש לבדוק את היכולות הספציפיות לפלטפורמה ואת מגבלות הגרסה המקדימה שלו עבור הפריסה המיועדת.
הפכו שאלות לא נתמכות לתוצאה מפורשת
הציגו את הקטע שמאחורי טענה מהותית ואפשרו למשתמש לבחון אותו. ציטוט שימושי רק כאשר הוא באמת תומך בתשובה. אם המקורות חסרים, סותרים או מיושנים, אמרו מה לא ניתן היה לבסס והציעו תוצאת חיפוש רלוונטית או העברה לגורם אנושי. אל תהפכו ציון אחזור חלש לאחוז ביטחון מומצא.
דוגמה: מדיניות אומרת שפריטים שלא נפתחו ניתנים להחזרה תוך 30 ימים אך אינה אומרת דבר על דמי משלוח להחזרה בינלאומית. עבור “האם תחזירו לי את דמי המשלוח שלי לחו"ל?”, תשובה מתאימה מזהה את המידע החסר ומפנה למדיניות או לצוות התמיכה. חזרה על כלל 30 הימים אינה עונה על השאלה.
העריכו את ההתנהגות המלאה
- כללו שאלות שניתנות למענה, עמומות, מיושנות ושאלות לא נתמכות במכוון.
- עבור כל מקרה, תעדו את הראיות הצפויות, תפקיד המשתמש המותר והתשובה המקובלת או ההימנעות.
- בדקו בנפרד את כיסוי האחזור, התמיכה בטענות בודדות, דיוק הציטוטים, דליפת הרשאות, זמן ההשהיה והעלות.
- חזרו על הסדרה לאחר שינוי מסמכים, הגדרות אחזור, הנחיות או מודלים. הוסיפו כשלים אמיתיים לאחר הסרת נתונים אישיים מיותרים.
זוהי גישת הערכה מוצעת, לא טענה לגבי מערך נתונים היסטורי של לקוח. אף מערך בדיקה סופי אינו מוכיח שתשובות עתידיות יהיו תמיד נכונות. פעולות בעלות השפעה גבוהה זקוקות לבקרות נוספות, אישור או סקירה אנושית המתאימים לתהליך העבודה.
חקרו שילוב LLM עבור תכונת AI בתוך אפליקציה, או אוטומציה של תהליכי עבודה כאשר המשימה חוצה מספר מערכות. סביבת כלי הפיתוח וזרימת הנתונים של המוצר הפרוס הן החלטות נפרדות.
