الاسترجاع يساعد؛ لكنه لا يضمن إجابة صحيحة
يوفّر التوليد المعزّز بالاسترجاع (RAG) مستندات مختارة لنموذج لغوي قبل أن يجيب. يمكن أن يجعل الإجابة أكثر صلة بمعلومات الشركة، لكن لا يزال بإمكان النظام استرجاع المقطع الخاطئ، أو تفويت استثناء، أو توليد ادعاء لا يدعمه المصدر.
ابدأ بمهمة محددة: على سبيل المثال، مساعدة موظفي الدعم في العثور على سياسة إرجاع حالية. حدّد أي المصادر موثوقة، ومن يحافظ عليها، ومتى تحتاج الإجابة إلى مراجعة بشرية. التعليمات العامة بـ “استخدم مستنداتنا” ليست معيار قبول.
جهّز واسترجع أدلة قابلة للاستخدام
احتفظ بالعناوين، وهوية المستند، والإصدار، وروابط المصدر عند تقسيم المستندات إلى مقاطع. أبقِ الاستثناءات مع القاعدة التي تقيّدها. قارن الاسترجاع بالكلمات المفتاحية، والمتجهات، والمدمج مقابل أسئلة تمثيلية بدلًا من افتراض أن طريقة واحدة أو حجم مقطع ثابت هو الأفضل دائمًا. اختبر ما إذا كان الدليل المطلوب يظهر في النتائج المُسترجَعة بشكل منفصل عمّا إذا كانت الاستجابة النهائية تستخدمه بدقة. راجع نظرة عامة على بنية RAG من Microsoft.
طبّق الأذونات قبل أن يصل النص إلى النموذج
قيّد الاسترجاع باستخدام مستأجر المستخدم المُصادَق عليه وأذونات المستندات. المطالبة التي تطلب من النموذج إخفاء المواد السرية ليست حدًا للتفويض. تحتاج روابط المصدر، والملخصات المُولَّدة، وسجل المحادثة، والإجابات المخزنة مؤقتًا أيضًا إلى عمليات تحقق من الوصول. يجب أن تنتشر تغييرات الأذونات وحذف المستندات إلى الفهرس وأي تخزين مشتق.
للحصول على مثال تنفيذي، يوثّق Azure AI Search تصفية الأذونات في وقت الاستعلام. تحتاج قدراته الخاصة بالمنصة وقيود المعاينة إلى التحقق منها للنشر المقصود.
اجعل الأسئلة غير المدعومة نتيجة صريحة
اعرض المقطع الذي يستند إليه ادعاء جوهري ودع المستخدم يفحصه. الاستشهاد مفيد فقط عندما يدعم الإجابة فعلًا. إذا كانت المصادر مفقودة أو متناقضة أو قديمة، فاذكر ما تعذّر إثباته وقدّم نتيجة بحث ذات صلة أو تحويلًا. لا تحوّل درجة استرجاع ضعيفة إلى نسبة ثقة مئوية مختلقة.
مثال: تنص سياسة على أنه يمكن إرجاع العناصر غير المفتوحة خلال 30 يومًا لكنها لا تذكر شيئًا عن رسوم الشحن الدولي للإرجاع. بالنسبة لسؤال “هل ستعوّضونني عن رسوم الشحن الخارجي؟”، فإن الإجابة المناسبة تحدد تلك المعلومات المفقودة وتشير إلى السياسة أو فريق الدعم. تكرار قاعدة الـ 30 يومًا لا يجيب عن السؤال.
قيّم السلوك الكامل
- أدرج أسئلة قابلة للإجابة، وغامضة، وقديمة، وأخرى غير مدعومة عمدًا.
- لكل حالة، سجّل الدليل المتوقع، ودور المستخدم المسموح به، والإجابة المقبولة أو الامتناع.
- تحقق من تغطية الاسترجاع، ودعم الادعاءات الفردية، ودقة الاستشهادات، وتسرب الأذونات، وزمن الاستجابة والتكلفة بشكل منفصل.
- كرّر المجموعة بعد تغيير المستندات أو إعدادات الاسترجاع أو المطالبات أو النماذج. أضف حالات الفشل الحقيقية بعد إزالة البيانات الشخصية غير الضرورية.
هذا نهج تقييم مقترح، وليس ادعاءً بشأن مجموعة بيانات عميل تاريخية. لا توجد مجموعة اختبار محدودة تثبت أن الإجابات المستقبلية ستكون صحيحة دائماً. تحتاج الإجراءات عالية التأثير إلى ضوابط إضافية أو موافقة أو مراجعة بشرية مناسبة لسير العمل.
استكشف تكامل LLM لميزة ذكاء اصطناعي داخل تطبيق، أو أتمتة سير العمل عندما تمتد المهمة عبر عدة أنظمة. بيئة أداة التطوير وتدفق بيانات المنتج المنشور قراران منفصلان.
