Retrieval helpt; het garandeert geen juist antwoord
Retrieval-augmented generation (RAG) levert geselecteerde documenten aan een taalmodel voordat het antwoordt. Het kan een antwoord relevanter maken voor de informatie van een bedrijf, maar het systeem kan nog steeds de verkeerde passage ophalen, een uitzondering missen of een bewering genereren die de bron niet onderbouwt.
Begin met een gedefinieerde taak: bijvoorbeeld supportmedewerkers helpen een actueel retourbeleid te vinden. Bepaal welke bronnen gezaghebbend zijn, wie ze onderhoudt en wanneer een antwoord menselijke beoordeling nodig heeft. Een algemene instructie om “onze documenten te gebruiken” is geen acceptatiecriterium.
Bereid bruikbaar bewijs voor en haal het op
Behoud koppen, documentidentiteit, versie en bronlinks bij het opdelen van documenten in passages. Houd uitzonderingen samen met de regel die ze nuanceren. Vergelijk keyword-, vector- en gecombineerde retrieval tegen representatieve vragen in plaats van ervan uit te gaan dat één methode of een vaste chunkgrootte altijd het beste is. Test afzonderlijk of het vereiste bewijs in de opgehaalde resultaten verschijnt en of de uiteindelijke respons het accuraat gebruikt. Zie Microsoft's overzicht van RAG-architectuur.
Pas rechten toe voordat tekst het model bereikt
Beperk retrieval op basis van de tenant en documentrechten van de geauthenticeerde gebruiker. Een prompt die het model vertelt vertrouwelijk materiaal te verbergen is geen autorisatiegrens. Bronlinks, gegenereerde samenvattingen, gespreksgeschiedenis en gecachte antwoorden hebben ook toegangscontroles nodig. Wijzigingen in rechten en het verwijderen van documenten moeten doorwerken naar de index en elke afgeleide opslag.
Voor een implementatievoorbeeld, documenteert Azure AI Search filtering van rechten op querytijd. De platformspecifieke mogelijkheden en preview-beperkingen moeten worden gecontroleerd voor de beoogde deployment.
Maak van niet-onderbouwde vragen een expliciete uitkomst
Toon de passage achter een inhoudelijke bewering en laat de gebruiker die inspecteren. Een citatie is alleen nuttig wanneer die het antwoord daadwerkelijk onderbouwt. Als de bronnen ontbreken, tegenstrijdig of verouderd zijn, zeg dan wat niet kon worden vastgesteld en bied een relevant zoekresultaat of een doorverwijzing aan. Verander een zwakke retrieval-score niet in een verzonnen betrouwbaarheidspercentage.
Voorbeeld: een beleid zegt dat ongeopende artikelen binnen 30 dagen kunnen worden geretourneerd, maar zegt niets over internationale retourkosten. Op “Vergoedt u mijn internationale portokosten?” identificeert een passend antwoord die ontbrekende informatie en verwijst het naar het beleid of het supportteam. Het herhalen van de 30-dagenregel beantwoordt de vraag niet.
Evalueer het volledige gedrag
- Neem beantwoordbare, dubbelzinnige, verouderde en bewust niet-onderbouwde vragen op.
- Noteer voor elk geval het verwachte bewijs, de toegestane gebruikersrol en het aanvaardbare antwoord of de onthouding.
- Controleer dekking van retrieval, onderbouwing van afzonderlijke claims, nauwkeurigheid van citaten, lekken van rechten, latentie en kosten afzonderlijk.
- Herhaal de set na het wijzigen van documenten, retrieval-instellingen, prompts of modellen. Voeg echte fouten toe nadat u onnodige persoonsgegevens hebt verwijderd.
Dit is een voorgestelde evaluatieaanpak, geen bewering over een historische klantdataset. Geen enkele eindige testset bewijst dat toekomstige antwoorden altijd correct zullen zijn. Acties met grote impact vereisen aanvullende controles, goedkeuring of menselijke beoordeling die passen bij de workflow.
Ontdekken LLM-integratie voor een AI-functie binnen een applicatie, of workflow-automatisering wanneer de taak meerdere systemen doorkruist. De ontwikkeltoolomgeving en de datastroom van het uitgerolde product zijn afzonderlijke beslissingen.
