Hämtning hjälper; den garanterar inte ett korrekt svar
Retrieval-augmented generation (RAG) förser en språkmodell med utvalda dokument innan den svarar. Det kan göra ett svar mer relevant för ett företags information, men systemet kan fortfarande hämta fel avsnitt, missa ett undantag eller generera ett påstående som källan inte stöder.
Börja med en definierad uppgift: till exempel att hjälpa supportpersonal att hitta en aktuell returpolicy. Bestäm vilka källor som är auktoritativa, vem som underhåller dem och när ett svar behöver mänsklig granskning. En allmän instruktion att ”använd våra dokument” är inget acceptanskriterium.
Förbered och hämta användbara bevis
Bevara rubriker, dokumentidentitet, version och källlänkar när du delar upp dokument i avsnitt. Håll undantag tillsammans med regeln de kvalificerar. Jämför nyckelords-, vektor- och kombinerad hämtning mot representativa frågor istället för att anta att en metod eller en fast segmentstorlek alltid är bäst. Testa om de nödvändiga bevisen förekommer i de hämtade resultaten separat från om det slutliga svaret använder dem korrekt. Se Microsofts översikt över RAG-arkitektur.
Tillämpa behörigheter innan text når modellen
Begränsa hämtning med hjälp av den autentiserade användarens tenant och dokumentbehörigheter. En prompt som säger åt modellen att dölja konfidentiellt material är ingen auktoriseringsgräns. Källlänkar, genererade sammanfattningar, konversationshistorik och cachade svar behöver också åtkomstkontroller. Behörighetsändringar och dokumentraderingar måste spridas till indexet och eventuell härledd lagring.
För ett implementeringsexempel, Azure AI Search dokumenterar behörighetsfiltrering vid frågetidpunkten. Dess plattformsspecifika funktioner och förhandsversionsbegränsningar behöver kontrolleras för den avsedda driftsättningen.
Gör frågor utan stöd till ett explicit utfall
Visa avsnittet bakom ett väsentligt påstående och låt användaren granska det. En källhänvisning är användbar endast när den faktiskt stöder svaret. Om källorna saknas, är motstridiga eller föråldrade, säg vad som inte kunde fastställas och erbjud ett relevant sökresultat eller en överlämning. Förvandla inte en svag hämtningspoäng till en påhittad säkerhetsprocent.
Exempel: en policy säger att oöppnade varor kan returneras inom 30 dagar men säger ingenting om internationellt returporto. För ”Ersätter ni mitt porto utomlands?” identifierar ett lämpligt svar den saknade informationen och hänvisar till policyn eller supportteamet. Att upprepa 30-dagarsregeln besvarar inte frågan.
Utvärdera hela beteendet
- Inkludera besvarbara, tvetydiga, föråldrade och avsiktligt ostödda frågor.
- För varje fall, registrera de förväntade bevisen, tillåten användarroll och acceptabelt svar eller avståendet.
- Kontrollera täckningen för hämtning, stöd för enskilda påståenden, citatträffsäkerhet, behörighetsläckage, latens och kostnad var för sig.
- Upprepa uppsättningen efter att du ändrat dokument, hämtningsinställningar, prompter eller modeller. Lägg till verkliga fel efter att du tagit bort onödiga personuppgifter.
Detta är ett föreslaget utvärderingssätt, inte ett påstående om en historisk kunddatauppsättning. Ingen ändlig testuppsättning bevisar att framtida svar alltid kommer att vara korrekta. Åtgärder med stor påverkan kräver ytterligare kontroller, godkännande eller mänsklig granskning som är lämplig för arbetsflödet.
Utforska LLM-integration för en AI-funktion inuti en applikation, eller arbetsflödesautomatisering när uppgiften korsar flera system. Utvecklingsverktygsmiljön och den driftsatta produktens dataflöde är separata beslut.
