Il recupero aiuta; non garantisce una risposta corretta
La retrieval-augmented generation (RAG) fornisce documenti selezionati a un modello linguistico prima che risponda. Può rendere una risposta più pertinente alle informazioni di un'azienda, ma il sistema può comunque recuperare il passaggio sbagliato, tralasciare un'eccezione o generare un'affermazione che la fonte non supporta.
Inizia con un compito definito: ad esempio, aiutare il personale di supporto a trovare una policy di reso aggiornata. Decidi quali fonti sono autorevoli, chi le mantiene e quando una risposta necessita di revisione umana. Un'istruzione generica di “usare i nostri documenti” non è un criterio di accettazione.
Prepara e recupera prove utilizzabili
Conserva le intestazioni, l'identità del documento, la versione e i link alle fonti quando dividi i documenti in passaggi. Mantieni le eccezioni insieme alla regola che qualificano. Confronta il recupero per parole chiave, vettoriale e combinato rispetto a domande rappresentative invece di presumere che un metodo o una dimensione fissa dei chunk sia sempre la migliore. Verifica se le prove richieste appaiono nei risultati recuperati separatamente dal fatto che la risposta finale le usi accuratamente. Vedi la panoramica sull'architettura RAG di Microsoft.
Applica i permessi prima che il testo raggiunga il modello
Limita il recupero utilizzando il tenant e i permessi sui documenti dell'utente autenticato. Un prompt che dice al modello di nascondere materiale riservato non è un confine di autorizzazione. Anche i link alle fonti, i riepiloghi generati, la cronologia delle conversazioni e le risposte memorizzate nella cache necessitano di controlli di accesso. Le modifiche ai permessi e l'eliminazione dei documenti devono propagarsi all'indice e a qualsiasi archiviazione derivata.
Per un esempio di implementazione, Azure AI Search documenta il filtraggio dei permessi in fase di query. Le sue capacità specifiche della piattaforma e le limitazioni in anteprima necessitano di verifica per il deployment previsto.
Rendi le domande non supportate un esito esplicito
Mostra il passaggio alla base di un'affermazione sostanziale e lascia che l'utente lo esamini. Una citazione è utile solo quando supporta effettivamente la risposta. Se le fonti sono mancanti, contraddittorie o obsolete, indica cosa non è stato possibile stabilire e offri un risultato di ricerca pertinente o un passaggio di consegna. Non trasformare un punteggio di recupero debole in una percentuale di confidenza inventata.
Esempio: una policy afferma che gli articoli non aperti possono essere resi entro 30 giorni ma non dice nulla sulle spese di spedizione per i resi internazionali. Per “Rimborserete le mie spese di spedizione dall'estero?”, una risposta adeguata individua quell'informazione mancante e rimanda alla policy o al team di supporto. Ripetere la regola dei 30 giorni non risponde alla domanda.
Valuta l'intero comportamento
- Includi domande a cui è possibile rispondere, ambigue, obsolete e deliberatamente non supportate.
- Per ogni caso, registra le prove attese, il ruolo utente consentito e la risposta o astensione accettabile.
- Verifica separatamente la copertura del recupero, il supporto per le singole affermazioni, l'accuratezza delle citazioni, le fughe di autorizzazione, la latenza e il costo.
- Ripeti l'insieme dopo aver modificato documenti, impostazioni di recupero, prompt o modelli. Aggiungi guasti reali dopo aver rimosso i dati personali non necessari.
Questo è un approccio di valutazione proposto, non un'affermazione su un dataset storico di un cliente. Nessun insieme di test finito dimostra che le risposte future saranno sempre corrette. Le azioni ad alto impatto necessitano di controlli aggiuntivi, approvazione o revisione umana adeguati al flusso di lavoro.
Esplora Integrazione LLM per una funzionalità AI all'interno di un'applicazione, oppure automazione del flusso di lavoro quando il compito attraversa più sistemi. L'ambiente dello strumento di sviluppo e il flusso di dati del prodotto distribuito sono decisioni separate.
