Accesul la documente într-un asistent AI

Stabiliți sursa de referință

Înainte să împărțiți documentele în fragmente, identificați ce versiuni au autoritate. Un dosar de politici poate conține un document în vigoare, o versiune anterioară și o prezentare care le rezumă pe amândouă. Toate trei pot fi relevante pentru o căutare; doar unul poate guverna decizia de azi. Dați fiecărei surse un responsabil, o versiune și o cale de a ieși din uz.

Să luăm exemplul unui asistent pentru angajați. Începeți cu un registru al surselor: unde se află fiecare document, cine îl întreține, cine are acces la el și ce subiecte acoperă. Dacă responsabilitățile lipsesc sau se suprapun, echipa trebuie să le clarifice înainte ca asistentul să folosească documentele.

Oferiți surse pe care cititorul le poate verifica

Lewis și colegii săi au introdus o abordare de generare augmentată prin regăsire, care combină un model de limbaj antrenat cu un index extern de documente. Cercetarea stabilește o idee de arhitectură importantă: generarea poate folosi materiale regăsite, în loc să se bazeze doar pe ce e stocat în parametrii modelului. Asta nu garantează, singură, că un răspuns de afaceri e actual, autorizat sau susținut.

Alegeți metodele de regăsire pe baza unor întrebări reprezentative. Identificatorii exacți pot cere căutare după cuvinte-cheie; întrebările formulate altfel decât documentele pot beneficia de regăsire semantică. O metodă combinată poate fi utilă, dar complexitatea în plus trebuie să-și câștige locul în evaluare.

Păstrați structura necesară pentru a interpreta un pasaj. O celulă de tabel fără antet, o regulă de politică fără excepția ei sau un paragraf fără data de intrare în vigoare pot induce în eroare chiar și atunci când sunt regăsite corect. Arătați-i cititorului destul context din sursă cât să poată verifica afirmația.

Lost in the Middle a constatat că poziția informației relevante a influențat performanța în modelele și sarcinile studiate. E un motiv să testați cum e asamblat contextul, în loc să presupuneți că o intrare mai mare rezolvă regăsirea. Modelele noi și un alt flux de lucru au nevoie de propriile dovezi.

Respectați permisiunile în toate etapele

Filtrați sursele după accesul celui care întreabă înainte ca ele să ajungă la model. Aplicați aceeași disciplină cache-ului, citărilor și dovezilor care pot fi descărcate. Un rezultat de căutare restricționat corect nu ajunge dacă un cache comun de răspunsuri îi servește mai târziu textul altcuiva.

Includeți schimbările de acces în design. Când un document e eliminat sau un utilizator pierde accesul, decideți cât de repede reflectă indexurile și răspunsurile din cache această schimbare. Păstrați cerința explicită, pentru că influențează atât arhitectura, cât și costul de operare.

În exemplul cu angajații, asistentul nu ar trebui să deducă că un document despre salarii poate fi dezvăluit doar pentru că e relevant pentru o întrebare. Limita de acces a sistemului trebuie să reziste chiar și atunci când modelul ar produce altfel un răspuns excelent.

După acces mai există o limită: o sursă permisă poate conține instrucțiuni ostile. AgentDojo oferă un cadru de cercetare pentru această problemă la agenții care folosesc unelte. Relevanța și permisiunea de a citi un pasaj nu îi dau acelui pasaj autoritatea de a redirecționa aplicația.

Urmăriți un răspuns până la sursa exactă

Încercați o întrebare obișnuită al cărei răspuns s-a schimbat luna trecută. Porniți de la ultima propoziție și urmați-i citarea până la revizia exactă a sursei. Apoi eliminați accesul la acea sursă și întrebați din nou, ca aceeași persoană. La final, întrebați ca cineva cu alt rol.

Exercițiul acesta mic traversează ingestia, regăsirea, permisiunile, generarea și cache-ul. E util pentru că fiecare strat poate părea corect luat separat, în timp ce împreună lasă să scape un răspuns vechi sau inaccesibil. Păstrați urma rezultată alături de dovezile pentru lansare.

O citare e utilă atunci când un om o poate urma până la dovada care a guvernat de fapt răspunsul.

Când asistentul nu găsește răspunsul

Evaluați regăsirea separat de răspunsul final. Abordările pe componente, precum RAGAS, pot ajuta la structurarea acestei verificări. A ajuns pasajul corect la model? Era versiunea în vigoare? A inclus răspunsul excepția importantă? Separarea aceasta ajută echipa să corecteze stratul potrivit, în loc să schimbe mereu promptul.

O întrebare fără răspuns poate indica un document lipsă, o regulă neclară sau o decizie care trebuie luată de un om. Asistentul trebuie să spună ce informații îi lipsesc și să trimită cazul echipei care îl poate rezolva.

Pentru primul pilot, alegeți un grup restrâns de documente, fiecare cu un responsabil. Adăugați altele după ce ați verificat că permisiunile, actualizarea documentelor și citarea surselor funcționează corect.

• Numiți versiunea de referință și responsabilul ei.
• Păstrați titlurile, excepțiile și datele de intrare în vigoare.
• Impuneți accesul înainte ca un conținut să ajungă la model.
• Testați separat regăsirea și calitatea răspunsului.