Kaj pomeni kratica RAG?

Retrieval-augmented generation, torej z iskanjem obogatena generacija. Asistent najprej pridobi ustrezne odlomke iz vaših dokumentov, nato ustvari odgovor le na podlagi teh odlomkov, z navedbo virov.

Si bo asistent stvari izmišljal?

Bistvo RAG je prav to preprečiti. Odgovori so zgrajeni iz pridobljenih odlomkov in nosijo navedbo vira do izvornega dokumenta, tako da lahko vsak preveri, od kod je podatek.

Zna brati skenirane PDF-je in dokumente v slovenščini ali hrvaščini?

Da. Vandrijev cevovod vključuje OCR za skenirane datoteke in obvladuje dokumente v regionalnih jezikih, ne le v angleščini.

Ali spoštuje, kdo sme kaj videti?

Da. Iskanje upošteva dovoljenja, z dostopom po vlogah in revizijskimi sledmi, tako da asistent prikaže le tisto, do česar ima vsak uporabnik dostop. Teče znotraj podatkovne rezidence EU.

RAG nad dokumenti podjetja \ Vandri

Težava, ki jo RAG rešuje

Splošni klepetalnik ve veliko o svetu in nič o vašem podjetju. Vprašajte ga o vaši politiki vračil, vašem zavarovalnem produktu ali lanskih razpisnih dokumentih in bo rekel, da ne ve, ali pa, še huje, samozavestno izmislil odgovor.

Tudi to, da vse dokumente stlačite v poziv, ni rešitev. Preveč jih je, nenehno se spreminjajo in večina je za posamezno vprašanje nepomembna.

RAG je praktičen odgovor. Namesto da bi upali, da si je model zapomnil vaše datoteke, mu pustite, da jih preišče v trenutku vprašanja in odgovori iz tega, kar najde.

Kako RAG deluje, korak za korakom

Zajem. Vaši dokumenti se preberejo in razdelijo na odlomke. To vključuje PDF-je, skenirane datoteke (prek OCR), knjižnice SharePoint, izvoze iz ERP in drugo.
Indeksiranje. Vsak odlomek se pretvori v vektor in shrani v iskalni indeks. Vandri za to uporablja Qdrant.
Pridobivanje. Ko nekdo postavi vprašanje, sistem najde odlomke, ki so zanj najpomembnejši.
Generiranje. Jezikovni model napiše odgovor le na podlagi teh pridobljenih odlomkov in navede, iz katerega dokumenta izhaja posamezno dejstvo.

Ključen je četrti korak. Ker je odgovor zgrajen iz pridobljenega besedila in nosi navedbe virov, lahko bralec klikne skozi in preveri vir. Prav to naredi asistenta dovolj vrednega zaupanja za rabo pri delu.

Zakaj je utemeljitev pomembnejša od modela

Pogosta napaka je misliti, da je asistent le toliko dober, kolikor jezikovni model za njim. V praksi je pri podatkih podjetja pridobivanje in utemeljevanje pomembnejše od tega, kateri model izberete.

Odličen model s slabim pridobivanjem daje tekoče, samozavestne odgovore iz napačnih dokumentov. Soliden model z odličnim pridobivanjem in navedbami virov daje odgovore, na katere se vaša ekipa lahko zanese. Pravilno zastaviti zajem, delitev na odlomke, kakovost OCR in obravnavo dovoljenj je večina dela in prav tu podjetniški RAG projekti navadno uspejo ali propadejo.

Vandrijev RAG sklad uporablja napredno pridobivanje z navedbami virov in OCR, zato odgovori izhajajo iz vaših dokumentov in ne iz ugibanja.

Dovoljenja so del izdelka

Če asistenta uporablja deset ljudi, mora spoštovati, kaj sme videti vsak od njih. Finančni dokument se ne sme prikazati nekomu, ki datoteke nikoli ne bi mogel odpreti neposredno.

To ni podrobnost za pozneje. Pridobivanje, ki upošteva dovoljenja, dostop po vlogah in revizijske sledi morajo biti vgrajeni od začetka. Vandri to obvladuje znotraj podatkovne rezidence EU, po načelih GDPR in ISO 27001. Če so vaši podatki občutljivi, je prav to razlika med demonstracijo in nečim, kar lahko dejansko uvedete. Več o tem v našem vodniku o AI, skladni z GDPR v EU.

Kako to izgleda v produkciji

Vzorec kažeta dva naša delujoča sistema:

BlueBox za Savo Re. RAG asistent nad več kot 2.000 zavarovalnimi dokumenti, vgrajen neposredno v CRM zavarovalnih zastopnikov. Zastopnik postavi vprašanje in v nekaj sekundah dobi odgovor z navedbami virov, ne da bi zapustil orodje, ki ga že uporablja.
AIDE za Univerzo v Mariboru. AI intranet nad fakultetnim SharePointom. Zaposleni postavijo vprašanje, sistem pa odgovori iz resničnih dokumentov, tako da ljudje nehajo brskati po mapah.

Oba sledita istemu načelu. Asistent ne nadomesti vira resnice. Naredi vir resnice odgovorljiv v preprostem jeziku, s povezavo nazaj do izvirnika.

Kam se RAG asistent prilega

RAG se dobro prilega, kadar:

Imate obsežno, rastočo množico dokumentov, iz katerih ljudje potrebujejo odgovore.
Odgovori v vaših datotekah že obstajajo, le težko jih je najti.
Različni ljudje naj vidijo različne stvari.
Odgovorom morate zaupati in jih preverjati, zato navedbe virov štejejo.

Slabše se prilega, kadar znanje ni nikjer zapisano ali kadar vprašanje zahteva sprotni izračun namesto iskanja po dokumentih. V teh primerih bolje deluje drugačen pristop ali kombinacija. Povedali vam bomo, kateri.

Kako to gradi Vandri

Začnemo ozko. Izberemo eno množico dokumentov in eno skupino uporabnikov, povežemo vir in postavimo asistenta, ki dobro odgovarja za ta obseg. Nato spremljamo prava vprašanja, popravimo, kar pridobivanje zgreši, in razširimo. Nekaj uporabnega dobite v tednih, ne kot celoletni projekt, ki se nikoli ne zaključi.

Bi radi asistenta, ki pozna vaše dokumente?

Povejte nam, kje živi vaše znanje, naj bo to SharePoint, ERP, skupni pogon ali tisoči PDF-jev. Iskreno vam bomo povedali, ali je RAG pravo orodje in kaj naj pokrije prva različica. Dogovorite se za klic ali si oglejte RAG rešitev in naše delo.

RAG nad podatki podjetja: AI asistent, ki odgovarja iz vaših dokumentov