Problem koji RAG rješava

Opći chatbot zna mnogo o svijetu, a ništa o vašoj tvrtki. Pitajte ga o vašim uvjetima povrata, vašem proizvodu osiguranja ili prošlogodišnjoj natječajnoj dokumentaciji i ili će reći da ne zna ili će, još gore, izmisliti samouvjeren odgovor.

Ni ubacivanje svih dokumenata u upit nije rješenje. Previše ih je, stalno se mijenjaju, a većina je nevažna za bilo koje pojedino pitanje.

RAG je praktičan odgovor. Umjesto da se nadate da je model zapamtio vaše datoteke, dopustite mu da ih pretraži u trenutku pitanja i odgovori iz onoga što pronađe.

Kako RAG radi, korak po korak

  1. Unos. Vaši se dokumenti čitaju i dijele na odlomke. To uključuje PDF-ove, skenirane datoteke (putem OCR-a), SharePoint knjižnice, izvoze iz ERP-a i drugo.
  2. Indeksiranje. Svaki se odlomak pretvara u vektor i pohranjuje u indeks za pretraživanje. Vandri za to koristi Qdrant.
  3. Dohvaćanje. Kad netko postavi pitanje, sustav pronalazi odlomke koji su mu najrelevantniji.
  4. Generiranje. Jezični model piše odgovor samo iz tih dohvaćenih odlomaka i navodi iz kojeg dokumenta svaka činjenica dolazi.

Bitan je četvrti korak. Budući da je odgovor sastavljen iz dohvaćenog teksta i nosi izvore, osoba koja ga čita može otvoriti izvor i provjeriti ga. Upravo to čini odgovor dovoljno pouzdanim za rad.

Zašto je utemeljenost važnija od modela

Česta je zabluda misliti da je asistent dobar onoliko koliko i jezični model iza njega. U praksi su za podatke tvrtke dohvaćanje i utemeljenost važniji od izbora modela.

Sjajan model uz loše dohvaćanje daje tečne, samouvjerene odgovore iz krivih dokumenata. Solidan model uz izvrsno dohvaćanje i navođenje izvora daje odgovore na koje se vaš tim može osloniti. Većina posla je dobro postaviti unos, dijeljenje na odlomke, kvalitetu OCR-a i obradu dozvola, a ondje poslovni RAG projekti obično uspiju ili propadnu.

Vandrijev RAG sustav koristi napredno dohvaćanje uz navođenje izvora i OCR, pa odgovori dolaze iz vaših dokumenata, a ne iz nagađanja.

Dozvole su dio proizvoda

Ako asistenta može pitati deset ljudi, on mora poštovati što svaki od njih smije vidjeti. Financijski dokument ne smije se pojaviti nekome tko datoteku nikad ne bi mogao izravno otvoriti.

To nije pojedinost koju dodajete poslije. Dohvaćanje koje uvažava dozvole, pristup na temelju uloga i revizijski zapisi moraju biti ugrađeni od početka. Vandri to rješava unutar pohrane podataka u EU-u, prema načelima GDPR-a i ISO 27001. Ako su vaši podaci osjetljivi, to je razlika između demonstracije i nečega što doista možete uvesti. Više o tome u našem vodiču o AI-ju usklađenom s GDPR-om u EU-u.

Kako to izgleda u produkciji

Dva naša isporučena sustava pokazuju obrazac:

  • BlueBox, za Sava RE. RAG asistent nad više od 2.000 dokumenata o osiguranju, ugrađen izravno u CRM agenata. Agent postavi pitanje i u nekoliko sekundi dobije odgovor s izvorima, bez izlaska iz alata koji ionako koristi.
  • AIDE, za Sveučilište u Mariboru. AI intranet nad fakultetskim SharePointom. Djelatnici postave pitanje i dobiju odgovor iz stvarnih dokumenata, pa prestaju kopati po mapama.

Oba slijede isto načelo. Asistent ne zamjenjuje izvor istine. Čini izvor istine takvim da mu se može postaviti pitanje običnim jezikom, uz poveznicu natrag na izvornik.

Gdje RAG asistent pristaje

RAG dobro pristaje kada:

  • Imate velik i rastući skup dokumenata iz kojih ljudima trebaju odgovori.
  • Odgovori već postoje u vašim datotekama, samo ih je teško pronaći.
  • Različiti ljudi trebaju vidjeti različite stvari.
  • Odgovorima morate vjerovati i provjeravati ih, pa su izvori bitni.

Slabije pristaje kad znanje nigdje nije zapisano ili kad pitanje traži izračun u stvarnom vremenu, a ne pretragu dokumenta. U tim slučajevima bolje radi drugi pristup ili kombinacija. Reći ćemo vam koji.

Kako to Vandri gradi

Krećemo usko. Odaberemo jedan skup dokumenata i jednu skupinu korisnika, povežemo izvor i isporučimo asistenta koji dobro odgovara za taj opseg. Zatim pratimo stvarna pitanja, ispravljamo što dohvaćanje promaši i proširujemo. Dobivate nešto korisno u tjednima, a ne jednogodišnji projekt koji nikad ne zaživi.

Želite asistenta koji poznaje vaše dokumente?

Recite nam gdje vam živi znanje, bilo da je to SharePoint, ERP, dijeljeni disk ili tisuće PDF-ova. Iskreno ćemo vam reći je li RAG pravi alat i što bi prva verzija trebala pokriti. Dogovorite poziv ili pogledajte RAG rješenje i naše radove.