De unde știe un produs AI ce este adevărat?

Este ușor să construiești un demo AI convingător. Pui un model în spatele unei ferestre de chat, îi dai câteva documente și obții răspunsuri care sună bine. Lucrurile devin mai dificile când răspunsul produce o factură, schimbă o înregistrare, trimite un mesaj sau influențează o decizie importantă.

În acel moment nu mai este suficient ca textul să fie fluent. Produsul trebuie să poată răspunde la întrebări mai incomode: de unde vine informația, cât este de recentă, ce parte este calculată, ce parte a fost dedusă și cine a aprobat acțiunea?

Ce numesc „model de adevăr”

Folosesc această expresie pentru regulile prin care produsul tratează informația. Nu este o funcție a modelului AI și nici o simplă schemă de bază de date. Este acordul dintre produs și utilizator despre ce știm și câtă încredere putem avea în rezultat.

Pentru o informație importantă vreau să pot păstra:

sursa și momentul în care a fost citită;
valoarea originală și transformările aplicate;
diferența dintre fapt, calcul, estimare și text generat;
conflictele sau datele lipsă;
persoana ori regula care a aprobat rezultatul;
informațiile necesare pentru a verifica ulterior o acțiune.

O măsurătoare, un calcul și o estimare pot apărea în aceeași propoziție, dar nu înseamnă același lucru. Dacă diferența se pierde în baza de date, interfața nu o mai poate recupera ulterior.

Un document găsit nu este automat o sursă bună

Căutarea în documente ajută modelul să găsească rapid text relevant. Nu spune însă dacă documentul este actual, dacă are autoritate pentru întrebarea pusă sau dacă o versiune mai nouă îl contrazice.

Acest lucru este important mai ales pentru date publice și oficiale. Un comunicat nu este o reglementare. O prognoză nu este o măsurătoare. Primul rezultat dintr-un motor de căutare nu este neapărat sursa care trebuie citată.

Produsul poate avea o interfață simplă, dar în spate trebuie să păstreze sursa, versiunea, data preluării și legătura dintre fragmentul găsit și afirmația afișată. Când dovada este slabă, răspunsul corect poate fi „nu avem suficiente date”.

Modelul propune, omul sau regula aprobă

AI poate extrage informații, poate compara documente, poate propune o clasificare sau poate redacta o explicație. Asta nu înseamnă că trebuie să aibă și dreptul de a lua orice decizie.

Pentru fiecare pas cu efect real stabilesc cine poate:

confirma datele extrase;
aproba o acțiune;
corecta înregistrarea;
analiza un eșec și modifica regula.

În interfață, „propus” și „aprobat” trebuie să fie stări diferite. La fel și „am găsit o sursă” față de „sursa susține concluzia”. Dacă această diferență există doar într-un document intern, va dispărea în utilizarea de zi cu zi.

Incertitudinea trebuie tratată ca o stare normală

Un sistem clasic are adesea două rezultate: succes sau eroare. Un produs AI are nevoie de mai multe. Dovezile pot fi insuficiente, două surse se pot contrazice, datele pot fi vechi, iar furnizorul modelului poate să nu răspundă.

Pentru fiecare situație alegem un comportament concret. Sistemul poate cere informația lipsă, poate trimite cazul la verificare, poate folosi o regulă deterministă sau se poate opri înaintea unei acțiuni externe. Important este să nu ascundă incertitudinea sub un răspuns sigur pe el.

Testez traseul, nu doar textul final

Un răspuns bine formulat poate veni dintr-un proces greșit. De aceea testele trebuie să urmărească tot drumul:

a fost aleasă sursa corectă?
au fost păstrate excepțiile și condițiile din document?
rezultatul respectă structura cerută?
datele lipsă sunt vizibile?
acțiunea a fost aprobată de cine trebuie?
putem reconstrui ulterior motivul deciziei?

În munca de dezvoltare a platformelor AI încep cu un caz îngust, cu date cunoscute și reguli clare. Îl testez inclusiv cu intrări problematice. După ce funcționează în condiții reale, îl extind.

Modelul AI este doar una dintre componente. Produsul devine util când știe să folosească modelul fără să îi cedeze și responsabilitatea.