pubblicato da: Marcus Reed Systems & Infrastructure Writer

Pramaana Labs ha appena raccolto 27 milioni di dollari in un round seed,[1] e il numero conta meno del bersaglio. L’azienda dichiara di voler portare la verifica formale nell’AI e poi indirizzare questa tecnologia verso il diritto, la scoperta di farmaci e la preparazione fiscale.[1] Non è la solita proposta per chatbot generici. È una scommessa sul fatto che il prossimo mercato serio dell’AI sarà costruito attorno alla dimostrazione che gli output sono affidabili abbastanza da poterli usare quando gli errori hanno un costo reale. L’era d

Il finanziamento è stato guidato da Khosla Ventures,[1] un segnale che già conosciamo in questa parte del mercato: gli investitori sono ancora disposti a scrivere assegni importanti per l’AI, ma vogliono sempre più spesso una storia che non sia solo crescita fine a se stessa. Il focus di Pramaana su verticali sensibili suggerisce che punta a settori dove il comportamento standard dei modelli non è sufficiente.[1] Nel diritto, una risposta sbagliata può significare un ricorso errato o una cattiva raccomandazione. Nel campo fiscale, può trasformarsi in un errore finanziario diretto. Nella scoperta di farmaci, il costo è di solito più lento e meno visibile, ma non per

La verifica formale è un termine dalle molte implicazioni. Nel software, solitamente significa usare metodi matematici per dimostrare che un sistema soddisfa certe proprietà in condizioni definite. Una cosa molto diversa da “il nostro modello sembra accurato nella maggior parte dei test.” Applicata all’AI, implica un livello di controllo attorno alla generazione, non una fiducia cieca nell’output grezzo del modello. La domanda pratica è se la verifica possa essere applicata a sistemi probabilistici, sensibili ai prompt e spesso nondeterministici per progettazione. Qui finisce la copia marketing e comincia l’ingegneria.[1]

C’è un motivo per cui tutto ciò conta ora. La maggior parte delle implementazioni AI si affida ancora a controlli a posteriori, revisione umana e filtri di policy. Questi aiutano, ma non equivalgono a dimostrare che un sistema rimane entro certi limiti. Per la generazione ordinaria di contenuti, può anche bastare. Per la redazione legale, i processi fiscali o il lavoro scientifico che può influenzare decisioni costose, la tolleranza all’errore silenzioso è molto più bassa.[1] Uno stack di affidabilità sta diventando una categoria di prodotto autonoma. Le aziende che lo sapranno costruire avranno una storia migliore di quelle che vendono solo capacità grezze.

I verticali nominati da Pramaana indicano anche dove si avvertono maggiormente le difficoltà. Non sono mercati che premiano principalmente la creatività. Premiano la correttezza, la tracciabilità e la capacità di spiegare perché un risultato dovrebbe essere considerato affidabile.[1] Questo spinge i fornitori verso ambiti più ristretti, controlli più forti e assunzioni più esplicite. Solleva anche una domanda difficile: quanto del rischio residuo può davvero essere eliminato con la verifica e quanto deve semplicemente essere gestito dai processi e dalla revisione umana? Se la risposta è prevalentemente questa ultima opzione, il mercato si

Non è ancora chiaro fino a che punto le affermazioni di Pramaana vadano oltre l’idea generale. Il pacchetto non mostra il metodo di verifica esatto, lo strato di modello su cui si basa, né se il sistema verifica proprietà dell’intero flusso di lavoro o solo di sue parti.[1] Non sono dettagli di poco conto. Uno strumento che convalida output strutturati è una cosa. Uno strumento che può limitare in modo significativo un ragionamento aperto è un’altra. Le prove che potrebbero cambiare la percezione sono concrete: metodi tecnici pubblicati, risultati di benchmark, implementazioni presso clienti e casi di fallimento, non solo la dimensione del round e una categoria di prodotto.[1]

L’incertezza è proprio il punto. L’AI ha trascorso la maggior parte della sua vita commerciale ampliando la superficie delle cose che può tentare. La fase successiva potrebbe essere quella di restringere ciò che è autorizzata a fare a meno che non venga controllata. Questo cambiamento modificherebbe il design dei prodotti, i cicli di vendita e i budget infrastrutturali. Cambierebbe anche chi viene pagato. Se l’affidabilità diventa il collo di bottiglia, il valore potrebbe spostarsi dal fornitore del modello al livello che ne limita le funzioni, lo controlla e lo rende utilizzabile in lavori regolamentati.[1]

La sovrapposizione con gli incentivi attuali del mercato AI è scomoda. I fornitori di modelli all’avanguardia sono premiati per ampiezza, velocità e guadagni di capacità visibili. Gli acquirenti enterprise sono premiati per cautela, auditabilità e riduzione degli errori. La verifica formale si avvicina di più alla parte dell’acquirente. Non è appariscente. È quel tipo di impianto idraulico che si nota solo quando fallisce. Questo può rendere la categoria poco attraente per i fondatori guidati dall’hype, motivo per cui un grande round seed merita attenzione.[1] Suggerisce che gli investitori credono che il problema sia abbastanza reale da finanziare prima che il mercato definisca un approccio standard.

C’è anche una sottotraccia politica qui. Più l’AI viene spinta in domini ad alto rischio, più regolatori e team di gestione del rischio aziendale chiederanno prove invece che semplicemente fiducia. I metodi formali sono attraenti perché suonano come prove. Se forniranno garanzie utilizzabili in sistemi produttivi complessi è un’altra questione. Dipenderà da quanto del flusso di lavoro può essere modellato, da quali assunzioni il sistema necessita e da quanto spesso le garanzie si rompono quando l’input esce dai limiti del test. Queste sono le domande che contano più di qualunque narrazione di lancio.[1]