Vai al contenuto principale
Torna al blog
IA

Ridurre i costi dell'IA distribuendo i compiti

di ···3 min di lettura
Gouache di un astuccio con attrezzi da intaglio ed etichette Jev, Clef e Clairic, una chiave di basso e una luna crescente.

Leggere un importo su uno scontrino e spiegare una situazione complessa sono lavori diversi. Eppure molte applicazioni li affidano allo stesso modello linguistico. Distribuire questi compiti permette di riservare i trattamenti più costosi alle richieste che ne hanno bisogno.

System One e System Two

Cloudflare e TypeSafe riprendono una distinzione ispirata alla descrizione del pensiero rapido e del pensiero riflessivo di Daniel Kahneman.

I modelli System One svolgono un compito definito. Jev e Clef possono scegliere tra opzioni o valutare la pertinenza di un testo. Clairic estrae valori. Il risultato arriva direttamente, senza dover redigere una spiegazione per produrlo.

System Two indica qui i modelli generativi che scrivono, collegano informazioni e possono ragionare in più passaggi. Sono adatti alle richieste che richiedono una risposta articolata.

System One

Scegliere o estrarreJev, Clef, Clairic
Un valore o una sceltaData, importo, pertinenza

System Two

Ragionare e scrivereModello generativo
Una risposta articolataSpiegazione, sintesi

Questa distinzione descrive degli approcci. Non misura l'intelligenza di un modello e non garantisce un trattamento sempre più rapido o meno costoso.

Che cosa cambia Clairic per uno scontrino

Per preparare una nota spese, l'applicazione ha bisogno di un esercente, una data e degli importi. Clairic accetta testo o un'immagine e restituisce i valori richiesti, con informazioni sull'incertezza. Il software può poi controllare gli importi e segnalare i campi da rileggere.

Il vantaggio è trattare direttamente l'informazione utile. Un modello generativo resta disponibile quando occorre spiegare un'anomalia o rispondere a una domanda sul documento.

Clairic è ancora in preview. I calcoli complessi e le lunghe aggregazioni rientrano nei suoi limiti. Un formato corretto non garantisce un valore esatto e un campo assente deve restare assente.

Dove ridurre la spesa

Si comincia dalle chiamate evitabili. Una risposta già approvata può essere riutilizzata. Un calcolo può essere affidato al software. Un compito ripetitivo può passare a un modello specializzato, poi solo le informazioni utili vengono inviate al modello che scrive.

Stiamo implementando questo approccio in Askolia, con Jev per selezionare le fonti utili prima della stesura.

Il risparmio va verificato sull'intero percorso. Aggiungere un filtro mantenendo le stesse chiamate può aumentare la spesa. Contano anche gli errori, i nuovi tentativi e le correzioni umane.

Scegliete un compito frequente e confrontate i due percorsi sulle stesse richieste. Misurate il costo per risultato utilizzabile, il tempo di risposta e le correzioni necessarie. Potrete così decidere se la nuova distribuzione conviene.

Fonti e riferimenti

Torna al blogGaspard Chevassus · CEO, Appik Studio