Jev e Laya: quando evitare una chiamata a un LLM?
Ricerca e chat IA per il vostro sito web.
Scoprite AskoliaScegliere una risposta già approvata richiede un lavoro diverso da scrivere un nuovo testo. Jev, sviluppato da TypeSafe AI, seleziona e valuta. Un LLM scrive.
In Askolia, il nostro strumento di ricerca e chat IA per siti web, abbiamo studiato questa distinzione e testato Laya, un'alternativa da ospitare sulla propria infrastruttura.
Una FAQ chiarisce la differenza
Un visitatore chiede come eliminare il proprio account. La vostra FAQ contiene già una risposta approvata. Jev può scegliere quella risposta tra le opzioni disponibili, senza riscriverla.
Se occorre spiegare una situazione particolare o tradurre la risposta, un LLM può scrivere il testo. Anche un LLM sa selezionare risposte. Confrontate quindi i risultati prima di cambiare modello.
Nel flusso Askolia studiato, una chiamata LLM sceglie una FAQ quando l'abbinamento automatico fallisce. Una seconda adatta la lingua. Usare Jev per la selezione e riutilizzare una traduzione memorizzata sono due possibilità da misurare separatamente.
Quando nessuna FAQ è adatta, il sistema deve continuare la ricerca o passare la richiesta a una persona.
I risparmi derivano dalle chiamate evitate
Mostrare una risposta approvata nella lingua giusta può evitare una chiamata LLM. Se quella chiamata resta necessaria, Jev aggiunge un passaggio e un costo.
Considerate anche l'integrazione e i costi di gestione. A basso volume, il risparmio può non giustificare il cambiamento. Per il visitatore, misurate il tempo fino alla visualizzazione della risposta.
Jev può anche classificare i documenti trovati prima che un LLM li utilizzi. In Askolia, questa possibilità riguarda soprattutto la qualità delle fonti. Non abbiamo dimostrato un risparmio.
Laya era veloce nel test, ma non l'abbiamo adottato
Laya esegue scelte e valutazioni sulla vostra infrastruttura. Controllate dove avviene il trattamento, ma pagate le macchine e la manutenzione.
Su un piccolo campione sintetico multilingue ispirato ad Askolia, una decisione FAQ richiedeva circa 18 ms di mediana, una volta caricato il modello.
Questo tempo locale non è un benchmark dell'intero percorso di risposta. Con le impostazioni riprese dal prototipo Jev, il filtraggio respingeva anche domande alle quali una FAQ poteva rispondere. La selezione delle fonti era inoltre insufficiente.
Non abbiamo quindi adottato Laya come sostituzione diretta con queste impostazioni. Non abbiamo misurato vantaggi rispetto a Jev o all'LLM attuale. Il protocollo e i risultati spiegano i limiti del test.
Cosa testare nella vostra applicazione?
Iniziate da una decisione frequente, come scegliere una FAQ. Usate le vostre richieste, compresi i casi ambigui. Confrontate il costo per risposta corretta e il tempo completo. Verificate poi quali richieste necessitano dell'intervento di una persona.
Per approfondire, leggete il nostro articolo su Decisions API di OpenAI e Jev.
Swiss Made Software
