Jev et Laya : quand éviter un appel LLM ?
Recherche IA et chat pour votre site web.
Découvrir AskoliaChoisir une réponse déjà validée ne demande pas le même travail que rédiger un texte. Jev, développé par TypeSafe AI, sélectionne et évalue. Un LLM rédige.
Dans Askolia, notre outil de recherche et de chat IA pour les sites web, nous avons étudié cette distinction et testé Laya, une alternative à héberger soi-même.
Une FAQ pour comprendre la différence
Un visiteur demande comment supprimer son compte. Votre FAQ contient déjà une réponse approuvée. Jev peut choisir cette réponse parmi les options proposées, sans la réécrire.
Si vous devez expliquer une situation particulière ou traduire la réponse, un LLM peut produire le texte nécessaire. Un LLM sait aussi sélectionner ; il faut donc comparer les résultats avant de changer de modèle.
Dans le parcours Askolia étudié, un premier appel LLM choisit une FAQ lorsque la recherche automatique échoue. Un second adapte la langue. Confier la sélection à Jev et réutiliser une traduction stockée sont deux pistes à mesurer séparément.
Si aucune FAQ ne convient, le système doit poursuivre la recherche ou passer la main.
Les économies viennent des appels évités
Afficher directement une réponse validée, dans la bonne langue, peut éviter un appel LLM. Si cet appel reste nécessaire, Jev ajoute une étape et un coût.
Le bilan doit aussi inclure l'intégration et l'exploitation. À faible volume, l'économie peut ne pas justifier le changement. Pour le visiteur, mesurez le temps jusqu'à la réponse affichée.
Jev peut aussi classer les documents trouvés avant leur transmission au LLM. Dans Askolia, cette piste vise d'abord la qualité des sources, sans économie démontrée.
Laya, rapide dans notre test mais pas retenu
Laya permet d'exécuter des choix et des scores sur votre infrastructure. Vous maîtrisez le lieu de traitement, mais financez les machines et leur maintenance.
Sur un petit échantillon synthétique multilingue inspiré d'Askolia, une décision FAQ prenait environ 18 ms en médiane, une fois le modèle chargé.
Ce temps local n'est pas un benchmark de bout en bout. Avec les réglages repris du prototype Jev, le filtrage rejetait même des questions auxquelles une FAQ pouvait répondre. La sélection des sources était également insuffisante.
Nous n'avons donc pas adopté Laya comme remplacement direct avec ces réglages. Aucun gain face à Jev ou au LLM actuel n'a été mesuré. Le protocole et les résultats détaillent ces limites.
Que tester dans votre application ?
Commencez par une décision fréquente, comme choisir une FAQ. Utilisez vos propres demandes, y compris les cas ambigus. Comparez le coût par réponse correcte et le délai complet, puis vérifiez les demandes nécessitant une intervention humaine.
Pour poursuivre, lisez notre article sur l'API Decisions d'OpenAI et Jev.
Swiss Made Software
