Jev und Laya: Wann lässt sich ein LLM-Aufruf vermeiden?
KI-Suche und Chat für Ihre Website.
Askolia entdeckenEine freigegebene Antwort auszuwählen ist eine andere Aufgabe, als einen neuen Text zu schreiben. Jev von TypeSafe AI wählt aus und bewertet. Ein LLM schreibt.
In Askolia, unserem KI-Such- und Chatwerkzeug für Websites, haben wir diese Aufgabenteilung untersucht und Laya getestet, eine selbst hostbare Alternative.
Eine FAQ zeigt den Unterschied
Ein Besucher fragt, wie er sein Konto löschen kann. Ihre FAQ enthält bereits eine freigegebene Antwort. Jev kann diese Antwort auswählen, ohne sie neu zu formulieren.
Müssen Sie eine besondere Situation erklären oder die Antwort übersetzen, kann ein LLM den Text schreiben. Ein LLM kann auch Antworten auswählen. Vergleichen Sie deshalb die Ergebnisse, bevor Sie das Modell wechseln.
Im untersuchten Askolia-Ablauf wählt ein LLM eine FAQ aus, wenn die automatische Zuordnung scheitert. Ein zweiter Aufruf passt die Sprache an. Jev für die Auswahl einzusetzen und gespeicherte Übersetzungen wiederzuverwenden sind zwei Ansätze, deren Nutzen getrennt gemessen werden muss.
Passt keine FAQ, muss das System weitersuchen oder an eine Person übergeben.
Einsparungen entstehen durch vermiedene Aufrufe
Eine freigegebene Antwort in der richtigen Sprache direkt anzuzeigen, kann einen LLM-Aufruf vermeiden. Bleibt dieser Aufruf nötig, fügt Jev einen Schritt und Kosten hinzu.
Berücksichtigen Sie auch Integration und Betrieb. Bei kleinem Volumen rechtfertigen die Einsparungen den Wechsel möglicherweise nicht. Messen Sie für Ihre Besucher die Zeit bis zur angezeigten Antwort.
Jev kann zudem gefundene Dokumente gewichten, bevor ein LLM sie nutzt. In Askolia geht es dabei zunächst um bessere Quellen. Einsparungen haben wir damit bisher nicht nachgewiesen.
Laya war im Test schnell, wurde aber nicht übernommen
Laya führt Auswahlen und Bewertungen auf Ihrer Infrastruktur aus. Sie kontrollieren den Ort der Verarbeitung, bezahlen aber Hardware und Wartung.
Bei einer kleinen synthetischen, mehrsprachigen Stichprobe nach dem Vorbild von Askolia dauerte ein FAQ-Entscheid rund 18 ms im Median, nachdem das Modell geladen war.
Diese lokale Messung ist kein Benchmark des gesamten Antwortablaufs. Mit den Einstellungen aus dem Jev-Prototyp lehnte die Filterung selbst Fragen ab, die eine FAQ beantworten konnte. Auch die Quellenauswahl war unzureichend.
Wir haben Laya mit diesen Einstellungen daher nicht als direkten Ersatz übernommen. Ein Vorteil gegenüber Jev oder dem aktuellen LLM wurde nicht gemessen. Das Protokoll und die Ergebnisse erläutern die Grenzen des Tests.
Was sollten Sie in Ihrer Anwendung testen?
Beginnen Sie mit einem häufigen Entscheid, etwa der FAQ-Auswahl. Nutzen Sie eigene Anfragen, auch mehrdeutige Fälle. Vergleichen Sie die Kosten pro korrekter Antwort und die vollständige Antwortzeit. Prüfen Sie anschliessend, welche Anfragen menschliche Hilfe benötigen.
Lesen Sie dazu unseren Artikel über die Decisions API von OpenAI und Jev.
Swiss Made Software
