Trefferquote unter den ersten acht Treffern (Recall@8)
Von 500 Fragen des öffentlichen Tests LongMemEval lag die richtige Textstelle in 99,8 % der Fälle unter den ersten acht Treffern der Suche. „Recall@8“ bedeutet genau das: der Anteil der Fragen, bei denen die gesuchte Stelle unter den ersten acht Ergebnissen ist.
Was die Zahl nicht sagt
LongMemEval ist ein öffentlicher Test für das Langzeitgedächtnis von KI-Assistenten — kein juristischer Test. Die Fragen stammen nicht aus österreichischen Akten.
Gemessen wird das Auffinden der richtigen Textstelle — nicht die Qualität der daraus formulierten Antwort und nicht ihre rechtliche Richtigkeit.
Auf Ihren Akten können die Ergebnisse abweichen, etwa bei schlecht lesbaren Scans oder sehr ähnlichen Dokumenten.
Die anwaltliche Prüfung jeder Antwort bleibt notwendig.
Suche: Sinnsuche (Embeddings) und Stichwortsuche (BM25) werden kombiniert und um die erkannten Zusammenhänge zwischen Personen, Akten und Dokumenten ergänzt.
Treffer: Eine Frage zählt als gefunden, wenn die im Datensatz hinterlegte richtige Stelle unter den ersten acht Ergebnissen ist.
Protokoll: Suchverfahren und Einstellungen werden je Messlauf festgehalten.
Sehen Sie es an Ihren eigenen Akten.
Starten Sie Ihre 14-tägige Testphase — keine Kreditkarte nötig.